一句话: 团队接海外大模型 API,上线前把四件事定好:Key 只放服务端、按项目拆分;额度按业务线分配并设用量告警;日志从第一天记(模块/模型/耗时/错误类型,内容脱敏);失败按类型分级处理、批量任务限流。这四件事后补的成本,是前置做好的十倍。
第一次接国外大模型 API,团队通常只关心"能不能调通"。但上线后真正消耗时间的是另一批问题:Key 谁在管?额度被哪个业务烧了?失败请求怎么查?模型挂了怎么切?这些没规划好,系统会演变成一堆临时补丁。
Key:别散落在个人手里
早期常见做法是某个开发自己申请 Key 塞进项目,短期快,长期全是雷:Key 出现在聊天记录里、离职后没人知道来源、多业务共用一个 Key、泄露后定位不了影响范围。
规则不复杂,严格执行就行:
- Key 只放服务端,前端一律不见 Key
- 不进代码仓库(用环境变量或密钥管理),不发群聊
- 不同项目、不同环境分开 Key
- 定期看调用记录,发现异常立刻吊销重发
一个容易忽略的点:Key 只要提交进过 git,哪怕下一秒删掉,也要当作已泄露处理 — 历史记录里它还在。正确动作是吊销换新,不是删文件。
额度:按业务分,不要一锅端
客服、内容生成、数据分析、测试脚本共用一套额度,月底一定说不清钱去哪了。一开始就按业务线拆:线上核心功能、内部工具、测试环境、批量任务、低优先级实验,各自有额度和告警线。核心功能保稳定,批量任务必须限流,测试环境永远不该打爆生产额度。告警别只发给一个人 — 管理员休假那天,墨菲定律一定生效。
日志:第一天就要有
没有日志就没有排查能力。最小字段集:请求时间、业务模块、调用模型、输入输出长度、成败、错误类型、响应耗时、大致消耗。
注意:日志不等于存用户原文。涉及隐私的内容要脱敏或只存摘要 — 这既是合规要求,也省存储。失败日志比成功日志值钱,别只记成功。
失败:分类处理,别都叫"系统繁忙"
| 错误类型 | 典型场景 | 正确处理 |
|---|---|---|
| 频率限制(429) | 批量任务、突发流量 | 指数退避重试+队列削峰 |
| 超时 | 长文本、网络抖动 | 设合理超时,改流式输出降低体感 |
| 余额/额度不足 | 调用集体失败 | 提前设余额告警,别等线上炸了才处理 |
| 参数错误(4xx) | 升级 SDK、换模型后 | 直接报警给开发,重试没有意义 |
| 上游故障(5xx) | 模型服务不可用 | 自动切备用模型,给用户降级提示 |
重试要带幂等控制 — 扣费类、写库类操作裸重试,等着对账时哭。
限流和队列提前做
最容易把系统拖垮的是批量任务:用户传一批文件,系统无脑并发全打出去。把任务分成实时和后台两类:实时的追求响应快,后台的进队列慢慢跑、追求稳定完成。并发上限从保守值起步,观察一周错误率再放大,比一上来打满再回调体面。
模型别写死,权限要分清
今天用的模型,半年后大概率会换。模型名写死在业务代码里,换一次改一片。正确做法:按业务配置模型、留备用模型、支持灰度切换。
权限同理:开发者看接口和错误,运营看用量,负责人看成本趋势,只有管理员能配 Key 和模型。事实上几乎没有人"需要"看到 Key 本身。
坑
- 前端直连大模型 API 等于把 Key 白送,所有调用必须过自己服务端。
- 共用 Key 出了异常用量,你连"谁干的"都查不出来 — 拆 Key 的最大价值是可定位。
- 临时脚本也走正式 Key 管理。"就跑一次"的脚本,最后都变成常驻服务。
- 成本要能归因:请求里带上业务标签,月底才能把账分摊到具体业务,不然成本优化无从下手。
Glouth 怎么用
这篇讲的 Key、额度、日志、多模型路由,正是 Glouth Link 网关在做的事:统一入口、按 Key 看用量和日志、切模型不改业务代码,余额制按量计费。接入细节和限流重试实践,见接入指南;前期讨论方案、整理接口文档,用 Glouth Chat。
FAQ
Q:直连官方 API 和走网关怎么选? 单人单项目、能稳定访问官方、只用一家模型,直连最简单。团队多业务、要统一额度和日志、要随时切模型,网关省的是管理成本,不是那一行请求代码。
Q:Key 泄露了第一步做什么? 立刻吊销并换新 Key,再查泄露窗口期的调用记录评估损失,最后排查泄露源(代码仓库、群聊、前端)。顺序别反 — 先止血,再追因。
Q:额度告警线设多少合适? 两道线:日用量超过近 7 天均值一定倍数时告警(抓异常),余额低于安全水位时告警(防断供)。具体数值按业务量定,上线第一个月每周回看一次再调。
Q:日志要存多久? 排查用的明细日志存 30-90 天够用,按天、按业务聚合的统计长期存。明细注意脱敏,聚合数据才是长期有价值的部分。
最后提醒
API 调通只是开始。Key、额度、日志、限流、失败处理、模型切换,这六件事在第一周做完,后面每个月都在省时间。
想直接上手?
这篇讲的活,打开 Glouth Chat 就能干:GPT-5.5 / Claude 等模型中文直接用,不用翻墙、不用海外卡。想给自己的 ChatGPT 账号开 Plus 的看国内充值指南;要把 AI 接进自己的工具,走 Link API。