计费与支持
限流与配额
理解请求频率、并发和 Token 配额，并用队列与退避正确处理 429。
限额用于保护平台与账户稳定性。具体数值可能因账户、模型和服务方案不同，请以控制台显示为准。
常见限制维度
| 维度 | 含义 | 客户端对策 |
|---|---|---|
| 请求速率 | 单位时间内允许的请求数量。 | 令牌桶、漏桶或队列整形。 |
| 并发数 | 同时处理的在途请求数量。 | 信号量限制并发，长短请求分池。 |
| Token 速率 | 单位时间内处理的输入输出 Token。 | 裁剪上下文、限制输出、错峰处理。 |
| 余额／预算 | 账户可继续消费的金额或内部预算。 | 设置预警，避免耗尽后业务中断。 |
处理 429
- 暂停立即重试，读取响应中可能提供的限流信息。
- 使用指数退避，例如等待约 1、2、4 秒，并加入随机抖动。
- 限制最大重试次数和总等待时间。
- 降低全局并发或进入有界队列，而不是让所有任务自行重试。
- 持续触发时分析峰值流量并申请适合的配额。
限流响应契约
响应头名称和数值待平台确认正式文档应明确 RPM、TPM、并发分别作用于账户、项目、API Key 还是模型，并提供可直接读取的响应头。
| 信息 | 正式文档要求 |
|---|---|
| 上限与剩余量 | 分别公布请求数、Token 和并发上限及剩余额度的响应头名称。 |
| 重置时间 | 说明窗口算法、时区、精度，以及重置时间使用秒数还是时间戳。 |
Retry-After | 说明是否返回以及客户端应该按秒数还是 HTTP 日期解析。 |
| 429 错误对象 | 区分频率、Token、并发、账户配额或平台容量限制，返回稳定错误类型。 |
| 提额流程 | 说明所需业务数据、审核周期、临时扩容与服务等级选项。 |
配额规划
- 按平均请求时长估算并发，而不是只看每分钟请求数。
- 为发布、营销活动和批处理预留容量。
- 在线交互与离线任务使用不同队列和优先级。
- 单个租户设置独立限额，防止噪声邻居影响全局。
- 扩容前提供峰值并发、Token 分布、目标模型和业务时间窗口。