429 Too Many Requests 和建议重试时间;上游供应商临时繁忙时,Infistar 会在安全范围内尝试其它可用供应,所有供应都暂时受限时同样返回明确的 429。
限制指标
- RPM(Requests Per Minute):持续每分钟请求速率。
- 突发量(Burst):允许在很短时间内集中提交的请求数量。
- 并发数:同一时刻仍在执行的同步、流式或实时请求数量。
- 输入 / 输出 TPM(Tokens Per Minute):每分钟允许处理的输入和输出 Token。
- 活动异步任务:仍未进入成功、失败、取消或过期终态的图片、视频等任务数量。
429 响应
Retry-After:建议等待的秒数。x-ratelimit-limit-requests:当前请求速率上限。x-ratelimit-remaining-requests:当前可用请求数量。x-ratelimit-reset-requests:下一次可用额度预计恢复时间。- 对并发和 Token 指标,对应返回
concurrent-requests、input-tokens或output-tokens后缀。
客户端处理建议
- 收到 429 后优先遵循
Retry-After,不要立即循环重试。 - 没有
Retry-After时使用带随机抖动的指数退避,例如 1、2、4、8 秒。 - 流式或实时请求结束后及时关闭连接,避免继续占用并发。
- 批处理任务应控制本地工作队列和最大并发,不要一次创建大量线程。
- 同一业务使用多个 Token 并不一定增加额度;策略可能按用户共享,也可能按 Token 独立。