什么是队列
TTAPI 里的“队列”不是传统意义上的QPS、RPM 这类瞬时请求速率限制,而是某个产品在同一时间内允许存在的进行中任务数量。
这里的“进行中任务”通常指:
- 已经提交成功,但任务仍在排队
- 任务已经开始执行,但还没有完成
- 最终结果需要通过异步回调或二次查询接口获取
哪些产品有队列限制
目前队列限制主要出现在以下产品:
这类产品有一个共同特点:任务持续时间长、资源占用高、结果通常不会在请求提交时立即返回。
为什么平台要控制队列
平台各个产品背后依赖的是有限容量的账户池和执行资源。 如果完全不控制队列,某个用户在没有提前报备的情况下突然打出非常高的并发,就可能出现下面这些问题:- 某条产品线的账户池被瞬间占满
- 其它正常用户无法继续提交或查询任务
- 某个模型大面积排队,甚至导致整条服务不可用
- 上游平台触发风控或资源异常,进一步放大影响范围
队列扩容
如果你确认自己后续会有稳定且可预期的流量,可以 联系我们 申请扩容队列。 建议在申请前准备这些信息:- 需要扩容的产品线
- 预计峰值并发任务数
- 日常稳定任务量
- 大概会在什么时间段放量
- 是否属于活动、投放或周期性业务增长