API
限流
把客户端并发控制在工作区边界内
限流用于保护共享容量，并按工作区、环境、Endpoint 与客户协议配置。Octoryn 不把已退役的 PEU 套餐限额作为 Router 公开契约。
429 响应
Quota/供应商 429 与暂时不可用的 503 在存在安全有限延迟时，通过 Retry-After Header 返回提示。
HTTP/1.1 429 Too Many Requests
Content-Type: application/json
Retry-After: 18
{
"error": {
"code": "routing_exhausted",
"message": "Provider temporarily unavailable",
"metadata": {"retry_after_seconds": 18}
}
}限额范围
实际限额可因工作区、环境、Endpoint 与约定容量不同。Streaming、长请求和供应商自有限额可能产生独立运营影响。
- Router 限额与上游供应商限额不同
- 客户自有供应商账户仍受供应商 Quota 约束
- 成功的 Fallback 仍消耗 Router 容量
- 生产容量以工作区负责人和服务协议确认值为准
退避策略
存在 Retry-After 时按其暂停，否则使用带 Jitter 的指数退避。限制总尝试次数和并发。
delay = retry_after_header ?? min(base * 2 ** attempt + jitter, max_delay)容量设计
对突发任务使用 Queue 或 Admission Control，谨慎复用 Streaming Connection，设置应用 Deadline，并分别测量请求速率、并发与延迟。