OpenAI近日发布新闻稿,宣布GPT-4 Turbo速率上限翻番,每分钟最多可处理150万个token(TPM),而且完全取消了每日限制。
OpenAI为了防止滥用、确保公平性和管理基础架构负载,限制企业访问API的速率。这种限制可以防止恶意超载
应用程序接口,确保所有用户都能公平访问,并通过节流指定时间内允许的请求数量,在高需求期间保持平稳的性能。
IT之家注:OpenAI一共使用了5种速率限制:RPM(每分钟请求数)、RPD(每天请求数)、TPM(每分钟tokens数量)、TPD(每天tokens数量)和IPM(每分钟图像数量)。
需要注意的是,速率限制是对组织级别实施的,对个体用户没啥影响。速率限制因所使用的模式而异,组织每月在API上的总支出也有"使用限制"。