帕特尔指出，ChatGPT需要庞大的算力，才能基于用户的输入信息做出反馈，包括撰写求职信、生成教学计划，以及帮助用户优化个人资料等。他表示：“大部分成本都来自于昂贵的服务器。”
此外，帕特尔最初的估计基于OpenAI的GPT-3模型，而在采用最新的GPT-4模型之后，ChatGPT现在的运行成本可能更高。
对此，OpenAI尚未对此做出回应。
帕特尔和SemiAnalysis的另一位分析师阿夫扎尔・艾哈迈德（Afzal Ahmad）表示，此前外界已经注意到，训练ChatGPT背后的大语言模型可能要花费上亿美元，但运营费用，或者说人工智能推理的成本，以任何合理的部署规模来看都远远超过了训练成本。他们指出：“事实上，按周来看，ChatGPT的推理成本超过了训练成本。”
过去几年，使用OpenAI语言模型的公司也一直在承担高昂的价格。创业公司Latitude开发了一款基于用户输入信息生成故事情节的人工智能地下城游戏。该公司首席执行官尼克・沃尔顿（Nick Walton）表示，运行该模型，以及相应的购买亚马逊AWS云服务器的费用2021年达到每月20万美元（当前约137.6万元人民币）。因此，沃尔顿最终决定改用AI21 Labs支持的语言软件提供商。这帮助他将公司的人工智能成本降低了一半，至每月10万美元（当前约68.8万元人民币）。
沃尔顿在接受采访时表示：“我们会开玩笑说，我们有人类员工和人工智能员工，在这两类员工身上花费的成本大致相同。我们每个月在人工智能上花掉数十万美元，而且我们也不是一家大型初创公司，所以这是一笔巨大的开支。”
近期有报道称，为了降低生成式人工智能模型的运行成本，微软正在开发一款代号为“雅典娜”的人工智能芯片。该项目于2019年启动。在此几年前，微软与OpenAI达成了10亿美元的投资协议，要求OpenAI仅在微软的Azure云服务器上运行其模型。
微软启动这一芯片项目的背后有两方面思考。知情人士透露，微软高管意识到，他们在自主芯片开发方面落后于谷歌和亚马逊。与此同时，微软正在寻找更便宜的方案去替代英伟达的GPU芯片。
目前，微软大约有300多名员工正在开发这款芯片。消息人士称，该芯片最早可能在明年发布，供微软和OpenAI内部使用。微软拒绝对此消息置评。
