ChatGPT于2022年11月30日上线,在短短两个月内获得1亿用户,而它AI模型和算法的背后,则是英伟达的人工智能硬件。
据介绍,ChatGPT的背后模型是GPT(Generative Pre-Training,生成式预训练模型),GPT这个名字展现了这款模型偏向“生成文本和代码”的属性。
IT之家这里简单计算一下,拥有1750亿个参数的GPT-3因其巨大的每秒浮点计算量,单次训练成本达到460万美元。如果使用英伟达A100芯片,单次训练的使用量应达到数百片,成本在3000万元人民币左右。
细数一下,第一代GPT-1诞生于2018年6月,训练参数量为1.2亿个,数据库规模为5GB;时隔半年之后推出了第二代GPT-2(2019年2月),训练参数量为15亿个,数据库规模为40GB;第三代GPT-3诞生于2020年5月,训练参数量飞跃至1750亿个,数据库规模达到45TB。
目前,OpenAI已经在今年3月推出了新一代文本生成AI模型GPT-4多模态模型,它在各种专业和学术基准上和人类相当!
OpenAI CEO萨姆・奥尔特曼(Sam Altman)已经确认,该公司目前没有训练GPT-5,并且“短期内也不会训练”。GPT-5被认为是GPT-4的继任者,后者是OpenAI今年三月发布的大语言模型。
然而,没有在训练GPT-5并不意味着OpenAI不再拓展GPT-4的能力。奥尔特曼强调了,他们也在考虑这项工作的安全性问题。“我们正在GPT-4之上做其他事情,我认为这些都涉及到安全问题,这些问题在信中被完全忽略了,”他说道。