该报告特别提及了me
ta公司的Llama 2模型和OpenAI的GPT/codex模型,表示训练这些大语言模型的代码并未向公众开放。
研究人员表示,当前AI社区中,缺乏开源大语言模型问题日益突显。研究人员呼吁公司发布更多的开源LLM,以便研究人员和开发人员可以访问代码并提高这些模型的性能。
OpenAI的ChatGPT模型是最“神秘”的,不符合开源标准;而me
ta的Llama 2虽然宣称是“开源”,但实际透明度只是稍微优于ChatGPT模型,在开源排行榜上的程度依然很低。
研究报告认为这些公司主要出于以下几点原因:
想要保护自己的知识产权
想要控制如何使用大语言模型
而研究人员和开发人员在面临开源大语言模型上存在天然的弱势,可能无法研究论文结果、改进现有大语言模型的性能。
me
ta的立场是讽刺的,因为该公司自豪地说,Llama 2可用于研究。即便如此,该公司似乎仍将该项目的某些部分锁定在开发人员和研究人员之外。