中国最大的互联网公司,如阿里巴巴、腾讯、百度和字节跳动等,以及众多初创公司,都在竞相开发自己的大语言模型。有媒体称之为“百模大战”,这些科技公司正为在人工智能领域占据主导地位而展开激烈竞争。李开复在接受采访时表示,这些公司正处于证明其拥有开发高质量模型技术的阶段。而那些通过考验的公司将迈向下一阶段,即如何增加收入并实现盈利。
李开复预测:“在中国,最终将有几家大赢家崭露头角,部分公司可能会体面地退出市场。但大多数企业要么半途而废,要么转向更为实际的目标,如为特定行业构建
应用和解决方案”
零一万物成立于今年3月份,目前拥有100多名员工,其中大部分在北京工作。上个月,该公司发布了其首个开源大语言模型Yi-34B,但它未来的收入并不仅依赖于此模型。相反,其商业计划是出售专有的大语言模型,主要面向中国市场。据李开复透露,该公司目前正在开发一种新的、拥有超过1000亿个参数的专有模型。
然而,在Yi-34B迅速登上Hugging Face的开源大语言模型排行榜榜首后,零一万物引发了一些争议。有开发者发现该模型似乎使用了me
ta的开源人工智能模型Llama,但并未在相关资料中提及此事。为此,零一万物后来重新命名了Yi-34B的一部分,并公开承认了Llama的贡献。李开复也为他们之前的疏忽公开道歉。
在接受科技媒体The Information的采访时,李开复谈到了零一万物的未来以及中国人工智能产业的趋势。他还谈到了如何应对美国的芯片出口限制,以及中国公司如何在全球范围内寻找商机。
以下为采访全文:
问:中国目前有几十家公司都在竞相开发大语言模型,接下来会发生什么?
李开复:在我看来,这种情况在中国早已屡见不鲜。例如团购风潮、共享单车应用的兴起,甚至在深度科技领域,比如计算机视觉和语音识别技术。当计算机视觉证明其价值时,无数中国企业争先恐后地涌入,试图在各种可能的应用中分一杯羹。然而,大多数企业并未能幸存下来。
如今,中国的人工智能领域仍处于预选赛阶段,竞争异常激烈,甚至可能超过美国。首先,我们需要面对的考验是:在百家争鸣的竞争中,哪家企业能开发出真正具有高质量和高价值的模型?只有技术过硬,模型表现出色,才能在实际应用中脱颖而出。否则,技术只能沦为“玩具”,而不能真正解决问题。
通过预选赛的技术考验后,企业将进入下一阶段:如何增加商业价值?你的商业模式是什么?如何盈利?很快,投资者将提出与云提供商、企业软件公司和消费者应用程序相同的问题。如果企业不能给出明确的答案,那么它们的增长将面临终结。
以美国为例,OpenAI已经证明了其在技术上的领先地位,同时也能够创造收入。这种价值创造使得其他公司愿意为其投入资源,并在此基础上构建应用。
而在中国,最终将有几家大赢家崭露头角,部分公司可能会体面地退出市场。但大多数企业要么半途而废,要么转向更为实际的目标,如为特定行业构建应用和解决方案,而不是单纯地追求大模型的研发。随着时间的推移,研发大模型的成本将会不断攀升。
问:中国人工智能初创公司及其投资者表示,中国将为生成式人工智能模型和应用开发自己的生态系统。你认为呢?
李开复:我们都明白,平行宇宙并不是我们想要看到的。我们更倾向于在全球范围内展开竞争,让真正出色的公司脱颖而出,这样效率才更高。但现实却是,我们无法完全掌控自己的命运。
特别是地缘政治问题。如果我们想进入美国市场,虽然没有规定说我们不能进入,但我不认为我们会得到很多业务。因为在我看来,当前美国市场对中国软件存在一种不公平的偏见。这是我们不得不面对的现实。
当然,我们对全球其他地区的商机持开放态度,但我们深知,有些事情是行不通的。比如,想把我们的专有模型卖给美国公司,这几乎不可能。他们不会买账的,我们也不会做无用功。
中国显然代表着一个巨大的机遇,但我不会将中国公司可能进入的世界其他地区排除在外。总体而言,硅谷的做法是“一刀切”,这种模式在诸如Facebook和谷歌等公司的崛起中起到了关键作用,并帮助美国获得了主导地位。但这次不同了,因为大语言模型是在数据基础上进行训练的。数据涉及到偏见、意识形态和价值观等问题。美国的价值观并非在所有国家都受欢迎,不仅是在中国,甚至有些国家根本无法接受。
我认为中东可能是另一个想要以不同方式思考问题的地区。这促使各国想要更多地对模型进行控制。
我坚信,为不同国家构建具有特殊性的模型是有可能的。硅谷的公司不会这么做,因为他们认为自己的价值观是正确的,并希望更多的人能够接受并融入其中。而且,为不同市场构建不同的大模型需要大量的工程工作,所以硅谷的公司自然不愿意投入这些模型的开发。而来自世界其他地区(包括中国)的公司,可能有机会深入研究这种模型。但显然,他们必须赢得用户和各国政府的信任。
问:有媒体报道称,贵公司成功降低了Yi-34B的人工智能培训成本。你们是如何做到的?
李开复:我们有一支超级强大的基础设施团队,他们可是我们公司最大的队伍。我以前就跟员工们说过,每加一个建模人员,图形处理单元的负担就重一分;但是每加一个基础设施人员,图形处理单元的效率就能提升一些。当然,建模团队也很重要,不过从一开始,我们就特别重视基础设施团队的建设。
这些基础设施团队的成员就像是无名英雄一样。他们得负责硬件、软件还有海量的数据传输,得同时处理图形处理单元、内存和网络,这三者中的任何一个都可能成为瓶颈。要知道,图形处理单元扩展到几千以上会很难。从2000个增加到8000个的时候,可不是简单地用软件就能搞定的,因为模型和数据量一大,网络需求就会有天翻地覆的变化。
我们的基础设施团队里有好几十名工程师,是目前零一万物最大的团队。他们得研究怎么用FP8(英伟达H100芯片的数据格式)来大幅减少计算量,这可不是一件容易的事。他们得弄清楚在哪里用FP8,在哪里用其他格式,还得保证它们之间的转换天衣无缝。除了这些,他们还得解决一系列头疼问题,比如应该使用什么网络协议、怎么优化编译器、怎么处理图形处理单元故障等等。实际上,图形处理单元出故障的频率高得吓人。要是一个图形处理单元出现故障,能不能热插拔呢?我们还在努力解决这个问题。想想看:要是在一个拥有上千个图形处理单元的集群里,就因为一个图形处理单元坏了而让你的训练停了一个小时,那要是能热插拔,你每天就能省下一个小时!这些时间可以积少成多。
还有一个相关的话题就是弹性训练。假设你有一个由2000个H100芯片组成的集群,而你只需要500个来执行某个任务,那你能不能在检查点之间把它们移走,然后再加回来呢?这些任务可不是人工智能研究人员该干的,他们更多属于网络工程师的工作。
如果把大语言模型的开发比作火箭科学的话,那就像没有工程师,火箭就永远飞不起来一样。SpaceX的成功可不仅仅是因为它有大量研究人员,还因为它做了大量超级复杂的工程工作。同样地,我们的基础设施团队就是我们的“工程师”,他们的工作让我们的大语言模型能够顺利起飞!
问:美国限制向中国出口先进的半导体技术,包括英伟达的先进芯片。零一万物是如何应对的?
李开复:我曾公开说过,我们的芯片库存足够维持18个月。这些基本上是在限制措施出台前我们获得的芯片。我们肯定在努力研究如何使用中国芯片。但这并不容易,绝不好玩。对它们进行编程不是我们所熟悉的领域。但如果我们必须要这么做,我们也不会退缩。
英伟达有着非常出色的芯片,但有人可能会说,更简单的芯片可以以更低的成本完成这项工作。但英伟达实力背后的一个主要因素是围绕其CUDA软件库的整个生态系统,它使得编程变得更简单。如果你强迫工程师们使用非英伟达的芯片,他们可能会反对,因为这类芯片的效率要低得多。但我们目前面临的困境要到18个月后才会显现,而我们必须更早开始行动。如果我们无法获得英伟达的芯片,我们将寻找更简单的芯片,更专注于转换器,但它们将是一个痛苦的编程过程。可是,如果我们别无选择,那就只能这么做。
但大家都知道,中国工程师有能力、有意愿,而且在处理这种被认为是艰苦的工程挑战方面表现出色。这与我之前所说的基础设施团队的工作类似。学习用非常少的库来编写新的非标准GPU也是一项繁重的工作。
中国企业家是顽强的。中国工程师很勤劳。他们不怕繁重的工作。这正是美团提供卓越服务的原因,也是微信成为卓越产品的原因。的确,我们前面有许多困难的挑战,你可以说它们是浪费时间和很多人的精力。但这是我们手中的牌,所以我们会尽我们最大的努力打好这些牌。