随着人工智能技术的发展,超级计算机的需求日益增长,许多企业需要借助超级计算机来训练自己的模型,一些公司如微软建设了昂贵的基础设施并将其出租给企业使用的服务。
总部位于阿布扎比的G42是一个科技领域的控股集团,旨在为未来世界创建基础设施,与各国和企业合作,实现其愿景。该公司正在建设Co
ndor Galaxy系列超级计算机系统,以帮助解决当今人类面临的最大问题。
许多科技公司已经宣布建立由数千个图形处理单元(GPU)组成的巨大集群,这是人工智能模型的大脑。但Cerebras公司的首席执行官Andrew Feldman表示,“在数千个微型GPU上分发单一模型需要数十名具有稀有专业知识的人员花费数月时间。”
Feldman和他在Cerebras的团队没有使用中央超级计算机,而是构建了一组互连的AI超级计算机,可以大大减少AI模型的训练时间。根据Cerebras的方法,建立生成式人工智能模型只需要几分钟时间,并且可以由一个人完成。
Co
ndor Galaxy系统的综合处理能力将达到36 exaFLOPS,这在当今的计算世界中是空前的。
每台超级计算机都是Co
ndor Galaxy系列超级计算机的核心,其中第一台已经于近日揭幕。Cerebras公司组装了64个其旗舰产品CS-2人工智能处理器,组成了CG-1超级计算机。
AMD公司的EPYC处理器核心为该系统提供动力,并拥有5400万个专为人工智能优化的计算核心,总体的片上内存容量达到了82TB,各个CS-2系统间的带宽速率高达388Tbps。
在16位计算下,该系统可以提供4 exaFLOPS的计算能力,这是目前世界上最快超级计算机速度的四倍。它可以用于训练6000亿参数模型,并可扩展到支持100万亿参数模型。作为对比,OpenAI公司的GPT-4模型是使用1.7万亿参数训练的。
Cerebras和G42还计划在2024年初在美国引入另外两台超级计算机,CG-2和CG-3,同时将CG-1作为云服务提供给客户。
CG-1可以原生地处理50000个令牌,而无需任何特殊的软件库。在CG-1上编程完全不需要使用复杂的分布式编程语言,节省了在GPU上分配工作流的宝贵时间。
该超级计算机位于圣克拉拉的一个托管设施Colovore,Cerebras将根据美国法律运营,以确保该计算能力不会被敌对国家所利用。
G42和Cerebras相信,最快的超级计算机将有助于应对医疗、能源和气候变化等挑战。