热搜: 佳士科技irobot开云电竞官网下载app机器人机器人产业联盟ABB机械手发那科码垛机器人机器人展览

老黄深夜炸场!英伟达发布全球最强 AI 芯片 H200:性能飙升 90%,Llama 2 推理速度翻倍

日期:2023-11-14 来源:IT之家 评论:0
标签: AI 芯片 科技
  IT之家11月13日消息,英伟达近日发布了下一代人工智能超级计算机芯片,这些芯片将在深度学习和大型语言模型(LLM)方面发挥重要作用,比如OpenAI的GPT-4。新芯片相比上一代有了显著的飞跃,将被用于数据中心和超级计算机,处理诸如天气和气候预测、药物发现、量子计算等任务。
微信图片_20231114085356
  此次发布的关键产品是基于英伟达的“Hopper”架构的HGX H200 GPU,是H100 GPU的继任者,也是该公司第一款使用HBM3e内存的芯片,这种内存速度更快,容量更大,因此更适合大型语言模型。英伟达称:“借助HBM3e,英伟达H200以每秒4.8 TB的速度提供141GB的内存,与A100相比,容量几乎是其两倍,带宽增加了2.4倍。”
  在人工智能方面,英伟达表示,HGX H200在Llama 2(700亿参数LLM)上的推理速度比H100快了一倍。HGX H200将以4路和8路的配置提供,与H100系统中的软件和硬件兼容。它将适用于每一种类型的数据中心(本地、云、混合云和边缘),并由Amazon Web Services、Google Cloud、Microsoft Azure和Oracle Cloud Infrastructure等部署,将于2024年第二季度推出。
  英伟达此次发布的另一个关键产品是GH200 Grace Hopper“超级芯片(superchip)”,其将HGX H200 GPU和基于Arm的英伟达Grace CPU通过该公司的NVl ink-C2C互连结合起来,官方称其专为超级计算机设计,让“科学家和研究人员能够通过加速运行TB级数据的复杂AI和HPC 应用程序,来解决世界上最具挑战性的问题”。
  GH200将被用于“全球研究中心、系统制造商和云提供商的40多台AI超级计算机”,其中包括戴尔、Eviden、惠普企业(HPE)、联想、QCT和Supermicro。其中值得注意的是,HPE的Cray EX2500超级计算机将使用四路GH200,可扩展到数万个Grace Hopper超级芯片节点。
  也许最大的Grace Hopper超级计算机是位于德国Jülich工厂的JUPITER,在2024年安装后将成为“世界上最强大的AI系统”。其使用了液冷架构,其增强模块由近24000个英伟达GH200超级芯片组成,这些芯片通过英伟达Quantum-2 InfiniBand网络平台互连。
  英伟达表示,JUPITER将有助于在多个领域取得科学突破,包括气候和天气预测,生成高分辨率的气候和天气模拟,并进行交互式可视化。它还将被用于药物发现、量子计算和工业工程,其中许多领域使用定制的英伟达软件解决方案,这些解决方案简化了开发,但也使超级计算团队依赖于英伟达硬件。
  IT之家注意到,上个季度,英伟达仅在AI和数据中心领域就实现了创纪录的103.2亿美元的收入(总收入为135.1亿美元),比一年前增长了171%,英伟达无疑希望新的GPU和超级芯片能够帮助其继续这一趋势。
声明:凡开云电子链接 来源注明为其他媒体来源的信息,均为转载自其他媒体,并不代表本网站赞同其观点,也不代表本网站对其真实性负责。您若对该文章内容有任何疑问或质疑,请立即与开云客户(www.www.wykobounce.com)联系,本网站将迅速给您回应并做处理。
电话:021-39553798-8007
更多> 相关开云电子链接
0 相关评论

推荐图文
推荐开云电子链接
点击排行
Baidu
map