IT之家3月8日消息，周一，来自谷歌和柏林工业大学的一组人工智能研究人员推出了史上最大的视觉语言模型——PaLM-E，参数量高达5620亿（GPT-3的参数量为1750亿）。
5620亿参数！谷歌发布史上最大“通才”AI模型PaLM-E，可让
机器人自主执行多种任务
5620亿参数！谷歌发布史上最大“通才”AI模型PaLM-E，可让机器人自主执行多种任务
PaLM-E是迄今为止已知的最大VLM（视觉语言模型）。作为一种多模态具身VLM，它不仅可以理解图像，还能理解、生成语言，执行各种复杂的机器人指令而无需重新训练。它还展示出了强大的涌现能力（模型有不可预测的表现）。
据谷歌称，当得到一个高级命令，如“把抽屉里的米片拿给我”，PaLM-E可以为带有手臂的移动机器人平台（由谷歌
机器人公司开发）生成一个行动计划，并自行执行这些行动。
5620亿参数！谷歌发布史上最大“通才”AI模型PaLM-E，可让机器人自主执行多种任务
PaLM-E通过分析来自机器人摄像头的数据来实现这一目标，而无需对场景进行预处理。这消除了人类对数据进行预处理或注释的需要，使机器人控制更加自主。
PaLM-E还很有弹性，能够对环境做出反应。例如，PaLM-E模型可以引导机器人从厨房里拿一袋薯片，由于PaLM-E集成到了控制回路中，它对任务中可能发生的中断有了抵抗力。在一个
视频例子中，一名研究人员从机器人手中抓起薯片并移动它们，但机器人找到了薯片并再次抓起它们。
另外，PaLM-E模型也可控制机器人自主完成原需人类指导的复杂任务。除了机器人技术外，谷歌研究人员还观察到使用大型语言模型作为PaLM-E核心的几个有趣效果，其中一个是PaLM-E能表现出“正向转移”，这意味其可将从一个任务中学到的知识和技能转移到另一个任务中，相较单任务机器人模型能有更好的表现。
谷歌研究人员计划未来将探索PaLM-E在现实世界中有更多
应用，例如家庭自动化或
开云电竞官网下载app，也希望PaLM-E能够激发更多关于多模态AI的应用。
IT之家曾报道，身为谷歌AI劲敌的微软近期也发表了「ChatGPTforRobotics」的论文，以类似的方式结合视觉数据和大型语言模型来控制机器人。
