亚马逊宣布将会把旗下的人工智能处理程序全部转移至使用定制的AWS Inferentia芯片上。这意味着诸如虚拟助手Alexa等亚马逊的推理
应用程序都将会弃用GPU,转由更高效快捷的专用芯片负责处理。
AWS Inferenia是一种专门用于机器学习的芯片,每个芯片可以提供最高128TOPS的性能,并且支持 FP16、BF16 和 INT8 数据类型。
目前亚马逊已经转移了Alexa百分之80的处理程序至使用新AWS Inferentia芯片的Elastic Compute Cloud(EC2)Inf1实例上/实例上。相较于使用传统GPU的EC2 G4实例,新的EC2 Inf1实例可以使吞吐量提高 30%,同次使单次推理的成本降低45%。亚马逊认为它们是目前市场上推理自然语言以及语音处理工作的最佳实例。
亚马逊的Alexa智能助手,或者说目前基本上所有的智能音箱,其本体也就是那个盒子对于听懂用户在说甚么是没甚么帮助的。假设小明向Echo音箱询问今天的天气,那么音箱就会把小明的语音实时发送到AWS(亚马逊网页服务)上。而在AWS的数据中心内,这段语音会被转化成文字,然后再从句子中抽取其真正的意思(或者它认为真正的意思)。在知道了句子的意思后,数据中心就会调取当天的天气信息并将这些讯息与一段预先设定好的脚本结合在一起,再把这整段脚本转成语音传送到小明的Echo音箱中播放。
上述的各项语音文字互相转换就是推理的成果,Alexa以及其他智能助手也是因为进行过庞大的推理训练才可以完成用户的指令,因此亚马逊会投资数百万去改进自己旗下的机器学习芯片也是可以理解的。