热搜: irobot  佳士科技  机器人  开云电竞官网下载app   机器人产业联盟  ABB  发那科  机械手  机器人展览  码垛机器人 

专治 AI 大模型对错误答案“过于自信”,麻省理工学院提出新型高效低耗校准方法

   日期:2024-08-01     来源:IT之家     评论:0    
标签: AI 科技 创新
 人们正在越来越多地使用大模型完成各种任务,不论是翻译、总结文章还是识别金融诈骗,大模型都是“无所不包”。尽管这些模型都具有“惊人”能力,但它们偶尔也会生成错误答案,并对错误答案过于自信、对正确答案信心不足,使用户对大模型是否值得信任表示怀疑。
 
据 MIT NEWS 报道,麻省理工学院(MIT)和 MIT-IBM Watson AI Lab 的研究人员提出了一种专为大型语言模型量身定制的校准方法。他们的方法被称为“温度计”,其原理是在大语言模型之上构建一个较小的辅助模型来对其进行校准。

cfcda870-06a4-4068-9698-4d4bb1ed5cc1
图源 Pexels
 
据悉,这种被叫作“温度计”的方法所需的计算能力更少,但同时又能保持模型的准确性,并使其能够在未曾遇到过的任务中做出更好的校准响应。
 
通过针对各种任务对大语言模型进行高效校准,“温度计”可以帮助用户找出模型对错误预测过于自信的情况,最终防止用户在可能失败的情况下部署该模型。
 
有关论文的第一作者、麻省理工学院电子工程和计算机科学研究生沈茂豪(IT之家注:音译)表示,“我们希望向用户提供一个明确的信号,告诉他们模型的回应是准确还是不准确,以反映模型的不确定性,让他们知道模型是否可靠。”
 
借助“温度计”,研究人员开发出了一种多功能技术,利用一种被称为“温度缩放”的经典校准方法,为新任务有效地校准大语言模型。在此背景下,“温度”是一个缩放参数,用于调整模型的“信心”以与其预测准确性一致。
 
研究人员训练了一个辅助模型,该模型在大型语言模型之上运行,自动预测校准新任务所需的“温度”。“温度计”只需要访问大型语言模型内部的一个小部分,就能预测出特定任务数据点的正确“温度”,以校准其预测。
 
该团队希望未来使“温度计”支持更复杂的文本生成任务,并将该技术应用于更大的大型语言模型。
 
 
声明:凡开云电子链接 来源注明为其他媒体来源的信息,均为转载自其他媒体,并不代表本网站赞同其观点,也不代表本网站对其真实性负责。您若对该文章内容有任何疑问或质疑,请立即与开云客户(www.www.wykobounce.com)联系,本网站将迅速给您回应并做处理。
电话:021-39553798-8007
更多>相关开云电子链接
0相关评论

推荐图文
推荐开云电子链接
点击排行