在最新研究中,参与者佩戴一顶帽子,通过EEG记录头皮的脑电活动,同时默读文本段落。EEG波被分割成不同单元,从人脑中捕捉特定的特征和模式,这一任务由研究人员开发的DeWave模型完成。DeWave模型通过从大量的脑电图数据中学习,将脑电图信号翻译成单词和句子。
研究人员指出,这是科学家首次将离散编码技术纳入大脑思想转化为文本的翻译过程。为此,他们引入了一种创新性的神经解码方法。最新技术与大型语言模型的集成,也为神经科学和人工智能开辟了新的前沿。
以前将大脑信号转换为语言的技术要么需要在大脑中植入电极,比如埃隆·马斯克的Neuralink,要么需要借助磁共振成像(MRI)设备扫描大脑,而MRI机器体积大、价格贵,难以在日常生活中使用。此外,这些方法也很难在没有眼动追踪辅助的情况下将大脑信号转换为单词级片段,因此限制了这些系统的实际应用。而最新技术既可使用眼动追踪,也可不使用眼动追踪。
最新研究共有29名参与者,这意味着它或许能比以前只在一两个人身上测试过的解码技术更强大、更具适应性,因为不同人之间的脑电波不同。
借助佩戴的帽子而非从植入大脑的电极接收EEG信号,意味着信号的噪音更多。但研究结果显示,新系统在脑电图翻译方面的表现超过了之前的基准。这项研究已被选为12月12日在美国新奥尔良举行的NeurIPS会议的重点论文,该会议旨在展示领先的人工智能和机器学习研究成果。