神经网络学习方法的灵感来源于大脑的运作,但大脑的学习方式与深度学习的运作方式存在根本性的差异。一个关键区别在于每种方法所采用的层数。
深度学习系统通常有很多层,有时多达数百层,这使它们能够有效地学习复杂的分类任务。相比之下,人脑的结构要简单得多,层数也少得多。尽管大脑的结构相对较浅,其处理过程也更慢、更噪,但它却能高效地处理复杂的分类任务。
大脑浅层学习机制研究
推动新研究的关键问题是大脑高效浅层学习的可能机制--它能使大脑以与深度学习相同的准确性完成分类任务。以色列巴伊兰大学(Bar-Ilan University)的研究人员在发表于《物理学报》(Physica A)的一篇文章中,展示了这种浅层学习机制如何与深度学习竞争。
资料来源:巴伊兰大学伊多-坎特(Ido Kanter)教授
巴伊兰大学物理系和Gonda(Goldschmied)多学科大脑研究中心的伊多-坎特(Ido Kanter)教授领导了这项研究,他说:"与其说大脑是一个像摩天大楼一样的深层结构,不如说它是由一个宽广的浅层结构组成的,更像是一栋非常宽的大楼,只有很少几层。"
"大脑结构越深,层次越多,正确分类物体的能力就越强。相比之下,大脑的浅层机制表明,更宽的网络能更好地对物体进行分类,"这项研究的主要贡献者之一、本科生罗尼特-格罗斯(Ronit Gross)说。"更宽和更高的架构代表了两种互补机制。 不过,要实现模仿大脑动态的超宽浅层架构,需要改变先进 GPU 技术的特性,因为该技术能够加速深度架构,但在实现宽浅层架构时却失灵了。
编译来源:ScitechDaily