首先,现有深度学习技术的知识建模存在不可解释的缺陷,损害了深度学习技术的可信性。由于深度模型的高度复杂性和不透明性,人类无法直观地理解深度模型建模的知识及如何利用这些知识做出决策。因此,人类无法判断深度模型所建模的知识是否正确和可靠,导致无法对深度模型的决策抱有完全的信任。该缺陷阻碍了深度学习在传统行业的广泛普及,例如丹麦一家医院发现,
机器人医生在许多病例上与医院的肿瘤医生意见相左,并且无法解释其决策是合理的。为此,医院最终弃用了该机器人医生项目。
此外,现有深度学习技术的对抗鲁棒性和泛化能力等表达能力存在缺陷,导致深度模型的可靠性与安全性受到了广泛质疑。对抗鲁棒性问题是指攻击者可利用微不可查的攻击,造成模型失灵,导致难以预见的后果。例如,现有研究发现,攻击者可以通过在路标指示牌上贴极小的贴纸,使得自动驾驶系统将“停止”路标错误地识别为“通行”路标。泛化能力问题是指即使深度模型能够在训练场景中表现优秀,却在真实
应用场景中性能大打折扣的问题。例如,在简单的仿真交通场景下表现良好的自动驾驶系统,却在城市内真实的复杂道路交通场景下(如恶劣天气、目标高度遮挡等)频频出错。
对抗鲁棒性和泛化能力等表达能力的缺陷,导致了深度学习技术在应用领域中尤其是自动驾驶、智能医疗等容错率低的关键应用中的潜在安全隐患。前人研究尚无法解决上述系统性缺陷,往往通过盲目地调整深度模型中的大量参数,以期在多次经验性尝试中,侥幸取得一个表达能力(如对抗鲁棒性、泛化能力)相对更优的模型。如何从理论层面出发,针对性地设计或优化深度模型,保证深度模型表达能力的可靠性、安全性与可控性,仍然是整个深度学习领域的瓶颈性难题。
可信人工智能,是关系到人工智能长远发展的关键问题。然而,可信人工智能的大多数现有研究仍停留在经验性算法的层面,如可视化深度模型,即展示深度模型所建模的知识/特征的客观形象;或发展各种经验性方法提升深度模型的鲁棒性、泛化性、公平性等。
现有研究对可信人工智能领域中几大关键性、根本性的瓶颈问题却少有涉及与探索。这些问题可被总结为两个关键共性问题:如何严谨地解释深度模型所建模的知识,以确保深度模型的透明性和可信性?如何探索深度模型表达能力的理论本质,从而针对性地指引深度模型的设计与优化,从根本上解决深度模型在表达能力上的缺陷?
针对上述瓶颈性问题,我们的科研团队基于博弈交互理论提出了一套统一的理论体系,做出了一些突破性的尝试。
针对第一个问题,该体系首先回答了什么是深度模型所建模的知识点。具体地,将深度模型所建模的知识,数学定义为人类可理解、效用可量化的一类符号化推理规则,并通过多条公理性质验证该符号化规则的严谨性。进一步,该体系回答了深度模型如何利用知识做出决策。在理论层面将深度模型的最终决策,精准地解释为深度模型所建模的众多知识的效用之和。该体系统一了14种对深度模型知识的经验性解释方法的内在机理,揭示了这些算法的公共本质,证明了该理论体系的通用性。
针对第二个问题,该体系初步探索了什么是决定深度模型表达能力的本质因素。第二个问题是深度学习理论的根本问题之一,极富挑战性。深度模型的表达能力受众多指标(如深度神经网络的层数、参数数量等)的复杂影响。同时,这些指标往往是综合性指标,蕴含了许多与表达能力无关的冗余因素。因此很难从这些复杂的综合性因素中,提取出影响深度模型表达能力的本质因素。
为解决此问题,该体系采用了一种新颖的解决思路。该体系发现和证明了12种提升对抗迁移性算法具有相同的内在机理,总结了多种经验性的对抗攻击算法的内在规律,一定程度上揭示了决定深度模型对抗迁移性、对抗鲁棒性的本质因素。
在未来的五到十年里,可信人工智能将成为人工智能领域的核心议题之一。它的发展,有望引领人工智能从当前的工程性技术,逐步发展为具有坚实理论基础的科学。如何全面实现透明可解释、可控可靠、责任明晰的可信人工智能,仍需要科技工作者们的大量研究与探索。
张拳石,上海交通大学约翰霍普克罗夫特计算机科学中心长聘教轨副教授,博士生导师,入选国家级海外高层次Kaiyun官方网站app登录 引进计划,获ACM China新星奖。他于2014年获得日本东京大学博士学位,于2014-2018年在加州大学洛杉矶分校(UCLA)从事博士后研究,主要研究方向包括机器学习和计算机视觉。其研究工作主要发表在计算机视觉、人工智能、机器学习等不同领域的顶级期刊和会议上(包括IEEE T-PAMI、ICML、ICLR、CVPR、ICCV、AAAI、KDD、ICRA等)。近年来,张拳石在神经网络可解释性方向取得了多项具有国际影响力的创新性成果。张拳石承担了ICPR 2020的领域主席,CCF-A类会议IJCAI 2020和IJCAI 2021的可解释性方向的Tutorial,并先后担任了AAAI 2019,CVPR 2019,ICML 2021大会可解释性方向的分论坛主席。
