Pomerleau手握一辆经过特别改装的悍马军车的方向盘在城市中行驶。当时，他是美国卡内基·梅隆大学
机器人专业的研究生。而与他同行的是一台经过其编程的计算机，后者能通过摄像机查看路况，解读交通状况，并记下Pomerleau对各种状况的应对方式。Pomerleau希望这台机器最终能自己掌握方向盘。
在每次行程中，Pomerleau都会先对系统做几分钟训练，然后让它自行驾驶。一切似乎都进展顺利，直到有一天，悍马在一座桥头突然偏向一侧。他敏捷地抓住了方向盘，避免了一场事故。
回到实验室，Pomerleau试图弄清电脑哪里出错了。“我论文的部分内容就是打开黑匣子，搞清楚电脑在想什么。”他解释道。但该怎么做？他将计算机功能编程为“神经网络”—— 一种以大脑为原型的人工智能（AI），它有望比常规算法更适合应对复杂的现实情况。
不幸的是，神经网络和大脑一样是不透明的。它也没有将学到的东西条理清晰地储存在数字记忆中，而是以一种极难解的方式散布信息。在全面测试了软件对各种视觉刺激的反应后，Pomerleau才发现了问题：他的“神经网络”一直在使用长草的路沿作为道路方向的指示，因而被桥的出现所迷惑。
打开黑匣子
25年后，破解黑匣子的难度呈指数上升。但该AI技术本身的复杂性和
应用范围也经历了爆炸式增长。现在，Pomerleau在卡内基·梅隆大学兼职教授机器人学，他说，比起今天计算机上的巨型神经网络，他的系统只能算是个简陋的低配版。用海量数据训练AI深度学习的技术也已投入各种商业应用，从自动驾驶汽车到根据用户的浏览历史推荐商品的网站，都能见到它的身影。
该技术还有望在科研中大显身手。未来的射电天文台也需要深度学习，寻找值得探测的信号，否则将无法处理海量信息；引力波探测器需要用它理解和排除最微弱的噪声源；出版商将会用它检索和标记数以百万计的研究论文和书籍。
一些研究者认为，能进行深度学习的计算机最终或能表现出想象力和创造力。“把数据交给机器，它便会推理出自然法则。”加州理工学院物理学家Jean-Roch Vlimant说。
但这些进展只会让黑匣子问题显得更突出。例如，这些机器如何找到有价值的信号？人们怎样才能确定机器是对的？人们对深度学习的信任应到什么程度？
“在这些算法面前，我觉得我们正在丢失阵地。”哥伦比亚大学机器人专家Hod Lipson表示。他把这比作外星生物，它们不只看到红、绿、蓝三原色，还有第四种颜色，要想让人类理解它们看世界的方式，或是让外星人向人们解释其方式都非常困难。计算机向人们解释问题也面临类似困难。“在某种程度上，这就像给狗解释莎士比亚的作品一样”。
面对这些挑战，AI研究者采取了和Pomerleau一样的应对方式——打开黑匣子，用相当于神经科学研究的方式理解其中的网络。但欧洲核子研究中心（CERN）物理学家Vincenzo Innocente表示，答案无法让人豁然开朗。Innocente是在粒子物理学领域应用人工智能的先锋，他提到，“作为科学家，我对仅仅将小猫和小狗区分开来是不满意的，科学家会希望能说出区别到底在哪里”。
卷起袖子做硬科学
历史上第一个人工神经网络出现在上世纪50年代初，几乎与有能力执行算法的计算机同时产生。人工神经网络的思路是模拟排列成不同层次的小计算单元（也就是“神经元”）与大量数字“突触”相连。底层的单元会收集外部数据，然后将信息传递给下一层次的单元。这些单元随后会根据简单数学法则整合输入的数据，然后将结果向上传递。顶层最终会给出答案，比如判断图形到底是猫还是狗。
这类网络的优势在于其学习能力。有了附带正确答案的训练数据集，该网络便能调整每层连接的强度进而提升其表现，直到顶层的输出结果也是正确的。这一过程模拟了大脑通过强化或弱化突触学习的过程，最终得到能成功归类非训练集数据的网络。
但这种学习方式也是网络中信息分散的原因：就像人脑，记忆是在许多连接中编码的，而非储存在固定位置。“你手机号的第一位存在大脑的哪里？也许是在一堆突触中，也许离存储号码其他数字的地方不远。”加州大学欧文分校机器学习专家Pierre Baldi说。
对需要在各自学科中处理大数据的科学家而言，这使得深度学习成了一种需谨慎使用的工具。为了理解原因，英国牛津大学计算机学家Andrea Vedaldi让人们想象这样的情景：在不久的将来，人们用乳房X光片训练深度学习网络。经过训练后，一位外表健康女性的乳腺组织在机器“看来”或许已经有了患癌的迹象。“该网络或许暗中学会了辨认标志物能预测癌症。”他说。
但如果机器无法解释它是怎么知道的，Vedaldi说，就会给医生和病人带来严重困扰。对女性来说，因为会显著提升乳腺癌风险的遗传变异而选择乳房切除术已经够难了，但如果连风险因素是什么都不知道，做这样的选择就更困难了。
2012年，一些团队开始研究这类黑匣子问题。加拿大多伦多大学机器学习专家Geoffrey Hinton领导团队参加了一场计算机视觉竞赛，他们首次表明，从含有120万张图像的数据库中分类照片，深度学习法强于任何其他AI方法。
为了探索这一点是如何实现的，Vedaldi团队反向运行了Hinton的算法，使用了事先经过训练的网络，试图重建产生这些解读的图像。这有助于研究者识别出机器是如何表现不同特征的。这就好像是在询问检测癌症的网络：“你认为这张乳房X光片上的哪个部分是癌症风险的标志物？”
不过2014年，怀俄明大学计算机科学家Jeff Clune团队使用了能放大所有神经元而不仅仅是顶层神经元反应的方法，并发现黑匣子问题可能比人们之前所想的更为严重：神经网络很容易被在人类看来是随机噪声的图像，或是抽象的几何图形愚弄。
研究者提出了一些方法解决愚弄问题，但目前还没有找到通用方法。在现实生活中，这很可能潜藏着危险。Clune说，尤为令人恐慌的是，黑客也能学会利用这些漏洞，他们可以让自动驾驶汽车认为广告牌是公路而一头撞上去。“我们得卷起袖子做硬科学研究，让机器学习更强大、更智能。”Clune总结道。
放开双手
去年，英国剑桥大学机器学习研究者Zoubin Ghahramani发表了一种能将数据科学家工作自动化的算法——从检查原始数据到写论文都能完成。该软件名叫自动统计学家，能发现数据集中的趋势和异常，呈现结论，其中还包括对推论方式的详细解释。Ghahramani提到，这样的透明度对科学应用来说至关重要，对许多商业应用也很重要。
但黑匣子也会引发担忧。大数据公司Arundo Analytics的数据科学主管Ellie Dobson表示，许多机构都有类似的关注。例如，如果调整英国利率造成了不好的后果，“英格兰银行总不能说，‘是黑匣子让我这么干的’。”她说。
计算机科学家认为，尽管存在种种担忧，但开发透明AI应被视为深度学习方法的补充，而不是替代。他们表示，一些透明方法或许适用于已经被描述为一系列抽象事实的问题，但并不适用于感知，也就是从原始数据中提取事实。
无论如何，这些研究人员指出，机器学习给出的复杂答案是必不可少的科学工具，因为真实世界就是非常复杂的。例如，对天气或是股票市场来说，综合、简化的描述可能并不存在。“有一些事情是无法用语言描述的。”巴黎综合理工学院应用数学家Stéphane Mallat说，“如果你问医生是如何做诊断的，医生会告诉你一些理由，但人们为什么要用20年才能成为优秀的医生呢？因为信息不仅仅在书本中。”
Baldi认为，科学家应该拥抱深度学习技术，而不必太介意黑匣子问题。毕竟，所有人的脑袋里都有一个黑匣子。“人们一直在使用大脑，也始终相信大脑，但并不知道它是怎么工作的”。
