和其他通用技术一样，近年来，人工智能技术在高歌猛进的同时，也带来了新的风险和隐患。中国科学院院士张钹表示，人工智能的发展正站在历史新起点，伴随算力、数据等条件的具备以及机器学习等技术的进步，人工智能在计算机视觉、自然语言处理等众多领域取得长足发展，各行各业
应用蓬勃兴起。与此同时，以数据驱动的第二代人工智能的可解释性、鲁棒性等方面的缺陷也暴露出来，安全事件频频发生。
在现实生活中，人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大，风险发生的可能性也随着其应用频次的增长而持续提高。人脸识别破解演示所揭示的正是人工智能系统的风险，它来自深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”，具有不可解释性，意味着系统存在结构性漏洞，可能存在不可预知的风险，典型场景就是“神奇贴纸”，通过在输入数据中添加扰动，使系统作出错误判断。
这一漏洞也存在于自动驾驶感知系统中。在正常情况下，识别到路障、指示牌、行人等目标后，自动驾驶车辆就会立即停车，但在对目标物体上添加干扰图案后，车辆的感知系统就会出错，导致碰撞危险。
统筹发展和安全，是每项新技术发展过程中面临的必然问题，如何实现高水平发展和高水平安全的良性互动，也是当前人工智能产业发展的重大命题。专家认为，从目前来看，重视人工智能安全体系建设，既是当务之急，也是长远考虑，需加快促进人工智能安全领域关键技术研究与攻防实践。
人工智能对抗攻防包括对抗样本、神经网络后门、模型隐私问题等多方面技术。模型有错误就需要进行及时修复，中国科学院信息安全国家重点实验室副主任陈恺提出“神经网络手术刀”的方法，通过定位引发错误的神经元，进行精准“微创”修复。他表示，不同于传统的模型修复工作需要重新训练模型或者依赖于较大量的数据样本，这种方式类似于“微创手术”，只需极少量或无须数据样本，能够大幅提升模型修复效果。
开放环境下的人工智能系统面临诸多安全挑战，如何解决通用人工智能算法全周期的安全保障问题成为重中之重。专家建议，未来的人工智能安全应该围绕从数据、算法到系统各个层次上的全面评测，同时配合一个从硬件到软件的安全可信计算环境。
人工智能安全治理需要广泛协作和开放创新，需加强政府、学术机构、企业等产业各参与方的互动合作，建立积极的生态规则。工商银行金融研究院安全攻防实验室主管专家苏建明建议，在政策层面加快人工智能的立法进程，加大对人工智能服务水平、技术支撑能力等专项监督的考核力度。在学术层面加大对人工智能安全研究的激励投入，通过产学研合作模式加快科研成果的转化与落地。在企业层面逐步推动人工智能技术由场景拓展向安全可信发展转变，通过参与标准制定，推出产品服务，持续探索人工智能安全实践及解决方案。
此外，在人工智能的全生命周期，不仅存在算法层面的安全性问题，算力作为人工智能发展的重要基础设施，也面临诸多风险，推动人工智能算力基础设施安全发展具有重要意义。由国家工业信息安全发展研究中心与华为、北京瑞莱智慧共同发布的《人工智能算力基础设施安全发展白皮书》认为，人工智能算力基础设施既是“基础设施”又是“人工智能算力”，同时也是“公共设施”，具有基建属性、技术属性、公共属性三重属性。相应地，推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力，通过强化自身的可靠性、可用性与稳定性，保障算法运行时的机密性与完整性，围绕提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线，打造可信、可用、好用的人工智能算力底座，营造安全、健康、合规发展的人工智能产业生态。
“锚定怎样的发展理念，选取怎样的技术路线使下一代人工智能实现安全、可信、可靠的发展，将是我们这代人为未来智能世界绘制的蓝图底色。”张钹表示，“多年来我们一直倡导构建第三代人工智能，即融合知识、数据、算法、算力四个要素，建立新的可解释、鲁棒的人工智能方法。”从长远看，人工智能的安全问题，需要从算法模型的原理上突破，唯有持续加强基础研究，才能破解核心科学问题，同时，人工智能的未来发展需确保对整个社会、国家发展的有效性和正向促进性，需要政产学研用多方协同共进。
