按细分领域划分,早前围绕安全的主要话题在网络层面。但近年随着数据量提升、数据泄露变得常见,数据安全产品、服务随之成为产业热点。而如今,伴随生成式AI、大模型的出现,AI安全紧跟成为最被关注的议题。
在日前举办的2023西湖论剑·数字安全大会上,36氪观察到,不少行业专家在谈论数据安全的同时,同样热议AI安全。
安恒信息董事长范渊在2023西湖论剑·数字安全大会上表示,实战化是安恒的基因之一。在过去的护网、重大活动安保过程中,安恒通过总结自己的经验,沉淀出实战化模型。"我们这两年发现,AI+安全大脑在网络战形势下的价值越来越高。"范渊表示。
而针对最新出现的、生成式AI的安全,范渊总结,当前出现了几个新挑战和机遇:首先,AI和大模型本身会存在不少安全风险;另外,ChatGPT这类
应用会给自动化生成网络安全工具和病毒木马后门带来几百倍的效率提升;同时,AI+安全的智能化应用,也会为智能防护和响应带来更大的机遇和成果。针对这些变化,范渊表示,安恒现在正在用相关海量数据和多个场景模型,在AI安全这个中模型上,覆盖产品、平台和服务3个维度,形成安全大脑。
"AI+安全,这个大幕刚刚拉开,未来还有更大的可能性。"范渊总结。
在会议中,中科院信息工程研究所副所长、大数据安全研究室主任王伟平教授同样介绍了生成式人工智能数据安全风险分析和对策。王伟平总结,生成式人工智会带来数据安全、内容安全、意识形态安全等方面的问题。
他认为,目前的生成式人工智能还是一个黑盒,人们无法很好地保障可解释性。这种情况下,首先社会应该加强对个人安全风险意识的宣贯,尽量避免个人信息透露给AIGC;第二,要对社交媒体上虚假信息内容进行辨别,从源头上避免给AIGC灌输一些负面、虚假的输入;同时也要加强涉密人员、涉密领域、涉密场所和涉密设备的监管,防止和ChatGPT类似系统产生关联。
另外他还强调,应同时促进AIGC技术和安全防护技术的创新,因为在这个领域,"不发展就是最大的不安全"。他举例,现在大家可以从输入和输出方面来抑制模型生成负面信息,并对人工智能智能生成的内容进行标记、鉴别、检测和溯源。
在垂直场景方面,浙江工业大学网络空间安全研究院副教授徐东伟,分享了自己对自动驾驶领域安全的观察。
他介绍,自己的团队在研究过程发现,自动驾驶所涉及的
图片、
视频或者语音智能感知算法存在一定脆弱性。"在输入过程中添加非常微小的、人耳听不到的噪声,就会对智能算法产生一个非常极端的影响。"他表示,这可能会导致车辆误判指令,从而对安全性产生影响。
而在数据层面,徐东伟表示,在智能网联场景下的车辆轨迹预测或者车辆控制中,如果缺失或者数据不含噪声,也会对控制算法、轨迹预测算法产生非常大的影响,也就是"鲁棒性会很差"。
同时,如果基于联邦学习或者区块链构建数据安全共享机制,虽然数据共享会比较安全,但如果数据本身不准确,模型也会受到攻击,同样对最终产生的决策产生攻击。
针对这些问题,徐东伟表示,未来他的团队会关注三个方面:第一是如何基于AI设计车联网的有效应用。第二是在车联网应用过程中,如何从数据安全和模型安全两方面保证车联网应用的安全。第三是在测试的前提下,如何进一步研究车联网应用过程中的鲁棒增强和有效的安全防护。
总结来看,AI安全虽是新鲜事物,但从技术逻辑拆解,与会专家大多认为AI安全和数据安全存在一些相通之处。针对数据安全,范渊表示,安恒早前就一直强调应用安全、数据安全,未来在数据安全方面也会持续投入。
“公司今年一季度收入同比增长44%,是很健康的。而在三年前,我们就募资投入到数据安全治理、数据安全防护、数据安全应用、数据要素的研究中。所以过去这两年可能也会感觉到好像利润会受到影响,但是我觉得未来的十年是非常重要的。”范渊在采访中表示。