人工智能安全研究

刘安 郭新海 丁攀

摘要：随着人工智能技术的不断突破，人工智能在应用领域取得了突出成就。尤其是深度学习、软件框架的出现，极大推动了人工智能的发展及应用。人工智能造福人类的同时，其安全也被给予了更多的关注。本中从三个方面阐述了人工智能的安全体系：人工智能内生安全、人工智能应用安全和人工智能助力安全。其中，人工智能内生与应用安全表现为人工智能所带来的安全风险，人工智能助力安全则体现在人工智能赋能网络安全防御。

关键词：人工智能；内生安全；应用安全；助力安全;

2. 背景

人工智能(Artificial Intelligence),英文缩写为AI，是一门由计算科学、控制论、信息学、神经生理学等多种学科相互渗透而发展起来的综合性的新学科。人工智能起源于1956年，发展到现在已经得到广泛的应用，军事、金融、信息等几乎各个产业，都能看到人工智能的踪迹。人工智能的发展不是一蹴而就的，也经历了起伏的发展。人工智能总体上经历了三次突破性的进展：第一次是上个世纪60年代，之前人工智能还是停留在理论阶段，这个时期人们尝试将人工智能理论应用到了实际中时，切实感受到人工智能蕴含的巨大能量，开始从理论向实际逐步推进；第二次是上世界八九十年代，当时受日本“第五代机”项目的影响，该项目致力于研究像人一样的推理机器人，中国也将人工智能相关技术列入国家“863计划”中去，确定其重点地位；第三次则是近几年，深度学习以及软件框架的出现，极大推动了人工智能的发展及应用，掀起人工智能的高潮。

人工智能在各个领域大放光彩，军事、交通、信息、医疗等各行各业，都能深切感受到人工智能所带来的福利。世界各国也在致力于人工智能的研究，更多的造福于社会。任何新技术的出现，其安全性必然越来越凸显，人工智能也不例外，其安全也越来越被关注。人工智能安全体系体现在两个层面：一方面，人工智能技术本身的安全性以及应用的安全性，这是任何技术都不可避免的，只有充分认识其安全问题，才能更好的发挥其作用。另一方面，人工智能可以赋能安全防御，将人工智能的能力引入到网络安全中，解决传统防护手段的弊端，更好的对网络进行安全防护。

图1人工智能安全体系

3. 人工智能内生安全

（1）数据安全

人工智能依赖海量的数据进行训练，数据贯穿于人工智能的整个生命周期。数据的安全性直接关联人工智能的结果。影响数据安全的因素主要有三个：数据集质量、数据投毒以及对抗样本。

（2）算法安全

错误的算法设计或者实施方式会使训练后的模型严重偏离预期效果，当应用到实际中时，会造成重大事故。例如美国优步自动驾驶汽车由于不能正确识别行人，撞到一名中年女性不治身亡。谷歌和OpenAI的研究机构对算法安全进行了总结和分类，包括三种类型：算法定义了错误的目标函数；定义了计算成本过高的函数；算法模型不能完全表达实际情况。

（3）框架和模型安全

深度学习框架的出现，使得人工智能飞速发展，并广泛应用到各个领域，尤其是深度学习框架的出现，集成的API为快速开发提供了便利，大大降低了人工智能的门槛。目前比较流行的深度学习框架主要有TensorFlow、Caffe、Keras、Theano 等，这些框架也会依赖许多比较流行的库，框架和库之间复杂的依赖关系会导致很多安全隐患。例如Caffe依赖libjasper、OpenCV等视觉库，CVE-2017-9782中libjasper安全漏洞以及CVE-2017-12599中的OpenCV中的安全漏洞，都会导致Caffe框架出现安全问题。

4. 人工智能应用安全

人工智能在各行各业都受到不同程度的青睐，在其广泛应用的过程中，其应用的安全问题也凸显出来，给生产和生活带来很多困扰，逐渐引起人们的重视。只有充分认识到人工智能在应用方面的安全隐患，才能有效避免此类问题。

（1）人工智能系统故障引起安全事故

当人工智能系统应用于人身安全的领域时，一旦发生故障，将对人类的生命安全造成威胁。例如Uber自动驾驶失效，导致一名女性死亡；大众的德国工厂里智能机器人失效导致技术工人身亡；医疗人工智能给出了不安全的医疗建议等。如何对人工智能系统故障给出合理性的解释，怎样有效保证人工智能系统失效后人身安全，这些问题不能很好的解决，将会成为人工智能发展的一个瓶颈。

（2）对国家和社会造成的安全问题

优秀的算法加上大量样本的训练和验证，能够使人工智能具有人的思维，代替手工劳动者完成一些简单的工作。对于传统密集型行业，工作具有重复性和单一性的特点，这给人工智能一个很好的发挥空间，能够高效完成许多工作。企业纷纷转型，降低成本，削减劳动力，导致一些靠手工劳动为生的人们失去工作，引起社会上的不安定因素。此外，人工智能发展的同时，法律法规并没有健全，一旦出现人工智能引起的事故纠纷，没有法律依据进行追责。例如自动驾驶的交通事故、智能机器人的误诊、工业机器人失控造成人员伤亡等，谁应该成为事故的主要责任人，此类问题也是人工智能在发展中必须解决的问题。

人工智能技术在应用中的安全问题越来越明显，任其发展会对人类带来灭顶之灾。减少人工智能的安全隐患，不仅需要从技术层面解决人工智能潜在的安全问题，更需要法律法规、道德和政策等层面的约束，引导人工智能造福于人类。

5. 人工智能助力网络安全

（1）人工智能技术的优势

人工智能技术具有强大的处理模糊信息的能力。当前处于信息爆炸的时代，每天都有各种信息在网上传输。攻击者为了达到目的，利用各种伪装手段精心构造攻击包，让用户防不胜防。用户会面临各种各种未知的情况，未知的信息来源，未知的文件，未知的安全性等，传统的安全防御不能有效鉴别这种信息的危险性。人工智能可以对未知信息进行模糊检测、处理和推断，对未知信息的构成的进行分析，发现蕴藏在其中的威胁，从而有效的避免网络安全威胁。

人工智能具有独特的学习和推理能力。互联网具有海量的信息，信息之间往往不是孤立的，具有一定的关联性和相似性，人工智能技术可以对这些信息进行归纳推理，为网络安全提供数据支持。并且能够通过不断的自学习，提升自身的推理能力，更好的为网络安全服务。

（2）人工智能技术在网络安全中的应用

利用人工智能技术进行复杂数据的分析。网络安全、业务安全、信息安全等领域，涉及到病毒、攻击报文、图片、文本等信息呈现出爆炸式增长趋势。传统的防护设备无法对海量信息进行分析处理，需要引入人工智能进行分析。例如专家系统、垃圾邮件检测技术、异常行为检测技术等，都是通过检测海量信息，鉴别出安全威胁。

6. 结束语

人工智能技术是21世界最热门的领域之一，在各行各业中都能看到人工智能的痕迹，极大促进了经济的发展和社会的进步。人工智能技术在给全人类带来福利的同时，其安全问题也不容忽视，如何正确看待人工智能的安全问题以及如何解决这些问题，将对人工智能的发展有着重要的意义。我们不能只顾发展，不重视问题。也不能因噎废食，抛弃人工智能技术。人工智能技术在规避自身安全性的情况下，广泛应用于网络安全领域，实现网络安全防护的智能化，助力网络安全。

参考文献：

[1] Szegedy C , Zaremba W , Sutskever I , et al. Intriguing properties of neural networks[J]. Computer ence, 2013.

[2] Carlini N，Wagner D. Audio Adversarial Examples: Targeted Attacks on Speech-to-Text[C]//IEEE Symposium on Security and Privacy Workshops,2018

[3]刘红英.人工智能技术在网络安全防御中的应用探析[J].科学技术创新,2019(34):87-88.

[4]王懿.人工智能技术在信息安全领域中的应用研究[J].海峡科技与产业,2019(05):112-113.

[5]方滨兴，《人工智能安全》，中国工信出版集团、电子工业出版社，2020年6月第1版.