简介
人工智能 (AI) 即将进入一个新的阶段：机器将从人类用户的辅助转变成一种能自行设定目标、决定学习内容、决定学习方式和具备其他功能的自主智能主体。高度智能化的系统改变世界的潜力堪比以往几次工业革命带来的变化。毫无疑问，智能系统必将继续改变我们的生活；但问题是：将怎样改变，以及改变到什么程度？
什么是AI安全工程？
AI安全工程（或简称“AI安全”）是针对AI开发而提出的一个框架，结合机器伦理学与心理学、经济学、金融学和其他领域以用于：
-
扩大对机器伦理学的讨论，以涵盖弱人工智能、强人工智能和超人工智能
-
将近期和当前关于AI伦理学的讨论与开发通用智能机器的实用工程准则、流程和标准联系起来
-
针对性地解决智能系统中已知和潜在的漏洞来源
作为一个迅速发展的研究领域，AI安全的出现基于多个原因。首先，AI的成功并非仅仅以完成目标来衡量；成功的AI能够以符合人类价值观和偏好的方式来实现目标。回顾60多年来的AI发展，我们可以看到，机器的目标如果与人类的价值观和偏好不一致，迟早会导致AI失败。开发安全AI的核心，就是针对性地将这种不统一作为关键性的漏洞来解决。
其次，人工智能的最新进展已趋近弱人工智能系统的边界，这种系统可在给定背景下执行单项或狭义限定的任务。传感器、大数据、信息处理等方面的进步，尤其是机器学习方面取得的进展，使这些系统越来越具有类人性，其能力和用途都得到了扩展。因此，作为更高一级人工智能的强人工智能已经指日可待，而如果不优先考虑安全AI，其所带来的后果也已初露端倪。
安全AI的核心就是假定强人工智能将对人类构成威胁。解决AI安全问题并不是通过在任务或目标层面将人类的价值观和偏好传递给机器（这或许永远无法实现），而是力求：
- 以符合人类能力的方式限制记忆、处理和速度，并且/或者
- 优先考虑人类福祉、合作行为和为人类服务
这样一来，我们就能够确保AI的流程和目标在宏观层面上不违背人类，而非在微观层面上实现同样的目标。此举可以赋予机器一种对人类友善的秉性，并将其作为智能核心的一部分。
作为一种工程开发理念，AI安全将AI系统设计视为产品设计来对待，对产品责任的各个角度进行检查和测试，包括使用、滥用和潜在漏洞。（图1）显示了与AI安全迅速发展有关的定律和建议。
本系列还包含
AI安全工程学是一门新兴学科，许多内容尚待研究、讨论和总结。贸泽电子很高兴能推出这个系列，让AI工程师了解关键概念，并鼓励其参与当前发展：
第2部分
着重介绍我们从过去60多年AI发展中汲取的经验教训，那就是由于机器目标与人类价值观和偏好之间的不统一而导致AI失败。这部分还讨论了为什么将人类价值观和偏好传递给机器是一个不可解问题，指出了安全AI的必要性。
第3部分
讨论为什么需要AI安全的另一个理由：AI发展正在拓展弱人工智能 (ANI) 系统领域的边界，使强人工智能 (AGI) 指日可待。
第4部分
探讨了在实施AI安全方面的其他挑战：不可预测性、不可解释性和不可理解性。
第5部分
描述了AI安全将如何为工程带来改变。开发深入到用户价值核心的深度用例和检查智能漏洞是其中的两个关键主题。
第6部分
以关于使用“人工智障”来帮助我们开发安全AI的讨论作为结束。限制机器能力以及理解认知偏差是其中的关键主题。
Roman V. Yampolskiy博士是路易斯维尔大学 (University of Louisville) 计算机科学与工程系的终身副教授。他还是网络安全实验室的创始人和现任主任，并著有多部著作，包括《Artificial Superintelligence: a Futuristic Approach》。
感谢大家对贸泽的支持，
新一期智能革命有奖调查来咯，
简单填写即有机会赢取50元京东券~
速戳“立即参与”！
