机器

简介

AI研究人员开始将AI安全工程设计面临的主要挑战列为过去60年AI失败的主要原因，例如价值观对接问题。同时，另一个现实问题也暴露出来：机器越智能，人们预测、解释和理解其影响的能力就越差。

不可预测性

AI的不可预测性是指我们无法准确、连贯地预测系统将采取哪些具体措施来实现其目标。例如，在一场智能国际象棋比赛中，我们可以预测AI将获胜（如果这是它的目标），但是我们无法预测AI为了取胜具体会怎样走棋。这种情况的后果还无关紧要，但随着目标的智能性和复杂性增加，不可预测性也会随之放大。如第2部分所述，假设通过AI来帮助治疗癌症，理论上讲，它可以把杀死人类算作把病治好了。