zhangulei
干部。干是一种美德。
- 注册
- 2018-01-06
- 消息
- 6,850
- 荣誉分数
- 1,323
- 声望点数
- 223
人工智能缺陷与误觉：让机器产生幻觉的“怪异事件”
琳达·格迪斯Linda Geddes
Image copyrightGETTY IMAGES
乘客看到了停车标志，突然感到一阵恐慌，因为他坐的汽车反而开始加速。当他看到前面的铁轨上一列火车向他们疾驰而来时，他张开嘴对前面的司机大声喊叫，但他突然意识到汽车前坐并没有司机。列车以每小时125英里的速度撞上来，压碎了这辆自动驾驶汽车，乘客当场死亡。
这个场景是虚构的，但是凸显了当前人工智能框架中一个非常真实的缺陷。在过去的几年里，已经有越来越多的例子表明，机器可以被误导，看见或听见根本不存在的东西。如果出现“噪音”会干扰到人工智能的识别系统，就可能产生误觉。在最坏的情况下，他们可能会因“幻觉”导致上面一样危险的场景，尽管停车标志在人眼中清晰可见，但机器却未能识别出来。
Image copyrightKEVIN EYKHOLT ET AL
Image caption“停止”标志上一些简单的贴纸就足以使机器视觉算法看不见这个告示，而在人类的眼中依然显而易见。
人工智能领域工作者将这些小故障描述为“对抗性的例子”，或者有时更简单地说是“怪异事件”。
美国麻省理工学院（Massachusetts Institute of Technology）的计算机科学家阿塔利（Anish Athalye）表示：“我们可以把这些东西看作是人工智能网络会以某种方式处理的输入信息，但机器在看到这些输入信息后会做出一些意想不到的反应。”
看物体
到目前为止，人们主要关注的是视觉识别系统。阿塔利自己已经证明，将一张猫的图像稍加改动，人眼看来仍是一只标准的猫，却被所谓的神经网络误解为是鳄梨酱。神经网络是一种机器学习算法，极大地推动了现代人工智能技术的发展。这类神经网络视觉识别系统已经被用来增强你的智能手机的能力，让手机在不被告知是谁的情况下对你的朋友照片进行身份标记，或者识别你手机照片中的其他物体。
最近，阿塔利和他的同事们把注意力转向了实际物体。发现只要稍微调整一下它们的纹理和颜色，他的团队就可以骗过人工智能，把这些物体认作别的东西。在一个案例中，棒球被误认为是一杯浓缩咖啡，而在另一个案例中，3D打印的海龟被误认为是步枪。还有其他例子，他们制造了约200个3D打印物体，这些物体以类似的方式欺骗了电脑。今天当我们开始在家里使用机器人、在空中运用自动驾驶无人机、在街道上行驶自动驾驶汽车时，机器人的这种误觉开始抛出一些令人担忧的可能性。
阿塔利说， “起初，这只是一种好奇，然而，随着这些智能系统越来越多地部署在现实世界中，人们正将其视为一个潜在的安全问题。”
以目前正在进行实地试验的无人驾驶汽车为例：这些汽车通常依靠复杂的深度学习神经网络导航，并告诉它们该做什么。
但在去年，研究人员证明，仅仅只在路标上粘一两张小贴纸，神经网络就可能受骗，将道路上的“停车”标志误认为限速标志。
Image copyrightMIT
Image caption尽管对于机器学习算法，让海龟看起来像步枪似乎是无害的，但研究人员担心，随着人工智能在现实世界中的应用，可能会带来一些危险后果。
听声音
神经网络并不是唯一使用的机器学习框架，但其他的人工智能框架似乎也容易遭受这些怪异事件的影响。并且不限于视觉识别系统。
谷歌大脑（Google Brain）正在研发智能机器。谷歌大脑的研究科学家卡里尼（Nicholas Carlini）说，“在我见过的每一个领域，从图像分类到自动语音识别，再到翻译，神经网络都可能受到攻击，导致输入信号被错误分类。”卡里尼作了展示，加上一些摩擦的背景噪音后，“没有数据集的文章是无用的”这句话的读音，机器会误译为“好，谷歌要浏览evil.com”。而且它不仅限于语音讲话。在另一个例子中，巴赫（Bach）的第一号无伴奏大提琴组曲（Cello Suit 1）中的一段音乐节选被记录为“语言可以嵌入音乐”。
在卡里尼看来，这些对抗性的例子“最终证明，哪怕在非常简单的任务上，机器学习也没有达到人类的能力”。
内在原理
人工神经网络是大致模仿大脑（即生物神经网络）处理视觉信息的功能并从中学习方法。想象一个小孩正在学习认识猫是什么东西：当他们见到这种动物的次数越来越多时，就会开始注意到这种动物的一些固定模式，发现这团叫做猫的东西有四条腿，有柔软的皮毛、两只尖耳朵、杏仁状的眼睛和一条毛茸茸的长尾巴。在儿童的视觉皮层（大脑中处理视觉信息的区域）内，多层神经元会对视觉细节做出反应，如水平和垂直的线条，使儿童能够构建一幅世界的神经“图画”，并从中学习视觉识别。
神经网络的工作原理与此类似，获取的数据通过多层人工神经元网络传输进行信息处理，在接受到成百上千个相同物体的样本（通常由人类标记）的训练之后，神经网络开始建立此物体的视觉识别模式，从而能够在其后认得出正在观看的东西是这种物体。其中最复杂的系统采用“深度学习”，这意味着需要拥有更多的信息处理层。
Image copyrightMIT
Image caption稍微改变物体的纹理，研究人员能够让一个3D打印的棒球看起来像一杯浓缩咖啡。
然而，尽管计算机科学家了解人工神经网络如何工作，但他们并不一定知道在处理大数据时的具体细节。阿塔利说， “我们目前对神经网络的理解还不够，比如说，无法准确解释为什么会存在对抗性例子，也不知道如何解决这个问题。”
部分问题可能与现有技术被设计用来解决的任务的性质有关，例如区分猫和狗的图像。为了做到这一点，神经网络技术将处理大量猫和狗的模样信息，直到有足够的数据点来区分两者。
研究机器学习框架可靠性和安全性的麻省理工学院计算机科学家麦德里（Aleksander Madry）说，“我们机器学习框架的主要目标是'就平均值而言'有良好的表现。当机器识别大多数狗的图像表现很好时，你感到鼓舞，但总会有一些狗的图像让机器困惑，无法识别。”
或许一种解决方案是用更有挑战性的图像来训练神经网络。这可以使人工神经网络免受异常值的影响。
麦德里说， “这无疑是朝着正确方向迈出的一步。”虽然这种方法看起来确实使框架更加强大，但也可能有一些限制，因为有许多方法可以改变图像或物体的外观从而产生混淆。
一个真正强大的图像分类器会复制"相似性"对人类的作用，因而可以认出一个孩子涂鸦的猫和一张猫的照片以及一只现实生活中移动的猫代表的是同一样东西。尽管深度学习神经网络令人印象深刻，但在对物体进行分类、感知周遭环境或处理突发事件方面，仍无法与人脑匹敌。
如果我们想要开发出能够在现实世界中发挥作用的真正智能机器，或许我们应该回到人脑上来，更好地理解人脑是如何解决这些问题的。
捆绑问题
虽然神经网络是受到人类视觉皮层的启发，但越来越多的人认识到这种相似性只是表面现象。一个关键的区别在于，除了识别物体边缘的线条或物体本身等视觉特征外，我们的大脑还对这些特征之间的关系进行编码，因此，物体的边缘就构成了这个物体的一部分。这使我们能够对我们所看到的模式赋予意义。
“当你或我看着一只猫时，我们看到了构成猫的所有特征，以及它们之间的相互关系，” 牛津大学理论神经科学和人工智能基金会（Oxford Foundation for theory Neuroscience and Artificial Intelligence）的斯特林格（Simon Stringer）如此说。“这种相互'捆绑的'信息是我们理解世界的能力和我们的一般智力的基础。”
这个起关键作用的捆绑信息在当代的人工神经网络中是缺失的。
斯特林格解释说， “如果你还没有解决捆绑问题，你可能会意识到场景中的某个地方有一只猫，但你不知道它在哪里，也不知道场景中的哪些特征是这只猫的一部分。”
Image copyrightGETTY IMAGES
Image caption对我们的耳朵来说，一段古典音乐听起来就是乐器的交响乐，但这段音乐若稍作修改，人工智能可能会理解为是一个语音指令。
为了简单易行，构建当代人工神经框架的工程师忽略了真实人脑神经元的一些特性，而科技界才刚刚开始明白这些特性非常重要。神经元通过将动作电位（action potentials）或“峰电位”（spikes）信号发送到身体的各个部位来进行交流，这就造成了神经元传输的时间延迟。个体神经元之间在传递信息的速度上也有差异，有些快，有些慢。许多神经元在决定是否放电时，似乎会密切关注它们接收到的脉冲的时机。
“人工神经网络有这个属性，即所有神经元完全相同，但大脑中的神经元却有不同形态，这让我意识到，人脑神经元的差异性不是无关紧要的，”布里斯托大学（University of Bristol）的神经系统科学家鲍尔斯（Jeffrey Bowers）说。他正在调查大脑哪些方面的功能未被当前人工神经网络所采用。
另一个不同之处在于，人工合成神经网络是通过一系列人工神经元层向一个方向传输信号。但斯特林格说，“在人类大脑皮层中，自上而下的连接和自下而上的神经元连接是一样多。”
为了更好地理解人脑的工作原理，他的实验室对人脑进行了计算机模拟。当他们最近调整他们的模拟，将这些关于真实神经元的时间和组织的信息整合到一起，然后用一系列的视觉图像对计算机进行训练时，他们发现计算机的模拟处理信息的方式发生了根本性的转变。
他们开始看到更复杂的活动模式的出现，而不是所有神经元同时放电。其中一个人工神经元子群其作用似乎是信息守门人。这个神经元子群只有在整个系统所接受的某个视觉场景的所有低级和高级特性信息同时到达时才会放电。
斯特林格认为，这些“捆绑神经元”的行为就像大脑中的结婚证，使神经元之间的关系正式化，并提供了一种方法来验证两个看似相关的信号是否真的相关。通过这种方式，大脑可以检测出现在视觉场景中的两条对角线和一条曲线是否真的代表了一个特征，比如猫的耳朵，或者是完全不相关的东西。
斯特林格说， “我们的假设是，视觉大脑中呈现的捆绑特征，以及在我们的生物强化神经网络中的复制，可能在增强生物视觉的稳健性方面发挥重要作用，包括对物体、面孔和人类行为的识别。”
斯特林格的研究小组目前正在寻找证据，证明真实的人类大脑中存在这样的神经元。他们还在开发“混合”神经网络，将这些新信息结合进人工神经网络，看看是否能产生一种更强大的机器学习形式。
鲍尔斯说， “目前还不清楚这是否在真的大脑中发生，但这确实很吸引人，并突出了一些有趣的可能性。”
斯特林格的团队将要测试的一件事是，他们受生物大脑启发的神经网络是否能够可靠地区分一个老人是在家中跌倒，或只是坐着不动，或者是正在放下购买的日用品。
斯特林格说，“对于今天的机器视觉算法来说，这仍然是一个非常困难的问题，然而对人脑则是轻而易举之事。”他还与位于英国威尔特郡（Wiltshire）波顿唐（Porton Down）的国防科技实验室（Defence Science and Technology Laboratory）合作，开发他神经系统框架的下一代增强版。这个增强版可以用于军事，比如从安装在自动无人机上的智能摄像头中发现敌方坦克。
斯特林格的目标是在20年内将老鼠等级的智能赋予一台机器。不过他承认创造人类水平的机器智能可能需要一生的时间，甚至更长。
麦德里同意，受神经科学启示是解决当前机器学习算法问题的有趣方法。
他说，“越来越清楚的是，大脑的工作方式与我们现有的机器深度学习模式非常不同，因此，最终可能会走上一条完全不同的路才能成功。很难说可行性有多大，以及取得成功需要多长时间。”
与此同时，对于越来越多人工智能驱动的机器人、汽车和程序，我们可能需要避免对其过于信任。因为你永远不知道人工智能是不是正在产生被误导的视觉。
琳达·格迪斯Linda Geddes
- 2019年 1月 22日
乘客看到了停车标志，突然感到一阵恐慌，因为他坐的汽车反而开始加速。当他看到前面的铁轨上一列火车向他们疾驰而来时，他张开嘴对前面的司机大声喊叫，但他突然意识到汽车前坐并没有司机。列车以每小时125英里的速度撞上来，压碎了这辆自动驾驶汽车，乘客当场死亡。
这个场景是虚构的，但是凸显了当前人工智能框架中一个非常真实的缺陷。在过去的几年里，已经有越来越多的例子表明，机器可以被误导，看见或听见根本不存在的东西。如果出现“噪音”会干扰到人工智能的识别系统，就可能产生误觉。在最坏的情况下，他们可能会因“幻觉”导致上面一样危险的场景，尽管停车标志在人眼中清晰可见，但机器却未能识别出来。
Image caption“停止”标志上一些简单的贴纸就足以使机器视觉算法看不见这个告示，而在人类的眼中依然显而易见。
人工智能领域工作者将这些小故障描述为“对抗性的例子”，或者有时更简单地说是“怪异事件”。
美国麻省理工学院（Massachusetts Institute of Technology）的计算机科学家阿塔利（Anish Athalye）表示：“我们可以把这些东西看作是人工智能网络会以某种方式处理的输入信息，但机器在看到这些输入信息后会做出一些意想不到的反应。”
看物体
到目前为止，人们主要关注的是视觉识别系统。阿塔利自己已经证明，将一张猫的图像稍加改动，人眼看来仍是一只标准的猫，却被所谓的神经网络误解为是鳄梨酱。神经网络是一种机器学习算法，极大地推动了现代人工智能技术的发展。这类神经网络视觉识别系统已经被用来增强你的智能手机的能力，让手机在不被告知是谁的情况下对你的朋友照片进行身份标记，或者识别你手机照片中的其他物体。
最近，阿塔利和他的同事们把注意力转向了实际物体。发现只要稍微调整一下它们的纹理和颜色，他的团队就可以骗过人工智能，把这些物体认作别的东西。在一个案例中，棒球被误认为是一杯浓缩咖啡，而在另一个案例中，3D打印的海龟被误认为是步枪。还有其他例子，他们制造了约200个3D打印物体，这些物体以类似的方式欺骗了电脑。今天当我们开始在家里使用机器人、在空中运用自动驾驶无人机、在街道上行驶自动驾驶汽车时，机器人的这种误觉开始抛出一些令人担忧的可能性。
阿塔利说， “起初，这只是一种好奇，然而，随着这些智能系统越来越多地部署在现实世界中，人们正将其视为一个潜在的安全问题。”
以目前正在进行实地试验的无人驾驶汽车为例：这些汽车通常依靠复杂的深度学习神经网络导航，并告诉它们该做什么。
但在去年，研究人员证明，仅仅只在路标上粘一两张小贴纸，神经网络就可能受骗，将道路上的“停车”标志误认为限速标志。
Image caption尽管对于机器学习算法，让海龟看起来像步枪似乎是无害的，但研究人员担心，随着人工智能在现实世界中的应用，可能会带来一些危险后果。
听声音
神经网络并不是唯一使用的机器学习框架，但其他的人工智能框架似乎也容易遭受这些怪异事件的影响。并且不限于视觉识别系统。
谷歌大脑（Google Brain）正在研发智能机器。谷歌大脑的研究科学家卡里尼（Nicholas Carlini）说，“在我见过的每一个领域，从图像分类到自动语音识别，再到翻译，神经网络都可能受到攻击，导致输入信号被错误分类。”卡里尼作了展示，加上一些摩擦的背景噪音后，“没有数据集的文章是无用的”这句话的读音，机器会误译为“好，谷歌要浏览evil.com”。而且它不仅限于语音讲话。在另一个例子中，巴赫（Bach）的第一号无伴奏大提琴组曲（Cello Suit 1）中的一段音乐节选被记录为“语言可以嵌入音乐”。
在卡里尼看来，这些对抗性的例子“最终证明，哪怕在非常简单的任务上，机器学习也没有达到人类的能力”。
内在原理
人工神经网络是大致模仿大脑（即生物神经网络）处理视觉信息的功能并从中学习方法。想象一个小孩正在学习认识猫是什么东西：当他们见到这种动物的次数越来越多时，就会开始注意到这种动物的一些固定模式，发现这团叫做猫的东西有四条腿，有柔软的皮毛、两只尖耳朵、杏仁状的眼睛和一条毛茸茸的长尾巴。在儿童的视觉皮层（大脑中处理视觉信息的区域）内，多层神经元会对视觉细节做出反应，如水平和垂直的线条，使儿童能够构建一幅世界的神经“图画”，并从中学习视觉识别。
神经网络的工作原理与此类似，获取的数据通过多层人工神经元网络传输进行信息处理，在接受到成百上千个相同物体的样本（通常由人类标记）的训练之后，神经网络开始建立此物体的视觉识别模式，从而能够在其后认得出正在观看的东西是这种物体。其中最复杂的系统采用“深度学习”，这意味着需要拥有更多的信息处理层。
Image caption稍微改变物体的纹理，研究人员能够让一个3D打印的棒球看起来像一杯浓缩咖啡。
然而，尽管计算机科学家了解人工神经网络如何工作，但他们并不一定知道在处理大数据时的具体细节。阿塔利说， “我们目前对神经网络的理解还不够，比如说，无法准确解释为什么会存在对抗性例子，也不知道如何解决这个问题。”
部分问题可能与现有技术被设计用来解决的任务的性质有关，例如区分猫和狗的图像。为了做到这一点，神经网络技术将处理大量猫和狗的模样信息，直到有足够的数据点来区分两者。
研究机器学习框架可靠性和安全性的麻省理工学院计算机科学家麦德里（Aleksander Madry）说，“我们机器学习框架的主要目标是'就平均值而言'有良好的表现。当机器识别大多数狗的图像表现很好时，你感到鼓舞，但总会有一些狗的图像让机器困惑，无法识别。”
或许一种解决方案是用更有挑战性的图像来训练神经网络。这可以使人工神经网络免受异常值的影响。
麦德里说， “这无疑是朝着正确方向迈出的一步。”虽然这种方法看起来确实使框架更加强大，但也可能有一些限制，因为有许多方法可以改变图像或物体的外观从而产生混淆。
一个真正强大的图像分类器会复制"相似性"对人类的作用，因而可以认出一个孩子涂鸦的猫和一张猫的照片以及一只现实生活中移动的猫代表的是同一样东西。尽管深度学习神经网络令人印象深刻，但在对物体进行分类、感知周遭环境或处理突发事件方面，仍无法与人脑匹敌。
如果我们想要开发出能够在现实世界中发挥作用的真正智能机器，或许我们应该回到人脑上来，更好地理解人脑是如何解决这些问题的。
捆绑问题
虽然神经网络是受到人类视觉皮层的启发，但越来越多的人认识到这种相似性只是表面现象。一个关键的区别在于，除了识别物体边缘的线条或物体本身等视觉特征外，我们的大脑还对这些特征之间的关系进行编码，因此，物体的边缘就构成了这个物体的一部分。这使我们能够对我们所看到的模式赋予意义。
“当你或我看着一只猫时，我们看到了构成猫的所有特征，以及它们之间的相互关系，” 牛津大学理论神经科学和人工智能基金会（Oxford Foundation for theory Neuroscience and Artificial Intelligence）的斯特林格（Simon Stringer）如此说。“这种相互'捆绑的'信息是我们理解世界的能力和我们的一般智力的基础。”
这个起关键作用的捆绑信息在当代的人工神经网络中是缺失的。
斯特林格解释说， “如果你还没有解决捆绑问题，你可能会意识到场景中的某个地方有一只猫，但你不知道它在哪里，也不知道场景中的哪些特征是这只猫的一部分。”
Image caption对我们的耳朵来说，一段古典音乐听起来就是乐器的交响乐，但这段音乐若稍作修改，人工智能可能会理解为是一个语音指令。
为了简单易行，构建当代人工神经框架的工程师忽略了真实人脑神经元的一些特性，而科技界才刚刚开始明白这些特性非常重要。神经元通过将动作电位（action potentials）或“峰电位”（spikes）信号发送到身体的各个部位来进行交流，这就造成了神经元传输的时间延迟。个体神经元之间在传递信息的速度上也有差异，有些快，有些慢。许多神经元在决定是否放电时，似乎会密切关注它们接收到的脉冲的时机。
“人工神经网络有这个属性，即所有神经元完全相同，但大脑中的神经元却有不同形态，这让我意识到，人脑神经元的差异性不是无关紧要的，”布里斯托大学（University of Bristol）的神经系统科学家鲍尔斯（Jeffrey Bowers）说。他正在调查大脑哪些方面的功能未被当前人工神经网络所采用。
另一个不同之处在于，人工合成神经网络是通过一系列人工神经元层向一个方向传输信号。但斯特林格说，“在人类大脑皮层中，自上而下的连接和自下而上的神经元连接是一样多。”
为了更好地理解人脑的工作原理，他的实验室对人脑进行了计算机模拟。当他们最近调整他们的模拟，将这些关于真实神经元的时间和组织的信息整合到一起，然后用一系列的视觉图像对计算机进行训练时，他们发现计算机的模拟处理信息的方式发生了根本性的转变。
他们开始看到更复杂的活动模式的出现，而不是所有神经元同时放电。其中一个人工神经元子群其作用似乎是信息守门人。这个神经元子群只有在整个系统所接受的某个视觉场景的所有低级和高级特性信息同时到达时才会放电。
斯特林格认为，这些“捆绑神经元”的行为就像大脑中的结婚证，使神经元之间的关系正式化，并提供了一种方法来验证两个看似相关的信号是否真的相关。通过这种方式，大脑可以检测出现在视觉场景中的两条对角线和一条曲线是否真的代表了一个特征，比如猫的耳朵，或者是完全不相关的东西。
斯特林格说， “我们的假设是，视觉大脑中呈现的捆绑特征，以及在我们的生物强化神经网络中的复制，可能在增强生物视觉的稳健性方面发挥重要作用，包括对物体、面孔和人类行为的识别。”
斯特林格的研究小组目前正在寻找证据，证明真实的人类大脑中存在这样的神经元。他们还在开发“混合”神经网络，将这些新信息结合进人工神经网络，看看是否能产生一种更强大的机器学习形式。
鲍尔斯说， “目前还不清楚这是否在真的大脑中发生，但这确实很吸引人，并突出了一些有趣的可能性。”
斯特林格的团队将要测试的一件事是，他们受生物大脑启发的神经网络是否能够可靠地区分一个老人是在家中跌倒，或只是坐着不动，或者是正在放下购买的日用品。
斯特林格说，“对于今天的机器视觉算法来说，这仍然是一个非常困难的问题，然而对人脑则是轻而易举之事。”他还与位于英国威尔特郡（Wiltshire）波顿唐（Porton Down）的国防科技实验室（Defence Science and Technology Laboratory）合作，开发他神经系统框架的下一代增强版。这个增强版可以用于军事，比如从安装在自动无人机上的智能摄像头中发现敌方坦克。
斯特林格的目标是在20年内将老鼠等级的智能赋予一台机器。不过他承认创造人类水平的机器智能可能需要一生的时间，甚至更长。
麦德里同意，受神经科学启示是解决当前机器学习算法问题的有趣方法。
他说，“越来越清楚的是，大脑的工作方式与我们现有的机器深度学习模式非常不同，因此，最终可能会走上一条完全不同的路才能成功。很难说可行性有多大，以及取得成功需要多长时间。”
与此同时，对于越来越多人工智能驱动的机器人、汽车和程序，我们可能需要避免对其过于信任。因为你永远不知道人工智能是不是正在产生被误导的视觉。
