科学家发现深度神经网络对幻觉轮廓“视而不见”

央广网北京3月7日音讯 近日，中国科学院自动化研讨所研讨员曾毅课题组基于人类和生物视觉系统中普遍存在的幻觉轮廓现象启示，提出了一种将机器学习视觉数据集转换成幻觉轮廓样本的措施，量化丈量了当前的深度学习模型对幻觉轮廓辨认才干，实验结果证明从经典的到最先进的深度神经网络都难以像人一样具有较好的幻觉轮廓辨认才干。相关研讨结果发表在Patterns上。

神经网络和深度学习模型在过去十年中看似取得庞大胜利，在许多给定的视觉任务中在指定方面超越了人类表示。但是，神经网络的性能依旧会随着各种图像扭曲和损坏而降低。一个十分极端的例子是对立攻击，经过在图片上施加人眼难以察觉的微扰，能够使神经网络模型彻底失效。而人类的视觉系统在这些问题上具有高度鲁棒性，阐明深度学习与生物视觉系统相对比旧存在基天性缺陷。

幻觉轮廓是认知心理学中经典的幻觉现象，在没有颜色对比度或亮度梯度的状况下，生物视觉系统能够感知到一个明晰的边疆。这一现象曾经在人类和多种动物物种中被普遍发现，包含哺乳动物、鸟类和昆虫等。

本文主要研讨了深度学习对交错光栅幻觉的辨认才干。目前，大多数研讨剖析的幻觉轮廓都是在先前的心理学文献中手动设计的。这些测试图片无法直接与深度学习模型锻炼的任务相匹配，同时由于数量很少，无法构成一个有相对范围的测试集，很难以机器学习的方式去权衡深度学习模型的幻觉轮廓感知才干。

曾毅担任的类脑认知智能研讨组提出了一种名为交错光栅扭曲的图像干扰措施，作为量化神经网络模型幻觉轮廓感知才干的工具。该措施可直接应用于具有外部轮廓而没有纹理信息的剪影图像，从而系统性地生成大量幻觉轮廓图像。这项研讨将这一措施应用于手写数字MNIST数据集和物体的剪影图像上，并且经过插值增强图像的明晰度，从而生成对人眼具有更强幻觉效应的测试集图像。这些测试图像允许对一些常见的基于手写数字MNIST数据集或自然物体图片ImageNet锻炼的深度学习模型中止直接测试，而无需对模型中止重新锻炼。由于不同的参数设置能够产生不同水平的幻觉效应，这项研讨对人类被试者中止测试，用于了解不同的干扰参数对人类被试的幻觉轮廓感知才干的影响。

关于深度学习模型，这项研讨针对MNIST数据集锻炼了全衔接网络和卷积网络，针对经过插值生成的高分辨率MNIST数据集锻炼了AlexNet、VGG11(BN)、ResNet18和DenseNet121。关于自然物体的剪影图像，这项研讨搜集了109种公开可用的预锻炼模型，包含TorchVision和timm模块的ImageNet预锻炼模型，从经典的AlexNet、VGGNet、ResNet到最新的ViT和ConvNeXt，以及GitHub上能够公开获取的数据增强模型，好比CutMix、AugMix和DeepAugment等模型。固然在原始测试集上这些模型能够快速抵达极高的精确率，在本研讨产生的幻觉轮廓交错光栅扭曲测试集上的效果则是十分差，大部分状况下正确率收敛于10%，即简直没有辨认才干的随机水平。图4给出了预锻炼模型在交错光栅扭曲测试集上的精确率，将109个模型在不同的参数设置下的精确率散布用柱状图的方式绘制出来，同时用红色虚线代表随机水平。结果表明，大多数预锻炼模型的表示接近随机。另外能够观测到当交错光栅之间的距离较小时，存在一些模型的结果与其他模型的散布有较显著的差别。最终这项研讨发现运用深度增强技术锻炼的模型相比其他模型能够显著增强模型对交错光栅扭曲数据集的辨认。

同时这项研讨也招募了24名人类受试者，从而评价不同的参数设置下，人类的幻觉轮廓感知才干以及其对数字和图像辨认的影响。人类在MNIST，高分辨率MNIST和物体轮廓这三个交错光栅扭曲测试集的子集上的测试结果发现，即便是当前最先进的深度学习算法在交错光栅效应的辨认上也与人类水平相距甚远。

这项研讨还对运用深度增强技术锻炼的模型浅层的神经元活动中止可视化，同时对比相同结构但是并未运用深度增强技术锻炼的模型。可视化结果发往常无论模型能否运用了深度增强技术锻炼，都能够在模型的浅层发现沿着幻觉轮廓的神经元激活现象。但是只需在运用了深度增强技术锻炼的模型中，发现了相似端点激活神经元的活动。端点激活神经元由Hubel和Wiesel最早发现，被以为参与了对幻觉轮廓的早期表征，并普遍用于幻觉轮廓感知的神经动力学计算建模。当线段的端点或拐角位于这些神经元的感受野中心时，它们被最大水平的激活，而将线段沿着感受野延伸则会降低激死水平。除了幻觉轮廓外，端点激活神经元还被普遍应用于模仿各种视觉感知现象，例如运动感知，曲率检测以及许多昆虫的小目的运动探测。在由深度增强算法锻炼的模型中发现了特定卷积核，其结构与计算神经科学理论所预言的端点激活神经元的空间排布拓扑结构相似。

总结而言，实验中的一切深度神经网络模型无论能否被锻炼，运用了什么方式锻炼，在maxpool层都产生了神经动力学层面的沿着幻觉轮廓的激活。但是即便如此，这一神经动力学层面的激活并没有能够辅佐到深度神经网络最终在行为学层面辨认出幻觉轮廓。而独一具有相对好的幻觉轮廓感知才干的深度增强模型，则表示出了端点激活效应，这一效应是其他模型没有表示出来的。这提示了未来突破这个问题重点在于端点激活和幻觉轮廓的关系。

论文第一作者、中科院自动化所类脑认知智能课题组范津宇说：“这项研讨分离了认知科学和人工智能，提出了将传统机器视觉数据集转换成认知科学中的交错光栅幻觉图像，初次对大量的公开预锻炼神经网络模型的幻觉轮廓感知才干中止量化丈量，并且从神经元动力学角度和行为学两个角度检验深度学习和神经网络模型对幻觉轮廓的感知。”

论文通讯作者曾毅说：“我们以为这项研讨最大的特性是从认知科学的角度检验和部分重新审视了当前看似胜利的人工神经网络模型，并且证明人工神经网络模型与人脑视觉处置过程依旧存在着很大差距，这还只是人工智能与人类认知显著距离的冰山一角。大脑运作的机理和智能的实质将继续启示人工智能，特别是神经网络的研讨。如想从实质上取得突破，人工智能需求自创并受自然演化、脑与心智的启示，树立智能的理论体系，这样的人工智能才会有久远的未来。”