无论是字面上、符号上还是概念上的表达，这种神经元都会对相同的概念做出反应。
OpenAI的研究者们在人工神经网络CLIP上发现了「真」神经元，这种机制解释了AI模型对令人惊讶的视觉呈现进行分类时，为何拥有如此的准确性。研究人员表示，这是一项重要发现，可能对计算机大脑乃至人类大脑的研究产生重大影响。
这或许意味着通用人工智能距离我们并没有想象的那么远。但理解了抽象概念的神经元，却也会做出一些令人啼笑皆非的理解。
15年前，Qirg等人发现人脑中包含多模态神经元。这些神经元能够对围绕常见高级主题的抽象概念簇产生反应，而不是任意特定的视觉特征。其中最著名的神经元当属HlleBerry神经元，它能够对美国女演员「哈莉·贝瑞」的照片、图像和文本产生反应。
今年1月初，OpenAI提出了一种通用视觉系统CLIP，其性能媲美-50，并在一些有挑战性的数据集上超过现有的视觉系统。给出一组以语言形式表述的类别，CLIP能够立即将一张图像与其中某个类别进行匹配，而且它不像标准神经网络那样需要针对这些类别的特定数据进行微调。
最近，OpenAI又有了一个惊人发现：CLIP模型中出现了多模态神经元！这类神经元能够对以文本、符号或概念形式呈现的相同概念作出反应。例如「Spider-Mn」神经元（类似HlleBerry神经元）能够对蜘蛛图像、文本「spider」的图像和漫画人物「蜘蛛侠」做出响应。
在CLIP模型中发现的神经元具备与人脑中HlleBerry神经元类似的功能，相比之前的人工神经元有所进步。
这一发现为合成视觉系统与自然视觉系统中的普遍机制——抽象提供了线索。研究人员发现CLIP的最高层将图像组织为ide的松散语义集合，从而为模型的通用性和表示的紧凑性提供了简单解释。
OpenAI表示：这一发现或许可以解释CLIP模型的分类准确率，也是理解大型语言模型在训练过程中学习到的关联和偏见的重要一步。
那么，CLIP中的多模态神经元到底是什么样子呢？OpenAI研究人员利用可解释性工具进行了探究，发现CLIP权重内的高级概念包含很多人类视觉词汇，如地区、面部表情、宗教图像、名人等。通过对神经元影响力的探究，我们可以更加了解CLIP如何执行分
CLIP中的多模态神经元
OpnAI的论文《MltidlNernsinArtifilNerl》建立在近十年来对卷积网络解释的研究基础上，该研究首先观察到许多经典方法可以直接应用于CLIP。OpenAI使用两种工具来理解模型的激活，分别是特征可视化（通过对输入进行基于梯度的优化来最大化神经元的激活）和数据集示例（观察数据集中神经元最大激活图像的分布）。
通过这些简单的方法，OpenAI发现CLIPRN50x4（-50利用扩展规则扩增4倍）中的大多数神经元都可以得到解释。这些神经元似乎是「多面神经元」的极端示例，它们只在更高层次的抽象上对不同用例做出响应。
例如，对于夏季和冬季两个不同季节，文本、人脸、Lg、建筑物、室内、自然和姿态等表现出了不同的效果：
对于美国和印度两个不同国家，文本、人脸、Lg、建筑物、室内、自然和姿态等也呈现出了不同的效果：
OpenAI惊奇地发现，其中很多类别似乎是利用颅内深度电极记录的癫痫患者内侧颞叶中的镜像神经元，包含对情绪、动物和名人做出反应的神经元。
↑返回顶部↑