超维计算可否开辟新的AI路径？
发布时间：2023-06-14 10:00:52 所属栏目：动态 来源：网络
导读： 即使聊天 GPT( ChatGPT)和其他大规模语言模型获得了非常大的成功,但目前为这些系统的支持者 ANN(人工神经网络)可能会迷失方向。
对于马里兰大学的计算机学家Cornelia Ferm&u
对于马里兰大学的计算机学家Cornelia Ferm&u
|
即使聊天 GPT( ChatGPT)和其他大规模语言模型获得了非常大的成功,但目前为这些系统的支持者 ANN(人工神经网络)可能会迷失方向。 对于马里兰大学的计算机学家Cornelia Fermüller而言，人工神经网络“超级耗电”，“另一个问题在于，这些系统缺乏透明度。”这样的系统非常复杂，以至于没有人真正理解它们正在做什么，或者为什么它们运行得如此之好。反过来，这也几乎不可能使其可以实现类比推理，而这正是人类的做法——使用符号来表示对象、想法及其之间的关系。 这些缺点可能源于现阶段人工神经网络的结构及其构建模块：独立的人工神经元。每个神经元接收输入、执行计算并产生输出。现代人工神经网络是由这些计算单元的精心设计组成的网络，经过训练即可完成特定任务。 然而，人工神经网络的局限性也早已显现出来。例如，让我们来思考如何构建一个用来区分圆形和正方形的ANN。一种思路是在其输出层中包含两个神经元，一个表示圆形，一个表示正方形。如果你想让人工神经网络也能辨别形状的颜色—譬如蓝色与红色——你需要四个输出神经元：蓝色圆形、蓝色正方形、红色圆形和红色正方形。更多的特征意味着更多的神经元。 这不可能是我们的大脑感知自然世界及其所有变化的方式，因为这意味着“对于上述所有组合，神经系统必须有某个对应的神经元”。加州大学伯克利分校的神经科学家Bruno Olshausen指出，“譬如你的大脑中会有一个对应紫色大众汽车的传感器。” 因此Olshausen等给出不同的观点，即大脑中的信息是由大量神经元的活动表征的。因此，对于紫色的大众汽车的感知并非编码为某个单独神经元的活动，而是编码为数千个神经元的活动。同一组神经元，以不同的方式触发，可能代表一个完全不同的概念（也许是一辆粉红色的凯迪拉克）。 这是一种完全不同的计算方式（即所谓超维计算）的起点。其关键在于每条信息，例如汽车的概念，或者它的品牌、型号或颜色，或者所有这些信息，都被表征为一个单一的实体：一个超维向量。 向量不过是一个有序的数字数组。例如，一个三维向量包含三个数字：三维空间中一个点的x、y和z坐标。超向量，或者说超向量可以是由10000个数字组成的数组，这就代表了10000维空间中的一个点。这些数学对象及其背后的代数原理足够灵活和强大，足以使现代计算超越当前的一些限制，进而孕育出一种新的实现人工智能的路径。 “这几乎是我整个职业生涯中最兴奋的事。”Olshausen如是说。对于他和其他许多人来说，超维计算预示着一个新世界——在这个新世界中，计算是高效和稳健的，机器做出的决策也是完全透明的。 进入高维空间 为了更好的理解超向量如何使这个计算过程成为可能，现在让我们回到前文红色圆形和蓝色正方形组成的图像的例子。首先，我们需要用量来表示变量“形状”和“颜色”。其次我们还需要向量来表示前面变量的赋值，即“圆”“方”和“红”“蓝”。 不同属性的向量必须是不同的。这种差异可以通过被称为正交性的属性来量化，正交性本义指的是“成直角”。在三维空间中，可以找到这样的相互正交向量：一个向量在x方向，另一个在y方向，第三个在z方向。而在10000维空间中，就会有10000个这样相互正交的向量。 但是，如果我们允许向量可以近乎正交，那么高维空间中此类的不同向量的数量就会激增。在10000维空间中，就有数百万个近乎正交的向量。 现在让我们构造不同的向量来表示“形状”“颜色”“圆”“方”“红”“蓝”。因为在高维空间中有很多可能的近乎正交的向量，所以你可以只分配六个随机向量来表示这六个项目；它们几乎可以保证是近乎正交的。“构造近乎正交向量的便捷性是使用超维表示的主要原因，”加州大学伯克利分校瑞德伍德理论神经科学研究中心研究员Pentti Kanerva在2009年的一篇颇具影响力的论文中写道。 这篇论文的基础是Kanerva和Tony Plate在上世纪九十年代中期的工作，当时他们是多伦多大学的博士生，师从Geoff Hinton。两人独立地发展了用于操作超向量的代数，并暗示了其在高维计算中的实用性。 对于我们有关形状和颜色超向量，Kanerva和Plate发展的系统向我们展示了如何使用某些数学运算来操作它们。这些操作对应于对概念进行符号化操作的方式。 第一种运算是乘法。这是一种将观念结合的方式。例如，将向量“形状”与向量“圆形”相乘，可将两者绑定，用以表示“形状是圆形”这一观念。这个新的“绑定”向量近乎与“形状”和“圆形”正交。此外，各个元素是可恢复的——如果想从绑定的向量中提取信息，这一特效就显得至关重要。给出一个代表你的大众汽车的绑定向量，你可以解除这种绑定并检索到颜色对应的向量，例如“紫色”。 第二种运算是加法。这表示利用所谓概念的叠加来构造一个新的向量。例如，将两个绑定向量“形状是圆形”和“颜色是红色”相加，创建一个表示“红色圆形”的向量。同样地，相加后的向量可以被逆向分解为构成它的向量。 第三种运算是置换。这涉及将向量的各个元素重新排列。例如，对于一个三维向量，三个元素分别记为x、y和z，则置换可能会将x移动到y处，将y移动到z处，而将z移动到x处。“置换允许你构造结构，”Kanerva指出，“置换运算允许你处理序列，序列代表了一个接一个发生的事情。”考察两个事件，由超向量A和B表示。我们可以将它们叠加到一个向量中，但这会破坏有关事件顺序的信息。将加法与置换运算相结合可以保留顺序信息；我们还可以通过逆运算对事件按顺序进行检索。 上述三种运算证明我们足以创建允许符号推理的形式化的超向量代数。但是许多研究人员在发掘超维计算潜力方面的进展很缓慢，包括Olshausen本人。他解释道：“但它只是还没有被充分理解。” 利用高维的力量 2015年，Olshausen的一名学生Eric Weiss展示了超维计算独特能力的一个方面。Weiss解释了如何将复杂图像表示为一个单独的超维向量，该向量包含有关图像中所有对象的信息，包括它们的属性，例如颜色、位置和大小。 “我兴奋地几乎从椅子上掉下来了，”Olshausen说道，“突然之间，灵感来了。” 很快，更多的团队开始开发超维算法来复制深度神经网络在大约20年前就开始处理的简单任务，例如图像分类。 考察一个由手写数字的图像组成的注释数据集。有一种算法能使用某种预定方案分析每个图像的特征，然后为每个图像创建一个超向量。接下来，该算法为数字0所对应的所有图像添加超向量，以便为数字0这一概念构造一个超向量。紧接着其对所有数字执行相同的操作，创建10“类”超向量，对应每个数字。 之后给算法一个未标记的图像。它为这个新的图像创建一个超向量，然后将超向量与存储的10类超向量进行比对，以此确定与新图像最相似的数字。 然而，这仅仅是开始。超维计算的优势在于其能够通过合成和分解超向量进行推理。最新的成果演示是在今年3月份，彼时IBM苏黎世研究院的Abbas Rahimi及其同事使用神经网络进行超维计算来解决抽象视觉推理中的一个经典问题——这对传统的人工神经网络甚至某些人而言都是一个重大挑战。这个问题被称为瑞文推理测验，测验给出3×3的网格，网格中给出几何对象的图像。但其中有一个位置是空白的，受试者必须从一组候选图像中选择最适合空白位置的图像。 “我们当时说，‘这真的是……视觉抽象推理领域的杀手级实例，让我们从这里开始吧！’”Rahimi回忆道。 为了使用超维计算解决这个问题，该团队首先构造了一个超向量字典来表示每张图像中的对象，字典中的每个超向量代表一个对象及其属性的某种组合。然后，该团队训练了一个神经网络来检查图像并生成一个双极超向量——向量的元素可以是+1或-1——其与字典中超向量的某种叠加尽可能接近。因此，生成的超向量包含有关图像中所有对象及其属性的信息。“你可以将神经网络引导到一个有意义的概念空间。”Rahimi解释道。 一旦网络为每个上下文图像以及空白位的每个候选对象生成了超向量，相应地另一种算法就会分析这些超向量，并为每个图像中的对象数量、大小和其他特征创建概率分布。这些概率分布说明了上下文和候选图像的可能特征，可以被转换为超向量，允许使用代数来预测最有可能的候选图像来填充空白位。 他们的方法在一组问题上的准确率接近88%，而仅使用神经网络的方案准确率不到61%。该团队的研究还显示，对于3×3网格，他们系统的运算速度是使用符号逻辑规则进行推理的传统方法的近250倍，因为传统方法必须检索大量规则之后才能确定正确的下一步。这种算法可以在一秒钟内计算出所有数据，而不需要花费大量时间来寻找最佳匹配。 （编辑：开发网_开封站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330459号