未来展望:自学习机器或成神经网络的替代品

发表时间: 2023-11-23 09:54

马克斯-普朗克研究所的科学家们利用神经形态计算中的物理过程,设计出了一种更节能的人工智能训练方法。这种方法有别于传统的数字神经网络,可以降低能耗,优化训练效率。该团队正在开发一种光学神经形态计算机来展示这项技术,旨在大幅推动人工智能系统的发展。

基于物理学的新型自学机器可以取代目前的人工神经网络并节约能源。人工智能(AI)不仅性能惊人,而且需要大量能源。承担的任务越复杂,能耗就越大。德国埃尔兰根马克斯-普朗克光科学研究所的科学家维克托-洛佩斯-帕斯托尔和弗洛里安-马夸特开发出了一种更高效的人工智能训练方法。他们的方法利用物理过程,有别于传统的数字人工神经网络。

负责开发为 ChatGPT 提供动力的 GPT-3 技术的 Open AI 公司没有透露训练这个知识渊博的高级人工智能聊天机器人所需的能量。

根据德国统计公司 Statista 的数据,这将需要 1000 兆瓦时,大约相当于 200 个三人或三人以上的德国家庭的年消耗量。虽然这种能源消耗使 GPT-3 能够了解在其数据集中,"deep"一词后面更有可能出现的是"sea"还是"learning",但无论如何,它都无法理解这些短语的深层含义。

神经形态计算机上的神经网络

在过去几年中,为了降低计算机,特别是人工智能应用的能耗,一些研究机构一直在研究一种全新的概念,即未来计算机如何处理数据。这一概念被称为神经形态计算。虽然这听起来类似于人工神经网络,但实际上与人工神经网络关系不大,因为人工神经网络是在传统的数字计算机上运行的。

这意味着,软件或更准确地说算法是以大脑的工作方式为模型的,但数字计算机是硬件。它们依次执行神经元网络的计算步骤,一个接一个,区分处理器和内存。

马克斯-普朗克光科学研究所所长、埃尔兰根大学教授弗洛里安-马夸特(Florian Marquardt)说:"当一个神经网络用多达 1 TB 的数据训练数千亿个参数(即突触)时,仅这两个组件之间的数据传输就会消耗大量能量。"

如果人脑的工作能效与使用硅晶体管的计算机类似,那么人脑就完全不同,在进化过程中可能永远不会具有竞争力。它很可能会因过热而失效。

大脑的特点是并行而非顺序地完成思维过程的众多步骤。神经细胞,或者更准确地说,突触,既是处理器,又是存储器。世界各地的各种系统都被视为神经细胞的神经形态对应物的可能候选者,其中包括利用光而不是电子进行计算的光子电路。它们的元件同时充当开关和存储单元。

自学物理机器独立优化突触

弗洛里安-马夸特与马克斯-普朗克光科学研究所的博士生维克托-洛佩斯-帕斯托尔(Víctor López-Pastor)一起,为神经形态计算机设计出了一种高效的训练方法。他解释说:"我们提出了自我学习物理机器的概念。核心思想是以物理过程的形式进行训练,其中机器的参数由过程本身进行优化。在训练传统人工神经网络时,需要外部反馈来调整数十亿个突触连接的强度。不需要这种反馈,训练效率就会高得多。在自学习物理机器上实施和训练人工智能,不仅可以节约能源,还能节省计算时间。我们的方法不管自学机器中的物理过程是什么,都能发挥作用,我们甚至不需要知道具体的过程。不过,这个过程必须满足几个条件,最重要的是,它必须是可逆的,也就是说,它必须能够以最小的能量损失向前或向后运行。"

"此外,物理过程必须是非线性的,即足够复杂。只有非线性过程才能完成输入数据和结果之间的复杂转换。一个弹球在盘子上滚动而不会与另一个弹球相撞,这是一个线性动作。但是,如果它受到另一个弹球的干扰,情况就会变成非线性的。"

光学神经形态计算机的实际测试

光学中也有可逆非线性过程的例子。事实上,维克多-洛佩斯-帕斯托尔(Víctor López-Pastor)和弗洛里安-马夸特(Florian Marquardt)已经与一个实验小组合作开发了一台光学神经形态计算机。这台机器以叠加光波的形式处理信息,由合适的元件调节互动的类型和强度。研究人员的目标是将自学物理机器的概念付诸实践。

弗洛里安-马夸特说:"我们希望能在三年内推出第一台自学物理机器。到那时,神经网络的突触数量和训练数据量都将大大超过今天的水平。因此,人们可能会更加希望在传统数字计算机之外实现神经网络,并用训练有素的神经形态计算机取而代之。我们相信,自学物理机器很有可能被用于人工智能的进一步发展。"