新硬件为人工智能提供了更快的计算速度而且能耗更低

随着科学家不断突破机器学习的界限，训练日益复杂的神经网络模型所需的时间、精力和金钱也在飞速增长。一个名为模拟深度学习的人工智能新领域承诺以更少的能源使用更快的计算。

可编程电阻器是深度模拟学习的关键组成部分，就像晶体管是数字处理器的核心元件一样。通过在复杂层中重复可编程电阻器阵列，研究人员可以创建一个模拟人工“神经元”和“突触”网络，就像数字神经网络一样执行计算。然后可以训练该网络以实现复杂的AI任务，例如图像识别和自然语言处理。

一个由麻省理工学院研究人员组成的多学科团队着手推动他们之前开发的一种人造模拟突触的速度极限。他们在制造过程中使用了一种实用的无机材料，使他们的设备运行速度比以前的版本快100万倍，这也比人脑中的突触快约100万倍。

此外，这种无机材料还使电阻器非常节能。与早期版本的设备中使用的材料不同，新材料与硅制造技术兼容。这一变化使制造纳米级设备成为可能，并可能为集成到深度学习应用的商业计算硬件铺平道路。

资深作者JesúsA.delAlamo，麻省理工学院电气工程和计算机科学系(EECS)的唐纳教授。“这项工作使这些设备处于现在看起来对未来应用很有希望的地步。”

“该装置的工作机制是将最小的离子质子电化学插入绝缘氧化物中，以调节其电子导电性。因为我们正在使用非常薄的设备，我们可以通过使用强电场来加速这种离子的运动，并将这些离子设备推到纳秒级的运行状态，”资深作者、BreeneM.Kerr教授BilgeYildiz解释说。核科学与工程系和材料科学与工程系。

“生物细胞中的动作电位以毫秒的时间尺度上升和下降，因为大约0.1伏的电压差受到水的稳定性的限制，”资深作者、巴特尔能源联盟核科学与工程教授JuLi说。材料科学与工程教授，“在这里，我们在纳米级厚度的特殊固体玻璃薄膜上施加高达10伏的电压，该薄膜可以传导质子，而不会永久损坏它。电场越强，离子设备的速度就越快。”

这些可编程电阻器极大地提高了神经网络的训练速度，同时大大降低了执行该训练的成本和能量。这可以帮助科学家更快地开发深度学习模型，然后可以将其应用于自动驾驶汽车、欺诈检测或医学图像分析等用途。

“一旦你有了模拟处理器，你就不再需要训练其他人都在研究的网络。您将训练具有前所未有的复杂性的网络，这是其他人无法负担的，因此将大大超越所有网络。换句话说，这不是一辆更快的汽车，而是一艘宇宙飞船，”主要作者和麻省理工学院博士后MuratOnen补充道。

合著者包括材料科学与工程系EllenSwallowRichards教授FrancesM.Ross;博士后NicolasEmond和BaomingWang;和EECS研究生张迪飞。该研究今天发表在《科学》杂志上。

加速深度学习

模拟深度学习比数字深度学习更快、更节能，主要原因有两个。“首先，计算是在内存中执行的，因此大量数据不会从内存来回传输到处理器。”模拟处理器也并行执行操作。如果矩阵大小扩大，模拟处理器不需要更多时间来完成新操作，因为所有计算都是同时发生的。

麻省理工学院新模拟处理器技术的关键元素被称为质子可编程电阻器。这些电阻以纳米为单位(一纳米等于十亿分之一米)排列成阵列，就像棋盘一样。

在人脑中，学习是由于神经元之间的连接(称为突触)的增强和减弱而发生的。深度神经网络长期以来一直采用这种策略，通过训练算法对网络权重进行编程。在这种新处理器的情况下，增加和减少质子电阻器的电导可以实现模拟机器学习。

质子的运动控制电导。更多的质子被推入电阻器中的通道以增加电导，而为了降低电导，质子被取出。这是通过使用传导质子但阻挡电子的电解质(类似于电池)来实现的。

为了开发一种超快速且高能效的可编程质子电阻器，研究人员寻找了不同的电解质材料。当其他设备使用有机化合物时，Onen专注于无机磷硅玻璃(PSG)。

PSG基本上是二氧化硅，这是一种粉状干燥剂材料，装在小袋子里，装在新家具的盒子里，用来去除水分。它被研究作为燃料电池加湿条件下的质子导体。它也是硅加工中最知名的氧化物。为了制造PSG，需要在硅中添加一点点磷，使其具有特殊的质子传导特性。

Onen假设优化的PSG在室温下无需水即可具有高质子传导性，使其成为该应用的理想固体电解质。他是对的。

惊人的速度

PSG能够实现超快质子运动，因为它包含大量纳米尺寸的孔，其表面为质子扩散提供了路径。它还可以承受非常强的脉冲电场。这很关键，Onen解释说，因为向设备施加更多电压可以使质子以惊人的速度移动。

“速度当然令人惊讶。通常，我们不会在设备之间应用这种极端场，以免将它们变成灰烬。但相反，质子最终以极快的速度穿过设备堆栈，比我们以前快了一百万倍。由于质子体积小，质量低，这种运动不会损坏任何东西。这几乎就像传送一样，”他说。

“纳秒时间尺度意味着我们接近质子的弹道甚至量子隧道机制，在如此极端的场下，”李补充道。

因为质子不会损坏材料，电阻器可以运行数百万次循环而不会损坏。这种新的电解质使可编程质子电阻器比以前的设备快一百万倍，并且可以在室温下有效运行，这对于将其整合到计算硬件中很重要。

由于PSG的绝缘特性，当质子移动时，几乎没有电流通过材料。这使得该设备非常节能，Onen补充道。

德尔阿拉莫说，既然他们已经证明了这些可编程电阻器的有效性，研究人员计划重新设计它们以进行大批量生产。然后他们可以研究电阻器阵列的特性并将其放大，以便将它们嵌入系统中。

同时，他们计划研究这些材料以消除瓶颈，这些瓶颈限制了将质子有效转移到电解质、通过电解质和从电解质转移所需的电压。

“这些离子设备可以实现的另一个令人兴奋的方向是节能硬件，以模拟神经科学中推断的神经回路和突触可塑性规则，超越模拟深度神经网络。在MITQuestforIntelligence的支持下，我们已经开始了与神经科学的合作，”Yildiz补充道。

“我们的合作对于未来的创新至关重要。前进的道路仍然充满挑战，但同时也非常令人兴奋，”德尔阿拉莫说。

“诸如在锂离子电池中发现的嵌入反应已被广泛用于存储设备。这项工作表明，基于质子的存储设备提供了令人印象深刻且令人惊讶的开关速度和耐用性，”斯坦福大学材料科学与工程副教授WilliamChueh说，他没有参与这项研究。“它为支持深度学习算法的新型存储设备奠定了基础。”

“这项工作展示了生物启发的电阻记忆设备的重大突破。这些全固态质子装置基于对质子的精细原子级控制，类似于生物突触，但速度要快几个数量级，”泰迪和威尔顿霍金斯杰出教授兼材料系主任伊丽莎白迪基说卡内基梅隆大学的科学与工程，他没有参与这项工作。“我赞扬MIT跨学科团队的这一激动人心的发展，这将使下一代计算设备成为可能。”

标签：