光深度学习编码到光波上的机器学习模型的组件

向智能家居设备询问天气预报，设备需要几秒钟才能响应。出现这种延迟的一个原因是，连接的设备没有足够的内存或功率来存储和运行设备所需的大量机器学习模型，以了解用户的要求。该模型存储在可能在数百英里之外的数据中心中，在那里计算答案并将其发送到设备。

麻省理工学院的研究人员创造了一种直接在这些设备上进行计算的新方法，从而大大减少了这种延迟。他们的技术将运行机器学习模型的内存密集型步骤转移到中央服务器，在中央服务器上，模型的组件被编码到光波上。

这些波使用光纤传输到连接的设备，这使得大量数据能够通过网络以闪电般的速度发送。然后，接收器使用一个简单的光学设备，使用这些光波携带的模型部分快速执行计算。

与其他方法相比，该技术可将能源效率提高一百倍以上。它还可以提高安全性，因为用户的数据不需要传输到中心位置进行计算。

这种方法可以使自动驾驶汽车实时做出决策，同时只使用目前耗电计算机所需的一小部分能量。它还可以让用户与他们的智能家居设备进行无延迟对话，用于通过蜂窝网络进行实时视频处理，甚至可以在距离地球数百万英里的航天器上实现高速图像分类。

“每次你想运行一个神经网络，你都必须运行程序，运行程序的速度取决于你能以多快的速度将程序从内存中导入。我们的管道很大——它对应于发送一个完整的互联网上每毫秒左右播放一部长篇电影。这就是数据进入我们系统的速度。它的计算速度也一样快，”资深作者、电气工程和计算机科学系副教授DirkEnglund说(EECS)和麻省理工学院电子研究实验室的成员。

在论文中加入Englund的是主要作者和EECS研究生AlexanderSludds;EECS研究生SaumilBandyopadhyay、研究科学家RyanHamerly以及来自麻省理工学院、麻省理工学院林肯实验室和诺基亚公司的其他人。该研究将发表在《科学》杂志上。

减轻负担

神经网络是机器学习模型，它使用连接节点或神经元的层来识别数据集中的模式并执行任务，例如对图像进行分类或识别语音。但是这些模型可以包含数十亿个权重参数，这些参数是在处理输入数据时转换输入数据的数值。这些权重必须存储在内存中。同时，数据转换过程涉及数十亿次代数计算，需要大量的功率来执行。

Sludds说，从内存中获取数据(在这种情况下是神经网络的权重)并将它们移动到计算机中进行实际计算的部分的过程是速度和能源效率的最大限制因素之一。

“所以我们的想法是，为什么我们不承担所有繁重的工作——从内存中提取数十亿个重量的过程——将其从边缘设备上移开，并将其放在我们有充足的电力和内存访问权限的地方，这使得我们有能力快速获取这些重量吗?”他说。

他们开发的神经网络架构Netcast涉及将权重存储在中央服务器中，该中央服务器连接到称为智能收发器的新型硬件。这种智能收发器是一个拇指大小的芯片，可以接收和传输数据，它使用称为硅光子学的技术每秒从内存中获取数万亿个权重。

它接收权重作为电信号并将它们印在光波上。由于重量数据被编码为位(1和0)，因此收发器通过切换激光对其进行转换;激光在1时打开，在0时关闭。它结合这些光波，然后通过光纤网络定期传输它们，因此客户端设备不需要查询服务器来接收它们。

“光学非常棒，因为有很多方法可以在光学中传输数据。例如，您可以将数据放在不同颜色的光上，这样可以实现比电子设备更高的数据吞吐量和更大的带宽，”Bandyopadhyay解释道。

每秒万亿次

一旦光波到达客户端设备，一个称为宽带“Mach-Zehnder”调制器的简单光学组件就会使用它们来执行超快速的模拟计算。这涉及将来自设备的输入数据(例如传感器信息)编码到权重上。然后它将每个单独的波长发送到接收器，接收器检测光并测量计算结果。

研究人员设计了一种使用这种调制器每秒进行数万亿次乘法运算的方法，这极大地提高了设备​​上的计算速度，同时仅使用了极少量的功率。

“为了使某些东西更快，你需要让它更节能。但有一个权衡。我们已经建立了一个系统，它可以以大约一毫瓦的功率运行，但每秒仍能进行数万亿次乘法运算。在就速度和能源效率而言，这是一个数量级的增益，”Sludds说。

他们通过将他们的实验室连接到麻省理工学院林肯实验室的86公里光纤发送砝码来测试这种架构。Netcast实现了机器学习的高准确度——图像分类98.7%和数字识别98.8%——并且速度很快。

“我们必须进行一些校准，但令我惊讶的是，我们只需要做很少的工作即可实现如此高的开箱即用精度。我们能够获得与商业相关的精度，”Hamerly补充道。

展望未来，研究人员希望对智能收发器芯片进行迭代以实现更好的性能。他们还希望将目前只有鞋盒大小的接收器小型化到单个芯片的大小，以便可以安装在手机等智能设备上。

标签：