光学预处理使计算机视觉更加强大和节能

图像分析在当代技术中无处不在：从医疗诊断到自动驾驶汽车再到面部识别。使用深度学习卷积神经网络(处理图像的算法层)的计算机彻底改变了计算机视觉。

但是卷积神经网络(CNN)通过从预先训练的数据中学习来对图像进行分类，通常是记住或形成刻板印象。它们也容易受到对抗性攻击的影响，这些攻击以图像中微小的、几乎察觉不到的扭曲形式出现，从而导致错误的决策。这些缺点限制了 CNN 的实用性。此外，人们越来越意识到与 CNN 等深度学习算法相关的过多碳足迹。

提高图像处理算法的能源效率和可靠性的一种方法是将传统的计算机视觉与光学预处理器相结合。这种混合系统以最少的电子硬件工作。由于光在预处理阶段无需耗散能量即可完成数学函数，因此混合计算机视觉系统可以显着节省时间和能源。这种新兴方法可以克服深度学习的缺点并利用光学和电子学的优势。

在 最近 发表在 Optica 上的一篇论文中，加州大学河滨分校机械工程教授 Luat Vuong 和博士生 Baurzhan Muminov 通过应用光学涡流、带有暗中心点的旋转光波证明了混合计算机视觉系统的可行性。漩涡可以比作光在边缘和角落传播时产生的流体动力漩涡。

涡旋的知识可以扩展到理解任意波模式。当带有涡流印记时，光学图像数据以突出和混合光学图像不同部分的方式传播。Muminov 和 Vuong 表明，使用浅层“小脑”神经网络对涡旋图像进行预处理，这些网络只有几层算法可以运行，可以代替 CNN。

“光学涡流的独特优势在于它们的数学边缘增强功能，”Vuong 说。“在本文中，我们展示了光学涡旋编码器生成物体强度数据的方式，使得小型大脑神经网络可以从其光学预处理模式中快速重建原始图像。”

研究论文中的图显示了光学涡旋如何预处理图像以帮助神经网络更快、更准确地重建它们。图片来源：Muminov & Vuong，2020

光学预处理降低了图像计算的功耗，而电子学中的数字信号识别相关性、提供优化并快速计算可靠的决策阈值。借助混合计算机视觉，光学提供了速度和低功耗计算的优势，并将 CNN 的时间成本降低了 2 个数量级。通过图像压缩，可以在内存和计算复杂性方面显着减少电子后端硬件。

“我们对涡旋编码器的演示表明，光学预处理可以消除对 CNN 的需求，比 CNN 更健壮，并且与 CNN 不同，它能够泛化逆问题的解决方案，”Vuong 说。“例如，我们表明，当混合神经网络学习手写数字的形状时，它随后可以重建以前从未见过的阿拉伯语或日语字符。”

Vuong 和 Muminov 的论文还表明，将图像缩减为更少、高强度的像素能够进行极低光图像处理。该研究为光子学在构建可推广的小脑混合神经网络和开发用于大数据分析的实时硬件方面的作用提供了新的见解。

标签：