显微镜专家将神经网络推向极限以锐化模糊图像

荧光成像使用激光来获得细胞甚至亚细胞结构的明亮、详细的图像。然而，如果你想观察一个活细胞在做什么，比如分裂成两个细胞，激光可能会把它炸死。一个答案是使用较少的光，这样细胞就不会受到损坏，并且可以继续进行各种细胞过程。但是，在如此低的光线下，显微镜无法检测到太多信号。这是一个微弱，模糊的混乱。

在《自然方法》6 月刊上发表的一项新工作中，一个由显微镜学家和计算机科学家组成的团队使用一种称为神经网络的人工智能，即使在极低的、对细胞友好的光照水平下，也能获得更清晰的工作细胞图片。

由国家生物医学成像和生物工程研究所高级研究员 Hari Shroff 博士和跨 NIH 高级成像和显微镜设施的 Jiji Chen 领导的团队将该过程称为“图像恢复”。该方法解决了导致低光模糊图像的两种现象——低信噪比 (SNR) 和低分辨率(模糊)。为了解决这个问题，他们训练了一个神经网络来对嘈杂的图像进行去噪和去模糊模糊的图像。

那么究竟什么是训练神经网络呢?它涉及向计算机程序显示许多匹配的图像对。这些对由清晰锐利的图像组成，例如细胞线粒体的图像，以及同一线粒体的模糊、无法识别的版本。神经网络显示了许多这些匹配集，因此“学习”预测模糊图像如果被锐化会是什么样子。因此，神经网络能够拍摄使用低光照水平创建的模糊图像，并将它们转换为科学家需要的更清晰、更详细的图像，以研究细胞中发生的事情。

为了对 3D 荧光显微镜图像进行去噪和去模糊，Shroff、Chen 和他们的同事与 SVision(现在是 Leica 的一部分)公司合作，改进了一种特殊的神经网络，称为残差通道注意网络或 RCAN。

特别是，研究人员专注于恢复“超分辨率”图像体积，之所以这样称呼，是因为它们揭示了构成细胞的微小部分的极其详细的图像。图像显示为 3D 块，可以在旋转时从各个角度查看。

该团队在他们的实验室和 NIH 的其他实验室中使用显微镜获得了数千个图像体积。当他们获得在非常低的照明光下拍摄的图像时，细胞没有损坏，但图像非常嘈杂且无法使用——低信噪比。通过使用 RCAN 方法，对图像进行去噪以创建清晰、准确、可用的 3D 图像。

“通过使用人工智能从低 SNR 图像‘预测’高 SNR 图像，我们能够‘克服’显微镜的局限性，”Shroff 解释说。“超分辨率成像中的光损伤是一个主要问题，因此我们能够绕过它这一事实意义重大。” 在某些情况下，研究人员能够将呈现给 3D RCAN 的噪声数据的空间分辨率提高几倍。

该研究的另一个目的是确定研究人员可以向 RCAN 网络呈现的图像有多混乱——挑战它把分辨率非常低的图像变成可用的图片。在“极端模糊”练习中，研究小组发现，在大量实验模糊时，RCAN 不再能够破译它所看到的内容并将其转化为可用的图片。

“我特别引以为豪的一件事是，我们一直在推动这项技术，直到它‘崩溃’，”Shroff 解释道。“我们在连续体上表征了 SNR 方案，显示了 RCAN 失败的点，我们还确定了在 RCAN 无法逆转模糊之前图像的模糊程度。我们希望这有助于其他人为他们的性能设置界限自己的图像恢复工作，以及推动这个令人兴奋的领域的进一步发展。”

标签： 神经网络