人类识别室内环境并不难但教人工智能系统区分办公室和图书馆却很困难

人类识别室内环境并不难，但教人工智能 (AI) 系统区分办公室和图书馆却很困难。人工智能系统通常被训练为只使用图像，仅仅通过观察物体来识别空间很容易出错。这就是为什么计算机科学家 Estefanía Talavera Martínez 在 AI 系统查看的教材中添加了一种新的数据模式，音频/声音。这导致识别室内空间的成功率很高，并在研究中使用了真实世界视频的新数据集。她的工作于1 月 22 日 发表在《神经计算与应用》杂志上。

Estefanía Talavera Martínez 对开发用于自动分析人类行为的算法很感兴趣。在之前的工作中，她依靠可穿戴相机收集的照片流来了解人们的日常行为。这些图像首先使用人工智能系统进行分析。下一步是对视频做同样的事情，而且还有更多的应用程序。“这也可以用来帮助机器人找到他们的位置，或者监控老年人，”Talavera Martínez 解释说。然而，这需要一个能够识别室内空间的自动化系统。

演讲

以前教人工智能识别室内空间的尝试并不是很成功。“其中一个原因是大多数系统只使用一种模式进行训练，通常是识别房间中的物体。” 因此，Talavera Martínez 决定使用第二种方式训练她的系统：转录视频中录制的语音文本。

她使用 Instagram 上的真实视频来训练她的 AI 系统。这是使用图像和语音实现的。口语文本是使用标准的谷歌语音识别软件转录的。Talavera Martínez 和她当时的硕士生 Andreea Glavan 尝试了不同的方法来结合来自图像和音频的信息，以找出哪种方法会产生最佳结果。这导致了一个系统能够以 70% 的准确率识别来自九种不同类型的室内空间的视频，这比以前发布的系统管理的要高。“我们进行的测试证实，与仅使用图像或文本进行训练相比，使用这种组合可以使该系统具有更好的性能，”Talavera Martínez 说。

行为

此外，该研究项目还制作了一个包含 3,788 个 Instagram 视频的数据集，描述了九个室内场景。此外，还使用了 900 个 YouTube 视频来确认培训计划的结果。“我们已经公开了这两个数据集，这是同类中的第一个。”

Talavera Martínez 希望使用新的 AI 系统进一步分析视频中的人类行为：“它们包含大量信息，包括单个帧和序列。重要的是，我们的新系统将能够识别出图像是制作的。”

除了研究行为外，该系统还可用于例如监测特别关注健康老龄化的患者。它还可以用来识别人们要重温的积极体验。“而且我们知道，人们通常对自己的生活有非常主观的看法。我们的系统可以为他们提供客观的登记和分析。”

标签：