一个开源图像数据库为海洋探索释放AI的力量

MBARI和其他研究机构之间的一项新的合作努力正在利用人工智能和机器学习的力量来加速研究海洋的努力。为了管理气候变化和其他威胁的影响，研究人员迫切需要更多地了解海洋的居民、生态系统和过程。随着科学家和工程师开发先进的机器人技术，可以可视化海洋生物和环境以监测海洋健康的变化，他们面临一个基本问题：图像、视频和其他视觉数据的收集大大超出了研究人员的分析能力。

FathomNet是一个开源图像数据库，它使用最先进的数据处理算法来帮助处理视觉数据的积压。使用人工智能和机器学习将缓解分析水下图像的瓶颈，并加速围绕海洋健康的重要研究。

“大海洋需要大数据。研究人员正在收集大量视觉数据来观察海洋中的生命。如果没有自动化，我们怎么可能处理所有这些信息?机器学习提供了一条前进的道路，但是这些方法依赖于大量数据集进行训练.FathomNet的建立就是为了填补这一空白，”MBARI首席工程师KakaniKatija说。

项目联合创始人Katija、KatyCrooffBell(海洋发现联盟)和BenWoodward(CVisionAI)以及扩展的FathomNet团队的成员在最近发表在《科学报告》上的研究出版物中详细介绍了这个新图像数据库的开发。

机器学习的最新进展能够对视觉数据进行快速、复杂的分析，但由于缺乏可用于训练机器识别和分类水下物体的标准现有图像集，人工智能在海洋研究中的使用受到限制和生活。FathomNet通过聚合来自多个来源的图像来创建一个公开可用的、专业策划的水下图像训练数据库来满足这一需求。

“在过去的五年里，机器学习彻底改变了自动化视觉分析的格局，主要由大量标记数据驱动。ImageNet和MicrosoftCOCO是机器学习和计算机视觉研究人员蜂拥而至的地面应用程序的基准数据集，但CVisionAI的联合创始人兼首席执行官、FathomNet的联合创始人BenWoodward说，我们甚至还没有开始涉足水下视觉分析的机器学习能力的表面。

“通过FathomNet，我们的目标是提供一个丰富、有趣的基准，让机器学习社区参与到一个新的领域。”

35年来，MBARI记录了近2.8万小时的深海视频，采集了超过100万张深海图像。MBARI视频实验室的研究技术人员对这些视觉数据进行了详细注释。MBARI的视频档案包括大约820万条注释，记录了对动物、栖息地和物体的观察。这个丰富的数据集是该研究所的研究人员和世界各地的合作者的宝贵资源。

FathomNet包含MBARI数据集的子集，以及来自国家地理和NOAA的资产。

自2010年以来，国家地理学会的勘探技术实验室一直在部署其自主底栖着陆器平台深海相机系统的版本，从所有海洋盆地和各种海洋栖息地的位置收集超过1,000小时的视频数据。这些视频随后被收录到CVisionAI的基于云的协作分析平台中，并由夏威夷大学和OceansTurn的主题专家进行注释。

国家海洋和大气管理局(NOAA)OceanExploration于2010年开始使用NOAA船舶OkeanosExplorer上的双遥控车辆系统收集视频数据。超过271TB的数据已存档并可从NOAA国家环境信息中心(NCEI)公开访问。NOAAOceanExploration最初通过志愿者参与的科学家众包注释，并于2015年开始支持专家分类学家更彻底地注释收集的视频。

“FathomNet是一个很好的例子，说明合作和社区科学如何促进我们了解海洋的方式取得突破。以MBARI和其他合作者的数据为骨干，我们希望FathomNet能够在了解海洋的同时帮助加速海洋研究比以往任何时候都更重要，”MBARI视频实验室的高级研究技术员、合著者和FathomNet团队成员LonnyLundsten说。

作为基于Web的开源资源，其他机构可以贡献和使用FathomNet，而不是传统的资源密集型工作来处理和分析视觉数据。MBARI启动了一项试点计划，使用FathomNet训练的机器学习模型来注释遥控水下航行器(ROV)捕获的视频。使用AI算法可减少81%的人力，并将标记率提高10倍。

使用FathomNet数据训练的机器学习模型也有可能彻底改变海洋探索和监测。例如，为机器人车辆配备摄像头和改进的机器学习算法，最终可以实现对海洋动物和其他水下物体的自动搜索和跟踪。

“四年前，我们设想使用机器学习来分析数千小时的海洋视频，但在当时，这主要是由于缺乏带注释的图像而无法实现。FathomNet现在将使这一愿景成为现实，解锁发现和探险家、科学家和公众可以使用这些工具来加快海洋发现的步伐，”海洋发现联盟创始人兼总裁、FathomNet联合创始人KatyCrooffBell说。

截至2022年9月，FathomNet包含84,454张图像，代表来自2,243个概念的81个单独集合中的175,875个本地化，并且正在进行其他贡献。

FathomNet旨在为超过200,000种不同姿势和成像条件的动物获得1,000次独立观测，最终总观测超过2亿次。为了使FathomNet达到其预期目标，需要大量的社区参与——包括广泛的群体和个人的高质量贡献——以及对数据库的广泛利用。

“虽然FathomNet是一个基于API的基于网络的平台，人们可以下载标记数据以训练新算法，但我们也希望它成为一个社区，来自不同背景的海洋探险家和爱好者可以贡献他们的知识和专业知识并帮助解决如果没有广泛的参与，与海洋视觉数据相关的挑战是不可能的，”Katija说。

标签：