苹果Watch的数据黑匣子带来研究问题

在发现设备收集的心率变异性数据不一致后，哈佛生物统计学家正在重新考虑使用 Apple Watch 作为研究的一部分的计划。他发现在同一时期收集的数据似乎在没有任何警告的情况下发生了变化。

“这些算法就是我们所说的黑匣子——它们不透明。所以不可能知道它们里面有什么，”哈佛 TH Chan 公共卫生学院生物统计学副教授兼开源数据平台 Beiwe 的开发者 JP Onnela 告诉The Verge。

Onnela 在研究中通常不包括 Apple Watch 等商用可穿戴设备。在大多数情况下，他的团队使用旨在收集科学研究数据的研究级设备。不过，作为与布莱根妇女医院神经外科部门合作的一部分，他对市售产品很感兴趣。他知道这些产品有时会出现数据问题，他的团队想在开始之前检查它们的严重程度。

因此，他们检查了他的合作者、布莱根妇女医院的研究员 Hassan Dawood 从他的 Apple Watch 导出的心率数据。Dawood 导出了他的每日心率变异性数据两次：一次是在 2020 年 9 月 5 日，第二次是在 2021 年 4 月 15 日。在实验中，他们查看了在同一时间段(从 2018 年 12 月上旬到 2020 年 9 月)收集的数据。

由于导出的两个数据集包含同一时间段的数据，因此两组数据理论上应该是相同的

由于两个导出的数据集包含来自同一时间段的数据，因此两组数据在理论上应该是相同的。Onnela 说他预计会有一些不同。可穿戴算法的“黑匣子”一直是研究人员面临的挑战。与显示设备收集的原始数据不同，这些产品通常只让研究人员在通过某种算法进行分析和过滤后才能导出信息。

公司会在没有警告的情况下定期更改算法，因此 2020 年 9 月的出口可能包含使用与 2021 年 4 月出口不同的算法分析的数据。“令人惊讶的是它们是如此不同，”他说。“这可能是我见过的关于这种现象的最干净的例子。” 他上周在一篇博客文章中发布了这些数据。

Apple 告诉The Verge，对其算法的任何更改仅适用于未来的数据，并且手表不会重新计算过去的数据。除了用于导出数据的第三方应用程序存在问题之外，Apple 没有解释这种差异。

密歇根大学研究可穿戴设备和应用程序数据的睡眠研究人员 Olivia Walch 说，如此清楚地看到差异令人震惊。沃尔奇长期以来一直主张研究人员使用原始数据——直接从设备传感器中提取的数据，而不是通过其软件过滤的数据。“它正在验证，因为我在我的小肥皂盒上了解原始数据，很高兴有一个具体的例子来说明它真正重要，”她说。

Walch 说，不断变化的算法使得将商业可穿戴设备用于睡眠研究几乎变得非常困难。睡眠研究已经很昂贵了。“你是否能够将四个 FitBits 绑在一个人身上，每个人运行不同版本的软件，然后比较它们?可能不是。”

公司有动力改变他们的算法以改进他们的产品。“他们并没有特别积极地告诉我们他们正在如何改变事物，”她说。

这是研究的问题。Onnela 将其与跟踪体重进行了比较。“如果我想每周跳一个秤，我应该每次都使用相同的秤，”他说。如果在他不知情的情况下调整体重秤，体重的日常变化将不可靠。对于那些只是对跟踪自己的健康状况有兴趣的人来说，这可能没问题——差异不会很大。但在研究中，一致性很重要。“这就是问题所在，”他说。

例如，有人可以使用可穿戴设备进行一项研究，并得出关于人们的睡眠模式如何根据环境调整而变化的结论。但该结论可能仅适用于该特定版本的可穿戴软件。“如果你只是使用不同的模型，也许你会得到完全不同的结果，”沃尔奇说。

Dawood 的 Apple Watch 数据并非来自一项研究，只是一个非正式的例子。Onnela 说，但它显示了对不允许访问原始数据的商业设备保持谨慎的重要性。这足以让他的团队放弃在研究中使用这些设备的计划。他认为商业可穿戴设备应该只在原始数据可用的情况下使用，或者——至少——如果研究人员能够在算法发生变化时得到提醒。

在某些情况下，可穿戴数据可能仍然有用。心率变异性信息在两个时间点都显示出相似的趋势——数据同时上升和下降。“如果你关心宏观尺度的东西，那么你可以打电话说你会继续使用该设备，”沃尔奇说。但如果每天计算的特定心率变异性对研究很重要，那么依赖 Apple Watch 的风险可能更大，她说。“如果地毯有在他们脚下被扯掉的风险，它应该让人们暂停使用某些可穿戴设备。”

标签： 苹果Watch