声音振动识别增强上下文感知计算

如果智能设备不知道自己在哪里，不知道周围的人在做什么，看起来就会很傻。卡内基梅隆大学的研究人员表示，通过分析声音和振动，可以增强环境意识。

CMU人机交互研究所(HCII)助理教授克里斯哈里逊说：“坐在厨房桌子上的智能扬声器无法判断它是否在厨房里，更不用说知道一个人在厨房里做了什么。”“但如果这些设备能够理解它们周围发生的事情，那么它们可能会更有帮助。”

在今天的柏林计算机学会用户界面软件与技术研讨会上，Harrison和Future Interfaces Group的同事将报告解决这个问题的两种方法——一种是使用最普遍的传感器和麦克风，另一种是使用克格勃在20世纪50年代使用的现代窃听技术。

在第一种情况下，研究人员试图开发一种基于语音的活动识别系统，称为育碧声学。该系统将使用智能扬声器、智能手机和智能手表中现有的麦克风，使它们能够识别与房间、厨房、工作室、入口和办公室等场所相关的声音。

“这里的主要想法是使用娱乐业中常用的专业声音库，”Gierad Laput博士说。HCII的学生。“它们干净、标签清晰、分化良好且多样。此外，我们可以将它们转换并投影成数百种不同的变体，以创建大量的数据，这非常适合训练深度学习模型。

“这个系统可以作为软件更新部署到现有设备上，并立即工作，”他补充说。

即插即用系统可以在任何环境下工作。例如，当有人敲前门时，它可以提醒用户，或者当检测到活动时，移动到食谱的下一步，例如运行搅拌机或切菜。

研究人员包括Karan Ahuja，博士Mayank Goel，HCII学生，软件研究院助理教授，开始使用现有的声音标签模型，利用专业图书馆的音效进行调整，如厨具、电动工具、吹风机、键盘等。特定于上下文的声音。然后，他们综合改变了声音，创造了数百种变化。

Raptor表示，识别声音并将其放在正确的环境中是一项挑战，部分原因是多种声音经常出现，可能会相互干扰。在他们的测试中，UBI课件的准确率约为80%——与人类的准确率相当，但不足以支持用户应用。更好的麦克风、更高的采样率和不同的模型架构可以通过进一步的研究来提高精度。

在另一篇论文中，HCII博士。学生张旸、拉普特和哈里森描述了他们所谓的振动瞄准器，它可以使用激光振动测量来检测房间特定位置的振动。它类似于克格勃用来检测窗户等反射表面振动的光基设备，使他们能够听到产生振动的对话。

“振动很酷的一点是，它是大多数人类活动的副产品，”张说。在跑步机上跑步、敲击锤子或在键盘上打字都会产生振动，这种振动可以在远处检测到。“另一件很酷的事情是，振动仅限于表面，”他补充道。与麦克风不同，一项活动的振动不会干扰另一项活动的振动。与麦克风和摄像头不同，监控特定位置的振动使这项技术变得谨慎，并保护隐私。

这种方法确实需要一个特殊的传感器，一个低功率激光器和一个电动转向镜。研究人员花了大约80美元建造了他们的实验设备——反射标签——与用于使自行车和行人在夜间更容易被看见的材料相同，并将它们应用于被监控的物体。传感器可以安装在房间的角落，可以监测多个物体的振动。

张说，该传感器可以检测设备是否开启，准确率为98%，根据物体的振动曲线识别设备的准确率为92%。它还可以检测运动，例如当有人坐在椅子上时椅子的运动，并且它知道何时有人阻挡传感器的标签视图，例如当有人使用水槽或洗眼器时。

标签：