小心隔墙有眼！MIT成功以无线讯号隔墙画出人体动作,隔墙有眼 全集,研究团队以深度学习分

原标题：小心隔墙有眼！MIT成功以无线讯号隔墙画出人体动作

图片来源: MIT 现在不只要小心隔墙有耳，现在还要注意隔墙有眼，MIT研究出能穿墙精准估测人体2D骨架的技术。研究团队以深度学习分析射频（Radio△Frequency）讯号，并以先进的视觉模型来提供跨模态的监督训练，与一般...

图片来源:

MIT

现在不只要小心隔墙有耳，现在还要注意隔墙有眼，MIT研究出能穿墙精准估测人体2D骨架的技术。研究团队以深度学习分析射频（Radio△Frequency）讯号，并以先进的视觉模型来提供跨模态的监督训练，与一般基于电脑视觉的技术不同，由于无线电讯号可以穿墙，因此即使人体位于障碍物后方，姿势仍然可以被感知出来。

估量人体姿势是电脑视觉在监控、活动分辨以及游戏重要的任务，电脑被期望可以分辨出人的头部、躯干与四肢等重要部位，而这个技术在过去也的确有长足的发展。不过，视觉遮蔽是其中一个根本性的障碍，过去会以可见的部位推测不可见部位的动作，但由于人的肢体灵活性很大，因此光靠推测难以取得准确的结果。

MIT的研究团队使用完全不同的思维来处理姿势估量的遮蔽问题，既然可见光容易遭到不透明物体的遮避阻挡，那使用无线电波就能穿透这些物体了。在近期有部分类似的研究，但是都只能顶多做到侦测人体的移动速度或是产生一个人体模糊的轮廓，皆无法具体的描述人类的精确姿势。

这个MIT团队提出了RF-Pose方法，这是第一个使用神经网络解析无线讯号，即便人体受到障碍物遮蔽，都能够精确提取人体2D姿势的研究。RF-Pose的概念是发射低功率无线讯号，观察讯号在环境的反射情况，以估量人体姿势，而他们也只把无线电反射当作系统输入。

不过这个方法有一个挑战，研究团队无法提供模型标签训练资料，因此他们使用跨模态的监督训练。在训练期间，连接无线感测器与网络摄影机，同步无线以及视觉串流，通过传统电脑视觉提取姿势资讯，并将其当作无线串流的监督讯号。一旦模型训练完成，输入就只剩无线讯号，输出则为2D的人体姿势。

RF-Pose不只可以在人体未受遮蔽的情况下，抓取人的姿势外，连人体完全受到遮蔽的情境也可以运作的非常良好，无论是一个人或是多个人都不是问题，RF-Pose甚至可以同时对场景中100个人抓取每个人的骨架，而这正是传统基于电脑视觉做不到的事，因为人们在画面中会互相遮蔽，而使用无线电波当作输入，则完全没有这个问题。?

橙山网（Csnd.net）简评：研究团队以深度学习分析射频（Radio△Frequency）讯号，并以先进的视觉模型来提供跨模态的监督训练，与一般...图片来源: MIT 现在不只要小心隔墙有耳，现在还要注意隔墙有眼，MIT研究出能