3Glasses X1

Facebook公开基于手腕的XR人机交互方式

它甚至可以感知到移动手指的意图

零酱 2021年03月19日 来源:三次方AIRX

Facebook分享了其在腕上设备上进行的一些研究,以实现高保真手指跟踪和触觉反馈。为了使我们未来的AR眼镜能够改善生活,我们需要一个可全天候工作的较为直观且流程的交互人机界面。所以Facebook发表了对基于腕式可穿戴设备的研究,它如何有助于我们更好更自然的控制我们的设备。

VR,vr技术,vr虚拟现实

Facebook的AR / VR交互和输入研发负责人Sean Keller对腕戴式设备的看法:“腕带和手表已经被广泛使用。手腕上的设备可以用作计算、电池和无线电的平台。它可以作为具有显示UI界面、丰富的触觉、完整输入和输出环境,并可以支持各种传感器

为什么Facebook要在手腕上做文章呢?还有许多其他可用的输入源(戒指?手环?),它们都很有用。声音是直观的,但在公共领域还不够私密,或者由于背景噪音而不够可靠。你可以像手机或游戏控制器那样将独立设备存储在口袋中。当我们探索这种可能性时,在手腕上放置一个输入设备成为了一个明确的答案:手腕是一个传统的佩戴手表的地方,这意味着它可以合理地适应日常生活和社会环境。这是一个适合全天穿着的舒适地点。这种与手天然的接近性将允许我们将你的双手丰富的控制能力带入增强现实环境,实现直观、强大和令人满意的交互。

基于腕带的可穿戴设备还有一个额外的好处,那就是它可以很容易地作为计算、电池和的平台,同时支持广泛的传感器。我们所缺少的是找到一条通往丰富输入的清晰路径,一个理想的解决方案便是EMG。肌电图(electromyography)利用传感器将通过手腕传到手部的运动神经电信号转换成数字命令,你可以利用这些数字命令来控制设备的功能。这些信号可以让你向你的设备传达清晰的1位指令,这种控制程度高度个性化,可以适用于许多情况。

通过手腕的信号非常清晰,肌电图仅能理解一毫米的手指运动。这意味着投入可以毫不费力。最终,它甚至可以感知到移动手指的意图。

目前Facebook的Oculus Quest眼镜需要通过眼镜上的摄像头进行的无控制器手部跟踪。它需要一个光线充足的房间,延迟很小但还是有点明显,并且如果你的手复杂重叠的话,它将不起作用。

VR,vr技术,vr虚拟现实

更好的相机,深度传感器和更快的芯片可以改善这一点,但是在某些情况下,头戴式眼镜都无法看到一个或多个手指的运动。

所以呢跟踪手的另一种方法是读取通过手腕传递的神经信号。这样的系统甚至可以在手指运动发生之前就感觉到它的运动。

VR,vr技术,vr虚拟现实

Facebook Neuromotor Interface主管Thomas Reardon解释说,与身体的其他部位相比,大脑更多的要专用于控制你的手。他声称最近的一项突破使得能够解码单个神经元的活动,从而实现对机器的完美控制。这意味着手部交互可能极其精确和可靠(毫米级精确)。这也意味着可以将这些数据视为高度个人化的信息,解决隐私方面的问题。

VR,vr技术,vr虚拟现实

“我们已经尝试过在VR和AR中使用Tasbi的振动和挤压触觉功能进行大量的虚拟交互。例如推,转和拉按钮,感觉纹理和在空间中移动虚拟对象。我们还尝试了更多奇特的示例,诸如爬梯子或使用弓箭之类的东西。我们进行了测试,以查看Tasbi的振动和挤压反馈是否可以使你感觉像是在自然地与这些对象进行交互。令人惊讶的是,由于感官替代,你的身体将各种多感官信息结合在一起。”

VR,vr技术,vr虚拟现实

Facebook相关负责人认为人们无需在虚拟世界和现实世界之间进行选择。借助基于手腕的超流程输入,由上下文感知的AI驱动的自适应界面以及触觉反馈,我们可以与我们的设备进行交流,这种交流会使我们能够与他人进行更深入的联系和改善我们的生活。

VR,vr技术,vr虚拟现实

相关推荐

用户评论

Nolo X1