在12月12日,Oculus宣布在V12测试版本中推出Quest的手势追踪。而今日,Oculus Quest正式开放了手势追踪SDK。现在,开发者们可以在他们的应用程序中集成手势追踪功能。
在此前的采访中,Oculus曾表示,虽然手势识别功能将会在2020年年初推出,但是他们计划在功能完善之后在推出,而从现在的动向来看,Oculus显然在加快VR手势识别功能的布局。
Quest手势识别效果理想,但仍在早期
2014年底,Facebook首次表达了对VR手指追踪技术的兴趣。此后,公司收购了Nimble VR初创公司,并将其四名手控跟踪技术的资深研究员纳入麾下。收购时,Oculus非常清楚这项技术“甚至可能不会用于CV2或CV3”。或许是因为Nimble技术需要一个专用的深度传感器。
深度传感器能够提供良好的手指追踪效果,与现在的HoloLens 2 AR新头显类似。然而,专用传感器会增加头显的成本和重量,很可能不会被广泛采用。按照Quest的思路,在普通相机上挑战高质量的手指追踪效果,难度很大。Quest采用了与其他追踪技术相同的硬件,这一点可能会成为Facebook的竞争优势,也可能广泛用于Facebook的未来产品中。
在2016年Oculus Connect 3大会上,首席科学家Michael Abrash曾对2021年的VR发展做出一系列预测。他指出在手套上添加标记可以完美实现手指跟踪(并展示了出来),但当时还不能直接投入使用,预计2021年或许可以实现:
Facebook现在就推出这一功能,比Abash的预测早了一年。Oculus Quest通过四个摄像头和先进的计算机视觉算法来跟踪用户的手和手指。
现在,用户在Quest的设置-显示全部-关于-版本更新界面将版本更新至V12,此时,设置便会出现实验性功能,通过激活“手势识别”功能,用户就可以开启Quest的手势识别体验。为了让用户更容易的上手,官方还推出了手势识别的教学功能,但从功能来看,目前设备所开放的交互手势还处于比较早期的阶段。对此Oculus表示,手势识别的初始版本是为了让用户去了解手势追踪功能,从而让他们能够控制Quest的主菜单界面以及少量的自研应用。
启用手势追踪功能后,用户会在手附近看到浮动光标,这些光标与“任务”菜单上的浮动指针相对应。“捏”(无名指和大拇指接触)代表按下按钮的“单击”,或用作拖动可滚动区域的“单击并按住”。如果用户将手面向自己作出捏的动作,就可以显示或隐藏菜单。
总的来说,Quest的手势识别是十分精准的,在手掌面向用户时,设备基本可以识别到手指的各种动作,为了保证用户手势识别的稳定性,Quest降低了手势移动的识别刷新率,如果用户手势快速移动,便会导致手势识别丢失,当用户手势稳定时再重新捕捉。
不过如果选择了使用双手后,手柄被移动的话,将自动转向手柄操控。
目前在Oculus中可以实现以下几种手势:
拇指和食指捏合(兰花指状),可实现选择功能。
如果左右手同时做同样的手势,将按照先后顺序确定手的控制权。
当双手合掌、合十或者太过接近的时候手将消失。
当手运动过快时也会消失。
手掌朝向面部,当屏幕中的手掌变成蓝色,拇指和食指捏合可以打开/关闭菜单。
Oculus Quest使用四周的四个定位摄像头来追踪手势,所以基本上手掌处于视线范围内都可以被追踪到,当手太过处于边界的时候也将消失。当手回到视线范围内的时候,几乎没有反馈延时,追踪效果非常灵敏。
摄像头可识别的手部距离来看,在手臂的极限伸展范围内依旧能够识别到。
当手掌面向正前方握拳或抓取状态时,由于识别不到手掌,手将在视线内消失。而当手掌面向前方时,手指被手掌遮挡的部分就可能会出现一些识别错误。
值得注意的是,陀螺君尝试在设备识别到右手时,让身边的朋友同时伸出右手,这时设备就会将位于左边的右手识别成左手。
此外就像上面提到的,目前所开放的手势功能还比较少。在现阶段开放给开发者的DEMO和今日宣布的五款具备手势交互功能的应用:《Titans of Space PLUS》、《The Curious Tale of the Stolen Pets》、《Virtual Desktop》、《Virtual Desktop》、《Waltz of the Wizard》中。
我们会发现一个明显的特质,在类型上基本以休闲为主。在手势识别的使用上基本以单手手指的“点”和“捏”的动作为主,虽然在部分游戏上可以使用“手握”的动作,但也只在少部分的内容上支持。
手势识别SDK开放,强调保护用户隐私
现在Oculus Quest上手势追踪SDK已经开放,因此开发人员可以将手势追踪功能集成进他们的应用程序中。简单来说,这意味着开发人员添加功能所需的代码和资源。该SDK尚未正式发布,这就是为什么目前只有自研应用程序支持该功能。
Oculus手势识别SDK现在拥有一个API,可以发回骨骼模型或者用户的手部完整网格以及一个可信度值数。使用Oculus Unity Integration,开发者可以将手势追踪功能与简单的预制件组合在一起。本机API和Unity API均可以调用以检测捏合并用户捏合所指向的位置。
不过,不要期望在接下来的几周内看到Quest商店的应用程序有更新。 Facebook告诉我们,预计第一次第三方应用程序更新将在2020年初进行。但是,添加一个新的输入方式通常需要数周或数月,具体取决于应用程序。
然而,有机会我们可能会在SideQuest上看到带有手势追踪功能的Quest应用,这是Quest的非官方第三方商店,可以通过自动执行侧载来工作。
有趣的是,SDK文件资料警告开发人员有关访问用户手部数据的隐私:
数据使用免责声明:启用对手部跟踪的支持可授予您的应用访问某些用户数据的权限,例如用户的估计手部大小和手部姿势数据。仅允许将这些数据用于在您的应用程序中启用手部跟踪,并明确禁止出于任何其他用途。
随着VR的发展,它将能够追踪越来越多的独有的可识别生物特征数据。SDK文件提到,必须明显地要求权限,开发者才能使用手势追踪功能。这可能意味着Facebook打算为用户提供一个选项,以接受每个应用程序的权限。
手势追踪技术有望增加VR应用的便利性,同时也向不熟悉和不喜欢游戏控制器的新用户开放。
现在,SDK已发布,同时也已有五个应用程序添加了手势识别的功能,未来将有更多手势识别应用程序逐渐进入消费者的视野,引领新的VR交互的发展。
