Holosuit是一款适用于AR和VR平台的全身动作追踪套装。
全身追踪曾经只出现在电影工作室和主题公园内,但是由于低成本的运动传感器、陀螺仪和加速度计的普及,全身追踪终于开始慢慢进入消费者领域。Trackstrap销售的产品与HTC Vive虚拟现实(VR)头显兼容,动作捕捉套件Perception Neuron也是如此。在大多数情况下,捕捉关节和肌肉的运动都和在好莱坞电影中的一样。
麻烦的是,这套设备在设计时就考虑了固定的设置。如果你选择的VR或AR平台恰好是移动先行的,比如谷歌的Daydream View、三星的Gear VR或Facebook的Oculus Go,那你就不太走运了。
前微软工程师Harsha Kikkeri从中受到启发,开始了自己的研发设计。他在之前曾帮助西雅图公司开发出了Kinect动作跟踪传感器,希望能够使一切变得更加灵活。现在,他的解决方案就是HoloSuit。这是一款获得专利的全身跟踪器,包括一件外套、一副手套和一条裤子。装备内包含内置式传感器、触觉反馈设备及可编程按钮,这些传感器可以跟踪运动,触觉反馈设备可以提供力量反馈,可编程按钮可以与电脑、智能手机、可穿戴设备和平板电脑相连接进行控制。
Kikkeri称之为“现实世界的运动跟踪”。
“随着分辨率和视场的提高,延迟的降低,VR和AR技术变得更加深入、更加自然。”Kikkeri说,“我们从头开始设计HoloSuit,以期为用户提供一种无与伦比的、沉浸式的AR/VR/MR体验,这种体验还是全身型的和双向的。”
HoloSuit套装现在即可在Kickstarter上购买,但是要到今年晚些时候才开始发货。本月,我在纽约市已经提前一睹风采了。
全身追踪
当我走进一间镶有木板的会议室时,这间会议室是为我的演示而预订的,Kikkeri热情地和我打招呼。只要稍微留意,就会发现两侧各有两个运动跟踪基站,旁边的桌子上放着一台游戏笔记本电脑。
他穿的是HoloSuit Pro,这是两款现有版本中价格比较高的一款。HoloSuit Pro共有36个嵌入式运动传感器(9个在夹克上,22个在手套上,7个在裤子上),9个触觉反馈设备和6个可编程按钮。另一个价格低一点的版本有26个运动传感器。它通过蓝牙或Wi-Fi连接向PC或移动设备提供源源不断的角度、加速度和力量数据。Kikkeri告诉我,HoloSuit与Android、iOS和Windows系统都兼容, 而且OS X支持即将到来。
Kikkeri说,为流行的游戏引擎(包括Unity和Unreal引擎)开发硬件、软件开发工具包和插件,总共花了他5年的时间。而且几乎HoloSuit套装上的所有元素都是内部设计和制作的,就连夹克的纺织工作都是由他们内部完成。
Kikkeri不是一个喜欢浪费时间的人。他用他最喜欢的一个设备——第三方的数字化身查看器开始了他的演示。当他的右手慢慢向上移动时,电脑上的数字化身右手也在慢慢向上移动。当他从一边转向另一边时,化身也围绕着轴旋转。
HoloSuit的延迟如此之低,令我感到震撼,因为Kikkeri的动作几乎同时就在电脑上得到反映。除了低延迟,它的高保真度也打动了我。即使是非常轻微的动作,比如轻拍手腕或耸耸肩,也逃不过传感器的捕捉。
Kikkeri说,这种超高的准确度使HoloSuit成为VR的理想选择,因为它可以使用户有身临其境的感觉,令人难以置信。他设计的原型的第一次演示是一个潜艇模拟器,在一个狭小的控制室里,用操作旋钮、按钮和杠杆对玩家进行任务。这套装备的按钮在这里派上了用场:在演示过程中,Kikkeri用一枚缝在手套上的按钮作为选择工具。在Windows机器上,这枚按钮还能充当鼠标左键。现在,HoloSuit团队正在开发通用输入驱动程序。
HoloSuit还可以控制现实世界中的物体,比如人形机器人:
但是,HoloSuit不是对所有的潜水导弹发射器和机器人都适用。
下一次演示是Unity中创建的板球模拟器。板球是印度最受欢迎的运动项目之一,而且研发出HoloSuit的初创公司Kaaya Tech的总部就设在这里。当我穿上HoloSuit外套时,它舒适地贴在我的纽扣式连衣裙上。Kikkeri在我手腕上系上了缝合的尼龙搭扣带,以确保追踪尽可能准确。然后,我——或者更确切地说,我的数字化身——就登场了。
我在高中时曾经打过棒球,但这已经过去很长时间了,于是,板球在我的化身面前呼啸而过,次数多到我数不清。必须要提醒一下,这并不是HoloSuit的错,它很好地跟踪了我抖动的手臂,而且它的触觉反馈设备将我的每一次挥拍和失误都进行了反馈。