文/VR陀螺 小钻风
VR/AR交互工具形态目前依然延用主机时代的手柄,手势识别作为更适合VR/AR的自然交互方式虽被应用多时,但单纯依靠算法与深度摄像头感知实现的6DoF交互体验却始终未能取代手柄,也因此,肌电交互成为了VR/AR的下一个聚焦点。
Facebook自今年初曝光肌电手环视频后,前不久其Oculus高管再次在Twitter粉丝问答活动中表示未来手势识别或替代VR手柄,成为新一代人机交互接口。
图源:Oculus
不仅仅是Facebook,苹果也相继公布用于手势识别的肌电指环相关专利。巧合的是,两者展示的可识别手势动作基本相同,说明这类设备从底层交互逻辑上可以认为两家一线大厂对手势识别的表达方式近乎达成共识。
然而,现阶段苹果的肌电指环还处于专利阶段,以Facebook为代表的肌电手环也仅仅是对外公布了一段概念视频。但两家都明确表示,肌电技术的发展已经足以为下一代VR/AR设备带来颠覆性的交互体验,而无需将其寄希望于更加飘渺的侵入式脑机接口技术。
肌电手环、指环的落地,会是VR/AR交互继6DoF手柄之后再一次颠覆性创新吗?亦或仍仅是长期交互技术迭代步伐中的昙花一现?国内、外面向VR/AR开发的肌电交互设备此时又发展到哪一步?
技术不输海外
国内肌电手环2017年便可实施量产
肌电手环并非新鲜事物,肌电技术也早在上个世纪70年代便应用于医学领域,之后又向航天航空领域扩展。医学领域,肌电技术多应用于康复、义肢等;航天航空领域则主要用于交互系统。
2013年左右,肌电技术作为交互技术开始向互联网产品比如智能电视等引入。当时正值智能电视产业爆发。然而,智能电视与智能手机不同,并不太适用于触屏交互,于是市场开始进行其他交互方式的探索。
语音识别与手势识别,是其中较为推崇的交互方式。手势识别主要利用两种技术,一种依靠图像传感,以Kinect和Leap Motion为代表;另一种依靠肌电技术,以Thalmic Labs和OYMotion为代表,主要形态为手环。 2015年、2016年左右,VR/AR市场爆发,手势识别被引入VR/AR产品的交互系统,但基于肌电技术的手势识别并未获得蓬勃发展。
一方面,基于深度摄像头的图像传感随智能手机发展多年,已经较为成熟,肌电技术相比之下成熟度不够高;另一方面,VR/AR市场在经历了热潮之后,整个产业迅速遇冷。
然而近几年随着VR/AR市场的发展,以Facebook、苹果为代表的大厂开始重新将目光投向肌电手环(指环)。Facebook还于2019年底收购了一家钻研VR/AR交互的肌电手环公司CTRL-Labs,Facebook前段时间公开的肌电手环技术便是来源于此。
在VR/AR交互的肌电手环领域,CTRL-Labs只能称得上后起之秀,前面提到的Thalmic Labs和OYMotion成立于2013年左右,才是真正的前辈。 Thalmic Labs其实对我们而言并不陌生,它就是加拿大知名AR眼镜厂商North的前身,去年7月被谷歌以1．8亿美元的价格收购。当时引发了市场大量关注,纷纷猜测谷歌眼镜要重生。
OYMotion则是一家中国厂商,全名叫上海傲意信息科技有限公司(后文简称:傲意科技)。傲意科技创始人叫倪华良,毕业于复旦大学,他在美国高通从事集成电路设计相关工作7年,拥有将近20年的工程开发经验。
图源:傲意科技
2013年他在多伦多自家地下室开始从事肌电手环项目的研究,在与几个小伙伴在地下室默默研发一年多时间后,终于在2014年推出肌电手环gForce的第一版原型。
众所周知,2014年3月,以Facebook 20亿美元收购Oculus为契机,国内围绕VR、AR的创业和投资潮拉开帷幕。凭借这款原型,倪华良的团队也被国内挖掘,在2014年年底被苏州作为园区的“科技领军人才”引入国内。
图源:傲意科技
2016年,在被称为“VR元年”的这一年,傲意的第一款产品发布——gForce EMG肌电手环的Beta版。倪华良透露,从2013年研究至2016年产品落地花了2000万人民币。相比之下,Facebook收购的CTRL-Labs前前后后融资达五千多万美元,至今未有肌电手环成品面市。
倪华良透露,国内很多肌电专利是傲意申请的,智能手表中使用肌电控制实现手势识别也是他们的发明专利。
在以深度摄像头作为手势识别方式的主流下,从傲意选择研发肌电手环的原因可以看出现有手势识别技术的局限之处。
在傲意科技看来,基于摄像头的手势识别,有着几大难以克服的缺点。
首先是对环境要求高,光线强弱、遮挡等都会对识别效果产生影响,其次是手势必须处于摄像头的视场角范围内,因此始终有局限性。面对这两大问题,目前VR/AR厂商所采取的方式多是通过算法进行补偿。
除了这两点外,基于摄像头的手势识别需要对图像进行处理,所需功耗大,也是一大难题。
基于此,傲意团队开始思考其他方式并最终选择了肌电技术。肌电手环无需考虑遮挡问题,而且对手势识别的处理是基于对所获得信号进行的解析,因此数据量更小,功耗与摄像头相比,要低几十、甚至是上百倍。
图源:傲意科技
这也是Facebook、苹果等一线大厂对肌电技术看好的重要原因——肌电手环有潜力帮助手势识别取代手柄,成为下一代交互方式。
“实际上,肌电手环在VR/AR领域的应用远不及摄像头,除去摄像头随手机的发展拥有几十年技术积累外,本身也有一些技术问题需要解决。”对于肌电手环的现状,倪华良给出了这样的答案。
作为肌电厂商,倪华良认为,手势识别是VR/AR交互未来的发展方向,这项技术未来一定会得到发展,只是目前阶段,存在的一些缺点、技术难点尚未完全解决,这是所有行业发展、技术发展一定会面临的问题。
针对国内、外技术水平,倪华良则表示国内的肌电技术并不亚于海外团队。近几年,全球许多科研院校采购傲意的机电手环,主要涉及神经接口、人工智能、机器人、医疗康复等方面,向其采购传感器。
到现在为止,倪华良认为从算法层面,海外团队的解析能力比如对信号的解析等方面比较,与国内外并无太大差距。
那肌电手环的技术难点到底在哪儿呢?倪华良结合多年从业经验,从他的角度对其进行了解读。
数据量+算法先进
肌电技术可解锁手势识别下的VR交互
肌电手环如何工作?当我们脑中想要肢体进行某个动作时,神经信号一定会传达至肢体具体部位,比如手、脚,肌电装置会对这些信号进行读取。 不同的动作所传达的神经信号并不相同,肌电装置便是通过对神经信号的识别进行动作的推测,再将这个动作复现出来。在VR中,复现出来的是虚拟手部的动作。
总的来讲,肌电手环涉及三个步骤:感知信号、识别信号、复现动作。
倪华良表示:“信号识别是肌电传感器面临的挑战之一,由于人体之间有差异性,而且这个差异性有时会较大,皮肤的干燥程度、毛发、机械设计所带来的传感器脱落等等问题都会对肌电传感信号造成干扰。这些干扰会降低肌电传感器对信号进行准确识别的稳定性。”
如果想要在人体差异性的基础上做出普适的产品,倪华良表示,需要比较大的训练集,将这些数据整理出来变成数据库,再引入AI,通过AI训练生成模型,再利用这些模型对现场数据进行识别。在数据量大、算法先进的情况下,识别准确率会很高。
图源:傲意科技
当识别出不同结果时,会引入模糊算法,对识别结果的准确率进行一个推测,再选出相对最为匹配的结果。倪华良说:“目前没有人能做到100%的准确,所有的AI都是在告诉你相似性,在不同概率之间去做衡量,然后让机器去做判断哪个最可能接近正确答案。”
那在基本原理比较类似的情况下,如何对一家公司的手势识别技术的壁垒进行判断?
倪华良表示:“对一家公司的手势识别技术壁垒进行判断,主要看两点:动作的解析数量与延时情况。动作的解析是指所能准确解析的动作数量;延时,是指信号解析与反馈的速度,延时长,比如需要等待１秒钟才能解析出动作,实时性会被破坏掉。因此,在做算法的过程当中要进行一些参数的调节,在这个过程当中,有很多限制条件,比如需要满足延时、数量、成本等各个条件。”
图源:傲意科技
早在2016年,傲意科技的gForce肌电手环便可实现量产,以下为2016年傲意gForce肌电手环交互演示视频。
视频中,倪华良手臂上戴着黑色gForce肌电手环,就5个不同场景(主要是游戏)进行了操作演示:页面的切换、爆炸、掷飞镖、拉弓射箭、刀剑搏斗,抓握以及抓握程度是其中主要应用的手势。
可以看到,当倪华良做出轻轻抓握的手势时VR页面会进行切换,在进行以爆炸为攻击手段的游戏时,则需紧紧握住拳头,紧握的时长代表了持续爆炸的时间,在这个游戏中,玩家通过移动头显视线锁定目标。
?
图源:傲意科技
在后面掷飞镖、拉弓射箭,以及刀剑搏斗的游戏当中,手势均与真实动作保持一致。整体来讲,手势动作与VR中的动作基本保持一致,很流畅,无明显延迟,只是在最后一款游戏的演示中当,由于挥动较为频繁,似乎出现了一定的延时。据了解,该延时是由于VR头显通过USB线投影造成的。
?图源:傲意科技
在肌电手环的帮助下,用户没有了抓握手柄的必要,双手能够更加自然的交互,完成真实场景中动作的模拟,可见肌电手环在手势识别上具有可实施性。
未来,当头显成为生活的一部分,缩小至理想中普通眼镜的大小时,我们不可能人人握着手柄上路,手柄最终会被其他形态的交互所替代,彻底解放双手。特别是占据手腕位置的智能手表,已有蓝牙,算力,电池,显示等基础单元,足够用于处理肌电手势识别,两者结合将有很好的用户体验的应用前景。
手势识别作为非常接近自然状态的交互,便是目前已知较符合条件的方向之一。 目前手势识别仅依靠摄像头达不到理想效果,但有了肌电手环弥补受环境、视场角限制、缺乏触觉反馈等缺陷,拥有了让用户摆脱手柄获得全新体验的潜力。
未来的交互形式:
多种技术相结合,手柄将成为过去式
“无论是3DoF还是6DoF手柄,只要是手柄,我都认为不应该是在VR中存在的东西,因为它不符合沉浸感,会破坏掉沉浸感。”
倪华良说:“目前,手柄方案是最便宜,生产成本最低,也是最稳定的方式,综合成本、功耗以及效果来看,这是使用摄像头或其他方案都达不到的平衡结果。因此只能退而求其次选择手柄。但是,手柄的形态未来一定会被淘汰。”
“我个人觉得有可能是技术的融合,而不是单一某项技术。6DoF只是一个阶段性方案,他最终会被其他方式所取代。”
虽然以Facebook为首的厂商看好手势识别,并表示未来或用手势替代VR手柄,但目前基于肌电手环的手势识别在VR/AR交互当中尚属新秀,应用不及摄像头成熟。而且肌电技术之前多应用于医疗等细分领域,从细分领域向更为普适的大众领域扩展,对技术的进一步发展提出了要求。
除了前文提过的针对VR/AR在技术层面进行肌电信号的获取,数据的采集、手势动作的解析、算法的进一步调适外,还需要考虑肌电手环的成本与市场推广等问题。
倪华良表示,手环的生产成本并不高,往往在几百块左右,这样的成本在肌电手环市场起量之后会进一步得到下调。但肌电手环真正在VR/AR市场铺开,单依靠傲意这样的公司体量难以推动,最终还是需要依靠大体量的厂商去推动。
结语
在陀螺君看来,肌电手环并不仅仅意味着解放双手,而是更高意义上的存在。肌电手环可与智能手表相集成,完成与手机生态的互联。
从现有的种种消息来看,包括SideQuest推出安卓版应用,Oculus也将支持访问安卓应用,并且在Quest v29版本系统软件的更新中进一步增加与手机的联系,比如在VR中显示手机通知、支持iOS系统手机进行MR捕获等。
未来,VR/AR头显有可能与手机生态相互通,当手环成为新一代计算机平台交互设备的工具时,它的交互对象将不会止步于VR/AR设备,而是包括手机在内的整个计算机平台。
