文/VR陀螺 小钻风
近年来,云计算、云服务在微软、亚马逊、腾讯、阿里、华为等众多大厂的竞争与参与下,成为了人们的关注焦点。 AR Cloud,连接虚拟世界与物理世界,被描述为真实世界的数字孪生,或者说是现实世界的数字副本,也是大厂默默发力的重点。
AWE创始人,同时也是Flyby(2016年被苹果收购,成为ARKit基础技术来源之一)联合创始人的Ori Inbar,曾在Super Ventures投资博客中这样评价AR Cloud:“能实现移动AR大规模使用的,不是ARKit、ARCore,而是AR Cloud。”
可见AR Cloud在移动AR大规模应用中,扮演的角色之重要。近几年,在AR Cloud上看似寂寂无声的大厂其实都有动作。
比如苹果发布AR Cloud,ARKit 4．0版本增加核心功能Location Anchor;微软推出新AR平台Spatial Anchors,今年还与ARwayKit合作构建AR Cloud;Facebook收购AR云地图公司Space;Niantic收购AR Cloud公司6D．ai等等。不仅如此,还出现了与大厂们操作风格不一致的Open AR Cloud。
为什么说能实现移动AR大规模使用的是AR Cloud?大厂近期在AR Cloud上又有何具体动作?又为何会引起Open AR Cloud的出现?
移动AR缺的不仅是ARKit而是虚拟与现实的连接介质AR Cloud
2017年,ARKit、ARCore由苹果、谷歌相继推出后,似乎一夜之间,开发者便可以轻松实现AR应用程序的免费创建。ARKit发布半年,便超1300万下载。 然而开发者经历过初期的新奇与追捧后,AR应用程序并未迎来预期的快速传播。2017年10月,App Store中在ARKit上线应用约300款,之后这一数字却快速减少,开发者的兴趣逐渐退烧。
图源:网络
这样几近沉默的状态,从2017年至今仍未有大的起色,有人这样形容:“基于ARKit & ARCore创建的应用程序,就像90年代没有网友的网上冲浪”。
AWE创始人Ori Inbar说:“ARKit的发布虽然对AR产业意义重大,但它无法承载AR应用程序的广泛采用。”
开发者们单依靠ARKit开发出的体验,被限制在单人体验,不具备互联网的社交性与互通性,而且AR体验并不持久,无法在真实世界与虚拟世界之间持续。 想要实现AR应用程序的广泛采用,需要的是AR Cloud,让AR体验实现跨空间、时间与设备的持续存在。
在Ori Inbar的设想中,想要实现这一点,他对iPhone X的期待不是ARKit,而是后置深度摄像头,用于感知周围环境并创建用户间可共享的丰富、精确的3D世界地图。
去年9月,苹果发布的iPhone 12 Pro搭载的雷达扫描仪LiDAR,终于契合了Ori Inbar对后置深度摄像头的期待。
什么是AR Cloud?
有没有玩过MMO(大型多人在线游戏)?在MMO的开放世界中,充斥着由游戏制作者设定的各类角色、故事情节与内容,玩家与其他玩家在这个世界中协同战斗。
我们可以将AR Cloud想象成MMO,只是这个开放世界并非由游戏制作者设定,而是真实世界的数字版,所呈现的信息是与真实世界完美匹配的真实信息,玩家则是真实的伙伴。
正如前文所述,AR Cloud是真实世界的数字孪生,是地球上所有地点的数字副本。
AR Cloud系统需包含三大要素:
与现实世界坐标对齐的持久点云;
能够实现在任何地点,多个设备上进行即时本地化,即让虚拟世界与真实世界对齐;
能够将虚拟内容放置在真实/虚拟世界中,并能通过设备与之实时进行远程交互。
所谓点云,是指某个坐标系下点的数据集,点包含丰富的信息,比如三维坐标、颜色、分类值等等。
AR Cloud就是由这些点云数据构成,这些点云数据如何得来?通过类似LiDAR的激光扫描仪、深度摄像头等本地设备从真实世界获取后上传共享。
AR Cloud由不同的用户通过手机摄像头获取不同的数据,这些数据集合起来才能形成真正完整的AR Cloud。 在点云数据的采集中,会涉及一个关键性工具——深度摄像头。深度摄像头是非常重要的一个组件,它可以很大程度上帮助3D地图的创建,这是普通摄像头做不到的。
深度摄像头搭配人工智能算法,可以更好地理解场景的几何形状,其算法的工作方法与常规智能手机类似,但捕获的点云更密集、更精确,能产生更高质量的AR Cloud。
曾有少数设备提供这一功能但却并未被大面积采用,Tango仅销售数千台,Occpital传感器仅出售几千套,基于Tango的联想Phab 2 Pro是第一款带有深度摄像头的商用智能手机,同样采用率不高,Asus ZenFone AR设备更轻薄,但采用率同样理想。
也这是Ori Inbar为什么那么期待iPhone X搭载深度摄像头的原因。 此外,为使AR应用能够按创建者意图将虚拟内容放置到真实世界中,设备需要理解摄像头相对于环境的几何位置。
为了找到合适的位置,设备需要将摄像视野中的关键特征与AR Cloud中的点云进行匹配。
为了实现即时定位,AR Cloud定位设备必须基于设备的方向以及GPS定位(或是Wifi、蜂窝信号等其他信号)缩小搜索范围。搜索过程可通过使用更多的上下文数据与AR进行优化。
一旦设备被定位后,ARKi t& ARCore可利用IMU、计算机视觉接管并执行稳定的追踪。 现在已有多种解决方案用于像Google Tango、Occipital Sensor、ARKit & AR Core这样的设备定位,但这些开箱即用的解决方案,只能一次针对一个本地点云进行本地化。微软的HoloLens可以针对一组点云进行本地化,但仅限于HoloLens。
AR Cloud能做什么?
AR云能让整个世界变成一个共享空间,可实现多用户参与和协作。 基于ARKit & ARCore构建的应用均为单用户体验,而AR Cloud则可以实现共享体验,让用户可以像是在真实世界中一样,共同体验交流,比如共同学习、讨论、完成设计等等。
而且AR世界与真实世界相比,能实现更加快速的信息匹配。目前世界上大多数信息均以数字文档、视频等形式组织起来,存储在服务器上,但这些信息需要通过某种形式的搜索去发现。
此前谷歌有数据显示,超过50%的搜索是通过移动端实现的,人们对信息的及时性需求已经越来越强。 AR Cloud充当现实世界的3D副本,其自动识别与匹配能力可简化搜索,面对识别物体呈现相对应的信息。
因此,有说法认为,谁控制了AR Cloud,谁就控制了下一代计算平台组织与访问世界信息的方式。
然而AR Cloud的构建并不容易。首先,用户量得大,否则采集的范围与AR Cloud的数据完整度会大大受限,目前能实现这一用户量的设备,首选手机。 但数据采集有硬件上的要求,手机需搭载深度摄像头,否则基于算法的AR始终难做到真实的虚实融合,目前看到能将LiDAR做到如此小型搭载到手机上的也仅苹果一家。此外,三维空间重建所涉及的信息非常敏感,需要极高的安全保障。
那AR Cloud作为整个世界的数字孪生,谁有能力去建造如此大的项目?Ori认为只有苹果、谷歌、微软有这样的实力去推出完整的AR Cloud。
AR Cloud创企呢?13th Lab被Facebook收购,Obvious Engineering/Seene与Cimagine被Snap收购,Flyby被苹果收购,Georg Klein被Microsoft纳入．．．．．． AR创企有前瞻性的眼光,但却并不具备这样的实力,优秀的创企多被大厂直接收割。AR Cloud终究还是大型玩家们的游戏。
