Google 开发者大会 (Google Developer Summit) 是谷歌面向开发者展示最新产品和平台的年度盛会。2020 Google 开发者大会于 11 月 16 日 至 21 日举行,这是谷歌首次以全线上大会的形式与中国开发者相聚。
本次大会以“代码不止”为主题,介绍了相关产品更新以及一系列面向本地开发者的技术支持内容,旨在赋能开发者高效创新、持续不断地创造愉悦的产品体验。
目前AR已经从只是畅想发展到今天的技术相对成熟的状态,应用也不断推陈出新。加上5G的带动,越来越多的AR体验走进生活,被更多人了解和使用。
随着科技的不断演进,人机交互的方式也不断变更。摄像头成为了数字世界的眼睛,能看懂并感知这个世界,再结合IMU、GPS算力集成及深度学习后,AR技术开始在最需要的位置和时空中无缝联结,并响应现实世界。
AR提供了一种体验信息以及获得答案的新方法,吸引了人们的注意力,最终帮助推动了用户行动起来。无论是应用的下载、互动,还是应用内购买,都看到了显著的提升。
此次大会与AR/VR相关重点集中在ARCore的讲解与介绍,谷歌软件工程总监王启文(Leon Wang)、大中华区AR/VR负责人熊子青、Google 技术布道师周克忠与Google 软件工程师Eric Turner围绕ARcore从多个角度进行了主题分享。
ARCore新增功能上线:更方便的设置、更真实的交互
AR作为一种视觉沉浸式媒介,能够吸引人们的注意力,是一种体验信息的新方式,并最终推动用户的行动。而谷歌发布于2018年的ARCore是AR开发者平台,提供了简单而强大的工具,为Android和iOS用户创造有效的AR体验。目前已被应用在7亿台设备和成千上万款app上,并且已获得一系列更新。
整体上,ARCore能被适用于多种场景,离不开以下几个核心功能:
1、运动追踪。用来帮助用户实现虚拟现实的映射关系。
2、环境理解。对现实环境中的平面信息进行评估,利用特征点来估算位置、大小以及朝向 。
3、光估测。ARCore可以分析估算当前环境中的光照信息,对渲染的虚拟内容进行光照色彩的校正,使其与手机摄像头拍到的真实画面结合得更加自然。
另外ARCore还有许多延伸的功能: 1、增强面部识别。提供了高精度468点的3D Mesh。可以精准地追踪脸部细微表情,不需要深度传感器,而是运用机器学习(ML)中的深度学习,以达到这样的功能。同时支持安卓及IOS用户。
2、环境光HDR。要让虚拟物品看起来更逼真,更融入实景,其中最重要的功能之一就是要有正确的光照呈现。运用了ARCore所提供的360度全景光照信息,图中的虚拟小火箭,就可以有了对应的反光及影子。
3、Scene Viewer场景观测器。让开发者可以直接在网页上向用户提供方便、好用的3D内容及AR浏览功能。
4、Agumented Image增强图像。可以检测手机拍摄到的图像信息,并与预先设置在数据库中的图像进行匹配。可精确匹配包括移动中的图像,或是同时检测多个图像。
5、云锚点。为安卓和iOS用户创建共享的跨平台体验。就如同图中的案例,从两个人到数百人,都可以在各自的设备上一起种花、浇灌。
11月16日,谷歌软件工程总监王启文(Leon Wang)发表了关于“ARCore为用户创造有效的AR体验”的主题演讲,介绍了Google热门的AR开发工具ARCore的新增功能。
新增功能如下:
迅速放置API(Instant Placement API)
一般来说,用户在空间中放置过AR对象时,需要先用手机扫描周围的环境,完成3D表面检测。但这个过程将耗费一些时间和精力。实际上,在大多数情况下,我们不需要知道AR对象确切的3D位置也可以正确地呈现它。
借助迅速放置API和几行代码,开发人员可让用户将AR对象锚定到2D图像中,而不需要确切知道AR对象具体的3D位置。如果需要更精确的比例,可以针对3D位置进行三角测量。
景深应用API(Depth API)
景深API可以从单个RGB相机生成地图。原理是通过不同角度拍摄多张图像,并在移动手机时进行比较,以估计到每个像素的距离。尽管只有一个RGB相机,但是添加了景深传感器(如飞行时间传感器)会让景深地图效果更好。
景深可以通过多种方式增强AR真实感,“遮挡”是其中一种景深应用,即隐藏数字物体在现实世界中被遮挡的部分,从而使它们看上去像是在现实场景中真实存在。
另一种是“表面交互”,即在设备中的世界里,添加3D层面的计算,可以实现与现实物品表面的交互,比如创意AR对象,并在其表面设计反弹和飞溅的动作。此功能可以用于开发新的交互式游戏机制,使玩家能够躲在真实物体的后面。Snapchat的Dancing Hotdog和Undersea World Lens效果都使用了景深。
持久云锚点Persistent Cloud Anchors API
Cloud Anchors API可用于与多个用户共享AR对象。在相同物理空间中的不同位置同时查看这些对象并与之交互,AR内容也因此可使用更长时间。
这相当于一个“保存按钮”,人们可以基于相同的AR体验进行创作并进行反复修改。比如,Sybo和iDreamSky的Mark应用采用了该功能,人们可以在现实世界中与朋友一起创建、发现和共享AR艺术。
AR技术大神讲解ARCore深度API运作方式
Google 技术布道师周克忠与Google 软件工程师Eric Turner主要针对了ARCore 核心功能中的深度API技术进行演讲。ARCore 1．18 中发布的深度 API,赋能数以亿计的 Android 设备,在只是使用一个 RGB 摄像头的情况下,生成深度图。
以“使用深度 API 提升 AR 的真实性”为主题演讲的前半部分,周克忠介绍了ARCore的最新功能,包括深度API是什么,它可以解决什么问题等;后半部分,Eric介绍了ARCore如何实现深度API。
一、深度API是什么?它可以解决什么问题?
之前Google大中华区AR/VR负责人熊子青也曾讲述,ARCore是Google为安卓平台制作的AR开发平台,目前在全球支持超过5亿台设备。其核心能力是运动追踪、环境理解和光估测。现在已经有很多APP使用ARCore制作出各种各样的丰富体验。
通过ARCore制作的应用看上去很逼真,但是实际体验上,这些虚拟内容看起来好像他们就是手机膜一样被贴到手机屏幕上,他们并不是真的在现实世界里面,这里缺少的就是遮挡,会破坏ARCore应用的真实感。 深度API的加入,可以解决虚拟对象缺乏真实感的问题,能够消除违和感。
二、如何实现遮挡?
首先我们需要定义深度。如图C点是摄像机的位置,Z轴是摄像机的主轴,A点表示一个现实的物体,从C到A的深度则被定义为线段CA在Z轴的投影。此为场景物体的深度轴。 根据深度信息,智能手机就能够渲染虚拟物体。在着色渲染器里面计算每一个像素点的时候,我们将当前像素点的深度值,和之前在这个像素点所渲染过的颜色的深度值进行对比。 如果之前的像素点深度值更低,那么就意味着它更近;相反,则更远。就这样便可以实现基于深度的遮挡效果。
三、除了遮挡,深度API增强真实感的其他方式
1．AR光标。在AR应用里面,用户可以把定点的光标贴合深度API生成的网格,此时光标就变成了在现实世界存在的AR光标。目的是更好地帮助用户理解现在所看到、所对准的具体位置,以及这个位置的形状。
2．物理交互。比如如图所示,将一个虚拟物体丢到健身自行车上面,让AR物体和真实世界的物体发生物理碰撞,进行物理模拟。
3．表面交互。通过让AR角色识别真实物体表面的高低起伏,从而做出更加真实的前进路线,甚至可以绕开障碍物。
周克忠还介绍了目前团队发表的论文《Depth Lab:Real-time 3D Interaction with Depth Maps for Mobile Augmented Reality》(UIST,2020),论文主要关于如何从深度信息实现以上功能,以及深度信息可以开启怎样的应用场景。
四、如何实现复杂的用法? 团队利用了三种辅助数据结构来帮助计算。 第一种数据结构就是一个深度数组,可以在屏幕上进行局部坐标的深度信息查询。 第二种是深度网格,可以用来和真实物体的表面进行交互。注意这里是平面坐标系的网格,毕竟世界坐标系的网格运算量过大,一般手机无法承载。 第三种是深度贴图,对GPU能处理的每一个像素都提供对应的深度值。 这三种结构在Depth Lab(深度API应用程序)都有提供代码,是一个开源项目,提供给开发者进行自主设计。
五、关于局部、表面和密集深度贴图的方法 通过使用深度数组,用户可以查询局部点的信息,以及这个点周围局部区域的深度信息。
局部深度用法中,只通过某些点的深度估测值,可以用于测量、3D资源的放置和碰撞检测。也可以配合多点的深度,实现简单的AR角色障碍规避。比如说通过深度信息查询环境中一个点与另一个点的实际距离。
表面深度用法,是基于深度信息快速构建屏幕空间的网格模型,利用游戏引擎进行网格交互。表面深度算法让我们可以在3D网格上面实现光照、物理效果、阴影等功能。 密集深度用法,即通过在深度贴图上直接进行操作,以实现复杂的逐帧像素特效。由于深度贴图上的每个像素都有深度值,使得计算量特别大。一般的屏幕空间网格,其实是经过相当的简化后的网格,而ARCore把计算量移到了GPU上,减小了手机的计算负担。
第二部分里,在周克忠介绍深度API实际运作方式的基础上,Eric通过具体例子进行了补充。
六、深度API原理剖析
一般而言,手机需要配备特殊的深度硬件才能实现深度识别,比如ToF深度传感器。但实际上,现阶段的ARCore并不需要特殊设备,只需要有摄像头,就可以实现深度API功能。
如图,左边是手机相机拍摄的原始图像,右边是深度API为此场景生成的深度。用户可以近距离观察单车,也可以远距离观察远处的门和走廊,分别对应的颜色是红色和蓝色,表示近处和远处。
这意味着无论AR应用在做什么,它都可以获取整个场景中的每个帧的深度信息。根据相机的运动生成深度信息,如蓝色帧为远处,红色帧为近处,这些帧会被最后的相机画面帧(黑色)引用为立体匹配关键帧。过去的帧与当前的帧之间的基线,可用来估算场景的立体深度。 但Eric提到,基于用户自然移动的规则,团队为此添加了一些限制。因此与传统的并行立体匹配相比,设计基于自然移动的深度API则存在一些挑战。
传统的并行立体匹配可以全面控制相机之间的相对位置。而在典型AR应用中,对于随机相机移动,团队无法控制相机的位置,即用户在进行自由移动时,相机可能在任何方向。 而目前,ARCore深度API添加了智能图像处理功能,以确保整个图像都具有准确的深度。除此之外,还能够补偿速度匹配错误、运动模糊、自动聚集聚焦变化或自然移动导致的小于正常基线的问题等。
深度API的完整流程是: 实时图像-形成关键帧池-筛选出关键帧-根据智能算法剔除无效关键帧-立体匹配-使关键帧平滑-调用深度API-实现渲染遮挡。 其亮点在于,即使是一面空白无特征的墙,ARCore的深度API仍然能够生成正确表示该空白墙的深度图像。 其原理是,如图所示,白墙是黄色帧,箱子是橙色帧。在图二的中间,可以看到伪色深度图像,正确呈现了场景中的物体的远近位置。而图三则是以点云代替颜色,进行了侧面视角观察,但同样能以垂直点表示墙面、水平点表示箱子,准确判断出墙和箱子的相对距离。 演讲的最后,周克忠总结,实现深度API最大的难点是怎么扩展这个能力。为装备到数以亿计的安卓设备上而设计深度API的时候,一方面我们需要尽可能的让它的结果精确,另外我们需要尽量去减少它的计算量,以尽量支持更多的已有设备。 而近年来,Google一直在进行深度API的优化,以减少它的计算量。
不止于此,ARCore已具有丰富的应用场景
总体上,王启文将ARCore的核心功能进行了详细介绍,周克忠和Eric剖析了ARCore最受瞩目的深度API的运作原理。有了底层技术支撑,ARCore也被广泛应用在丰富的场景中,并受YouTube、美图、滴滴等多个企业青睐。
此前,王启文在演讲上还介绍了中国地区ARCore的应用情况。在此基础上,大中华区AR/VR负责人熊子青补充ARCore应用案例,她以“ARCore新近更新及应用实例”为主题,从AR近期发展、ARCore进程、2020新近更新三个方面介绍了ARCore产品动态。
关于中国地区的应用案例,王启文介绍了包括美图、滴滴、有道少儿词典的中国开发者如何使用ARCore提高产品的性能和体验。
美图公司利用ARCore的增强面孔API(Augmented Faces API)构建了100多个自拍滤镜,就是现在我们在BeautyPlus上可以体验到的AR特效,用户可以拍摄照片和视频与朋友分享。
增强面孔API(Augmented Faces API)从2D图像中生成3D网格,可追踪嘴部动作、眨眼、点头和一些复杂的细节。
滴滴的ARCore导航功能帮助乘客在火车站、商场和机场等大型公共区域找到司机。滴滴地图中加入了AR路标,15%的用户使用AR来引导他们找到订单司机,80%的用户给出好评。
有道少儿词典应用使用AR来帮助孩子们以一种有趣和吸引人的方式学习新单词。该应用将“三角龙Triceratops ”等单词与其3D模型在AR中配对,父母可以把AR画面录制或拍照,方便日后成为孩子们可参考的学习材料。
关于更丰富的应用场景的应用,熊子青介绍了目前AR技术主要应用在学习、娱乐、出行、社交等场景,以此阐明AR技术正帮助将人们的生活变得更便利、更有趣。
例如,在Google search中,设计了许多3D模型,老虎、狮子,甚至是数学公式,让用户在搜寻时能360度观看,也可以用AR方式投射到家中,立体化地了解信息。疫情期间,获得了全球使用者的广大回响。
关于Google lens智慧镜头应用,用户打开摄像头就可以识别花草、文字、电视、地标、菜单。
在YouTube中的应用。用户可以一边看美妆博主示范化妆方式,一边可以使用AR功能进行实时试妆。
Google Map中也应用了AR户型导航。用户可以看到方向指示牌和导览提示,仿佛一个专属的私人导游。该应用是目前GoogleAR应用中使用者最多的应用之一。
随着手机的普及,营销媒介也发展出基于手机相机的新应用。运用AR将人们带入沉浸式体验,将人们带入品牌世界。Google display network中,Google推出了3D Swirl营销工具,该营销应用在今年下半年正式完成了beta测试版,并且已经看到了用户参与度及品牌影响力的显著提升。
5G实践前沿。随着5G商用化,ARCore与LG Uplus合作,在韩国首尔进行了AR+5G的实践尝试。在首尔地铁站布建了AR艺术长廊和展示车厢,5G加持能够克服地铁站人多信号差的缺陷,人们能够顺畅地体验到丰富的AR艺术内容。
昌德宫。联合国教科文组织世界遗产站点。Google与SK Telecom和文化遗产管理局合作,创建了全球首个5G赋能的AR文旅体验。AR导览由一个活化的石狮子带领,游客可以穿越到朝鲜王朝,体验传统习俗和体会朝鲜贵族生活。
总结
通过2020 Google 开发者大会,我们看到了谷歌基于算法API方面对于ARCore的进一步升级。让手机会“看”、能“懂”的需求已经随着机器学习、深度API的更新进程不再是困扰AR体验的拦路虎。
值得一体的是,谷歌正加大力度将人工智能算法整合到ARCore底层,以确保尽可能多的支持市场上参差不齐的手机品类。应用方面,谷歌ARCore采用广撒网的方式,与国内出行、教育、医疗、文化等领域的领先企业进行合作,通过催生越来越多的AR应用场景的诞生,随着量变到质变的转换,爆款AR应用的诞生值得期待。