文/VR陀螺 ZJ
过去几年来,谷歌一直在努力打造一款体验,这款体验使用户即使身处于几个时区之外,也能感觉自己正与另一个人在一起。 就目前谷歌的业务范围来说,一方面是该公司推出的与Zoom竞争的视频会议应用Google Meet。另一方面,是现已停止使用的VR平台Daydream,该平台配有头显和控制手柄。
但是,对于负责公司AR和VR工作的Clay Bavor而言,这个范围内的任何东西都无法满足他的要求。他希望能推出如照片般逼真的体三维视频会议,以使其在视觉、听觉和感觉上都像有真人坐在对面一样,且不需要头显。
为此,他的团队建造了一个新设备,这款用于面对面会议的新原型机名为Project Starline。实际上,“视频亭”一词是描述Starline的最简单方法:它看起来像是一个在餐厅中常见的大型卡座,只是技术上更加复杂。
Starline初体验
我有机会在五月初进行了体验。在与位于加利福尼亚州山景城谷歌园区外的Bavor进行初步交谈之后,我被带到这座几乎空旷的大楼内,并被护送到一间私人办公室中。那里有Starline的原型机,这个原型机的展示亭由木板和灰色织物装饰包裹,一侧有一个内置长椅,另一侧有一个65英寸的显示屏。
我被指示坐在显示器对面。直到有产品经理坐在我对面时,才有灯光,摄像头,并且不需要太多操作。从一个非常特定的角度来看,他就像真的坐在我对面一样。但实际上现在他正身处于大楼的另一层,并通过Starline进行了这场会面。
这是谷歌对未来视频会议的想法,这是一个只有一小部分谷歌员工才能接触到的愿景,而且显然已经得到了首席执行官Sundar Pichai的认可。认为Starline一定是在疫情大流行期间开发出来的是个无可厚非的想法,因为当时人们正在通过Meet和Zoom进行办公。但Bavor表示,Starline并不是什么"灵光一现"的产物。事实上,该项目已经酝酿了五年多。 "关于VR和AR,一直让我感到兴奋的是,这些技术可以把你带到其他地方,它们可以让你在其他地方有存在感,"Bavor说道。"但即使如此,这些技术也似乎没有办法把世界上最重要的东西,即关心你的人,带到你身边。" 该公司在其年度I/O大会上让公众看到了Starline项目。但是Starline仍然只是一个概念,在几年内都不太可能让Google Meet变得生动起来。
光场显示器与实时渲染
Starline项目的首席产品经理Andrew Nartker一直在用一个苹果做示例。其以苹果为例展示了物体在Starline项目中的呈现方式,而且这也是一种追踪眼睛的方式。 "我可以给你看这个来自Whole Foods的苹果,我可以准确地看到你在看什么,"Nartker说道。他在屏幕中显示出的形象很震撼,有着真人大小,看起来像是直接坐在我面前,并且有体积、深度和阴影。还有那个苹果,看起来Nartker就像是和苹果一起被困在了一个透明盒子中一样。?
Nartker从另一个Starline项目展示亭上参与了这场会面。我所能看到的画面非常出色,视觉效果还得到了空间音频的补充。我所看到的实际上是一个65英寸的光场显示器。
Project Starline展示亭配备了十多个不同的深度传感器和摄像头(当我问及设备的具体细节时,谷歌对此讳莫如深)。这些传感器能够捕捉如照片般真实的三维图像,然后由系统压缩并将数据传输到视频对话两端的光场显示器上,并且看起来似乎没有什么延迟。谷歌会应用一些自己的特殊效果,以调整照明和阴影。其呈现出的效果是在视频通话中展现出超真实的人物画面。 体三维视频,有时被称为全息视频,或仅仅是3D视频,通常是在大型、多镜头的工作室中进行拍摄的,如微软的MR捕捉工作室或英特尔那个已经关闭的体三维捕捉空间。
从目前来看,一方面,Starline项目可能不会很快在你的临时家庭办公室中拥有一席之地。谷歌也没有透露建造一个Starline展示亭需要多少钱,但我们有理由猜测将会花费“很多”。另一方面,Starline项目是对更大型的体三维捕捉工作室的提炼。更值得注意的是,Starline项目呈现出的视频并不是在事后渲染的,这一切都在现场实时发生的。
所有的数据都是通过WebRTC传输的,WebRTC是为Google Meet提供动力的开源基础设施。谷歌声称其独特之处在于它所开发的压缩技术,使其能够双向同步传输这种3D视频。
图源:Google
虽然很难想象这种技术可以通过普通消费者家中低劣的家庭Wi-Fi连接无缝工作(谷歌确实证实了我所坐的Starline展示亭是与大楼的网络连接在一起的),但Starline项目的工程师坚持认为,这种技术可以使用标准速度的办公网络,不需要光纤。
我在Starline项目中分别会见了三名谷歌员工(都是男性),每次我在座位上晃动时,那种超真实的感觉就会消失。只要向旁边移动几英寸,体积的幻觉就会消失。突然间,你会看到视频聊天伙伴变成了二维版本,这种感觉类似于你在大屏幕电视上观看体育赛事时,在正确的位置看起来效果不错,但当你移动的时候效果就会发生改变。
在视频对话期间,还会有一些随机的人工制品在屏幕上飘动,这些破碎的碎片偶尔会提醒我,我面前的人并不是真的在那里。当Nartker开始把一个网页投到光场显示器上,作为两个人在Starline中如何合作的例子讲解时,我们都只能盯着对方右肩上一个不怎么能互动的网页。虽然Starline项目令人印象深刻,但仍然还有很多工作要做。对于还要多久才能看到该项目面市这个问题,谷歌的工作人员似乎并不愿意回答。
由技术营造的存在感
谷歌表示,大约只有一百名员工使用过Starline项目,因为这项技术一直被藏在山景城、西雅图和纽约的秘密办公室里。Bavor本人最近在西雅图和纽约与同事开会时大部分时间都在使用它,他估计在Starline的展示亭上花了大约50个小时。但他发誓,他在Starline中的互动过程为他的大脑留下了更深刻的印记,他对细节有了更好的回忆,从会议中走出来时,会感觉到他确实与对方见过面。
图源:Google
"我知道坐在我对面的人在会议期间没有看他的手机,这很好,"Bavor说道。"但疯狂的是,我在第二天早上醒来时,会有这样的记忆:'哦,我昨天看到了Steve。’而不是'我昨天和史蒂夫进行了视频通话'。Starline为我们的记忆带来了一些不同的影响。"
Bavor的体验感有些主观,当然这只是一个样本。现在的办公室工作人员在过去14个月里都在通过屏幕参加会议。根据微软的研究,我们在视频会议中更容易分心,这在一定程度上是一种应对机制,以保护自己免受过多视频会议的精神压力。
在这种情况下,谷歌的 Starline项目似乎设计得特别好,它是无障碍技术(Google Meet)、Nerd技术(计算机视觉、压缩算法!)和一个复杂的、不可移动的迷你工作室的综合体,所有这一切都是为了让人们能进行更多的视频会议。
但当然,技术专家们所追求的是像照片那样的真实感,他们的操作前提是,通过屏幕连接真的是唯一的选择。但后来,也许,我们能试试VR头显? 谷歌已经尝试过制作VR头显,但人们并没有真正使用它们。它也做过AR眼镜,谁能忘记谷歌眼镜?如果你碰巧写了一篇文章,暗示谷歌眼镜已经不复存在了,该公司的公关团队会迅速提醒你,它仍然在销售一种叫做Glass Enterprise Edition 2的产品。
人们不得不怀疑Bavor(他经常戴着普通的、不智能的眼镜)最近是否对平视显示器不那么感兴趣了,因为在这个时候,似乎所有其他消费科技公司都在制造能戴在脸上的计算机。
Bavor说他仍然认为VR "能够将用户带到别的地方的能力非常强大",而且AR、VR和Starline项目之间存在着一条互通的通道。但是,他也承认,"我认为从AR和VR吸取到的经验之一是,让人们能够像你一样直接坐下来,且不需要佩戴任何东西是很重要的。我认为这说明了舒适、轻便和轻松的重要性。所以这就是我对它的一种思考。"
目前,谷歌将尝试继续完善Starline项目,同时着手于将其小型化。如果Starline项目能够开始销售,它们可能会被卖给企业。Bavor说道,谷歌将在今年晚些时候与少数早期客户进行技术试验,包括企业云业务、远程医疗应用或媒体公司,不过他拒绝透露这些早期测试者的名字。
为Starline项目开发的一些光学技术可以更快部署到日常技术中。例如照明和阴影或空间音频可以应用于我们已经在使用的视频会议应用程序。在此之前, Starline项目的展示亭将主要由谷歌员工使用,这些人将进入办公室,他们会惊叹于该技术呈现出的真实性,并暂时忽略这种真实性和现实之间的差距。