近日多家海外科技媒体纷纷报道，斯坦福大学携手香港大学和英伟达，将全息成像和人工智能结合，研发了一种全色彩3D AR显示器，戴起来和传统眼镜一样轻薄逼真舒适。有关这项研究的论文——《带超表面波导全彩色3D 全息增强现实显示器（Full-colour 3D holographic augmented-reality displays with metasurface waveguides），发表在2024年5月8日的《自然》杂志上。
人脸模型上的全息AR眼镜原型
论文宣称“我们独特的纳米光子超表面波导和人工智能驱动的全息算法的协同设计，代表着在紧凑型可穿戴设备中创造逼真的3D AR视觉体验的重大进步。”
头戴显示器的瓶颈
VR/AR头戴显示器应用范围虽非常广泛，但一直面临一个发展的重大瓶颈，即普遍存在体积过大、图像不真、视觉不适等问题。这些头显必须依赖复杂、笨重的镜片阵列和其他光学器件，即使是苹果、Meta、谷歌和微软等行业巨头，也未能设计出体积不庞大、戴着不头疼的头显。“没有人愿意戴一个又大又笨重的头戴显示器——你会感到脖子酸痛，而且不舒服，”斯坦福大学电气工程副教授Gordon Wetzstein说。
Vision Pro重600g到650g，许多消费者试戴后觉得太重
斯坦福大学的研究人员认为，要使头显轻便，首先得减少或更换笨重头显中的复杂光学系统。因为这些头显不能直接看到景物，需要微型相机捕捉使用者正在“看”的东西，然后将可观看的3D图像投射到嵌入设备内的小屏幕上。在增强现实中，任何用于帮助使用者的数据都覆盖在这个数字投影上，而不是出现在实际图像的顶部。用户实际上看到的是真实世界的数字化模拟，这只是一种增强虚拟现实，而不是真正的增强现实。
这种类型的头显需要在眼睛、镜头和屏幕之间设置一定的距离，才能正常工作，这就导致了头显的超大和笨重，同时削弱了增强现实体验整体沉浸式的真实性。斯坦福计算成像实验室博士生、论文合著者Suyeon Choi说道：“除了体积庞大之外，这些限制还可能导致令人不满的感知真实感，通常还会导致视觉不适。”
全息术的杀手级应用
为了解决上述问题，斯坦福大学的研究人员把视线转向20世纪40年代首次开发的诺贝尔奖获奖技术：全息术。他们认为，全息术是消除笨重镜头和解决屏幕技术的关键，并能创造出一种真正的增强现实头显，让观众能够看到真实的图像，同时实时接收有关该图像的叠加信息。同时，他们确定，关键是利用21世纪人工智能计算的力量改进已有80年历史的全息技术，以显著提高投影全息图像的深度提示。
全息AR眼镜，视图极为逼真，使用非常舒适，不累眼睛。AR头显通常与传统3D显示器一样，要借助向每只眼睛显示不同的2D图像来产生深度错觉，以呈现3D视图，然而这种策略会导致眼睛疲劳。该研究探索创建全息视频显示器，而不是使用2D图像来模拟3D视图。全息图是一种本质上类似于2D窗口的图像，可以看到3D场景，从而使人们可以毫无不适地观看具有深度的图片。斯坦福计算成像实验室博士生、该论文的合著者Brian Chao说：“使用全息术，你还可以在每只眼睛前面获得完整的3D体积，从而提高逼真的3D图像质量。”
创建全息AR眼镜，面临在紧凑型设备里实现高质量3D图像的挑战。斯坦福大学、香港大学和英伟达的科研人员组成的研究团队，凭借光学超表面战胜了这一挑战。光学超表面是一种以不同寻常的方式弯曲光线的组件。对超表面和其他超材料的研究引领了隐形斗篷的研发，这些斗篷能够利用光、声、热和其他类型的波来隐藏物体。光学超表面包含具有重复图案的结构，其尺度小于其设计影响的光波长。研究者们创造的超表面，规避了AR显示器中复杂、笨拙的光学器件的需求。
这种新显示器在空间光调制器上闪烁着红色、绿色和蓝色二极管激光。Wetzstein说：“这个组件就像一个微型显示器，可以控制指向它的光的相位，创建一个小型的3D全息图”。然后，该全息图被发送到超表面光栅，该光栅由铅基玻璃制成，蚀刻有220纳米深的凹槽。
研究者们还使用人工智能来帮助设计和优化超表面的结构。Wetzstein说，这使得它非常薄，并且非常有效地将光均匀地散射到研究人员想要的地方——在观众的眼睛上——而不是以无法控制的方式随机散射光。
Wetzstein补充说，另一种AI算法被用来计算如何将3D图像转换为高质量的全息图。他说，人工智能还有助于校准整个显示器，包括光学器件、电子设备和激光器。其结果是一个类似于标准眼镜的全息AR显示器，可以显示全彩色3D运动图像。“我们的 AR显示器比当前的 AR 显示器更薄，重要的是，它向每只眼睛显示 3D 图像，”Wetzstein 说。“这让你可以在数字场景中将眼睛聚焦在不同的距离，这是任何现有的AR头显都不支持的功能。”他还补充道：“传统的AR和VR显示器缺乏聚焦线索，导致眼睛疲劳、复视和视觉清晰度降低等问题。”
Wetzstein指出：“通过我们的工作，我们正在朝着我认为可能是全息术的杀手级应用迈出一大步——超薄、逼真的3D VR/AR显示器，最终将像传统眼镜一样薄。目前我们还没有达到目标，但我们的工作朝着这一愿景迈出了一大步。”
颠覆空间计算市场
目前，新的AR显示器只能在狭窄的视野中叠加图像。虽然每只人眼可以提供大约130度的视野，并且两只眼睛一起工作可以在向前看时提供近180度的视野，但新设备只能在观众面前大约12度的弧度上显示图像。尽管这与许多商业AR系统相当，甚至小于Magic Leap 2和微软HoloLens。
微软HoloLens显示的图像
但未来的研究可以改善这种视野，例如通过使用一种比目前用于超表面的玻璃更擅长弯曲光线的材料。此外，斯坦福大学计算成像实验室有一整页视觉辅助，一个接一个的视觉辅助表明它可以被放在一些特殊的东西上：比如可以把一堆更薄的全息组件放进标准的眼镜架中，经过训练，便能够投射出不同深度的逼真、全彩、移动的3D图像。
除了AR显示器之外，这项研究成果还有助于实现紧凑的VR显示器。斯坦福大学博士后研究员Gun-Yeal Lee说：“VR显示器的应用可能比AR显示器更简单，因为AR需要虚拟图像和透视效率，这使得AR设计更具挑战性。”
斯坦福大学电气工程副教授Gordon Wetzstein说：“我们的头显在外界看来就像一副日常眼镜，但佩戴者通过镜片看到的是一个丰富的世界，上面覆盖着充满活力的全彩色3D计算图像。”目前在市面上还买不到这种全息眼镜，将原型开发成消费品大概还需要数年时间。
研究团队表示，在完成了最初的原型后，他们现在可以为自己的系统设想一些潜在的应用。一些明显的用途包括增强的游戏或其他娱乐用途，这些用途迄今为止还无法摆脱当前的体积颇大的头显。该团队还表示，相信他们的系统可以极大地改善训练有素的医学或工程专家所做的工作。斯坦福计算成像实验室的博士生、该论文的共同第一作者Manu Gopakumar说：“人们可以想象，一个外科医生戴着这样的眼镜来计划一个微妙或复杂的手术，或者飞机机械师用它们来学习了解最新的喷气发动机。”。
尽管用普通眼镜制成的AR头显上市之前，还会有更多工作要做，但斯坦福大学研究团队表示，他们将现代人工智能技术和纳米光子突破与20世纪40年代的全息技术相结合的尝试，是他们所在行业的人们一直期待的一步。Wetzstein说：“全息显示器长期以来一直被认为是终极3D技术，但它从未实现过如此大的商业突破，也许现在有了等了这么多年的杀手级应用。”
Meta等公司已经花费数十亿美元购买和构建AR眼镜技术，希望最终生产出一种尺寸和形状与普通眼镜相当的“圣杯”产品。去年泄露出的Meta硬件路线图显示，该公司第一款真正的AR眼镜的目标日期是2027年。然而，在此时此刻，斯坦福研究团队推出全新技术路线的AR眼镜，雄心勃勃地向苹果的Vision Pro、Meta的Quest 3等体积庞大的混合现实头显发起了挑战，试图颠覆当前的空间计算市场，可以预料接下来一场AR眼镜的创新大赛将火热开场！
文/维克多
（文中未标注的图片均来源于网络）
原文标题 : 大突破！斯坦福打造新一代AR眼镜——全息AR眼镜：普通眼镜般轻薄，视图逼真，视觉舒适
