文/VR陀螺 万里
2023年，伴随着一篇名为《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的论文发表，3D高斯溅射（后简称3DGS）技术进入了大众视野并很快成为了今年计算机图形学、自动驾驶、三维建模等领域的一大热门，以至于这段时间几乎每天都有3DGS相关论文发布。
在VR/AR行业，3DGS的应用落地也颇为神速，苹果、Meta、谷歌、Niantic等企业均发表了相应的研究成果，而基于3DGS的三维扫描已经迅速向市场普及，并有望成为未来元宇宙/空间计算内容生态的UGC创作工具基石。本文将回顾这一年以来3DGS的飞跃式进展。
基于高斯溅射技术所开发的AR传送门体验，图源：Niantic
实时渲染，改变3D扫描建模规则的高斯溅射技术
在3DGS以前，三维重建领域主要基于摄影测量、NeRF两种解决方案。摄影测量通过分析从不同角度拍摄的多张图像来创建三维模型，它具有不错的生成质量，但局限在于对于光照条件敏感，对于天空等开放场景或者透明物体等生成效果不佳。
而NeRF（神经辐射场）则是近些年来的一大热门，其在2020年后得到普及，同样基于不同视角拍摄图像渲染3D场景，里面引入了深度学习，可以解决前面所提到的摄影测量的一些局限，并且可以捕捉摄影测量容易缺失的细节，不过它对于算力要求较高，渲染较慢。
3DGS与NeRF一样同样基于2D图像重建3D场景，不过NeRF基于神经渲染技术，通常使用体积光线以实现捕获场景的新视角合成，而3DGS则利用点云数据创建场景的体积表示。
有关资料指出，3DGS的核心技术是通过数百万个微小的、半透明的椭球体（即“高斯溅射”）来创建和渲染3D场景。每个溅射点包含了位置、颜色、大小和透明度的信息。
3DGS拥有如下优点：可以捕捉精确的细节以及灯光效果，并且最低只需数张照片即可创建高斯溅射，相比之下摄影测量往往需要数十张高分辨率图片才能生成三维模型。不仅如此，3DGS可以适应从小物件到大型建筑物的不同3D场景，适用范围很广。
得益于其高效的数据表示和优化的渲染管道，3DGS可以实现实时或近实时的渲染速度；在前面所提到的3DGS核心研究论文中透露，3DGS相较于InstantNGP、Plenoxels等NeRF技术无论是在渲染速度、训练时间以及视觉质量方面均具有明显优势，此外，同等条件下只有3DGS能够胜任实时渲染的需求，它可以适用于游戏、空间计算等对于实时互动具有较高要求的场景。
其他方面，3DGS对于计算资源的消耗也会明显少于NeRF，因而它也更利于引入手机、头显等设备观看，如Niantic旗下的《Scaniverse》3DGS方案的三维重建已经支持在手机端直接扫描生成3D图案；3DGS存储的是点云数据，因而也便于集成到第三方3D引擎当中。
3DGS的出现，引起了行业的极大振奋。Niantic空间计算研究员Charlie Houseago于去年夏天看到了3DGS论文并分享给了Niantic研究小组，随即它立即引起了整个公司的关注。
而此前国内AI创企知天下创始人兼CEO宋宽博士也曾表示，“3DGS技术具有划时代的意义，它将使三维点云算法从‘小众’变成‘大杀器’”。
业内之所以会对3DGS这项技术如此兴奋，笔者认为原因无非有两点，一是基于3DGS可以加速以往3D内容创建过程，此外，它也足够简单易用，并且能将扫描场景接入到游戏、工作流当中，实现 3D创作的平民化。
这一年VR/AR企业在忙什么？3D扫描工具到高拟真Avatar
现如今，我们对于3DGS技术最容易接触到的渠道无疑是3D扫描APP，在相关论文发布不久后，市场上一众3D扫描APP均在这一年以内宣布实现了对3DGS的支持，（知名应用有《Polycam》、《LumaAI》、《KIRI Engine》、《Scaniverse》等）。这里以《KIRI Engine》为例，它于去年11月宣布为iPhone、Android以及Web客户端引入3DGS扫描生成功能，并于今年一步步完善了3DGS编辑、导出到Blender等能力。
KIRI Engine的3DGS使用流程，图源：网络
《Scaniverse》于今年3月引入了对高斯溅射的支持，《Scaniverse》采用免费的形式提供，扫描生成模型可以上传到云端分享或者以PLY格式导出。今年Niantic工程主管Brian McClendon接受采访时也提到了这一项新技术的潜力：
早些时候，该应用需要借助iPhone的LiDAR传感器进行高质量3D扫描，而2023年以后，应用进一步支持以摄影测量的方式生成3D模型。后者在生成速度方面会优于前者，但是依然需要一定时间。
现如今，借助高斯溅射，用户大约1分钟内即可扫描一个空间并生成漂亮的3D模型，此外，该模型还具备了传统网格处理无法实现的照明和透明效果。
而在本月，《Scaniverse》再次迎来重磅更新，企业专门针对Quest头显开发了网页应用《Into the Scaniverse》（同样采用免费制），后续会进一步上线VR APP客户端。用户可以通过APP端扫描生成3D，然后再借助头显端查看3D模型图案，用户通过浏览器可以在里面走动探索，获得更多维度的体验。
官网指出，“从开始到结束的过程（在iOS上扫描、处理、上传、在Meta Quest中查看）只需不到五分钟。”目前平台上已经有来自100多个国家的数万个3DGS素材可供体验。
在撰稿之前笔者其实并没有3D扫描的需求，近期心血来潮体验了《Scaniverse》这款应用，并把自己的房间简单扫描了一遍（可能花费了20分钟）。这个过程中我发现，某方面而言，3D扫描甚至可能比空间拍摄更实用，因为它能记录的信息更多，并且还能多视角观看，互动感更强。
来源：VR陀螺
对于VR/AR厂商而言，最近动作比较大的新闻是扎克伯格在今年9月的Connect大会期间官宣了一款基于3DGS技术开发的应用《Hyperscape》。在实现原理方面，《Hyperscape》同样基于手机端扫描捕捉场景，然后基于云端处理生成3D场景。终端用户体验时，3D内容会以视频流传输到头显，云端会以每秒72或90帧的速度渲染，并通过预测用户观察的方向渲染并传输特定的内容。目前《Hyperscape》已经在Quest平台开放下载，不过扫描生成功能暂未开放。（技术团队曾表示扫描APP将会在不久的将来发布）
图源：Meta
除了虚拟3D资产外，如何为头显引入高保真Avatar是Meta团队一直努力的目标，随着3DGS技术的出现，这给Meta的研究提供了全新的方向。去年年底，Meta发表了一篇题为《Relightable Gaussian Codec Avatars》的论文，里面提到了基于3DGS生成逼真几何模型，并基于辐射传输（radiance transfer）可重新照明外观模型实现了实时的光传输和全频率反射，可为眼睛、头发等特殊材质带来更好的显示效果。（无独有偶，苹果也曾于去年12月发布了一篇题为《HUGS: Human Gaussian Splats》的论文，它可基于视频生成动态3D化身，里面同样出现了高斯溅射的身影）
图源：Meta
Meta前面所展示的两项3DGS最新成果无疑都瞄准了元宇宙社交的终极未来：未来某一天，玩家将能自行扫描生成3D空间并上传到Meta的VR社交平台《Horizon Worlds》,并在熟悉的空间中进行交流互动，能够快速为平台生态补充资源；高保真Codec Avatar无需借助昂贵的扫描装置即可快速生成，同时细节又让人足够信服，足以达到以假乱真的效果。
Reality Labs产品总监Marcello Typrin曾在播客节目中提到了3DGS这项新技术的一些特性：3DGS可以提供精细的细节，但没有结构，因而它仍无法实现传统3D模型（如小球）碰撞反弹等物理效果，目前团队正着手于将网格和更传统的创建3D体验的方法叠加在splat之上，并使高斯溅射成为一种更熟悉的3D构建和创建方法。
除Meta以外，国内的PICO于今年8月宣布PICO 4 Ultra原生支持3D高斯点渲染，并为Unreal Engine 5.3构建了一个3DGS渲染开源插件并于本月上线了Beta版本，此举也在为开发者提供了更多创作可能性。
PICO展示的3DGS应用，图源：PICO
在VR应用市场，其实我们也已经能看到不少围绕3DGS所构建的应用，如Quest Store平台的《Gracia》，该应用发布于今年8月，可以在上面观看体积视频，当前平台的应用内容体验还十分有限，用户也可以自行导入PLY文件在头显端进行观看。在PICO商城，也有不乏《知天下》等3D模型APP，玩家可以在里面看到大量名胜景点。此前知天下团队曾透露，“在3DGS的加持下，通过无人机拍摄的大规模建筑的二维画面，可以在数小时内转化为栩栩如生的三维模型。”
《知天下》APP，图源：网络
同为本月，谷歌悄然亮相了其面向XR设备的全新操作系统Android XR，新系统中谷歌地图其实是一个很大的亮点。根据外媒评测指出，用户可以在里面体验以3D视角体验谷歌沉浸式地图。与此同时，谷歌还在积极基于高斯溅射技术补齐房间、餐厅、博物馆等室内场景，用户可以通过3D地图提前看到想去的地点的装潢信息，而开发人员也可以基于地图数据快速构建LBS AR体验。也就是说，谷歌、Niantic都有雄心为用户补足一个地球级的数字孪生资源，而3DGS是加速内容开发的一个重要技术支撑。
谷歌地图，图源：网络
拓展用例：商业培训、电商、游戏建模、VR大空间
除了前面所提到的3D扫描、VR社交等方面的用例外，3DGS背后对应的是一个庞大的3D市场，它在商业、电商等场景潜力同样不容小觑。
教育培训。芬兰头显制造商Varjo于今年6月演示了一款名为《Teleport》的iOS应用并于11月底正式上线，这同样是一款基于3DGS的3D扫描应用，不过与《KIRI Engine》等APP不同之处在于该应用旨在面向商业客户，Varjo认为相关解决方案可以应用于远程培训、协作等场景，以提升工作及运营效率。其他方面，《Teleport》基于云端渲染，并且具备VR、PC等多设备观看的能力。应用采用收费制，目前定价为29.99欧元/月。
在公告中Varjo同样难掩对3DGS的溢美之词，里面提到，“测试人员只需5-10分钟的扫描即可捕捉到地点，比标准摄影测量工作流程所需的数小时或数天要快得多。”而Varjo首席产品官Patrick Wyatt也表示：“《Teleport》是目前市场上视觉效果最令人印象深刻的3D扫描解决方案，也是唯一能够将数字孪生直接带入虚拟现实的解决方案。”
据了解，目前《Teleport》已经应用于文旅、教育等多个场景中，并且获得了不错的反馈，如在芬兰国家歌剧院和芭蕾舞团当中，基于3D扫描所生成的带有真实尺寸以及丰富细节的舞台布景，相较于传统的照片和CAD图像能让人更为直观的了解场所外观以及舞台适合度；埃迪斯科文大学通过将工业和建筑工地等数字孪生引入课堂，能够有效加强学生对于真实维度信息的理解。
图源：Varjo
游戏建模。除了教育培训外，目前高斯溅射还有几个比较大的潜在应用场景，一是目前有大量3D游戏需要用到扫描资产，比如今年比较火的《黑神话·悟空》，里面所出现的晋城玉皇庙、天津蓟县独乐寺、重庆大足石刻等便是3D扫描生成的产物（摄影测量），随着游戏的火热，甚至带火了这些旅游景点。
《黑神话·悟空》里面出现的实景建模画面，图源：网络
电商。今年伴随着Vision Pro的发售，里面逐步上线了《淘宝》、《得物》、《GUCCI》等电商APP，在里面我们可以查看大件电器的真实尺寸、家居用品的搭配、以及鞋包服饰的纹理细节等。3D购物是传统网页、APP购物的一种升维，具有广阔前景，由于MR购物里面所展示的3D商品均需要基于扫描生成，因而背后同样具备极大的市场潜力。
《GUCCI》APP，图源：网络
VR大空间。VR大空间是今年颇为热门的行业项目之一，有关数据指出今年新增的大空间项目已破百个，里面其实已经出现了很多基于实景扫描的体验，比较典型的是《消失的法老》，里面有大量的场景来自胡夫金字塔的真实扫描数据。其他运用到了扫描资产的VR大空间项目还有《永恒之美·巴黎圣母院》、《神秘的东方古堡》、《奇遇三星堆》等。随着后续3DGS技术的引入，无疑能够有效为VR大空间项目降本增效。
写在最后
笔者了解到，目前3DGS想要全面落地，还需要面临内存消耗高、第三方创作工具、插件偏少、重建结果几何精度欠佳等问题，不过瑕不掩瑜，得益于3DGS在扫描生成速度、实时渲染等方面的优势，它有望成为未来全面普及3D的“敲门砖”技术。
我们可以看到Meta、苹果厂商的积极布局，也可以看到一众初创企业的跑马圈地，可以预见，未来3D资产的splats含量将越来越高。
原文标题 : 年度回顾：高斯溅射如何改变元宇宙以及空间计算的未来？
