今年,3D高斯濺射(Gaussian Splatting)技術(shù)在測繪領(lǐng)域火起來了,如其域創(chuàng)新在其推出的靈光系列手持掃描儀及LCC后處理軟件中,將SLAM算法與3D高斯濺射技術(shù)融合,可自動化生成超逼真的大場景三維模型,實現(xiàn)前所未有的沉浸式體驗,據(jù)相關(guān)消息,另外兩個國產(chǎn)品牌——數(shù)字綠土和歐思徠也即將推出基于高斯濺射的三維重建軟件,可以說,高斯濺射技術(shù)作為一種創(chuàng)新的 3D 表示方法,正逐漸成為測繪領(lǐng)域的熱門話題。
高斯濺射技術(shù)的原理
高斯濺射是一種體繪制技術(shù),該技術(shù)最初由 Lee Westover 于 20 世紀(jì) 90 年代初以濺射形式引入。它的主要原理是基于高斯函數(shù)進(jìn)行3D重建和新視角合成,它通過將場景表示為一組高斯函數(shù)的組合,實現(xiàn)了對復(fù)雜場景的高效渲染。
3D高斯濺射技術(shù)主要應(yīng)用場景是通過組合多張照片或視頻來創(chuàng)建高質(zhì)量的實時新穎視圖場景,是實時輻射場渲染領(lǐng)域使用的一項技術(shù)。其實現(xiàn)路徑通常主要包括以下幾個環(huán)節(jié):
輸入:一組靜態(tài)場景的圖像以及相機位置,可以用空間的稀疏點云來表達(dá)。
3D高斯處理:將場景分解為多個小的高斯函數(shù),每個高斯函數(shù)代表場景中的一個點或一個物體。
顏色模擬:使用球諧函數(shù)來模擬視圖相關(guān)的外觀。
優(yōu)化算法:使用隨機梯度下降等優(yōu)化參數(shù),對這些高斯函數(shù)進(jìn)行優(yōu)化和擬合。
光柵化器:實現(xiàn)基于圖塊的光柵化器,用于快速排序和向后傳遞,從而實現(xiàn)高斯分量的有效混合,得到場景的3D模型。
該方法使用保留連續(xù)體積輻射場屬性的 3D 高斯函數(shù)來表示場景,并整合相機校準(zhǔn)期間產(chǎn)生的稀疏點。它引入了使用 3D 高斯函數(shù)來建模輻射場的各向異性表示,以及高斯函數(shù)的交錯優(yōu)化和密度控制,渲染的每個步驟都會與數(shù)據(jù)集中可用的訓(xùn)練視圖進(jìn)行比較。
高斯濺射技術(shù)的應(yīng)用
1、3D 重建
高斯濺射技術(shù)可以用于 3D 重建,即從多個視角的圖像中恢復(fù)出場景的 3D 結(jié)構(gòu)。它具有高效、準(zhǔn)確的特點,可以應(yīng)用于虛擬現(xiàn)實、增強現(xiàn)實、游戲等領(lǐng)域。
2、新視角合成
高斯濺射技術(shù)可以用于新視角合成,即從一個已知視角的圖像中生成出其他視角的圖像。它具有快速、靈活的特點,可以應(yīng)用于視頻會議、遠(yuǎn)程教育、影視制作等領(lǐng)域。
3、實時渲染
高斯濺射技術(shù)可以用于實時渲染,即對場景進(jìn)行實時的渲染和顯示。它具有高效、實時的特點,可以應(yīng)用于游戲、虛擬現(xiàn)實、增強現(xiàn)實等領(lǐng)域。
總之,高斯濺射技術(shù)作為一種創(chuàng)新的 3D 表示方法,具有廣闊的應(yīng)用前景和發(fā)展?jié)摿ΑN磥?,它將?3D 重建、新視角合成、實時渲染等領(lǐng)域發(fā)揮重要作用,帶來更加真實、更加豐富的 3D 體驗。