科研動(dòng)態(tài)
基于邊緣強(qiáng)化神經(jīng)拉動(dòng)模型的三維表面重建
論文題目：基于邊緣強(qiáng)化神經(jīng)拉動(dòng)模型的三維表面重建
錄用期刊/會(huì)議：紅外與激光工程, (EI中文期刊)
見(jiàn)刊時(shí)間：2024.06.25
作者列表：
1）徐寶昌 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
2）王毅豪 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研23
3）郝圍圍 中國(guó)石油集團(tuán)工程技術(shù)研究院有限公司鉆井工藝研究所
4）尹士軒 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 博23
5）王 威 中國(guó)石油集團(tuán)工程技術(shù)研究院有限公司鉆井工藝研究所
6）李雅飛 中國(guó)石油集團(tuán)工程技術(shù)研究院有限公司鉆井工藝研究所
摘要:
通過(guò)學(xué)習(xí)空間點(diǎn)云數(shù)據(jù)的符號(hào)距離函數(shù)(SDFs)進(jìn)行三維表面重建是當(dāng)前的研究熱點(diǎn)。為重建出高精度的水密模型，神經(jīng)拉動(dòng)(NP)采用點(diǎn)云拉動(dòng)，以訓(xùn)練同步更新SDFs，但在實(shí)際重建過(guò)程中，重建模型會(huì)因?yàn)辄c(diǎn)云存在噪聲和缺失而導(dǎo)致重建結(jié)果不夠精細(xì)，帶來(lái)錯(cuò)誤的表面重建。針對(duì)以上問(wèn)題，本文引入邊緣提取強(qiáng)化輸入點(diǎn)云的邊緣信息，提出利用殘差學(xué)習(xí)機(jī)制的邊緣強(qiáng)化神經(jīng)拉動(dòng)模型(NPEE)。為確保重建表面平滑的同時(shí)能夠獲取更多的表面細(xì)節(jié)，該方法在保留原本神經(jīng)網(wǎng)絡(luò)用于學(xué)習(xí)SDFs的基礎(chǔ)上引入一個(gè)新的網(wǎng)絡(luò)，利用殘差學(xué)習(xí)機(jī)制學(xué)習(xí)點(diǎn)云的邊緣SDFs。同時(shí)在原始點(diǎn)云的基礎(chǔ)上，引入邊緣因子
，結(jié)合學(xué)習(xí)的邊緣SDFs，通過(guò)點(diǎn)云邊緣的魯棒提取強(qiáng)化輸入點(diǎn)云。為驗(yàn)證算法模型的優(yōu)化效果，本文采用目前廣泛使用的ABC數(shù)據(jù)集、斯坦福掃描模型和模擬掃描數(shù)據(jù)集設(shè)計(jì)對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果以及評(píng)估指標(biāo)(CD)表明，NPEE可以有效改善神經(jīng)拉動(dòng)算法在邊緣表面重建的缺陷，同時(shí)和其他重建方法相比，NPEE在面對(duì)稀疏點(diǎn)云和含噪點(diǎn)云時(shí)仍能保證重建的精確性和完整性。
背景與動(dòng)機(jī):
符號(hào)距離函數(shù)(Signed Distance Functions，SDFs)是三維模型的一種重要表示方式，廣泛應(yīng)用于計(jì)算機(jī)圖形學(xué)和視覺(jué)模擬領(lǐng)域。對(duì)于復(fù)雜的三維模型，SDFs能夠有效地表示模型細(xì)節(jié)以及尖銳特征。目前的方案是使用深度神經(jīng)網(wǎng)絡(luò)模型，從空間點(diǎn)云數(shù)據(jù)學(xué)習(xí)SDFs，并進(jìn)一步利用移動(dòng)立方體方法(Marching Cubes，mcubes)重建三維表面。其原理是通過(guò)離散空間點(diǎn)云之間的鄰近距離直接學(xué)習(xí)點(diǎn)云的無(wú)符號(hào)距離場(chǎng)(Unsigned Distance Functions，UDFs)，再通過(guò)點(diǎn)云中表現(xiàn)更多的信息獲取距離場(chǎng)的符號(hào)。用空間點(diǎn)云學(xué)習(xí)三維模型的SDFs來(lái)重建三維表面的方法如今得到了廣泛的應(yīng)用，但仍面臨著依賴(lài)基準(zhǔn)監(jiān)督和大規(guī)模梯度計(jì)算等問(wèn)題。Groop等提出一種損失函數(shù)，使輸入點(diǎn)云具有隱式幾何正則化屬性，有利于生成平滑和自然的零水平集表面，但該方法需要依賴(lài)基準(zhǔn)真值(Ground Truth，GT)進(jìn)行監(jiān)督，當(dāng)原始點(diǎn)云不包含梯度信息時(shí)，重建效果較差；Ma等基于表面先驗(yàn)，通過(guò)將查詢(xún)點(diǎn)投影到曲面三維表示來(lái)學(xué)習(xí)點(diǎn)云數(shù)據(jù)的SDFs，但該方法在面對(duì)稀疏點(diǎn)云時(shí)，有時(shí)不能正確識(shí)別SDFs；Chibane和Chen分別利用梯度信息和離散網(wǎng)格對(duì)SDFs進(jìn)行優(yōu)化估計(jì)，以獲取更加細(xì)致的重建曲面，但該方法依賴(lài)大規(guī)模的梯度計(jì)算，在面臨缺陷點(diǎn)云時(shí)離散網(wǎng)格往往會(huì)產(chǎn)生錯(cuò)誤的表面估計(jì)，不利于三維模型的正確表示。
神經(jīng)拉動(dòng)(Neural-pull，NP)是一種從離散空間點(diǎn)云信息中獲取高質(zhì)量SDFs并進(jìn)行表面重建的方法，旨在使用預(yù)測(cè)的SDFs和查詢(xún)點(diǎn)的梯度信息將查詢(xún)點(diǎn)拉動(dòng)到重建表面上。該方法的特點(diǎn)是模型訓(xùn)練過(guò)程無(wú)需基準(zhǔn)真值GT的符號(hào)距離值作為監(jiān)督，同時(shí)在訓(xùn)練過(guò)程中同步更新符號(hào)距離值以及梯度信息高效學(xué)習(xí)點(diǎn)云SDFs，確保了重建準(zhǔn)確性的同時(shí)具備較高的重建效率。然而，實(shí)際獲取的空間點(diǎn)云數(shù)據(jù)不可避免地存在噪聲以及缺陷，會(huì)使重建表面出現(xiàn)邊緣缺陷的現(xiàn)象。例如，Ma指出NP在處理相對(duì)離散的邊緣點(diǎn)云時(shí)，重建的三維模型無(wú)法表現(xiàn)清晰的細(xì)節(jié)特征；Chen指出面對(duì)多層次復(fù)雜結(jié)構(gòu)點(diǎn)云，NP重建的三維模型出現(xiàn)了重建斷層。
設(shè)計(jì)與實(shí)現(xiàn):
針對(duì)NP的邊緣過(guò)擬合問(wèn)題，本文提出一種改進(jìn)思路，引入邊緣提取強(qiáng)化輸入點(diǎn)云的邊緣信息，提出利用殘差學(xué)習(xí)機(jī)制的邊緣強(qiáng)化神經(jīng)拉動(dòng)模型，在文中被稱(chēng)為基于邊緣強(qiáng)化的神經(jīng)拉動(dòng)(Neural Pull based on Edge Enhancement，NPEE)。如圖2所示，它主要是由EN邊緣構(gòu)建網(wǎng)絡(luò)(Edge-construction Network)和NP神經(jīng)拉動(dòng)網(wǎng)絡(luò)(Neural-pull Network)組成。EN邊緣構(gòu)建網(wǎng)絡(luò)提取空間離散點(diǎn)云的邊緣SDFs，并基于邊緣因子提取出點(diǎn)云的邊緣特征。NP神經(jīng)拉動(dòng)網(wǎng)絡(luò)提取全局SDFs特征，并通過(guò)mcubes移動(dòng)立方體算法完成總體的表面重建。
邊緣構(gòu)建網(wǎng)絡(luò)采用殘差網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)以空間離散點(diǎn)云的位置編碼向量作為輸入，輸出用于預(yù)測(cè)空間點(diǎn)云SDFs參數(shù)，以構(gòu)建致密的0基準(zhǔn)隱式表面。邊緣點(diǎn)云提取算法采用一種快速、魯棒的方法，通過(guò)分析每個(gè)點(diǎn)的k-臨近(k-nearest neighbor)的協(xié)方差的特征值，提取點(diǎn)云邊緣的尖銳特征。神經(jīng)拉動(dòng)網(wǎng)絡(luò)采用神經(jīng)拉動(dòng)算法，該網(wǎng)絡(luò)先將邊緣加強(qiáng)的重組點(diǎn)云的位置編碼向量輸入到MLP骨干(backbone)得到對(duì)應(yīng)的特征值，該特征值將用于計(jì)算每個(gè)空間離散點(diǎn)的SDFs值，并根據(jù)學(xué)習(xí)的SDFs反向傳播的梯度信息進(jìn)行拉動(dòng)操作，更新輸入點(diǎn)云的位置編碼向量以及SDFs。經(jīng)過(guò)這樣對(duì)點(diǎn)云的多次迭代計(jì)算SDFs值以及拉動(dòng)操作后，輸出用于預(yù)測(cè)空間點(diǎn)云SDFs的神經(jīng)網(wǎng)絡(luò)參數(shù)，并構(gòu)建全局SDFs信息，提取SDFs的0等值面，通過(guò)mcubes移動(dòng)立方體算法輸出水密的3D網(wǎng)格。
圖 1 神經(jīng)拉動(dòng)在2D表面上的示例：將離散的點(diǎn)拉到2D表面上，其中
、
為梯度信息，
、
為符號(hào)距離值
圖 2 算法框架
實(shí)驗(yàn)結(jié)果及分析:
本文的主要目標(biāo)在于NP的邊緣過(guò)擬合導(dǎo)致邊緣缺失的問(wèn)題。下面的實(shí)驗(yàn)首先對(duì)廣泛使用的數(shù)據(jù)集進(jìn)行表面重建，比較重建效果；然后進(jìn)行稀疏點(diǎn)云重建，與不同的重建方案進(jìn)行定量定性的分析。
為驗(yàn)證引入邊緣提取強(qiáng)化輸入點(diǎn)云邊緣信息的有效性，本文以ABC數(shù)據(jù)集為基準(zhǔn)，參考文獻(xiàn)所進(jìn)行的驗(yàn)證方法，隨機(jī)選取
個(gè)點(diǎn)作為輸入，分別采用NP和NPEE進(jìn)行重建實(shí)驗(yàn)。得到的重建結(jié)果由圖3所示。可以明顯得到，NPEE所重建的表面更接近基準(zhǔn)真值，邊緣完整性明顯優(yōu)于NP重建結(jié)果。稀疏點(diǎn)云的重建任務(wù)中，進(jìn)行重建任務(wù)之前，需要將基準(zhǔn)真值的網(wǎng)格轉(zhuǎn)化為空間離散點(diǎn)云，離散點(diǎn)云的提取標(biāo)準(zhǔn)為隨機(jī)提取真值點(diǎn)云的3%，得到的重建結(jié)果如圖4所示。由于DeepSDF的重建結(jié)果無(wú)法正確收斂，所以得到的CD距離相對(duì)較大。與Onsurface和NP相比，本文方法在實(shí)驗(yàn)數(shù)據(jù)上都有一定的提升，這表明了本文所提方法在空間離散點(diǎn)云重建方面的優(yōu)越性。
圖 3 邊緣強(qiáng)化輸入有效性分析
圖 4 與其他表面重建方法的定性對(duì)比
面對(duì)包含噪聲、內(nèi)部存在較大空洞的點(diǎn)云時(shí)，DeepSDF會(huì)出現(xiàn)錯(cuò)誤的表面擬合，例如anchor和gargoyle。由于噪聲的影響，NP的重建效果較差，anchor、children和gargoyle模型重建結(jié)果均出現(xiàn)了不同程度的破損。Onsurface和NPEE都重建出了完整的網(wǎng)格模型，但在重建的細(xì)節(jié)上缺乏一定的表現(xiàn)，例如，對(duì)anchor的重建缺乏元件中心空洞的輪廓，對(duì)children的重建不能完全分離重建每個(gè)角色的足部，對(duì)gargoyle的重建翅膀末尾出現(xiàn)了較大面積的破損。本文方法重建掃描件與元件基準(zhǔn)真值具有最小的CD值，表明本文方法在面對(duì)噪聲點(diǎn)云時(shí)具有一定的泛化能力。
圖 5 面對(duì)含噪點(diǎn)云的掃描結(jié)果
小結(jié):
(1)本文針對(duì)神經(jīng)拉動(dòng)算法在稀疏點(diǎn)云和含噪點(diǎn)云重建中所出現(xiàn)的邊緣缺陷問(wèn)題提出一種改進(jìn)思路，提出利用殘差學(xué)習(xí)機(jī)制的邊緣強(qiáng)化神經(jīng)拉動(dòng)模型NPEE。
(2)本文在模型中引入邊緣因子
，設(shè)計(jì)一種EN邊緣構(gòu)建網(wǎng)絡(luò)以構(gòu)建空間離散點(diǎn)云的邊緣SDFs并以此強(qiáng)化原始輸入點(diǎn)云，從而優(yōu)化了重建的效果。
(3)為驗(yàn)證算法模型的優(yōu)化效果，本文采用目前廣泛使用的ABC數(shù)據(jù)集、斯坦福掃描模型和模擬掃描數(shù)據(jù)集設(shè)計(jì)一系列對(duì)比實(shí)驗(yàn)。首先，將NP和NPEE的重建結(jié)果進(jìn)行對(duì)比，驗(yàn)證了引入邊緣提取強(qiáng)化輸入點(diǎn)云邊緣信息的有效性；然后，基于A(yíng)BC數(shù)據(jù)集和斯坦福掃描數(shù)據(jù)集，設(shè)計(jì)了重建實(shí)驗(yàn)，數(shù)據(jù)結(jié)果表明，和其他重建結(jié)果相比，本文所提方法邊緣特征明顯、完整度高，CD指標(biāo)顯著低于其他重建結(jié)果，有效提升了重建質(zhì)量。
(4)為了探討重建過(guò)程中每一個(gè)環(huán)節(jié)所產(chǎn)生的作用，本文設(shè)立了消融實(shí)驗(yàn)。首先，設(shè)定不同的
進(jìn)行重建實(shí)驗(yàn)，得到邊緣因子的最佳取值為0.03；其次，針對(duì)EN邊緣提取網(wǎng)絡(luò)的殘差結(jié)構(gòu)設(shè)計(jì)消融實(shí)驗(yàn)，重建結(jié)果和CD指標(biāo)驗(yàn)證了殘差結(jié)構(gòu)優(yōu)化邊緣重建的必要性；最后，基于模擬掃描數(shù)據(jù)集，并與其他重建方法進(jìn)行對(duì)比，數(shù)據(jù)結(jié)果表明，CD指標(biāo)低于其他重建方法，NPEE重建結(jié)果最接近基準(zhǔn)真值。
(5)本文主要關(guān)注空間三維點(diǎn)云的表面重建，對(duì)于具有復(fù)雜集合特征的開(kāi)放性空間，近期基于點(diǎn)的神經(jīng)輻射場(chǎng) (3D Gaussian Splatting，3DGS)展示了新穎的三維表面重建思路，可以作為下一步的研究方向。
作者簡(jiǎn)介:
徐寶昌，教授,博士生導(dǎo)師/碩士生導(dǎo)師。長(zhǎng)期從事復(fù)雜系統(tǒng)的建模與先進(jìn)控制；鉆井過(guò)程自動(dòng)控制技術(shù)；井下信號(hào)的測(cè)量與處理；多傳感器信息融合與軟測(cè)量技術(shù)等方面的研究工作?，F(xiàn)為中國(guó)石油學(xué)會(huì)會(huì)員，中國(guó)化工學(xué)會(huì)信息技術(shù)應(yīng)用專(zhuān)業(yè)委員會(huì)委員。曾參與多項(xiàng)國(guó)家級(jí)、省部級(jí)科研課題的科研工作，并在國(guó)內(nèi)外核心刊物發(fā)表了論文70余篇；其中被SCI、EI、ISTP收錄30余篇。