科研動(dòng)態(tài)
區(qū)域動(dòng)態(tài)點(diǎn)云補(bǔ)全網(wǎng)絡(luò)
中文題目：區(qū)域動(dòng)態(tài)點(diǎn)云補(bǔ)全網(wǎng)絡(luò)
論文題目：Regional Dynamic Point Cloud Completion Network
錄用期刊/會(huì)議：Pattern Recognition Letters (中科院大類(lèi)3區(qū))
原文DOI: https://doi.org/10.1016/j.patrec.2024.10.017
錄用時(shí)間：2024.10.31
作者列表：
1) 朱麗萍 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)系教師
2) 楊逸萱 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)技術(shù) 碩22
3) 劉 凱 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù) 碩22
4) 吳祀霖 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù) 碩22
5) 王丙垚 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)技術(shù) 碩19
6) 常憲祥 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù) 碩22
背景與動(dòng)機(jī):
隨著 3D 傳感器技術(shù)的進(jìn)步，點(diǎn)云成為捕獲 3D 信息的重要手段。迄今為止，點(diǎn)云在虛擬現(xiàn)實(shí)、三維重建和自動(dòng)駕駛汽車(chē)等各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用。點(diǎn)云數(shù)據(jù)很容易通過(guò)激光掃描儀或深度相機(jī)獲取。盡管如此，由于遮擋和傳感器分辨率有限，來(lái)自3D掃描儀和深度相機(jī)的原始點(diǎn)云通常是稀疏的和不完整的，如圖1所示。這導(dǎo)致缺乏語(yǔ)義信息，給深度學(xué)習(xí)和后續(xù)任務(wù)帶來(lái)了挑戰(zhàn)。
現(xiàn)有的幾何補(bǔ)全方法，如基于體素的方法，在更高分辨率下計(jì)算成本很高，而將點(diǎn)云和網(wǎng)格數(shù)據(jù)轉(zhuǎn)換為傳統(tǒng)格式會(huì)引入冗余并模糊數(shù)據(jù)的不變性。因此，需要基于點(diǎn)云的形狀補(bǔ)全方法來(lái)解決幾何缺失問(wèn)題，提高后續(xù)任務(wù)效率。
圖1 真實(shí)世界對(duì)象(上圖)與3D掃描儀捕獲的不完整數(shù)據(jù)(下圖)之間的比較
設(shè)計(jì)與實(shí)現(xiàn):
在本文中，我們提出了一種新穎的形狀補(bǔ)全網(wǎng)絡(luò)，即 RD-Net。該網(wǎng)絡(luò)包含三個(gè)關(guān)鍵模塊：區(qū)域動(dòng)態(tài)模塊（RDM）、多尺度重建模塊（MSRM）和點(diǎn)云細(xì)化模塊（PCRM）。我們引入RDM通過(guò)迭代EdgeConv增強(qiáng)了網(wǎng)絡(luò)提取語(yǔ)義和幾何信息的能力。我們將MSRM設(shè)計(jì)為插件可定制模塊，通過(guò)結(jié)合不同分辨率的特征來(lái)處理具有相對(duì)復(fù)雜表面的幾何圖形。我們提出了PCRM自適應(yīng)聚合局部鄰域特征，通過(guò)學(xué)習(xí)相鄰點(diǎn)的關(guān)系來(lái)有效地生成結(jié)構(gòu)細(xì)節(jié)。整體框架圖如圖2所示。
圖2 RD-Net的整體架構(gòu)
首先，由于大多數(shù)三維點(diǎn)云數(shù)據(jù)量太大，如果點(diǎn)云數(shù)據(jù)直接輸入到網(wǎng)絡(luò)中，它將帶來(lái)太多的計(jì)算，最終使性能差。我們對(duì)原始數(shù)據(jù)進(jìn)行采樣以適合大小的子網(wǎng)絡(luò)?；贔PS，我們通過(guò)增加點(diǎn)集的存儲(chǔ)空間來(lái)迭代地對(duì)代表點(diǎn)進(jìn)行采樣，為采樣過(guò)程設(shè)計(jì)了一組類(lèi)似“管道”的過(guò)程，從而提高了時(shí)間的利用率。
其次，以前的點(diǎn)云特征提取方法使用了基于多層感知器 (MLP) 的方法。然而，僅依靠 MLP 進(jìn)行特征提取可能會(huì)導(dǎo)致點(diǎn)云的局部特征不足，生成的對(duì)象只有共同特征而不是局部特征。第一個(gè)子網(wǎng)絡(luò)區(qū)域動(dòng)態(tài)模塊(RDM)使用EdgeConv構(gòu)造點(diǎn)之間的關(guān)系來(lái)獲取局部區(qū)域信息，然后通過(guò)連續(xù)疊加得到全局信息。在迭代EdgeConv的過(guò)程中，我們通過(guò)特征空間中的相對(duì)關(guān)系獲得更豐富的語(yǔ)義信息。
由于高分辨率點(diǎn)云特征的密集性質(zhì)，當(dāng)只使用高分辨率點(diǎn)云生成形狀時(shí)，點(diǎn)云不規(guī)則局部區(qū)域的細(xì)節(jié)會(huì)丟失。對(duì)于第二個(gè)子網(wǎng)絡(luò)多尺度重建模塊(MSRM)，我們使用FPN的分層性質(zhì)來(lái)設(shè)計(jì)多尺度結(jié)構(gòu)來(lái)預(yù)測(cè)缺失的點(diǎn)云。與 2D 網(wǎng)絡(luò)中提到的反饋機(jī)制類(lèi)似，我們從高到低處理點(diǎn)云分辨率，然后使用小規(guī)模分支再次向高尺度提供信息。不同尺度的分支進(jìn)行特征融合，重建更精細(xì)的點(diǎn)云。
最后，以前的方法可以利用局部點(diǎn)特征來(lái)保留觀(guān)測(cè)到的幾何細(xì)節(jié)，但不能有效地生成結(jié)構(gòu)信息（如幾何對(duì)稱(chēng)性）來(lái)恢復(fù)局部觀(guān)測(cè)條件下的缺失部分。為了進(jìn)一步增強(qiáng)結(jié)構(gòu)關(guān)系，在第三個(gè)子網(wǎng)絡(luò)中，我們提出了殘差連接模塊（Residual Connection Module， RCM）模塊，該模塊利用學(xué)習(xí)到的鄰點(diǎn)關(guān)系自適應(yīng)聚合局部鄰點(diǎn)特征，以增加點(diǎn)云結(jié)構(gòu)的詳細(xì)特征。
實(shí)驗(yàn)結(jié)果及分析:
在 ShapeNet-part數(shù)據(jù)集上地表現(xiàn)如表1所示，我們的 RD-Net 在具有相同輸入和裁剪大小的 ShapeNet-part(16) 數(shù)據(jù)集的大多數(shù)類(lèi)別上實(shí)現(xiàn)了最低的 CD 誤差。
表1 ShapeNet-part(16) 上補(bǔ)全結(jié)果的比較
表2 消融實(shí)驗(yàn)
圖3 形狀補(bǔ)全結(jié)果
結(jié)論:
在本文中，我們提出了RD-Net用于高質(zhì)量的點(diǎn)云補(bǔ)全。首先，SD-IFPS旨在提供一種高效的均勻采樣點(diǎn)提取方法。其次，RDM捕獲局部幾何特征，同時(shí)保持排列不變性，支持不同深度和尺度的層。第三，在保留現(xiàn)有輪廓的前提下，生成具有豐富語(yǔ)義輪廓和詳細(xì)特征的目標(biāo)點(diǎn)云。最后，PCRM對(duì)完成的點(diǎn)云進(jìn)行進(jìn)一步細(xì)化。RD-Net完成局部形狀，提高補(bǔ)全質(zhì)量。該模型在ShapeNet-part數(shù)據(jù)集上取得了較高的精度。
作者簡(jiǎn)介:
朱麗萍，博士，中國(guó)石油大學(xué)（北京）計(jì)算機(jī)系副教授，碩士生導(dǎo)師。目前主要研究方向是大數(shù)據(jù)和數(shù)據(jù)挖掘方向，尤其關(guān)注深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方向上的應(yīng)用，已發(fā)表論文多篇高水平論文。
聯(lián)系方式：[email protected]