科研動(dòng)態(tài)
融合卷積CR-FFD與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維物體重建
論文題目：融合卷積CR-FFD與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維物體重建
錄用期刊：計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào) (CCF A)
作者列表：
1） 連遠(yuǎn)鋒 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)系教師
2） 趙澤欣 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩22
摘要:
針對(duì)復(fù)雜拓?fù)浣Y(jié)構(gòu)物體單視圖三維重建過(guò)程中二維圖像與三維形狀之間難以準(zhǔn)確映射的問(wèn)題，提出一種融合卷積Catmull-Rom樣條自由形變(CR-FFD)與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維重建方法。首先通過(guò)Catmull-Rom樣條基函數(shù)對(duì)點(diǎn)云模型控制點(diǎn)進(jìn)行插值，保持點(diǎn)云模型形變局部拓?fù)浣Y(jié)構(gòu)的一致性；然后提出卷積神經(jīng)網(wǎng)絡(luò)最小二乘求逆解法，通過(guò)非線(xiàn)性參數(shù)映射加速求解過(guò)程；最后設(shè)計(jì)偏置注意力Transformer膠囊網(wǎng)絡(luò)增強(qiáng)局部特征表達(dá)能力，捕獲點(diǎn)云形狀的細(xì)粒度特征。實(shí)驗(yàn)結(jié)果表明，在ShapeNet數(shù)據(jù)集上，所提方法的EMD指標(biāo)平均值為3.84，CD指標(biāo)平均值為3.71；在Pix3D數(shù)據(jù)集上，EMD指標(biāo)平均值為5.51，CD指標(biāo)平均值為5.39；與已有的單視圖點(diǎn)云三維重建方法相比，該方法有效地提升單視圖的三維重建結(jié)果，能夠從不同角度保持重建的一致性。
背景與動(dòng)機(jī):
近年來(lái)，隨著深度學(xué)習(xí)和圖像處理技術(shù)的飛速發(fā)展，單視圖三維模型重建技術(shù)得到廣泛關(guān)注。由于單視圖存在自遮擋問(wèn)題，無(wú)法充分表達(dá)圖像的上下文信息，因此基于點(diǎn)云的單視圖三維物體重建極具挑戰(zhàn)性。傳統(tǒng)的面向點(diǎn)云的單視圖三維重建算法根據(jù)圖像表觀(guān)特征恢復(fù)物體空間結(jié)構(gòu)，對(duì)圖像的質(zhì)量要求較高，并且存在時(shí)間復(fù)雜度高、重建結(jié)果不精確等問(wèn)題。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的方法能夠快速提取輸入圖像的細(xì)節(jié)特征并推理空間幾何結(jié)構(gòu)，實(shí)現(xiàn)高效的三維重建，但仍存在對(duì)圖像局部信息利用的不夠充分導(dǎo)致重建結(jié)果不精確的局限性。
設(shè)計(jì)與實(shí)現(xiàn):
本文提出一種融合卷積CR-FFD(Catmull-Rom splines based FFD)與偏置Transformer膠囊網(wǎng)絡(luò)的單視圖三維物體重建方法。首先將Catmull-Rom樣條與FFD結(jié)合提出CR-FFD方法，通過(guò)Catmull-Rom樣條基函數(shù)對(duì)點(diǎn)云模型控制點(diǎn)進(jìn)行插值，以保持形變過(guò)程的拓?fù)浣Y(jié)構(gòu)一致性；然后提出基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)的最小二乘求逆解法加速CR-FFD的求解過(guò)程；為了增強(qiáng)網(wǎng)絡(luò)的局部特征表達(dá)能力，將偏置注意力(offset-attention, OA)與基于Transformer的膠囊網(wǎng)絡(luò)結(jié)合，提出偏置Transformer膠囊網(wǎng)絡(luò)，通過(guò)OA捕獲點(diǎn)云形狀的細(xì)粒度特征以保持二維圖像與三維模型的空間結(jié)構(gòu)一致性。
主要內(nèi)容:
本文方法的結(jié)構(gòu)如圖1所示，包括控制點(diǎn)生成網(wǎng)絡(luò)、卷積CR-FFD模型和偏置Transformer膠囊網(wǎng)絡(luò)局部點(diǎn)云形變模塊。首先將單幅圖像輸入到控制點(diǎn)生成網(wǎng)絡(luò)獲得三維模型的控制點(diǎn)；然后利用卷積CR-FFD模型對(duì)模板模型進(jìn)行調(diào)整；最后利用偏置Transformer膠囊網(wǎng)絡(luò)對(duì)局部點(diǎn)云進(jìn)行調(diào)整，得到最終的三維點(diǎn)云重建結(jié)果。
圖1 系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)
實(shí)驗(yàn)結(jié)果及分析:
圖2 本文三維重建結(jié)果與 PSGN 等方法對(duì)比
在Airplane和Bench數(shù)據(jù)集上，與PSGN，VGG-Pixel2Mesh和DISN這3種方法進(jìn)行對(duì)比，結(jié)果如圖2所示?？梢钥闯?，本文方法在Airplane數(shù)據(jù)集上的重建結(jié)果與VGG-Pixel2Mesh相近，優(yōu)于其他2種方法，均取得較好的重建效果。但本文方法重建結(jié)果的噪聲更少，點(diǎn)云分布更加均勻，更加貼近真實(shí)形狀；在有孔洞的Bench模型上，本文方法的重建結(jié)果明顯優(yōu)于其他方法，證明該方法具有較好的魯棒性。
圖3為部分真實(shí)場(chǎng)景圖像的三維重建結(jié)果。可以看出，本文方法對(duì)于雙層結(jié)構(gòu)的桌子、椅子等復(fù)雜結(jié)構(gòu)的重建細(xì)節(jié)更加準(zhǔn)確，能夠有效地保持點(diǎn)云模型形變局部拓?fù)浣Y(jié)構(gòu)的一致性。
圖3 本文方法真實(shí)場(chǎng)景三維重建效果
結(jié)論:
本文提出一種融合卷積CR-FFD與偏置Transformer膠囊網(wǎng)絡(luò)的點(diǎn)云三維重建方法。為實(shí)現(xiàn)高質(zhì)量的三維點(diǎn)云重建模型，通過(guò)Catmull-Rom樣條基函數(shù)對(duì)點(diǎn)云模型控制點(diǎn)進(jìn)行插值，保持點(diǎn)云模型形變局部拓?fù)浣Y(jié)構(gòu)的一致性，并使用卷積神經(jīng)網(wǎng)絡(luò)最小二乘求逆解法加速求解過(guò)程。在此基礎(chǔ)上，將基于偏置注意力的Transformer編碼器模塊和球鄰域模型嵌入膠囊網(wǎng)絡(luò)，增強(qiáng)局部特征表達(dá)能力以捕獲點(diǎn)云形狀的細(xì)粒度特征。實(shí)驗(yàn)結(jié)果表明，本文方法有效地提升單視圖的三維重建結(jié)果，具有較強(qiáng)的魯棒性。未來(lái)將結(jié)合隱表達(dá)方式描述三維模型拓?fù)浣Y(jié)構(gòu)，實(shí)現(xiàn)更高質(zhì)量的重建效果；同時(shí)，進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)重建質(zhì)量與模型性能之間的平衡。
作者簡(jiǎn)介:
連遠(yuǎn)鋒，教授，碩士生導(dǎo)師。研究方向?yàn)閳D像處理與虛擬現(xiàn)實(shí)、機(jī)器視覺(jué)與機(jī)器人、深度學(xué)習(xí)與數(shù)字孿生。