科研動(dòng)態(tài)
基于關(guān)系約束的膠囊圖網(wǎng)絡(luò)非剛體形狀匹配
中文題目：基于關(guān)系約束的膠囊圖網(wǎng)絡(luò)非剛體形狀匹配
論文題目：Relation Constrained Capsule Graph Neural Networks for Non-rigid Shape Correspondence
錄用期刊：ACM Transactions on Intelligent Systems and Technology（中科院大類(lèi)4區(qū)，JCR Q1）
原文DOI：https://doi.org/10.1145/3688851
作者列表：
1） 連遠(yuǎn)鋒 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 智能科學(xué)與技術(shù)系 教師
2） 裴守爽 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩20
3） 陳夢(mèng)琪 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩21
4） 華 璟 美國(guó)韋恩州立大學(xué) 計(jì)算機(jī)科學(xué)系
摘要:
三維動(dòng)態(tài)形狀之間的精確對(duì)應(yīng)關(guān)系是分析和量化形變的關(guān)鍵任務(wù)。針對(duì)非剛性三維形狀匹配易受拓?fù)浣Y(jié)構(gòu)變化影響而導(dǎo)致精度降低的問(wèn)題，提出基于關(guān)系約束的膠囊圖網(wǎng)絡(luò)(RC-CGNet)，構(gòu)建嵌入特征空間與輸入形狀幾何特征之間的關(guān)系約束，依托函數(shù)映射框架，實(shí)現(xiàn)三維形狀匹配。首先，設(shè)計(jì)了擴(kuò)散圖注意力網(wǎng)絡(luò)(DGANet)對(duì)三維形狀進(jìn)行語(yǔ)義分割，并對(duì)分割結(jié)果采樣，獲得奇點(diǎn)。然后，構(gòu)建奇點(diǎn)間測(cè)地距離最小生成樹(shù)(minimum spanning tree, MST)作為關(guān)系約束，計(jì)算正方向和對(duì)稱(chēng)方向上的等距匹配關(guān)系。為提高算法的收斂速度和匹配精度，提出一種基于Nesterov加速梯度算法(NAG)的優(yōu)化殘差網(wǎng)絡(luò)結(jié)構(gòu)提取局部特征，并利用圖卷積結(jié)構(gòu)提取全局特征。此外，提出了輕量級(jí)門(mén)控注意力模塊來(lái)融合全局特征和局部特征，以獲得更豐富的特征表示。由于膠囊網(wǎng)絡(luò)比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)具有更好的空間推理能力，文中提出了基于路由注意力融合模塊(RAFB)的雙路由膠囊網(wǎng)絡(luò)，通過(guò)利用語(yǔ)義部分的幾何層次關(guān)系過(guò)濾低區(qū)分度膠囊。在公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法具有良好的準(zhǔn)確性和廣泛的適應(yīng)性。
背景與動(dòng)機(jī):
非剛性三維形狀匹配是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，被廣泛應(yīng)用于形狀分析、量化、形狀檢索和可視化等領(lǐng)域。傳統(tǒng)形狀匹配算法首先提取三維形狀的局部特征描述符或測(cè)地距離等幾何特征，通過(guò)迭代優(yōu)化匹配關(guān)系，獲得最終匹配結(jié)果。這類(lèi)方法提取的三維形狀描述符魯棒性較差，因此存在匹配精度較低的問(wèn)題。深度學(xué)習(xí)形狀匹配算法能夠自動(dòng)提取描述符特征，通過(guò)優(yōu)化函數(shù)映射矩陣求得三維形狀逐點(diǎn)對(duì)應(yīng)關(guān)系，有效提升了匹配精度。近年來(lái)，基于深度學(xué)習(xí)的形狀匹配算法取得眾多研究成果，但這類(lèi)方法通常僅提取形狀的全局特征，忽略了形狀的局部特征與空間幾何關(guān)系，當(dāng)模型拓?fù)浣Y(jié)構(gòu)發(fā)生變化時(shí)，匹配精度會(huì)降低。
設(shè)計(jì)與實(shí)現(xiàn):
圖1給出了本文算法的詳細(xì)結(jié)構(gòu)。首先通過(guò)DGANet對(duì)三維模型曲面進(jìn)行語(yǔ)義分割；然后對(duì)分割后的模型采樣進(jìn)而生成奇點(diǎn)；接下來(lái)計(jì)算奇點(diǎn)間測(cè)地距離的最小生成樹(shù)并生成測(cè)地距離矩陣；然后將測(cè)地距離矩陣轉(zhuǎn)化為函數(shù)映射框架中的關(guān)系約束項(xiàng)，計(jì)算三維形狀的等距匹配關(guān)系。最后，通過(guò)度量測(cè)地線(xiàn)最小生成樹(shù)中每個(gè)點(diǎn)的嵌入特征和輸入形狀幾何特征之間的相似性，構(gòu)建關(guān)系約束損失函數(shù)的正則化項(xiàng)，構(gòu)建關(guān)系約束損失函數(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)模型的端到端訓(xùn)練。
圖1 RC-CGNet網(wǎng)絡(luò)結(jié)構(gòu)
實(shí)驗(yàn)結(jié)果及分析:
將DGANet在SHREC數(shù)據(jù)集上的語(yǔ)義分割結(jié)果可視化，如圖2所示。通過(guò)放大局部細(xì)節(jié)，與DiffusionNet對(duì)比，DGANet的語(yǔ)義分割精度高于DiffusionNet，細(xì)節(jié)更加準(zhǔn)確，更接近真實(shí)分割結(jié)果，證明DGANet具有較強(qiáng)的魯棒性。進(jìn)一步，圖3第一行、第二行分別展示了KIDS與TOSCA數(shù)據(jù)集的分割結(jié)果?？梢钥闯觯瑢?duì)于不同姿勢(shì)的三維人體模型，本章方法均取得良好的語(yǔ)義分割效果，表現(xiàn)出較強(qiáng)的魯棒性。
圖2 人體模型數(shù)據(jù)集分割結(jié)果對(duì)比
圖3 本文方法在KIDS和TOSCA數(shù)據(jù)集上的分割結(jié)果
為了更好地展示對(duì)比，圖4展示了本文方法與CA-CGNet、MGCN和FMNet在重采樣的KIDS和SCAPE數(shù)據(jù)集上的形狀匹配結(jié)果?？梢钥闯觯谥夭蓸拥?/span>KIDS和SCAPE測(cè)試集上，本文方法的性能優(yōu)于其他三種方法，證明本文方法具有更強(qiáng)的魯棒性。圖5展示了本文方法與CA-CGNet、MGCN在重采樣的TOSCA數(shù)據(jù)集上的測(cè)地線(xiàn)誤差。實(shí)驗(yàn)結(jié)果表明，該方法在姿態(tài)變化較大的人體模型和非人體模型上均取得了更好的形狀匹配精度，表明RC-CGNet具有良好的泛化性。
圖4 各種方法在KIDS和SCAPE數(shù)據(jù)集上的形狀匹配結(jié)果可視化
圖5 不同方法中人體模型和非人體模型測(cè)地線(xiàn)誤差可視化
結(jié)論:
本文以奇點(diǎn)間測(cè)地曲線(xiàn)的最小生成樹(shù)作為關(guān)系約束，依托函數(shù)映射框架，提出了一種嵌入特征空間和輸入形狀空間的形狀匹配網(wǎng)絡(luò)。通過(guò)將關(guān)系約束損失整合為正則化項(xiàng)進(jìn)一步提高形狀匹配性能。在未來(lái)的研究中，考慮將膠囊網(wǎng)絡(luò)擴(kuò)展到形狀的局部表示，并探索關(guān)系感知路由機(jī)制。
作者簡(jiǎn)介:
連遠(yuǎn)鋒，教授。研究方向?yàn)閳D像處理與虛擬現(xiàn)實(shí)、機(jī)器視覺(jué)與機(jī)器人、深度學(xué)習(xí)與數(shù)字孿生。