對(duì)于網(wǎng)格形式的3D數(shù)據(jù)學(xué)習(xí)一直以來(lái)是三維深度學(xué)習(xí)研究的重點(diǎn)，網(wǎng)格的復(fù)雜性和不規(guī)則性使得通常的卷積網(wǎng)絡(luò)無(wú)法有效的應(yīng)用。為此來(lái)自德國(guó)亞琛工業(yè)大學(xué)的研究人員們提出了一種集成測(cè)地線卷積和歐幾里得卷積的層級(jí)卷積模型DualConvMesh－Net，用于處理三維幾何數(shù)據(jù)，其中定義在網(wǎng)格表面的測(cè)地線卷積可以將作用于給定網(wǎng)格的局域表面，更加注重對(duì)于不同目標(biāo)的編碼與分離；而定義在鄰域的歐幾里得卷積則獨(dú)立于表面結(jié)構(gòu)，著重于分析區(qū)域內(nèi)點(diǎn)之間的相互關(guān)系、編碼鄰近目標(biāo)間的相關(guān)性，而不注重目標(biāo)的獨(dú)立性。
通過(guò)有效結(jié)合歐幾里得卷積和測(cè)地線卷積，基于層級(jí)結(jié)構(gòu)實(shí)現(xiàn)多尺度多分辨率的網(wǎng)格分析，最終大幅度提升了三維語(yǔ)義分割任務(wù)的性能，并在多個(gè)數(shù)據(jù)集上取得了優(yōu)異的結(jié)果。
向三維幾何進(jìn)軍的深度學(xué)習(xí)
隨著深度學(xué)習(xí)在圖像領(lǐng)域取得了令人矚目的成就，研究人員們也逐漸開(kāi)始將深度學(xué)習(xí)方法特別是卷積神經(jīng)網(wǎng)絡(luò)從規(guī)則、離散的音頻、圖像和體素領(lǐng)域，向非規(guī)則的幾何數(shù)據(jù)上進(jìn)行應(yīng)用。典型的幾何數(shù)據(jù)包括圖結(jié)構(gòu)、點(diǎn)云和3D網(wǎng)格等，目前針對(duì)這一領(lǐng)域的研究基于數(shù)據(jù)表示的不同主要分為兩大方向：3D場(chǎng)景理解和3D形狀分析。
其中3D場(chǎng)景理解的主要任務(wù)包括語(yǔ)義分割、實(shí)例分割、部件分割等等，所面對(duì)的通常是點(diǎn)云數(shù)據(jù)。人們常常將原始點(diǎn)云轉(zhuǎn)換到規(guī)則的離散三維柵格中，以便標(biāo)準(zhǔn)的3D卷積處理。而直接處理點(diǎn)云顯然是一種更為便捷的方法，但最大的挑戰(zhàn)則來(lái)自于如何將卷積作用于非規(guī)則的點(diǎn)集上。這種方式通常將卷積核作用于利用球或者K最鄰近等歐幾里得方法得到的鄰域點(diǎn)集中。這種基于歐式距離的歐式卷積關(guān)注與點(diǎn)與點(diǎn)之間的相互關(guān)系，還對(duì)表面形變非常敏感。
與三維場(chǎng)景理解不同的是，三維形狀分析主要集中于形狀關(guān)系、形狀描述和檢索方面，主要關(guān)注以網(wǎng)格或者圖形式所編碼的表面信息。這種情況下，卷積核通常定義在網(wǎng)格或者圖的局域片層上，通過(guò)測(cè)地線距離來(lái)進(jìn)行定位和聯(lián)系（可以理解為沿著物體表面連接兩個(gè)節(jié)點(diǎn)見(jiàn)最短的邊）。這種方式的卷積被稱為測(cè)地線卷積，其最主要的特性是對(duì)于曲面形變具有不變形的特點(diǎn)，因此非常適合與獨(dú)立個(gè)體的描述與辨別。
上圖彩色梯度顯示了兩種不同卷積的特點(diǎn)，可以看到測(cè)地線距離可以有效分離出獨(dú)立的個(gè)體，它專注于沿著表面進(jìn)行學(xué)習(xí)；而歐式距離則更多地專注于空間相關(guān)性，可以銜接起小部分的缺失，以便學(xué)習(xí)到更多的上下文信息，補(bǔ)全缺失部分。
在這篇文章中，研究人員探索了上述的兩種卷積在三維網(wǎng)格語(yǔ)義分割任務(wù)中的應(yīng)用。目前絕大多數(shù)方法都基于歐式卷積，很少有利用測(cè)地線方法來(lái)進(jìn)行的研究。歐式卷積主要專注于上下文和鄰域信息的學(xué)習(xí)，而測(cè)地線距離則主要針對(duì)特定目標(biāo)，沿著其表面進(jìn)行形狀學(xué)習(xí)。這兩種方法各有優(yōu)劣，那么如何將他們的優(yōu)勢(shì)結(jié)合起來(lái)提升模型性能呢？
為了解決這一問(wèn)題，建立結(jié)合兩種卷積的綜合架構(gòu)，研究人員提出了DualConvMesh－Net，在網(wǎng)格數(shù)據(jù)下利用兩種卷積對(duì)幾何結(jié)構(gòu)進(jìn)行綜合學(xué)習(xí)與處理。為了在不同尺度上對(duì)歐式特征和測(cè)地線特征進(jìn)行學(xué)習(xí)，不僅構(gòu)建了層級(jí)網(wǎng)絡(luò)架構(gòu)，同時(shí)提出網(wǎng)格池化算法來(lái)在各個(gè)層級(jí)上簡(jiǎn)化并保留重要的網(wǎng)格結(jié)構(gòu)。下面就詳細(xì)地了解模型如何融合不同卷積方法并對(duì)網(wǎng)格進(jìn)行簡(jiǎn)化和學(xué)習(xí)的。
DualConvMesh－Net
本文提出的DualConvMesh－Net（DCM－Nets）是一類層級(jí)深度網(wǎng)絡(luò)架構(gòu)，它結(jié)合了測(cè)地線圖卷積在3D表面網(wǎng)格上的優(yōu)勢(shì)和歐幾里得圖卷積在空間域中3D頂點(diǎn)上的優(yōu)勢(shì)。網(wǎng)絡(luò)的輸入是包含了頂點(diǎn)信息的網(wǎng)格、輸入則是包含頂點(diǎn)特征的網(wǎng)格，可以有效用于稠密預(yù)測(cè)任務(wù)。網(wǎng)絡(luò)通過(guò)模塊化的形式構(gòu)建，具有容易集成與測(cè)評(píng)的優(yōu)勢(shì)。
本文提出的主體網(wǎng)絡(luò)架構(gòu)如下圖所示，在編碼器解碼器架構(gòu)的基礎(chǔ)上添加了銜接的殘差結(jié)構(gòu)，便于訓(xùn)練收斂。可以看到網(wǎng)絡(luò)由多個(gè)層級(jí)組成，每個(gè)層級(jí)中包含了多個(gè)疊加的DualConv結(jié)構(gòu)。在DualConv結(jié)構(gòu)中，測(cè)地線卷積和歐式卷積并行作用，并將得到的特征圖進(jìn)行銜接輸出。而針對(duì)不同尺度的網(wǎng)格，則需要利用池化算法來(lái)對(duì)網(wǎng)格進(jìn)行簡(jiǎn)化。
針對(duì)歐幾里得圖卷積和測(cè)地線圖卷積，針對(duì)某個(gè)尺度的網(wǎng)格來(lái)說(shuō)其頂點(diǎn)（Vertex）為歐式空間中的點(diǎn)集，而其邊則分為了基于knn或者一定鄰域半徑內(nèi)得到的歐幾里得形式的邊，以及基于網(wǎng)格上的面而得到的測(cè)地線邊（Edge）．而最終卷積作用于與頂點(diǎn)對(duì)應(yīng)的特征xi上，輸出yi為頂點(diǎn)vi的對(duì)應(yīng)特征：
其中N表示頂點(diǎn)附近的鄰域，φ為訓(xùn)練的非線性映射函數(shù)。值得注意的是，卷積核參數(shù)θ的數(shù)量與核的大小無(wú)關(guān)，同時(shí)歸一化的分母提高了卷積對(duì)于不同鄰域數(shù)量的魯棒性。針對(duì)網(wǎng)絡(luò)最開(kāi)始的卷積層，定義了僅僅依賴邊緣信息具有不變形的卷積操作，僅僅輸入xj－xi，而去除了包含絕對(duì)位置的初始特征xi。這樣的改變是的模型可以在場(chǎng)景的片層上訓(xùn)練，但同時(shí)可以在完整的結(jié)構(gòu)上進(jìn)行測(cè)評(píng)，不僅為每個(gè)頂點(diǎn)帶來(lái)更廣的上下文區(qū)域，同時(shí)也減少了運(yùn)行時(shí)間。此外對(duì)于初始?xì)W幾里得與側(cè)地線空間鄰域的復(fù)用則使得更深的圖卷積成為可能，同時(shí)也減少了運(yùn)行的內(nèi)存需求提高的計(jì)算速度。
123下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
