讓機器理解三維世界，「商湯科技」暢想人工智能3D視覺技術的未來

王子彬,商湯科技移動智能事業(yè)群副總裁、智能終端業(yè)務CTO

李啟銘,商湯科技智能終端業(yè)務3D產(chǎn)品負責人

當一項先進的技術從工業(yè)界走向消費領域,往往能夠推動更多的突破性創(chuàng)新。

在上世紀70年代,工業(yè)界開始運用3D視覺技術測量和掃描物件,提高生產(chǎn)效率。最近10多年,家用游戲機廠商將3D體感外設帶入大眾視野,帶來了新奇的體感游戲。近三年,越來越多的智能手機開始配備3D傳感器,并在AI的加持下,開拓出了更多更具想象空間的應用場景。未來10年,AI+3D將無處不在,給我們的生活和工作帶來深遠影響。

賦予機器感知三維世界的“眼睛”

人類擁有與生俱來的3D環(huán)境感知和理解能力,這是因為我們用兩只眼睛來捕捉圖像,通過大腦處理形成立體視覺,從而辨認物體的形狀方位、他人的動作,輕松自然地跟這個三維世界交互。

能否讓機器也能感知三維世界呢?或許很多人會想到給機器添加一顆攝像頭。但普通RGB攝像頭拍攝的現(xiàn)實世界的影像,僅能采集場景中的色彩信息,無法采集物體和攝像頭之間的距離和方位。也就是說,無論場景中的三維結構有多么豐富,對機器來說都是一個平面,一個二維世界。

3D視覺技術,就是賦予機器感知三維世界的信息和能力,并給我們帶來顛覆性的價值。試想一下,將汽車立體模型通過增強現(xiàn)實(AR)技術投射出來,客戶可360度觀看,還能“開車門”,由此直觀地提出意見,而不是一張張翻看照片;或者派無人機探索森林或洞穴,一邊前行一邊繪制周邊場景的三維地形,而不是我們拿著一張平面地圖親自探險……

事實上,3D視覺技術目前已經(jīng)在工業(yè)界取得成功,但在消費領域,受限于3D感知硬件的成本和體積、計算能力等困擾,很多場景并未激活。除了掃地機器人等個別終端外,我們的智能手機等移動設備,還處在二維世界里。但近幾年,3D視覺技術終于開始走向個人終端,機器認知世界的新大門正在打開。

3D感知硬件小型化,ToF漸成主流

實現(xiàn)3D視覺能力,3D感知硬件的加持至關重要。目前主流的3D感知硬件技術包括雙目視覺、結構光、ToF(飛行時間)以及激光雷達。

雙目視覺系統(tǒng)是通過雙攝像頭同時進行成像,然后通過對比兩個圖像中每個像素點的相對位置差,來計算出該像素點在三維環(huán)境中的位置,類似于人雙眼的工作原理。

結構光和ToF則能在RGB的基礎上直接提供深度信息,屬于RGB-D方案,在精度上比雙目視覺更勝一籌。其中,結構光是通過投射大量光斑到物體上,然后根據(jù)光斑的形變量來判斷其所處深度;ToF則是向物體發(fā)射連續(xù)的光脈沖信號,并接收返回的信號,通過計算信號發(fā)射和返回的時間來計算深度信息。相比之下,結構光在較短距離內(nèi)擁有更高精度,而ToF支持的工作距離更長,適用于更加多元化的場景,且傳感器模塊少,體積小。

激光雷達的原理與ToF類似,但其感知距離更遠,范圍更大,精度也更高。很多自動駕駛汽車通過激光雷達來感知周圍環(huán)境,不過缺點是成本過于高昂,只適用于特定場景。

在最近的三年,我們觀察到的一個顯著趨勢是ToF和結構光的小型化,使得它成功地應用到了手機當中。而ToF以其體積更小、適用場景更廣等優(yōu)勢,逐漸受到更多廠商青睞,很多最新的旗艦手機都將ToF作為一大賣點。據(jù)統(tǒng)計,2019年有約5000萬臺配備ToF的手機出貨,業(yè)內(nèi)預計2020年、2021年將分別達到1.5億和5億臺,逐漸呈現(xiàn)出爆發(fā)態(tài)勢,2020年全球智能手機3D感知硬件市場的規(guī)模也將到達99.25億美元。

ToF在智能手機上的加速應用,有助于3D視覺技術的廣泛普及化,成為接下來10年中非常重要的科技趨勢。深入地觸達消費市場,也激活了更多的應用創(chuàng)新可能。

AI技術,突破3D視覺技術的難點

3D感知硬件能夠提供距離、深度等數(shù)據(jù)信息,但我們要的并不是單純的數(shù)據(jù),而是基于這些數(shù)據(jù),通過不同的表達和理解方式,實現(xiàn)不同的應用。比如對三維場景進行數(shù)字化建模,或者繪制三維地圖,從而讓機器能夠實時感知自己在所處空間中的位置,以便在運動時及時避開障礙物等。這需要根據(jù)深度信息生成深度圖像,并與RGB圖像,甚至是紅外圖像進行融合并完成大量計算。

但是,通過硬件感知的信息生成的深度圖像,往往存在因硬件性能限制而產(chǎn)生的瑕疵,例如在細小或復雜交錯的物體之間,出現(xiàn)深度信息估計錯誤等問題。此外,精準度、魯棒性、實時性、效率等都是決定實際應用效果的關鍵。這都需要依靠額外的算法進行實時處理予以彌補和增強。

在工業(yè)場景中,由于應用相對單一,且3D感知硬件大多處于固定或平穩(wěn)狀態(tài),很多難題可以通過編寫特定算法加以解決。但在移動終端上,不規(guī)則的抖動、晃動等情況帶來的難以預估的挑戰(zhàn),傳統(tǒng)算法難以突破。

2012年,AI在計算機視覺領域取得突破,給3D視覺技術發(fā)展也帶來了全新思路。AI可通過對大量實際數(shù)據(jù)進行學習,自行總結其中的規(guī)律和特征。這種方法可以在短時間內(nèi),完成傳統(tǒng)算法需要多年才能突破的問題,有效彌補硬件能力的不足。

更為重要的是,AI不僅能感知場景中的三維結構,還能識別出場景中的三維物體是什么,在做什么。例如檢測人、物體,識別人的姿態(tài),跟蹤物體的運行軌跡……這就進一步敞開了機器認知世界的新大門。

在我們看來,3D硬件的小型化,是3D視覺技術應用場景拓展和創(chuàng)新的硬件基礎,而AI技術則是真正的動力引擎。兩者密不可分,可以說,AI+3D視覺技術拐點已至。

AI+3D,緊密協(xié)作實現(xiàn)完美空間感知

目前,商湯科技已經(jīng)將AI技術廣泛地應用于3D感知的各個領域,開發(fā)了基于ToF等3D感知硬件的技術與產(chǎn)品,包括人臉與人體3D重建、物體重建、3D全身關鍵點跟蹤、3D Avatar驅動工具、AR測量、AR場景互動、AR導航、3D人臉認證、3D攝影等等,均體現(xiàn)了AI+3D的顯著優(yōu)勢。

首先,AI+3D可以進一步優(yōu)化感知效果,提升用戶體驗。以動作捕捉為例,結合對深度信息的高效處理,能夠整體提升肢體關鍵點的穩(wěn)定性、準確性以及運動的穩(wěn)定性和自然度,精準呈現(xiàn)人在三維空間中的動作姿態(tài)變化;

第二,AI+3D可以更加高效地應用和處理深度信息,理解環(huán)境中人物間的相互關系。例如為AR帶來逼真的虛實融合和互動效果,在智能手機上完成高精度3D模型建模,或是為自動駕駛提供車外的人、車、物的識別和距離感知。

第三,AI+3D可以更加精準地分割圖像中的主體和背景。特別是在主體和背景顏色比較相近的情況下,得益于對深度信息的快速處理,在分割效果上比2D感知技術有很大的提升,可提供不同人物之間的語義信息,亦可結合3D相機系統(tǒng)帶來更逼近單反的攝影效果;

第四,深度信息與紅外圖像的結合,可以讓3D感知適用于更多的場景,使之不受環(huán)境光線明暗的影響。

在提供算法的同時,商湯科技也與產(chǎn)業(yè)上下游合作伙伴緊密合作,提供軟硬一體解決方案,推動AI+3D的發(fā)展和生態(tài)構建,推動應用場景的革新。

基于上述優(yōu)勢,我們認為,AI+3D會從人機交互、互動娛樂、內(nèi)容創(chuàng)作、身份驗證、拍照、電商等層面激發(fā)大量的創(chuàng)新應用場景,甚至改變很多傳統(tǒng)行業(yè)的運作模式。

AI+3D,激活更多創(chuàng)新的應用場景

隨著越來越多的智能手機配備3D感知硬件,AI算法的作用也越加凸顯,只有兩者的緊密協(xié)作,才能夠將完美的影像體驗帶給最終用戶,缺一不可。為此,商湯科技一直積極與合作伙伴攜手共進,將AI+3D相關產(chǎn)品和技術充分應用于手機等智能終端當中。

比如,通過AI+3D進行“物品重建”。商湯科技的通用3D重建技術,讓用戶只需拿手機沿著物體360度環(huán)繞掃描,就能將其掃描成數(shù)字模型,并用于3D打印、3D/AR相冊預覽、短視頻直播內(nèi)容生成,或植入到游戲、電商商品展示等場景。特別是后者,它可讓顧客通過翻轉方式查看物品外觀,告別翻看照片的麻煩。

除物品重建,還可以“人臉重建”。2018年,商湯科技助力合作伙伴推出了市面上第一款具備3D人臉重建功能的手機。用戶不僅可以體驗比2D美顏更加精美的3D美顏功能,還可足不出戶輕松地進行虛擬試妝,甚至通過“3D微整形”來模擬整形效果。

AI+3D讓手機就能成為體感設備。玩家可低成本地暢玩體感游戲,而內(nèi)容創(chuàng)作者則借助商湯的Avatar技術打造自己的虛擬形象,例如虛擬主播、虛擬講解員或者虛擬教師,通過表情、動作進行驅動,這會為互動娛樂、文旅乃至教育打造新的發(fā)展模式。

AI+3D也將在很大程度上推動移動AR朝向3D AR方向發(fā)展。基于RGBD SLAM可重建真實環(huán)境的3D結構,準確將虛擬元素植入到真實環(huán)境中,呈現(xiàn)真實的遮擋、碰撞、反彈等效果。

商湯還與浙江大學共建了“浙江大學-商湯三維視覺聯(lián)合實驗室”,在SLAM和三維重建等領域的前沿研究展開深入合作,并推出了高精定位與內(nèi)容增強解決方案,實現(xiàn)高精度的AR導航等功能。

有了3D AR,手機還能搖身一變成為更強大的AR測量尺,實現(xiàn)遠超基于2D方案的測量精度,場景覆蓋率到初始化耗時,還可以自動檢測并測量立體幾何物體。

AI+3D也將讓3D人臉識別成為更便捷、更安全的解鎖或支付方式。商湯科技不僅在2018年助力合作伙伴推出了市面上首款基于結構光的3D人臉識別安卓手機,還于同年底推出了基于ToF的3D人臉識別方案。此外還推出了3D人臉識別智能門鎖解決方案,推動智能門鎖行業(yè)的創(chuàng)新。

媲美單反的大景深效果一直是手機人像拍照所追求的方向,3D視覺技術可以讓人物等主體與背景的過渡效果更加自然、更加精準。而在電商行業(yè),AI+3D可以讓AR試妝、AR試衣、AR家居更加逼真,滿足多角度充分預覽,促成購買行為。

放眼汽車行業(yè),AI+3D技術能夠實現(xiàn)更加精準的車外人、車、物識別和距離感知,有力推動自動駕駛的發(fā)展。商湯科技也正以“攝像頭為主、多傳感器融合”的解決方案,研發(fā)L4級自動駕駛解決方案。而在泛工業(yè)領域,AI+3D可以為機械臂賦予3D感知能力,準確判斷物體所處的位置、尺寸、形狀等,從而進行精準的抓取,或是進行自動化的品質(zhì)檢測。

《Prediction Machines》一書中曾提到:“當某種基礎產(chǎn)品價格大幅下降的時候,才是整個世界發(fā)生變化的基礎”。3D視覺技術呈現(xiàn)出的也是這樣一個趨勢。放眼未來,3D視覺技術還有更多創(chuàng)新空間。首先硬件成本的下降使其更加普及,支持的工作距離更遠,而AI技術隨著表達能力將不斷增強,算法模型的小型化等趨勢,可讓深度信息處理更高效,3D效果更逼真、更穩(wěn)定,性能更快,同時硬件資源占用率更低。一方面不斷優(yōu)化現(xiàn)有應用的體驗,另一方面進一步開拓更多應用可能。

新的10年, AI+3D將成為變革行業(yè)發(fā)展的全新引擎。

轉自：36氪

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。