FBEC2023 | 七鑫易維 副總裁路偉成：XR眼球追蹤的幾大關(guān)鍵落地場景

FBEC2023未來商業(yè)生態(tài)鏈接大會暨第八屆金陀螺獎于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開，本次大會由廣東省游戲產(chǎn)業(yè)協(xié)會、深圳市互聯(lián)網(wǎng)文化市場協(xié)會指導(dǎo)，陀螺科技主辦，中國光谷、游戲陀螺、VR陀螺、陀螺財經(jīng)、陀螺電競聯(lián)合主辦。

大會以“合力共生·韌者行遠(yuǎn)”為大會主題，以具有行業(yè)前瞻洞察的“航行者”為視角，破冰之旅為主線，關(guān)注AI、元宇宙、XR、游戲、電競、數(shù)字經(jīng)濟等科技與互聯(lián)網(wǎng)前沿領(lǐng)域，全方位呈現(xiàn)科技前沿成果，聚焦時代與商業(yè)熱點議題，探討新科技、新商業(yè)、新模式的未來價值，與真正的勇者共赴劇變革新下的凜冬破冰之旅！

主會場C：元生未來，共鏈價值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇，邀請到七鑫易維 副總裁路偉成帶來主題為“XR眼球追蹤的關(guān)鍵點”的精彩演講。路偉成認(rèn)為，XR眼球追蹤的幾大關(guān)鍵落地場景有：注視點渲染、瞳距（IPD）調(diào)節(jié)、表情追蹤（+反向透視）、交互、身份識別、眼動數(shù)據(jù)分析以及虛實對齊與消除VAC。

以下為演講實錄：

大家，下午好！我是七鑫易維的路偉成，今天和大家分享的主題是XR眼球追蹤的幾個關(guān)鍵問題，集中闡述XR眼球追蹤的應(yīng)用場景。

XR眼球追蹤的時代已經(jīng)到來，全球領(lǐng)軍消費電子公司蘋果，第一款XR產(chǎn)品Vision Pro就集成了眼球追蹤。而除了蘋果之外，主流的XR品牌幾乎全部推出了集成眼球追蹤的XR型號，如Meta Quest Pro、PICO 4 Pro等。具體來看，XR眼球追蹤的落地場景有：

（1）注視點渲染。加了眼動的VR，基本都會加注視點渲染。Vision Pro發(fā)布，VR、MR的分辨率都向蘋果看齊，超高分辨率意味著渲染壓力非常大，而注視點渲染則可以大幅度降低渲染壓力，如《Red Matter 2》登陸Quest Pro后，像素密度比之前提升了33%（等同于視覺中心的像素數(shù)量增加了77%），文字清晰度、光影和色彩表現(xiàn)足夠優(yōu)秀，突破了Quest頭顯的圖形極限。再看PSVR2使用動態(tài)照明和陰影等高要求的圖形質(zhì)量下，渲染和計算跟蹤的幀時間從33.2ms下降到14.3ms，運行一個4K的飛船Demo演示時，CPU線程性能和GPU幀時間分別快了32%和14%。最后總結(jié)下來就是注視點渲染提高GPU幀數(shù)達(dá)2.5倍，注視點渲染+眼球追蹤可提高3.6倍，由此注視點渲染是剛需。

（2）IPD調(diào)節(jié)。加了眼動的VR基本都加了IPD，Vision Pro也加了，但是在發(fā)布會上并沒有提。用戶感知不到的東西，蘋果就不會提，感知不到的技術(shù)是最好的技術(shù)，就像空氣一樣使用它就可以。七鑫易維早在2018跟歌爾合作的時候，就推出了自動的IPD的調(diào)節(jié)。

（3）表情追蹤。目前的落地情況，只要加了眼動，肯定都能實現(xiàn)表情追蹤，Vision Pro還額外加了個反向透視。七鑫易維很早就實現(xiàn)了通過眼球追蹤進行表情追蹤的功能，可以把人的表情，眼部表情都表現(xiàn)出來。這已經(jīng)是落地的場景，在VR的社交類應(yīng)用或者是遠(yuǎn)程會議等都用得到。

（4）身份識別和認(rèn)證。目前用得比較少，僅Vision Pro和HoloLens2用了，運用虹膜識別作為身份識別的方式。虹膜識別和眼球追蹤實際上是可以統(tǒng)一到一起的，因為硬件采用的是一套。虹膜識別是我們認(rèn)為目前最合適XR身份認(rèn)證的方式。為什么會這么說？主要因為虹膜識別已經(jīng)有眼球追蹤不需要額外加其他的套件。眼球追蹤是很好的活體識別方式，提升了虹膜識別的安全性，虹膜識別還能給眼球追蹤提供身份信息，當(dāng)切換用戶的時候可以自動切換眼球追蹤的參數(shù)。這方面我們已與微信支付、創(chuàng)維XR推出了整體的虹膜識別和眼球追蹤的XR方案，預(yù)計年底或明年初可以實現(xiàn)量產(chǎn)。

（5）交互。幾年前我們就講，眼手口多模態(tài)自然交互是XR交互的未來，但在Vision Pro未發(fā)布前，大家都不相信。在蘋果看來，眼手口多模態(tài)自然交互，是繼鍵鼠交互、觸控交互之后的第三次交互范式大變革。眼睛除了用來做簡單的選擇之外，還有很多場景是適合的，比如做信息顯示、自動滾屏、自動縮放、自動隱藏等。有了眼動數(shù)據(jù)，可以展開很多想象，交互潛力會變得非常巨大。推薦一篇Meta的論文《基于眼動追蹤的交互具有巨大潛力》

Leveling the Playing Field: A Comparative Reevaluation of Unmodified Eye Tracking as an Input and Interaction Modality for VR，感興趣的可以去看一看。

（5）眼動數(shù)據(jù)分析。眼動數(shù)據(jù)分析，可以挖掘用戶很多的心理信息、生理信息，可以用在廣告分析、用戶體驗分析、用戶心理分析等。這可能是XR行業(yè)靠眼球追蹤掙錢最多的功能之一，只是在C端會慢一些，C端用眼動分析不多。七鑫易維之前就做過VR看房的案例，用戶看到的是有顏色的，商家會看到用戶在什么地方看的注意力比較集中，什么地方?jīng)]有關(guān)注到，這對于商家來講可以挖掘的信息非常多。

除此之外，像虛實對齊被視為未來很快落地的場景，只是目前還沒有。但AR在這方面有很強的需求，AR常用的場景就是虛實融合，如導(dǎo)航，要在真實的路面上出現(xiàn)虛擬導(dǎo)航的軌跡，但是每一個人佩戴眼鏡的姿勢不確定，顯示的位置很可能就產(chǎn)生偏差，基本上很難100%的對齊，這就需要實時根據(jù)用戶眼睛的位置進行調(diào)整，也就是需要眼球追蹤。其次就是消除VAC，這個依賴于變焦系統(tǒng)的成熟，現(xiàn)在變焦系統(tǒng)還沒有成熟，所以沒有落地的場景。但隨著變焦系統(tǒng)成熟，消除VAC就自然而然產(chǎn)生需求。

那么，Vision Pro的眼球追蹤和七鑫易維之前推的方案有什么不同呢？基本的路線是一樣唯一的不同是蘋果的堆料夠狠。當(dāng)然，也有代價，就是高功耗、高算力、高成本。我們也有類似的方案，預(yù)計原型機今年底或明年初會出來。

大家也會疑惑單眼單攝不能用了嗎？仍然具備高可用性，關(guān)鍵是眼球追蹤可用性不僅僅和本身性能相關(guān)，還和交互設(shè)計強相關(guān)。還有一個小問題，人眼數(shù)據(jù)是用戶生物特征數(shù)據(jù)，所以人們對于用戶隱私安全越來越重視，這是很關(guān)鍵的事情。據(jù)我了解，所有用戶認(rèn)證用到生物信息，都不可以在海外建數(shù)據(jù)庫，這涉及到國家安全的問題。剛才也有嘉賓講過，高科技領(lǐng)域我們要防止卡脖子，七鑫易維，無論是在硬件算法，還是軟件上，全部做到了自主可控，所以不存在卡脖子的問題。

七鑫易維成立于2009年，歷經(jīng)14年發(fā)展，在國內(nèi)的眼球追蹤市場已經(jīng)遙遙領(lǐng)先，目前在全球申請的專利數(shù)量將近600項，其中發(fā)明專利占到了2/3。

如上圖所示，這是七鑫易維已經(jīng)發(fā)布的一些產(chǎn)品，大家感興趣可以細(xì)聊。接下來，還會陸續(xù)有一些新的型號發(fā)布。

最后，總結(jié)一下：（1）注視點渲染、動態(tài)超分和反畸變、瞳距調(diào)節(jié)將成為XR的基本功能；（2）表情追蹤作為社交強需求，將成為XR的基本功能；（3）虹膜識別將成為XR身份識別和認(rèn)證的最常用方式；（4）眼手口多模態(tài)自然交互將成為XR的交互趨勢；（5）眼球追蹤在XR上已經(jīng)成熟，具備高可用性；（6）眼球追蹤將成為XR的標(biāo)配，如果大家想要加眼球追蹤，找七鑫易維，謝謝！

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。