作者：Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬健
你聽(tīng)過(guò)莫拉維克悖論(Moravec's paradox)嗎?該悖論指出，對(duì)于人工智能(AI)系統(tǒng)而言，高級(jí)推理只需非常少的計(jì)算能力，而實(shí)現(xiàn)人類習(xí)以為常的感知運(yùn)動(dòng)技能卻需要耗費(fèi)巨大的計(jì)算資源。實(shí)質(zhì)上，與人類本能可以完成的基本感官任務(wù)相比，復(fù)雜的邏輯任務(wù)對(duì)AI而言更加容易。這一悖論凸顯了現(xiàn)階段的AI與人類認(rèn)知能力之間的差異。
人本來(lái)就是多模態(tài)的。我們每個(gè)人就像一個(gè)智能終端，通常需要去學(xué)校上課接受學(xué)識(shí)熏陶(訓(xùn)練)，但訓(xùn)練與學(xué)習(xí)的目的和結(jié)果是我們有能力自主工作和生活，而不需要總是依賴外部的指令和控制。
我們通過(guò)視覺(jué)、語(yǔ)言、聲音、觸覺(jué)、味覺(jué)和嗅覺(jué)等多種感官模式來(lái)了解周圍的世界，進(jìn)而審時(shí)度勢(shì)，進(jìn)行分析、推理、決斷并采取行動(dòng)。
經(jīng)過(guò)多年的傳感器融合和AI演進(jìn)，機(jī)器人現(xiàn)階段基本上都配備有多模態(tài)傳感器。隨著我們?yōu)闄C(jī)器人等邊緣設(shè)備帶來(lái)更多的計(jì)算能力，這些設(shè)備正變得愈加智能，它們能夠感知周圍環(huán)境，理解并以自然語(yǔ)言進(jìn)行溝通，通過(guò)數(shù)字傳感界面獲得觸覺(jué)，以及通過(guò)加速計(jì)、陀螺儀與磁力計(jì)等的組合，來(lái)感知機(jī)器人的比力、角速度，甚至機(jī)器人周圍的磁場(chǎng)。
邁入機(jī)器人和機(jī)器認(rèn)知的新時(shí)代
在Transformer和大語(yǔ)言模型(LLM)出現(xiàn)之前，要在AI中實(shí)現(xiàn)多模態(tài)，通常需要用到多個(gè)負(fù)責(zé)不同類型數(shù)據(jù)(文本、圖像、音頻)的單獨(dú)模型，并通過(guò)復(fù)雜的過(guò)程對(duì)不同模態(tài)進(jìn)行集成。
而在Transformer模型和LLM出現(xiàn)后，多模態(tài)變得更加集成化，使得單個(gè)模型可以同時(shí)處理和理解多種數(shù)據(jù)類型，從而產(chǎn)生對(duì)環(huán)境綜合感知能力更強(qiáng)大的AI系統(tǒng)。這一轉(zhuǎn)變大大提高了多模態(tài)AI應(yīng)用的效率和有效性。
雖然GPT-3等LLM主要以文本為基礎(chǔ)，但業(yè)界已朝著多模態(tài)取得了快速進(jìn)展。從OpenAI的CLIP和DALL·E，到現(xiàn)在的Sora和GPT-4o，都是向多模態(tài)和更自然的人機(jī)交互邁進(jìn)的模型范例。例如，CLIP可理解與自然語(yǔ)言配對(duì)的圖像，從而在視覺(jué)和文本信息之間架起橋梁;DALL·E旨在根據(jù)文本描述生成圖像。我們看到Google Gemini模型也經(jīng)歷了類似的演進(jìn)。
2024年，多模態(tài)演進(jìn)加速發(fā)展。今年二月，OpenAI發(fā)布了Sora，它可以根據(jù)文本描述生成逼真或富有想象力的視頻。仔細(xì)想想，這可以為構(gòu)建通用世界模擬器提供一條頗有前景的道路，或成為訓(xùn)練機(jī)器人的重要工具。三個(gè)月后，GPT-4o顯著提高了人機(jī)交互的性能，并且能夠在音頻、視覺(jué)和文本之間實(shí)時(shí)推理。綜合利用文本、視覺(jué)和音頻信息來(lái)端到端地訓(xùn)練一個(gè)新模型，消除從輸入模態(tài)到文本，再?gòu)奈谋镜捷敵瞿B(tài)的兩次模態(tài)轉(zhuǎn)換，進(jìn)而大幅提升性能。
在今年二月的同一周，谷歌發(fā)布了Gemini 1.5，將上下文長(zhǎng)度大幅擴(kuò)展至100萬(wàn)個(gè)詞元(Token)。這意味著1.5 Pro可以一次性處理大量信息，包括一小時(shí)的視頻、11小時(shí)的音頻、包含超過(guò)三萬(wàn)多行代碼或70萬(wàn)個(gè)單詞的代碼庫(kù)。Gemini 1.5基于谷歌對(duì)Transformer和混合專家架構(gòu)(MoE)的領(lǐng)先研究而構(gòu)建，并對(duì)可在邊緣側(cè)部署的2B和7B模型進(jìn)行了開(kāi)源。在五月舉行的Google I/O大會(huì)上，除了將上下文長(zhǎng)度增加一倍，并發(fā)布一系列生成式AI工具和應(yīng)用，谷歌還探討了Project Astra的未來(lái)愿景，這是一款通用的AI助手，可以處理多模態(tài)信息，理解用戶所處的上下文，并在對(duì)話中非常自然地與人交互。
作為開(kāi)源LLM Llama背后的公司，Meta也加入了通用人工智能(AGI)的賽道。
這種真正的多模態(tài)性大大提高了機(jī)器智能水平，將為許多行業(yè)帶來(lái)新的范式。
例如，機(jī)器人的用途曾經(jīng)非常單一，它們具備一些傳感器和運(yùn)動(dòng)能力，但一般來(lái)說(shuō)，它們沒(méi)有“大腦”來(lái)學(xué)習(xí)新事物，無(wú)法適應(yīng)非結(jié)構(gòu)化和陌生環(huán)境。
多模態(tài)LLM有望改變機(jī)器人的分析、推理和學(xué)習(xí)能力，使機(jī)器人從專用轉(zhuǎn)向通用。PC、服務(wù)器和智能手機(jī)都是通用計(jì)算平臺(tái)中的佼佼者，它們可以運(yùn)行許多不同種類的軟件應(yīng)用來(lái)實(shí)現(xiàn)豐富多彩的功能。通用化將有助于擴(kuò)大規(guī)模，產(chǎn)生規(guī)模化的經(jīng)濟(jì)效應(yīng)，價(jià)格也能隨著規(guī)模擴(kuò)大而大幅降低，進(jìn)而被更多領(lǐng)域采用，從而形成一個(gè)良性循環(huán)。
Elon Musk很早就注意到了通用技術(shù)的優(yōu)勢(shì)，特斯拉的機(jī)器人從2022年的Bumblebee發(fā)展到2023年三月宣布的Optimus Gen 1和2023年年底的Gen 2，其通用型和學(xué)習(xí)能力不斷提高。在過(guò)去的6至12個(gè)月里，我們見(jiàn)證了機(jī)器人和人形機(jī)器人領(lǐng)域所取得的一系列突破。
下一代機(jī)器人和具身智能背后的新技術(shù)
毋庸置疑的是我們?cè)诰呱碇悄苓_(dá)到量產(chǎn)方面還有很多工作要做。我們需要更輕便的設(shè)計(jì)、更長(zhǎng)的運(yùn)行時(shí)間，以及速度更快、功能更強(qiáng)大的邊緣計(jì)算平臺(tái)來(lái)處理和融合傳感器數(shù)據(jù)信息，從而做出及時(shí)決策和控制行動(dòng)。
而且我們正朝著創(chuàng)造人形機(jī)器人的方向發(fā)展，人類文明數(shù)千年，產(chǎn)生出無(wú)處不在的專為人類設(shè)計(jì)的環(huán)境，而人形機(jī)器人系統(tǒng)由于形體與人們類似，有望能夠在人類生存的環(huán)境中駕輕就熟地與人類和環(huán)境互動(dòng)并執(zhí)行所需的操作。這些系統(tǒng)將非常適合處理臟污、危險(xiǎn)和枯燥的工作，例如患者護(hù)理和康復(fù)、酒店業(yè)的服務(wù)工作、教育領(lǐng)域的教具或?qū)W伴，以及進(jìn)行災(zāi)難響應(yīng)和有害物質(zhì)處理等危險(xiǎn)任務(wù)。此類應(yīng)用利用人形機(jī)器人類人的屬性來(lái)促進(jìn)人機(jī)自然交互，在以人為中心的空間中行動(dòng)，并執(zhí)行傳統(tǒng)機(jī)器人通常難以完成的任務(wù)。
許多AI和機(jī)器人企業(yè)圍繞如何訓(xùn)練機(jī)器人在非結(jié)構(gòu)化的新環(huán)境中更好地進(jìn)行推理和規(guī)劃，展開(kāi)了新的研究與協(xié)作。作為機(jī)器人的新“大腦”，預(yù)先經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練的模型具有出色的泛化能力，使得機(jī)器人能做到見(jiàn)怪不怪，更全面地理解環(huán)境，根據(jù)感官反饋調(diào)整動(dòng)作和行動(dòng)，在各種動(dòng)態(tài)環(huán)境中優(yōu)化性能。
舉一個(gè)有趣的例子，Boston Dynamics的機(jī)器狗Spot可以在博物館里當(dāng)導(dǎo)游。Spot能夠與參觀者互動(dòng)，向他們介紹各種展品，并回答他們的問(wèn)題。這可能有點(diǎn)難以置信，但在該用例中，比起確保事實(shí)正確，Spot的娛樂(lè)性、互動(dòng)性和細(xì)膩微妙的表演更加重要。
Robotics Transformer：機(jī)器人的新大腦
Robotics Transformer (RT)正在快速發(fā)展，它可以將多模態(tài)輸入直接轉(zhuǎn)化為行動(dòng)編碼。在執(zhí)行曾經(jīng)見(jiàn)過(guò)的任務(wù)時(shí)，谷歌DeepMind的RT-2較上一代的RT-1表現(xiàn)一樣出色，成功率接近100%。但是，使用PaLM-E(面向機(jī)器人的具身多模態(tài)語(yǔ)言模型)和PaLI-X(大規(guī)模多語(yǔ)言視覺(jué)和語(yǔ)言模型，并非專為機(jī)器人設(shè)計(jì))訓(xùn)練后，RT-2具有更出色的泛化能力，在未曾見(jiàn)過(guò)的任務(wù)中的表現(xiàn)優(yōu)于RT-1。
微軟推出了大語(yǔ)言和視覺(jué)助手LLaVA。LLaVA最初是為基于文本的任務(wù)設(shè)計(jì)的，它利用GPT-4的強(qiáng)大功能創(chuàng)建了多模態(tài)指令遵循數(shù)據(jù)的新范式，將文本和視覺(jué)組件無(wú)縫集成，這對(duì)機(jī)器人任務(wù)非常有用。LLaVA一經(jīng)推出，就創(chuàng)下了多模態(tài)聊天和科學(xué)問(wèn)答任務(wù)的新紀(jì)錄，已超出人類平均能力。
正如此前提到的，特斯拉進(jìn)軍人形機(jī)器人和AI通用機(jī)器人領(lǐng)域的意義重大，不僅因?yàn)樗菫閷?shí)現(xiàn)規(guī)?；土慨a(chǎn)而設(shè)計(jì)的，而且因?yàn)樘厮估瓰槠囋O(shè)計(jì)的Autopilot的強(qiáng)大完全自動(dòng)駕駛(FSD)技術(shù)基礎(chǔ)可用于機(jī)器人。特斯拉也擁有智能制造用例，可以將Optimus應(yīng)用于其新能源汽車的生產(chǎn)過(guò)程。
Arm是未來(lái)機(jī)器人技術(shù)的基石
Arm認(rèn)為機(jī)器人腦，包括“大腦”和“小腦”，應(yīng)該是異構(gòu)AI計(jì)算系統(tǒng)，以提供出色的性能、實(shí)時(shí)響應(yīng)和高能效。
機(jī)器人技術(shù)涉及的任務(wù)范圍廣泛，包括基本的計(jì)算(比如向電機(jī)發(fā)送和接收信號(hào))、先進(jìn)的數(shù)據(jù)處理(比如圖像和傳感器數(shù)據(jù)解讀)，以及運(yùn)行前文提到的多模態(tài)LLM。CPU非常適合執(zhí)行通用任務(wù)，而AI加速器和GPU可以更高效地處理并行處理任務(wù)，如機(jī)器學(xué)習(xí)(ML)和圖形處理。還可以集成圖像信號(hào)處理器和視頻編解碼器等額外加速器，從而增強(qiáng)機(jī)器人的視覺(jué)能力和存儲(chǔ)/傳輸效率。此外，CPU還應(yīng)該具備實(shí)時(shí)響應(yīng)能力，并且需要能夠運(yùn)行Linux和ROS軟件包等操作系統(tǒng)。
當(dāng)擴(kuò)展到機(jī)器人軟件堆棧時(shí)，操作系統(tǒng)層可能還需要一個(gè)能夠可靠處理時(shí)間關(guān)鍵型任務(wù)的實(shí)時(shí)操作系統(tǒng)(RTOS)，以及針對(duì)機(jī)器人定制的Linux發(fā)行版，如ROS，它可以提供專為異構(gòu)計(jì)算集群設(shè)計(jì)的服務(wù)。我們相信，SystemReady和PSA Certified等由Arm發(fā)起的標(biāo)準(zhǔn)和認(rèn)證計(jì)劃將幫助擴(kuò)大機(jī)器人軟件的開(kāi)發(fā)規(guī)模。SystemReady旨在確保標(biāo)準(zhǔn)的Rich OS發(fā)行版能夠在各類基于Arm架構(gòu)的系統(tǒng)級(jí)芯片(SoC)上運(yùn)行，而PSA Certified有助于簡(jiǎn)化安全實(shí)現(xiàn)方案，以滿足區(qū)域安全和監(jiān)管法規(guī)對(duì)互聯(lián)設(shè)備的要求。
大型多模態(tài)模型和生成式AI的進(jìn)步預(yù)示著AI機(jī)器人和人形機(jī)器人的發(fā)展進(jìn)入了新紀(jì)元。在這個(gè)新時(shí)代，要使機(jī)器人技術(shù)成為主流，除了AI計(jì)算和生態(tài)系統(tǒng)，能效、安全性和功能安全必不可少。Arm處理器已廣泛應(yīng)用于機(jī)器人領(lǐng)域，我們期待與生態(tài)系統(tǒng)密切合作，使Arm成為未來(lái)AI機(jī)器人的基石。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
