近日，網(wǎng)易有道CEO周楓在個人公眾號發(fā)文，探討大語言模型技術(shù)帶來的三項(xiàng)根本性新能力。他指出，在大模型帶來的新能力中，涌現(xiàn)能力、作為基座模型支持多元應(yīng)用的能力和支持對話作為統(tǒng)一入口的能力最為關(guān)鍵，可能給業(yè)界和產(chǎn)品帶來長期影響，值得重點(diǎn)關(guān)注。
以下為內(nèi)容全文：
基于大語言模型技術(shù)的ChatGPT推出已經(jīng)有4個月了，更多同類產(chǎn)品還在快速出現(xiàn)。比如，前天谷歌更新了Bard，將輔助編程能力支持的語言數(shù)量擴(kuò)展到20種。
然而，對大模型技術(shù)的重要性也出現(xiàn)了質(zhì)疑，前段時間，吳軍老師就評價ChatGPT不算新技術(shù)革命，帶不來什么新的機(jī)會，他認(rèn)為大模型仍然存在很多限制，不像大家追捧的那樣有吸引力。這篇文章發(fā)布后，網(wǎng)上也出現(xiàn)了多篇反駁文章。我不太關(guān)注這些爭論，但我認(rèn)為有一個問題沒有被充分討論，那就是大模型帶來的新能力中，哪些是最為關(guān)鍵的，最有可能帶來長期影響的。
我認(rèn)為，與之前眾多的自然語言處理技術(shù)相比，大語言模型至少具有三項(xiàng)根本性新能力，這些新能力在學(xué)術(shù)界已經(jīng)被廣泛討論，甚至被視為常識，但是在產(chǎn)業(yè)界和產(chǎn)品團(tuán)隊(duì)中卻缺乏足夠的關(guān)注。實(shí)際上，這些大模型技術(shù)的特點(diǎn)已經(jīng)改變了我們對業(yè)務(wù)和產(chǎn)品規(guī)劃的思考方式，也會改變很多產(chǎn)品的經(jīng)濟(jì)模型。因此，產(chǎn)品經(jīng)理和業(yè)務(wù)負(fù)責(zé)人需要更多地關(guān)注和深入思考這些新能力的應(yīng)用場景。
能力一：涌現(xiàn)能力(emergent abilities)
涌現(xiàn)能力指的是在小型模型中并不存在，但在大模型中“突然出現(xiàn)”的能力，其中包括常識推理、問答、翻譯、數(shù)學(xué)、摘要等(詳見下圖)。如果僅依靠小型模型的能力做線性外推，往往無法預(yù)測出涌現(xiàn)能力的出現(xiàn)和其強(qiáng)度。OpenAI的首席技術(shù)官Ilya Sutskever在接受采訪時反復(fù)強(qiáng)調(diào)，盡管表面上看來，語言模型只是在預(yù)測下一個詞元(token)，但當(dāng)模型足夠大，transformer技術(shù)的建模能力足夠強(qiáng)時，基于內(nèi)部表示的推理能力就會出現(xiàn)。因此，模型會呈現(xiàn)出與規(guī)模較小時完全不同的行為，涌現(xiàn)全新的能力。
隨著語言模型參數(shù)數(shù)量增加，新的能力逐步涌現(xiàn)且質(zhì)量快速提升。
涌現(xiàn)能力之所以重要，不僅因?yàn)樗鼈兪谴竽Ｐ统霈F(xiàn)后才有的新能力，而且由大模型涌現(xiàn)出來的多數(shù)是非常重要的能力。例如，常識推理能力一直是AI領(lǐng)域的重大難題，而大模型的出現(xiàn)使得常識推理取得了重大進(jìn)展。此外，大模型還有機(jī)會進(jìn)一步獲得更多能力。例如，一旦“推理”能力涌現(xiàn)，“思維鏈提示”(Chain of Thought Prompting)策略就可以用來解決多步推理的難題。因此，涌現(xiàn)能力的出現(xiàn)，是大模型帶來的一項(xiàng)根本性變化。
能力二：作為基座模型支持多元應(yīng)用的能力
在2021年，斯坦福大學(xué)等多所高校的研究人員提出了基座模型(foundation model)的概念，這更清晰地描述了之前學(xué)界所稱的預(yù)訓(xùn)練模型的作用。這是一種全新的AI技術(shù)范式，借助于海量無標(biāo)注數(shù)據(jù)的訓(xùn)練，獲得可以適用于大量下游任務(wù)的大模型(單模態(tài)或者多模態(tài))。這樣，多個應(yīng)用可以只依賴于一個或少數(shù)幾個大模型進(jìn)行統(tǒng)一建設(shè)。
上圖展示了基座模型的結(jié)構(gòu)，基座模型集中化了多模態(tài)數(shù)據(jù)，并且可以適配多元化的下游任務(wù)。
大語言模型是這個新模式的典型例子，使用統(tǒng)一的大模型可以極大地提高研發(fā)效率，相比于分散的模型開發(fā)方式，這是一項(xiàng)本質(zhì)上的進(jìn)步。大型模型不僅可以縮短每個具體應(yīng)用的開發(fā)周期，減少所需人力投入，也可以基于大模型的推理、常識和寫作能力，獲得更好的應(yīng)用效果。因此，大模型可以成為AI應(yīng)用開發(fā)的大一統(tǒng)基座模型，這是一個一舉多得、全新的范式，值得大力推廣。
能力三：支持對話作為統(tǒng)一入口的能力
讓大語言模型真正火爆的契機(jī)，是基于對話聊天的ChatGPT。事實(shí)上，業(yè)界很早就發(fā)現(xiàn)了用戶對于對話交互的特殊偏好，陸奇在微軟期間2016年就推進(jìn)“對話即平臺(conversation as a platform)”的戰(zhàn)略。此外，蘋果Siri、亞馬遜Echo等基于語音對話的產(chǎn)品也非常受歡迎，反映出互聯(lián)網(wǎng)用戶對于聊天和對話這種交互模式的偏好。雖然之前的聊天機(jī)器人存在各種問題，但大型語言模型的出現(xiàn)再次讓聊天機(jī)器人這種交互模式可以重新想像。用戶愈發(fā)期待像鋼鐵俠中“賈維斯”一樣的人工智能，無所不能、無所不知。這引發(fā)我們對于智能體(Agent)類型應(yīng)用前景的思考，Auto-GPT、微軟Jarvis等項(xiàng)目已經(jīng)出現(xiàn)并受到關(guān)注，相信未來會涌現(xiàn)出很多類似的以對話形態(tài)讓助手完成各種具體工作的項(xiàng)目。
圖為微軟最新項(xiàng)目Jarvis的工作流程，Jarvis將通過任務(wù)規(guī)劃、模型選擇、任務(wù)執(zhí)行、生成響應(yīng)四個步驟，結(jié)合HuggingFace上的眾多模型，完成多模態(tài)的復(fù)雜AI任務(wù)。
隨著大型語言模型技術(shù)越來越受歡迎，我們可以期待它帶來更多的驚喜，特別是考慮到上面討論的這些大型模型帶來的關(guān)鍵新能力，周明等人所預(yù)測的語言智能黃金十年(2020-2030)很可能會成為現(xiàn)實(shí)，這正是一個令人興奮的時代。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
