11月12日消息，像OpenAI這樣的人工智能公司正致力于開發(fā)新型訓(xùn)練技術(shù)，以便克服在構(gòu)建更大規(guī)模語言模型時(shí)遇到的意外延遲和挑戰(zhàn)。這些技術(shù)旨在使算法以更類似于人類的方式“思考”。
多位人工智能領(lǐng)域的科學(xué)家、研究人員和投資者認(rèn)為，OpenAI最新發(fā)布的o1模型，其背后的技術(shù)可能會(huì)重塑人工智能領(lǐng)域的競爭格局，并影響人工智能公司對(duì)資源（如能源和芯片類型）的持續(xù)需求。
OpenAI對(duì)此未予置評(píng)。自聊天機(jī)器人ChatGPT發(fā)布以來，眾多科技公司從人工智能熱潮中受益，估值大幅上升。這些公司公開宣稱，通過增加數(shù)據(jù)和計(jì)算能力來“擴(kuò)大”模型規(guī)模，可以持續(xù)改進(jìn)人工智能技術(shù)。
然而，一些頂尖科學(xué)家現(xiàn)在公開指出，模型“越大越好”的理念存在局限性。OpenAI前首席科學(xué)家、Safe Superintelligence（SSI）創(chuàng)始人伊利亞·蘇茨克維（Ilya Sutskever）表示，擴(kuò)大預(yù)訓(xùn)練方式已進(jìn)入瓶頸期。預(yù)訓(xùn)練是指訓(xùn)練人工智能模型的階段，模型使用大量未標(biāo)記的數(shù)據(jù)來理解語言模式和結(jié)構(gòu)。
蘇茨克維曾倡導(dǎo)通過增加數(shù)據(jù)和計(jì)算能力來推動(dòng)生成式人工智能的進(jìn)步，并因此創(chuàng)造了ChatGPT。今年早些時(shí)候，蘇茨克維離開OpenAI，并成立了SSI。他指出：“2010年代是模型規(guī)模擴(kuò)張的時(shí)代，而現(xiàn)在我們又回到了奇跡和發(fā)現(xiàn)的時(shí)代。每個(gè)人都在尋找下一個(gè)突破點(diǎn)，現(xiàn)在選擇正確的擴(kuò)展方式比以往任何時(shí)候都更為重要。”
蘇茨克維未透露SSI團(tuán)隊(duì)在探索的新方法的具體細(xì)節(jié)，僅表示團(tuán)隊(duì)正在研究擴(kuò)大預(yù)訓(xùn)練規(guī)模的替代途徑。
據(jù)三位知情人士透露，主要人工智能實(shí)驗(yàn)室的研究人員在試圖發(fā)布超越OpenAI GPT-4模型性能的大語言模型時(shí)，遇到了延遲和一些不盡如人意的結(jié)果，而GPT-4模型至今已推出近兩年。
這些大模型的“訓(xùn)練運(yùn)行”不僅成本高昂，可能達(dá)到數(shù)千萬美元，而且需要同時(shí)運(yùn)行數(shù)百個(gè)芯片，系統(tǒng)復(fù)雜，硬件故障風(fēng)險(xiǎn)也較高。此外，研究人員通常要等上數(shù)月才能評(píng)估模型的最終性能，這增加了開發(fā)過程中的不確定性。
更為棘手的是，大語言模型對(duì)數(shù)據(jù)的需求量極大，當(dāng)前人工智能模型已幾乎耗盡全球所有易獲取的數(shù)據(jù)資源。同時(shí)，電力短缺也成為限制訓(xùn)練運(yùn)行的另一大難題，因?yàn)檫@一過程需要巨大的能源支持。
為應(yīng)對(duì)這些挑戰(zhàn)，研究人員正積極探索“測(cè)試時(shí)間計(jì)算”技術(shù)，該技術(shù)在模型的“推理”階段增強(qiáng)其性能。例如，模型能夠?qū)崟r(shí)生成并評(píng)估多種可能性，最終選擇最佳路徑，而非立即給出答案。
這種方法允許模型將更多的處理能力用于具有挑戰(zhàn)性的任務(wù)，如數(shù)學(xué)或編碼問題，或是需要類似人類推理和決策的復(fù)雜操作。
OpenAI研究員諾姆·布朗（Noam Brown）上個(gè)月在舊金山舉行的TED人工智能大會(huì)上表示：“事實(shí)證明，讓機(jī)器人在撲克牌游戲中思考20秒，與將模型擴(kuò)大訓(xùn)練10萬倍的效果相當(dāng)?！?/p>
OpenAI在其新發(fā)布的o1模型中采用了“測(cè)試時(shí)間計(jì)算”技術(shù)，該模型原名Q*和“草莓”，能以多步驟方式“思考”問題，類似于人類的推理方式。同時(shí)，o1模型還結(jié)合了博士和行業(yè)專家的數(shù)據(jù)與反饋。其核心是在GPT-4等“基礎(chǔ)”模型之上進(jìn)行了額外的訓(xùn)練。OpenAI表示，計(jì)劃將此技術(shù)應(yīng)用于更多、更大的基礎(chǔ)模型。
與此同時(shí)，據(jù)五名知情人士透露，Anthropic、xAI及谷歌DeepMind等其他頂尖人工智能實(shí)驗(yàn)室的研究人員也在積極研發(fā)各自的“測(cè)試時(shí)間計(jì)算”技術(shù)。
OpenAI首席產(chǎn)品官凱文·威爾（Kevin Weil）在10月的一次科技會(huì)議上表示：“當(dāng)前有很多成果觸手可及，我們可以迅速采納，進(jìn)一步提升模型性能。當(dāng)競爭對(duì)手追趕時(shí)，我們將力求保持領(lǐng)先三步?！?/p>
谷歌和xAI未回應(yīng)置評(píng)請(qǐng)求，Anthropic也暫未發(fā)表評(píng)論。
這一趨勢(shì)或?qū)⒅厮苋斯ぶ悄苡布母偁幐窬?。迄今為止，?duì)英偉達(dá)人工智能芯片的需求一直占據(jù)市場(chǎng)主導(dǎo)地位。知名風(fēng)險(xiǎn)投資機(jī)構(gòu)如紅杉資本和安德森·霍洛維茨（Andreessen Horowitz）等已敏銳捕捉到這一轉(zhuǎn)變，并正在評(píng)估其高額投資的影響。這些機(jī)構(gòu)已向OpenAI、xAI等多家人工智能實(shí)驗(yàn)室的人工智能模型開發(fā)投入巨資。
紅杉資本合伙人索尼婭·黃（Sonya Huang）表示：“這一轉(zhuǎn)變將引領(lǐng)我們從大規(guī)模預(yù)訓(xùn)練集群邁向基于云的分布式推理服務(wù)器——推理云?！?/p>
英偉達(dá)最先進(jìn)的人工智能芯片需求激增，推動(dòng)該公司市值在10月份超越蘋果，成為全球市值最高的公司。然而，與英偉達(dá)在訓(xùn)練芯片市場(chǎng)的主導(dǎo)地位不同，這家芯片巨頭在推理市場(chǎng)可能會(huì)面臨更多競爭。
針對(duì)其產(chǎn)品需求可能受到的影響，英偉達(dá)回應(yīng)稱，在最近的演示中已強(qiáng)調(diào)o1模型背后技術(shù)的重要性。英偉達(dá)首席執(zhí)行官黃仁勛指出，使用其芯片進(jìn)行推理的需求正在不斷上升。
他在印度的一次會(huì)議上表示：“我們現(xiàn)已發(fā)現(xiàn)第二個(gè)縮放定律，即推理時(shí)的縮放定律……所有這些因素共同推動(dòng)了Blackwell（該公司最新的人工智能芯片）需求的激增?！保ㄐ⌒。?/p>
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
