亞馬遜云科技陳曉建:2025年將推出下一代AI訓練芯片Amazon Trainium3

12月23日消息(南山)“在生成式AI時代,我們經(jīng)常聽到一句話:生成式AI能夠重塑每一個行業(yè)。我相信這給所有IT從業(yè)者帶來了巨大的機會,其中也包括初創(chuàng)企業(yè)?!苯赵趤嗰R遜云科技2024 re:Invent中國行北京站,亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建發(fā)表主題演講時指出。


亞馬遜云科技是生成式AI技術(shù)創(chuàng)新的先行者,早在2019年就推出了首款推理芯片Amazon Inferentia,2022年推出了首款訓練芯片Amazon Trainium1,近期搭載Amazon Trainium2訓練芯片的Amazon EC2 Trn2實例已在海外區(qū)域正式發(fā)布。陳曉建介紹,和上一代基于GPU的實例相比,Amazon Trainium2的性價比提升了30% ~ 40%。

每個Amazon EC2 Trn2服務(wù)器配置16塊Amazon Trainium2芯片,這些芯片通過NeuronLink的高帶寬、低延時技術(shù)互聯(lián),使得每個Amazon EC2 Trn2實例可以提供 20.8 petaFlops 的驚人性能,贏得了Adobe等知名公司的青睞。

其中,Adobe在使⽤Trainium2測試其Firefly frontier圖像模型時已獲得了令⼈振奮的初步成果。Poolside計劃在Trainium2上訓練其未來的模型,預計訓練成本可降低40%。Databricks計劃使⽤Trainium2為雙方共同客戶帶來更好的效果,同時將TCO(總體擁有成本)降低30%。⾼通也看好Trainium2 能幫助開發(fā)者通過⾼通AI Hub構(gòu)建具有成本效益的⾼性能模型,并實現(xiàn)在邊緣設(shè)備上的便捷部署。

陳曉建介紹,Amazon EC2 Trn2 UltraServer可通過NeuronLink互連技術(shù)將4個Trn2實例(共64個Trainium2芯⽚)連接在⼀起,單個計算節(jié)點的峰值計算性能超過83Petaflops。這不僅能為超⼤規(guī)模模型提供更好的推理性能,還能讓構(gòu)建超⼤規(guī)模訓練集群的過程更加⾼效。

亞⻢遜云科技與Anthropic正在合作打造⼀個名為Rainier項⽬的Trn2 UltraServer集群,該集群將使用數(shù)十萬個Trainium2芯片,規(guī)模是其之前集群的五倍以上。

“下一代芯片Amazon Trainium3,將會在明年晚些時候推出。這是我們⾸款采⽤3納⽶制程⼯藝的芯⽚,相比Amazon Trainium2計算速度提⾼到2倍,能效最⾼提升40%,這樣客戶就能以更低的成本構(gòu)建規(guī)模更⼤、性能更強的應⽤。”陳曉建透露。

除了計算領(lǐng)域令人印象深刻的創(chuàng)新,陳曉建還介紹了亞馬遜云科技在存儲、數(shù)據(jù)庫等領(lǐng)域的最新成果。他表示,亞馬遜云科技不僅在云的核心服務(wù)層面持續(xù)創(chuàng)新,更在從芯片到模型,再到應用的每一個技術(shù)堆棧取得突破,讓不同層級的創(chuàng)新相互賦能、協(xié)同進化。

其中在生成式AI領(lǐng)域,亞馬遜云科技全面強化基礎(chǔ)設(shè)施、模型和應用三層技術(shù)棧,推出Amazon Nova六款基礎(chǔ)模型,Amazon Bedrock新接入100多款模型,通過更低的訓練和推理成本、更多的模型選擇、更深入場景的應用全面加速企業(yè)應用生成式AI創(chuàng)新。

Amazon Nova基礎(chǔ)模型包括Nova Micro、Nova Lite、Nova Pro和Nova Premier基礎(chǔ)模型,以及用于生成高質(zhì)量圖像的Nova Canvas和生成高質(zhì)量視頻的Nova Reel。在各自智能類別中,Amazon Nova Micro、Lite和Pro應用成本比Amazon Bedrock中表現(xiàn)最佳的模型至少降低75%,同時也是Amazon Bedrock中對應類別速度最快的模型。

極客網(wǎng)企業(yè)會員

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2024-12-24
亞馬遜云科技陳曉建:2025年將推出下一代AI訓練芯片Amazon Trainium3
亞馬遜云科技陳曉建:2025年將推出下一代AI訓練芯片Amazon Trainium3,C114訊 12月23日消息(南山)“在生成式AI時代,我們經(jīng)常聽到一句話:生成式AI能夠重塑每一個

長按掃碼 閱讀全文