隨著深度學(xué)習(xí)模型在自然語(yǔ)言處理等領(lǐng)域的廣泛應(yīng)用,模型推理速度和性能成為關(guān)鍵問(wèn)題。近日,由快手主導(dǎo)的研究成果《SAMP:基于自適應(yīng)混合精度的訓(xùn)練后量化模型推理庫(kù)》成功入選該領(lǐng)域頂級(jí)會(huì)議EMNLP 2023,并于新加坡現(xiàn)場(chǎng)展示和分享。
該研究提出了一種名為SAMP的推理加速工具,通過(guò)自適應(yīng)混合精度技術(shù),在保持模型性能的同時(shí),顯著提高推理速度。其中包含自適應(yīng)混合精度編碼器和一系列先進(jìn)的融合策略。自適應(yīng)混合精度編碼器可以在大量的通用矩陣乘法(GEMM)運(yùn)算和Transformer層中找到最佳浮點(diǎn)定點(diǎn)混合精度組合方式,使模型推理的性能最貼近用戶需求(計(jì)算精度或推理效率)。最終,混合精度計(jì)算取得了比全定點(diǎn)計(jì)算更好的計(jì)算精度。融合策略對(duì)embedding算子和量化相關(guān)計(jì)算操作進(jìn)行融合改進(jìn),使得 CUDA 內(nèi)核調(diào)用減少一半。同時(shí),SAMP是由C++編程語(yǔ)言實(shí)現(xiàn)的端到端工具包,具有出色的推理速度,也降低了訓(xùn)練后量化推理的工業(yè)應(yīng)用門(mén)檻。
表1:SAMP與同類系統(tǒng)相比的創(chuàng)新點(diǎn)
SAMP具有以下幾項(xiàng)主要亮點(diǎn):
1.自適應(yīng)。SAMP 在訓(xùn)練后量化推理方法中平衡計(jì)算精度和延遲性能。用戶可以針對(duì)不同的任務(wù)選擇合適精度和推理延遲的混合精度配置。SAMP還可通過(guò)自適應(yīng)分配方法推薦給用戶最佳的量化組合模式。
2.推理效率。在較寬的精度范圍(浮點(diǎn)到定點(diǎn))中,SAMP 顯示出比其他推理工具包更好的推理加速。在中文語(yǔ)言理解測(cè)評(píng)基準(zhǔn)(CLUE)分類任務(wù)數(shù)據(jù)集中,與FasterTransformer相比,SAMP實(shí)現(xiàn)了高達(dá)1.05-1.15倍的加速。
3.靈活性。SAMP 涵蓋眾多下游任務(wù),如分類、序列標(biāo)記、文本匹配等。 Target 模塊是可擴(kuò)展的并且可以靈活定制。它對(duì)用戶友好且對(duì)平臺(tái)依賴性較低。 SAMP 支持 C++ 和 Python API,僅需要 CUDA 11.0 或更高版本即可。 另外,SAMP也提供了許多模型轉(zhuǎn)換工具,支持不同格式模型之間相互轉(zhuǎn)換。
圖1:該論文在EMNLP2023現(xiàn)場(chǎng)展示和分享
主要研究者來(lái)自快手的田榮表示,能在模型推理這樣的場(chǎng)景下取得佳績(jī)是整個(gè)團(tuán)隊(duì)共同努力的結(jié)果,SAMP的貢獻(xiàn)主要在三個(gè)方面,首先是解決了現(xiàn)有后量化(PTQ)推理工具在工業(yè)應(yīng)用中精度損失大的問(wèn)題;第二是推動(dòng)了后量化(PTQ)技術(shù)在 NLP 多個(gè)下游任務(wù)中大規(guī)模使用;同時(shí),該推理庫(kù)還有輕量、靈活,對(duì)用戶友好的特點(diǎn)并支持用戶自定義任務(wù)目標(biāo)。
據(jù)悉,EMNLP(Empirical Methods in Natural Language Processing)是自然語(yǔ)言處理和人工智能領(lǐng)域的頂級(jí)國(guó)際會(huì)議之一,聚焦于自然語(yǔ)言處理技術(shù)在各個(gè)應(yīng)用場(chǎng)景的學(xué)術(shù)研究,尤其重視自然語(yǔ)言處理的實(shí)證研究。該會(huì)議曾推動(dòng)了預(yù)訓(xùn)練語(yǔ)言模型、文本挖掘、對(duì)話系統(tǒng)、機(jī)器翻譯等自然語(yǔ)言處理領(lǐng)域的核心創(chuàng)新,在學(xué)術(shù)和工業(yè)界都有巨大的影響力,此次入選也意味著快手在該領(lǐng)域的研究成果獲得了國(guó)際學(xué)者的認(rèn)可。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
