如今2022年世界杯如火如荼，轉(zhuǎn)眼就到了關(guān)鍵的八分之一決賽，期間抖音同步上線的“無障礙字幕直播間”也著實(shí)火了一把，成功點(diǎn)亮了熱榜并位居前列。
據(jù)了解，該功能正是借助火山同傳的技術(shù)能力以及火山語音的語音識(shí)別能力，輸出更加快速精準(zhǔn)的同傳字幕，為觀賽帶來優(yōu)質(zhì)體驗(yàn)。話說字幕看球“更快更準(zhǔn)更專業(yè)”的背后究竟有啥黑科技加持？火山語音帶你一起瞧瞧！
「端到端語音識(shí)別：更快更準(zhǔn)的法寶」眾所周知，對(duì)語音的精準(zhǔn)快速識(shí)別能力是實(shí)現(xiàn)同傳字幕的重要基礎(chǔ)。為了應(yīng)對(duì)世界杯賽場(chǎng)差別各異的解說口音和語速，火山語音團(tuán)隊(duì)基于RNN-T框架，通過大量訓(xùn)練數(shù)據(jù)的積累和持續(xù)的算法優(yōu)化，推出自研端到端的流式語音識(shí)別系統(tǒng)，有效規(guī)避了傳統(tǒng)的語音識(shí)別系統(tǒng)中涉及的大量人工流程，例如依賴專業(yè)人員設(shè)計(jì)各種口音的發(fā)聲規(guī)則等。
“這樣的語音識(shí)別系統(tǒng)并不需要關(guān)注底層發(fā)音字典以及有關(guān)的音素信息，采用純數(shù)據(jù)驅(qū)動(dòng)的方式就可完成，系統(tǒng)復(fù)雜度簡(jiǎn)化很多，構(gòu)建起來更加容易，效果還會(huì)更好。”火山語音團(tuán)隊(duì)表示。實(shí)踐顯示，優(yōu)化后的模型不僅對(duì)口音和復(fù)雜場(chǎng)景展現(xiàn)出更強(qiáng)的魯棒性，而且對(duì)領(lǐng)域詞匯的識(shí)別能力以及推理速度，字幕上屏速度也得到了大幅度提升。
「背景聲優(yōu)化：細(xì)節(jié)之處降低錯(cuò)誤率」正如球賽結(jié)果的變數(shù)頗多，世界杯賽場(chǎng)的環(huán)境更是紛繁復(fù)雜，在同傳字幕的語音識(shí)別過程中會(huì)“遭遇”大量背景噪音，例如背景音樂以及現(xiàn)場(chǎng)球迷的歡呼聲等。針對(duì)噪聲影響識(shí)別效果的問題，團(tuán)隊(duì)早就關(guān)注到該細(xì)節(jié)并通過一套自動(dòng)化的方式從足球比賽音頻中提取出這些噪聲片段，并且在模型中顯式地建模噪聲，將噪聲誤出字的比例下降了95%，同時(shí)通過數(shù)據(jù)增強(qiáng)方式提高聲學(xué)模型在足球場(chǎng)景下的魯棒性，即在有背景音的情況下也能清晰識(shí)別人聲，實(shí)現(xiàn)更好的流式字幕效果。
「專項(xiàng)提升：讓字幕效果更佳」“世界杯可不是一般的比賽，這種全球范圍的大型賽事中，大量的專業(yè)術(shù)語以及外籍教練與運(yùn)動(dòng)員的人名，會(huì)為語音識(shí)別帶來不小的困難，也為我們帶來很大的挑戰(zhàn)。”對(duì)此火山語音團(tuán)隊(duì)率先整理了大量與足球相關(guān)以及與世界杯相關(guān)的語料，在這些語料的基礎(chǔ)上訓(xùn)練語言模型，通過語言模型干預(yù)的方式，提高了模型在足球領(lǐng)域的適配性。具體根據(jù) RNN-T 的建模方式，通過解藕聲學(xué)模型和語言模型，構(gòu)建了一套靈活和高效的語言模型干預(yù)流程。
對(duì)于教練與運(yùn)動(dòng)員人名識(shí)別難的問題，“我們從足球相關(guān)語料中自動(dòng)挖掘?qū)Ｓ忻~、球隊(duì)和球員名稱等術(shù)語，通過在解碼備選中引入FST邏輯結(jié)構(gòu)，結(jié)合“匹配走圖+Backoff權(quán)重償還”的方式對(duì)熱詞進(jìn)行干預(yù)，有效利用該熱詞專項(xiàng)技術(shù)優(yōu)化后，這些術(shù)語的召回從 64% 提升到 84%；同時(shí)還聯(lián)合火山語音音頻合成團(tuán)隊(duì)的同學(xué)，采用TTS技術(shù)合成術(shù)語音頻，并加入聲學(xué)模型訓(xùn)練中，將這些術(shù)語的召回進(jìn)一步提高到90%，進(jìn)而為觀眾呈現(xiàn)最佳的字幕效果。”
一直以來，火山語音的語音識(shí)別技術(shù)不斷追求更快、更準(zhǔn)、更穩(wěn)定且更強(qiáng)悍的目標(biāo)，其自主研發(fā)的端到端語音識(shí)別系統(tǒng)CIF，與Attention-Based model相比，其整合發(fā)放機(jī)制可以更自然適用于流式任務(wù)且復(fù)雜度有所降低，解碼效率相比RNN-T有很大優(yōu)勢(shì)。即在中文公開數(shù)據(jù)集上的測(cè)試結(jié)果非常有競(jìng)爭(zhēng)力，在英文公開數(shù)據(jù)集Librispeech的test-clean子集上也達(dá)到了SOTA的效果。同時(shí)為了進(jìn)一步提高模型推理速度，火山語音團(tuán)隊(duì)還設(shè)計(jì)了一套針對(duì)語音識(shí)別的自動(dòng)化模型壓縮框架，在保證模型識(shí)別效果的同時(shí)降低模型尺寸，從而可以在移動(dòng)終端上實(shí)現(xiàn)接近云端的語音識(shí)別效果。
如今在火山語音的語音識(shí)別技術(shù)支持下，火山引擎語音識(shí)別產(chǎn)品已廣泛應(yīng)用于視頻娛樂、辦公會(huì)議、硬件交互、智能客服等諸多行業(yè)，為客戶提供了優(yōu)質(zhì)有前景的語音識(shí)別解決方案。例如針對(duì)時(shí)下火熱的音視頻創(chuàng)作推出的智能字幕解決方案，一改傳統(tǒng)字幕10分鐘視頻3小時(shí)制作的耗時(shí)費(fèi)力，不但能在幾秒鐘內(nèi)自動(dòng)生成精準(zhǔn)的語音識(shí)別結(jié)果，還能兼容多種口音、語種和方言，甚至針對(duì)創(chuàng)作常見的配樂和歌曲場(chǎng)景開發(fā)了歌曲識(shí)別的亮點(diǎn)功能，大大縮減了創(chuàng)作門檻，提升了創(chuàng)作的智能化。
為應(yīng)對(duì)會(huì)議線上化的大趨勢(shì)，火山語音上線的實(shí)時(shí)字幕解決方案不僅可以幫助參會(huì)人更好理解會(huì)議內(nèi)容并回顧結(jié)論，還能通過“識(shí)別+翻譯”的同傳方案高效完成跨國(guó)、跨語言的溝通和交流；方案中包含的會(huì)議轉(zhuǎn)寫能力，不但可以準(zhǔn)確記錄參會(huì)人的討論內(nèi)容，還能根據(jù)說話人特征進(jìn)行自動(dòng)歸類和整理，通常1小時(shí)的會(huì)議只需2-3分鐘即可輸出會(huì)議記錄，方便快捷。近日，火山引擎語音識(shí)別產(chǎn)品獲得了國(guó)家語音及圖像識(shí)別產(chǎn)品質(zhì)量檢驗(yàn)檢測(cè)中心（以下簡(jiǎn)稱“AI國(guó)檢中心”）頒發(fā)的語音識(shí)別增強(qiáng)級(jí)檢驗(yàn)檢測(cè)證書，也充分表明火山語音的語音識(shí)別技術(shù)能力已達(dá)到行業(yè)領(lǐng)先水平。
長(zhǎng)期以來，火山語音面向字節(jié)跳動(dòng)各大業(yè)務(wù)線提供行業(yè)優(yōu)質(zhì)的AI語音技術(shù)能力以及全棧語音產(chǎn)品解決方案，并通過火山引擎對(duì)外提供服務(wù)。目前團(tuán)隊(duì)的語音識(shí)別和語音合成覆蓋了多種語言和方言，涵蓋音視頻、有聲閱讀、語音交互、游戲、廣告等多種應(yīng)用場(chǎng)景，為抖音、剪映、飛書、番茄小說、PICO等核心業(yè)務(wù)提供了領(lǐng)先的語音能力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
