百度技術委員會主席吳華：NLP技術要讓機器具有人類語言交流能力

作者：尹天琦

“要讓人工智能走進人類的生活，就需要讓它們具有與人類交流的語言能力。自然語言處理（NLP）是人工智能的核心領域之一，是解決這一問題的核心途徑。研究好NLP就能讓計算機理解和生成人類語言，以我們熟悉的方式服務人類。”百度技術委員會主席吳華在國際自然語言處理與中文計算會議（NLPCC）上詮釋了NLP技術的重要意義。

NLPCC?2017由中國計算機協(xié)會（CCF）主辦，是具有國際影響力的學術與創(chuàng)新交流平臺。百度技術委員會主席、百度自然語言處理部門技術負責人吳華應邀出席，并在會上介紹了百度NLP技術的發(fā)展現(xiàn)狀和產(chǎn)品應用能力。

吳華表示，百度NLP以大數(shù)據(jù)和知識圖譜為立足點，基于機器學習和語言學方面的積累，擁有一流的文本理解與生成技術，由此構建起問答、機器翻譯和對話系統(tǒng)，并以平臺化的方式對更多產(chǎn)品進行支持，如NLPC（NLP?Cloud）和百度AI開放平臺。百度NLP技術已經(jīng)應用在搜索、信息流、DuerOS等百度的眾多產(chǎn)品上。

憑借多年的技術積累，百度研發(fā)了一套聯(lián)合統(tǒng)一的詞法分析方案，極大提高了機器正確識別和標注句子中詞的概率。吳華表示，詞法分析是自然語言處理的基礎，其準確程度直接影響后續(xù)一系列分析處理任務的效果。百度的這套方案將專名識別（NE?Recognition）、分詞和詞性標注統(tǒng)一在一個框架中，得到語義更合理和完整的詞語切分與詞性標注序列；另一方面，百度特有的海量點擊反饋數(shù)據(jù)輔助詞性標注將詞性標注語料從20萬迅速擴充到1億3千萬個句子，標記數(shù)據(jù)精度超過95%，提升了自動分詞和詞性標注的準確率。

在介紹百度先進的文本理解與生成技術能力時，吳華強調(diào)，不同應用對文本理解的程度和解析粒度的要求不同，一套固定的解決方案無法滿足所有需求。目前，百度NLP不僅擁有通用的理解技術，更面向不同任務提供相應的文本理解技術，實現(xiàn)更精準的意圖理解、推薦、人機對話等。在搜索中，使用基于深度學習模型的多層次語義匹配技術，搜索結果的關聯(lián)度將大幅提升。例如，在應用深度學習模型前，搜索“水泵忽強忽弱”結果是不相關的，應用之后的關聯(lián)度大幅提升。而在基于知識庫問答和面向任務的對話系統(tǒng)中，使用精細的句法分析和語義角色標注技術，可以準確定位和理解用戶意圖。

篇章理解是文本理解的另一核心組成，吳華表示，“NLP技術可以通過用戶興趣網(wǎng)絡和文檔語義網(wǎng)絡形成標簽圖譜，最終得到‘不搜即得’的智能推薦?！痹摷夹g以用戶興趣為出發(fā)點，依托從搜索、貼吧、百科等不同渠道獲得的有明確含義的主題、話題或?qū)嶓w等內(nèi)容標簽，形成可實時更新的關注點標簽圖譜。在下面這張關注點標簽圖譜中，“AI”話題與“科技”、“VR”等話題，“烏鎮(zhèn)峰會”等事件關聯(lián)在一起?；陉P注點圖譜對文檔內(nèi)容進行標注，可以更好地描述用戶與文章之間的關系，從用戶的視角對篇章進行更合理的分類和有效的推薦。

吳華在現(xiàn)場向觀眾展示了兩首五言絕句，多數(shù)人都難以區(qū)分哪一首是由百度機器創(chuàng)作的。目前，百度人工智能撰寫的文章通過消息推送、資訊流、開放訂閱、百家號等途徑進行分發(fā)，供用戶閱讀。

基于上述多項技術能力的積累，百度已經(jīng)構建起問答、對話和機器翻譯三大系統(tǒng)。在問答方面，面對用戶提出的問題，系統(tǒng)可基于知識圖譜加以回答。吳華坦言，沒有理解或推理仍是問答領域的巨大挑戰(zhàn)，對此，百度日前推出了世界上最大的中文機器閱讀理解數(shù)據(jù)集——DuReader，該數(shù)據(jù)集基于真實應用需求，所有問題來源于百度搜索用戶的真實問題，文檔來自全網(wǎng)真實采樣的網(wǎng)頁文檔和知道UGC文檔，答案基于問題與文檔人工撰寫生成，目前擁有20萬個問題和100萬個文檔；同時，數(shù)據(jù)集標注了問題類型、實體和觀點等豐富信息，彌補了現(xiàn)有主流數(shù)據(jù)集對于觀點類問題覆蓋不足的問題。

對話系統(tǒng)以基于意圖圖譜的核心技術與用戶進行多輪交互（multi-turn?interaction）。吳華說道，目前面向任務的對話模式將不同的任務分發(fā)給對應的bot，使任務管理低效而復雜，而意圖圖譜將所有意圖容納到一張圖中，從而能夠進行連續(xù)一致的對話管理。

吳華表示，百度已經(jīng)將NLP技術應用在眾多百度的產(chǎn)品當中。2015年5月，百度將神經(jīng)網(wǎng)絡機器翻譯技術應用到百度在線翻譯服務中，推出了全球首個基于深度學習的大規(guī)模在線翻譯系統(tǒng)。今年，百度還推出了一款兼具Wi-Fi與翻譯雙重功能的Wi-Fi翻譯機，自帶80多個國家的移動數(shù)據(jù)流量，支持實時語音翻譯。

另外，百度也通過平臺化的方式對更多產(chǎn)品進行支持。百度開發(fā)的自然語言理解一站式解決平臺NLPC（NLP?Cloud），已經(jīng)可以提供25種NLP模塊，每天被調(diào)用超過2000億次。百度AI開放平臺開放了80多項百度核心AI技術能力，其中包含NLP模塊、UNIT、翻譯在內(nèi)的十多項自然語言處理方面的能力，供開發(fā)者與合作伙伴接入。

近幾年來，NLP技術的發(fā)展受到了世界各國的高度重視。在美國AI創(chuàng)業(yè)公司中，自然語言處理領域的創(chuàng)業(yè)公司數(shù)量最多。中國的AI創(chuàng)業(yè)公司中自然語言處理領域的創(chuàng)業(yè)公司位居第三。NLP技術的發(fā)展和應用正推動人機交互走進一個新的時代。吳華指出，百度自然語言處理技術將持續(xù)高速優(yōu)化升級，持續(xù)為開發(fā)者、合作伙伴賦能。智能時代即將來到，百度將讓AI更懂人類。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。