浪潮吳韶華：為AI設計特定的HPC解決方案

今年4月初，浪潮正式對外公布成立人工智能部，并推出面向AI應用的創(chuàng)新計算平臺，并表示未來浪潮將在人工智能計算的數(shù)據(jù)中心產(chǎn)品創(chuàng)新、深度學習算法框架優(yōu)化、生態(tài)系統(tǒng)建設等方向全面發(fā)力。

對于浪潮，被人們所熟知的是持續(xù)增長的服務器業(yè)務。而對于那時的“不務正業(yè)”發(fā)力AI，很多人都發(fā)出了不同的聲音。對此，雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))也發(fā)文，面對人工智能，傳統(tǒng)的浪潮想做什么？

三個月即將過去，正如浪潮所判斷，人工智能的火越燒越旺，AI＋正已空前的速度傳徹各個行業(yè)。以BAT為代表的中國技術(shù)風向標企業(yè)也已全面布局，而在這段時間內(nèi)，浪潮的人工智能轉(zhuǎn)型到底怎么樣？發(fā)布了哪些新技術(shù)？藉由此，雷鋒網(wǎng)關(guān)注了浪潮人工智能和高性能專家吳韶華近期在雷克大會上的的演講《Designing Specific HPC Solutions for AI》。

在本次報告中，吳韶華主要講了幾個點：

1、人工智能市場趨勢利好。

2、浪潮致力于在計算硬件和深度學習領(lǐng)域做出努力。

3、海量數(shù)據(jù)及巨大計算量帶來的挑戰(zhàn)。

4、浪潮為AI特別設計了服務器。

吳韶華還表示，浪潮從AI興盛開始，就緊跟著AI領(lǐng)域里各種熱點做相關(guān)的工作，到現(xiàn)在為止已經(jīng)形成了很完整的一條生態(tài)鏈。

以下是吳韶華的演講全文：

大家好，我是吳韶華，在過去的幾年里，浪潮一直在致力于為人工智能設計特定的解決方案，我們在這方面也取得了一些成績。今天在報告里，我想主要講一下，我們在計算硬件和深度學習框架里面所做出的努力。

首先，我們都知道人工智能現(xiàn)在是非常興盛的行業(yè)，從權(quán)威數(shù)據(jù)可以得知，2020年的市場預測規(guī)模是48億，在之前的五年間，AI市場投資額已經(jīng)達到42億美金，所以我們非?？春肁I這個行業(yè)，而且市場趨勢也是一直利好。

接下來，AI技術(shù)發(fā)展趨勢有以下幾點。

一、大數(shù)據(jù)，獲得越來越多的數(shù)據(jù)。

如今，數(shù)據(jù)量越來越大，對于語音識別來講，前幾年，我們?nèi)绻苣玫揭蝗f小時的標注后的語音識別數(shù)據(jù)，就會非常滿足。但是今天我們已經(jīng)拿到十萬小時，甚至更多標注過的數(shù)據(jù)，在未來我們肯定可以獲得更大量的數(shù)據(jù)，數(shù)據(jù)的增加是不斷完善、向上的過程。

二、大模型，精致的模型。

這些模型有能力通過這些數(shù)據(jù)獲得精確的結(jié)果。對于模型，如果大家關(guān)注云、圖象識別、語音識別等技術(shù)就會知道，模型精度會越來越高、越來越深、需求也會越來越大，最后大數(shù)據(jù)大模型，兩方面疊加，對計算量的需求也會提到很高的高度。

目前，對于獲得廉價的、可標注的數(shù)據(jù)非常困難，同時在獲得這些數(shù)據(jù)之后如何快速的進行數(shù)據(jù)處理將變得非常棘手。比如如何在語音識別里汲取音頻數(shù)據(jù)的特征等等。

另外，模型的數(shù)據(jù)量會越來越大，待處理的計算量也會越來越大，這就需要我們有更為高效并行的計算方式，我們將其稱為分布式的計算方式；而這對計算平臺的要求也會更為苛刻，因此，我們需要針對此設計專門AI，應用于特定的高性能計算平臺。

在整個AI生態(tài)里面，浪潮已經(jīng)做了很多工作，從頂層架構(gòu)到端對端的方案，今天主要講一下我們計算硬件和深度學習框架方面的工作。今年5月份，我們在硅谷大會上發(fā)布了一款產(chǎn)品，這款產(chǎn)品目前是業(yè)界為AI特別設計的密度最高服務器，它最多可以達到170個T，與傳統(tǒng)服務器不一樣的是，它可以提供多達四個高速網(wǎng)絡的支持，如果每一條網(wǎng)絡，我們連接的話，可以多達四百TB的連接。

另外，基于這款服務器，我們希望數(shù)據(jù)中心對于不同的應用要用不同的服務器硬件，因此，在這其中，我們支持各種各樣的硬件以及GPU計算設備，再者，這款服務器設計有一個特別之處，它在機器后端提供了兩個16條線的PCRE接口，這兩個接口連在一起，可以提供翻一番的計算能力。

對于我們現(xiàn)在GPU計算設備來說，我們不可能指望一臺服務器就可以解決我們計算問題，通常情況下會搭建一個集群，我們通過高速網(wǎng)絡來連接，在AGS2這樣的設備里面，可以提供一百到四百GB的帶寬，因為這款服務器面對的是數(shù)據(jù)中心，以及眾多用戶，因此我們有像這樣的四個高速網(wǎng)絡的連接，提供四倍這樣的速度。

另外，服務器在數(shù)據(jù)中心或者機房里面的時候，對環(huán)境溫度有一個要求，機器過熱會死機。對此，我們通過高效的、智能的設計，讓服務器的可控溫度高達45度；同時我們也提供一種混合方式，還可以進一步的提升效率和性能。

這個服務器內(nèi)部包含了八塊GPU，GPU里面可以用技術(shù)來做系統(tǒng)引導，通過這種方式極大的降低數(shù)據(jù)中心的花費。通過數(shù)據(jù)對比，我們得知這不僅僅是簡單的翻倍性能，直接是2.5倍，這就是高速的連接所帶來計算性能的好處。

再者是我們的框架，針對這樣一個模型，我們通過比較發(fā)現(xiàn)，最初賈俊博士開發(fā)的Caffe-MPI（雷鋒網(wǎng)注：浪潮在第31屆國際超算大會(ISC2016)上，全球首發(fā)基于最新KNL平臺的深度學習計算框架Caffe-MPI，這標志著浪潮稱為全球第一個在英特爾最新的KNL平臺上完成Caffe并行開發(fā)的公司。）模型只能運行在單服務器上，不支持多服務器，我們做模型訓練，需要好幾周時間。為了解決這個需求，浪潮針對Caffe框架，設立出一套并行版的Caffe，我們可以給多個服務器提供高速的，分布式的計算方案。

我接下來講一下針對并行版的開發(fā)，它做了針對性的優(yōu)化。我們知道，單個服務器內(nèi)部，GPU個數(shù)會越來越多，在這種情況下，為了得到最好的性能，我們針對這種特定的硬件架構(gòu)，改變設計思路。我們GPU服務器之間的連接是通過高速網(wǎng)絡來連接的，但是GPU內(nèi)的連接是通過PCIE，PCIE目前比高速網(wǎng)絡快很多。考慮到這個特點，我們在單個服務器內(nèi)部采用這種高速的通信方式，NCCL。在服務器之間，我們通過MPR來做，同時為了更進一步的降低服務器之間的通信頻率，我們把服務器的通信都控制在通信內(nèi)部，在服務器內(nèi)部給他降到很低的程度，這里也就是我們?nèi)绾谓档屯ㄐ诺囊环N方式。

在每個服務器內(nèi)部，我們給出四個GPU或是八個GPU，主GPU概念只是一個虛擬的概念，他所做的工作和我們做的都是一致的。因為我們知道，在深度學習模型，訓練過程中，反向傳播的時候，每一層的梯度值被計算出來之后，我們需要把這些梯度值發(fā)送到所有的設備上，從而對梯度進行更新，我們在發(fā)送的過程中，如果我們不考慮這種方式的話，沒有一個主GPU，四個GPU情況下，網(wǎng)絡帶寬需要把四倍的模型做交互。在我們這種設計下，如果有主GPU，節(jié)點只通過主GPU進行交互的話，網(wǎng)絡帶寬的壓力只會到最初設計的四分之一，所以通過這種設計，報節(jié)點之間帶寬的需求直接降低下來。

我的講述到這就結(jié)束了，浪潮從AI興盛開始，就緊跟著AI領(lǐng)域里各種熱點做相關(guān)的工作，到現(xiàn)在為止我們就形成了很完整的這樣一條生態(tài)，在這個生態(tài)我們也相信會做的越來越好，謝謝。

以上是吳韶華的演講全文，雷鋒網(wǎng)稍微做了不改變原意的修改。通過以上信息，我們不難知道，幾個月以來，浪潮在布局人工智能業(yè)務上“樂此不疲”，通過其領(lǐng)先的服務器技術(shù)儲備及市場洞悉力為AI的快速落地提供動力，2017年作為浪潮的戰(zhàn)略轉(zhuǎn)型關(guān)鍵之年，后續(xù)究竟發(fā)展的如何，我們持續(xù)關(guān)注。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。