百度CTO王海峰：框架是深度學(xué)習(xí)的核心

　　6月28日消息 日前有報(bào)道稱，新晉百度首席技術(shù)官王海峰日前受邀出席了第二十三屆中國國際軟件博覽會(huì)，并在全球軟件產(chǎn)業(yè)發(fā)展高峰論壇上發(fā)表了演講！那么，王海峰在演講中都說了些什么呢？感興趣的朋友，不妨來了解一下。

　　據(jù)悉，王海峰在演講中指出，深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用，它的核心的東西是深度學(xué)習(xí)框架，可以說深度學(xué)習(xí)框架是智能時(shí)代的操作系統(tǒng)，它向下會(huì)對(duì)接芯片，芯片會(huì)針對(duì)深度學(xué)習(xí)框架里面的這些運(yùn)算來進(jìn)行優(yōu)化，向上是支撐各種應(yīng)用，核心的部分有訓(xùn)練框架，有了很多數(shù)據(jù)，跟應(yīng)用相關(guān)的數(shù)據(jù)，然后進(jìn)行訓(xùn)練，訓(xùn)練得到模型。然后預(yù)測(cè)框架會(huì)基于已經(jīng)訓(xùn)練好的模型，針對(duì)應(yīng)用與應(yīng)用相結(jié)合，最后實(shí)現(xiàn)真正的應(yīng)用。除了訓(xùn)練框架和預(yù)測(cè)框架以外，還有相應(yīng)的各種輔助工具。

　　王海峰認(rèn)為，深度學(xué)習(xí)一旦應(yīng)用到某一個(gè)行業(yè)里面，包括旅游、物流、零售、汽車等，都會(huì)帶來很大的商業(yè)價(jià)值的提升！另外，王海峰還重點(diǎn)介紹了百度的深度學(xué)習(xí)平臺(tái)飛槳（Paddle），目前該平臺(tái)支持超過70個(gè)主流的模型，包括視覺的自然語言處理的、推薦的、語言的等。

　　以下為王海峰演講全文：

　　今天會(huì)議的主題是軟件，我就跟大家分享一個(gè)人工智能時(shí)代非常重要的技術(shù)軟件平臺(tái)，深度學(xué)習(xí)平臺(tái)。百度的深度學(xué)習(xí)平臺(tái)的中文名是飛槳、英文名字叫Paddle。

　　我們知道人類社會(huì)過去幾百年已經(jīng)經(jīng)歷了三次工業(yè)革命，第一次工業(yè)革命為人類帶來了機(jī)械技術(shù)，第二次帶來了電器技術(shù)，第三次帶來了信息技術(shù)。每一次工業(yè)革命核心的驅(qū)動(dòng)技術(shù)都有一個(gè)共同特點(diǎn)，就是它們是相對(duì)通用的，不僅僅是某一個(gè)行業(yè)，而是在各行各業(yè)都會(huì)起作用。就像我們熟悉的電在我們生活中已經(jīng)無處不在。我們很幸運(yùn)，我們處在一個(gè)時(shí)代，這個(gè)時(shí)代是正在經(jīng)歷人類的第四次工業(yè)革命，這次工業(yè)革命核心的驅(qū)動(dòng)技術(shù)就是人工智能技術(shù)，人工智能已經(jīng)成為新一輪科技革命和產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力量，人工智能正推動(dòng)我們這個(gè)時(shí)代進(jìn)入智能時(shí)代。

　　人工智能經(jīng)歷過60多年的發(fā)展，應(yīng)該說經(jīng)歷了三個(gè)很典型的階段，從人工智能技術(shù)的角度，早期是靠人工的規(guī)則，后來有了機(jī)器學(xué)習(xí)，過去這些年推動(dòng)人工智能在各行各業(yè)廣泛應(yīng)用的是深度學(xué)習(xí)，當(dāng)然深度學(xué)習(xí)也是機(jī)器學(xué)習(xí)的一個(gè)分支。

　　我剛才說起推動(dòng)工業(yè)革命的技術(shù)往往是通用的，我們看幾個(gè)例子，比如說人工智能里面一個(gè)很典型的任務(wù)做文字的識(shí)別。早期文字識(shí)別更多用規(guī)則，然后引入一些機(jī)器學(xué)習(xí)的技術(shù)，那時(shí)候一個(gè)文字識(shí)別過程很復(fù)雜，比如一個(gè)典型的OCR系統(tǒng)要分六步，從區(qū)域檢測(cè)、行分割、字分割等等處理下來才能識(shí)別出來一些文字。用了深度學(xué)習(xí)技術(shù)以后，縮減為兩步，一個(gè)檢測(cè)一個(gè)識(shí)別，當(dāng)然依托的是大數(shù)據(jù)的技術(shù)。深度學(xué)習(xí)技術(shù)在OCR進(jìn)一步的演進(jìn)變成了端到端的識(shí)別系統(tǒng)，實(shí)現(xiàn)了多任務(wù)聯(lián)合訓(xùn)練，端到端的聯(lián)合學(xué)習(xí)，包括特征的互用和互補(bǔ)。

　　再看另一個(gè)在人工智能領(lǐng)域的技術(shù)，自然語言處理，經(jīng)歷了從人工規(guī)則到自動(dòng)學(xué)習(xí)到深度學(xué)習(xí)過程，早期自然語言處理規(guī)則往往是靠專家，尤其是語言學(xué)專家結(jié)合各種領(lǐng)域知識(shí)來寫的規(guī)則，這時(shí)候開發(fā)成本非常高。而且從一個(gè)領(lǐng)域遷移到另一個(gè)領(lǐng)域，或者從一個(gè)語言遷移到另一個(gè)語言都非常困難。后來有了機(jī)器學(xué)習(xí)自然語言處理以后，有大量的模型，我們?yōu)榱耸褂眠@些模型要進(jìn)行數(shù)據(jù)選擇、訓(xùn)練、模型的選擇還有特征工程等等，雖然自動(dòng)化程度高了很多，但還很不標(biāo)準(zhǔn)化，同時(shí)過程也很復(fù)雜。用了深度學(xué)習(xí)以后進(jìn)一步實(shí)現(xiàn)了更好的標(biāo)準(zhǔn)化和自動(dòng)化。深度學(xué)習(xí)既然已經(jīng)廣泛應(yīng)用，它的核心東西是什么？核心的東西是深度學(xué)習(xí)框架。我們可以說深度學(xué)習(xí)框架是智能時(shí)代的操作系統(tǒng)，它向下會(huì)對(duì)接芯片，芯片會(huì)針對(duì)深度學(xué)習(xí)框架里面的這些運(yùn)算來進(jìn)行優(yōu)化，向上是支撐各種應(yīng)用，核心的部分有訓(xùn)練框架，有了很多數(shù)據(jù)，跟應(yīng)用相關(guān)的數(shù)據(jù)，然后進(jìn)行訓(xùn)練，訓(xùn)練得到模型。然后預(yù)測(cè)框架會(huì)基于已經(jīng)訓(xùn)練好的模型，針對(duì)應(yīng)用與應(yīng)用相結(jié)合，最后實(shí)現(xiàn)真正的應(yīng)用。

　　除了訓(xùn)練框架和預(yù)測(cè)框架以外，還有就是有相應(yīng)的各種輔助工具。比如說怎么樣讓網(wǎng)絡(luò)選擇更自動(dòng)化，比如說更低門檻的進(jìn)入等等，有很多輔助工具。

　　這就是百度的飛槳深度學(xué)習(xí)平臺(tái)，大家看到這個(gè)平臺(tái)最下面是核心框架，我剛才說的訓(xùn)練框架、預(yù)測(cè)框架等等都在里面，但是每一部分又有很多事情要做，比如說大規(guī)模分布式訓(xùn)練、工業(yè)級(jí)預(yù)處理，要做安全的加密等等，同時(shí)為每一個(gè)典型的領(lǐng)域又會(huì)提供很多的模型庫，比如說自然語言處理，對(duì)計(jì)算機(jī)視覺、語音、推薦等等這些。工具組建，除了基本的學(xué)習(xí)框架以外，有深度學(xué)習(xí)的工具組建、有遷移學(xué)習(xí)的、有強(qiáng)化學(xué)習(xí)的，同時(shí)還有自動(dòng)化的網(wǎng)絡(luò)設(shè)計(jì)。從服務(wù)平臺(tái)這一層，比如說EDL，你即使不懂深度學(xué)習(xí)技術(shù)也不懂寫代碼，利用這個(gè)平臺(tái)可以零基礎(chǔ)的定制和訓(xùn)練以及提供服務(wù)。

　　現(xiàn)在飛槳已經(jīng)官方支持超過70個(gè)主流的模型，包括視覺的自然語言處理的、推薦的、語言的等等。比如說像其中剛才提到的自然語言處理，就提供了一系列面向工業(yè)應(yīng)用的中文的LP的工具集，包括基礎(chǔ)網(wǎng)絡(luò)層，也包括應(yīng)用層，比如說中文的詞法分析、情感分析、語義匹配、對(duì)話等等。

　　這里我講一個(gè)對(duì)于語義的解釋，基于語義的解釋可以完成很多分析理解處理的任務(wù)。大家可能聽說過Google出了一個(gè)自動(dòng)學(xué)習(xí)，我們從數(shù)據(jù)里面去自動(dòng)訓(xùn)練自動(dòng)學(xué)習(xí)，但同時(shí)，人類的智能大家都知道，很重要一點(diǎn)還是有知識(shí)的，所以我們做的知識(shí)增強(qiáng)的語義表示模型，大家可以看到，跟基礎(chǔ)的系統(tǒng)相比，各方面的性能都會(huì)得到一個(gè)很大的提升，而且已經(jīng)得到了廣泛的應(yīng)用。

　　再舉一個(gè)視頻的例子，視頻的工具集包括視頻的自動(dòng)分類、視頻的語義項(xiàng)量、視頻標(biāo)簽集等等，這些也會(huì)應(yīng)用于很多任務(wù)，比如做信息流、包括搜索包括語義上的各種系統(tǒng)。右邊是一個(gè)視頻的例子，大家可以看到怎么樣分析這個(gè)視頻。為了用好深度學(xué)習(xí)，一方面算法要有先進(jìn)的算法，另一方面算力的支撐也非常重要，所以我們有一系列分布式計(jì)算的技術(shù)里面，大家可以看到，從單機(jī)單卡到單機(jī)雙卡到多機(jī)多卡，整個(gè)訓(xùn)練的技術(shù)也會(huì)有很大的提升。為了支撐，我們有一個(gè)大規(guī)模的參數(shù)服務(wù)器，這個(gè)也是在應(yīng)用中很重要的一部分，它可以適應(yīng)不同的場(chǎng)景，比如說有超大規(guī)模的數(shù)據(jù)、海量的特征以及適應(yīng)數(shù)據(jù)自膨脹的特點(diǎn)，包括高頻率的可以進(jìn)行模型的迭代。為了做工業(yè)機(jī)數(shù)據(jù)的自處理，我們有一系列技術(shù)，右邊有一些技術(shù)優(yōu)勢(shì)，比如說分布式文件系統(tǒng)，IO直尺，高性能、多生產(chǎn)者、多消費(fèi)者的設(shè)計(jì)等等這些。還有很重要的一點(diǎn)，我們?yōu)榱俗屗�更廣泛的應(yīng)用，往往在做一個(gè)應(yīng)用的時(shí)候，不僅僅是其中一個(gè)模塊做好就行了，更重要的還要有端到端的全流程部署方案。

　　大家看到，我們要做好這個(gè)全流程的真正部署到一個(gè)應(yīng)用里面去，需要有底層硬件的支持，不管CPU、GPU還是移動(dòng)端的硬件，以及相應(yīng)要有推理引擎，然后有各種不同的程序設(shè)計(jì)語言的支持，相應(yīng)的工具以及提供軟硬一體的方案等等一系列，形成全流程的部署方案。舉個(gè)例子，比如說我們把這樣一套設(shè)備端部署解決方案用來進(jìn)行識(shí)別蟲害，這樣一個(gè)任務(wù)，我們涉及到底層的平臺(tái)，涉及到工具站，涉及到模型怎么樣訓(xùn)練、怎么樣部署等等，當(dāng)然這一系列是基于百度的平臺(tái)支持。

　　我們都知道現(xiàn)在深度學(xué)習(xí)的核心是神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)第一步要干什么？第一步要做網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)早些年更多是靠人類專家來做這個(gè)設(shè)計(jì)，靠他的經(jīng)驗(yàn)，經(jīng)驗(yàn)更足，人可能把網(wǎng)絡(luò)設(shè)計(jì)的更好，從而得到更好的結(jié)果。但是這個(gè)過程其實(shí)是專業(yè)度很高同時(shí)也不容易的一個(gè)過程，現(xiàn)在我們已經(jīng)可以進(jìn)行自動(dòng)化的網(wǎng)絡(luò)設(shè)計(jì)，這里就是一個(gè)自動(dòng)化網(wǎng)絡(luò)設(shè)計(jì)的例子，大家可以看到，左邊是專家手工設(shè)計(jì)的網(wǎng)絡(luò)，右邊是機(jī)器自動(dòng)設(shè)計(jì)的一個(gè)網(wǎng)絡(luò)。我們基于這套自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)AutoDL，也進(jìn)行了開源，也在Paddle進(jìn)行了AutoDL部分的開源，同時(shí)也進(jìn)行了模型的開源，效果達(dá)到了比人工設(shè)計(jì)網(wǎng)絡(luò)更好的效果，相當(dāng)于它自動(dòng)化程度更高，省時(shí)省力，同時(shí)效果也更好。

　　前面我提起深度學(xué)習(xí)現(xiàn)在用的非常廣，但并不是每一個(gè)人都很全面的掌握了深度學(xué)習(xí)技術(shù)，那么我們能提供一個(gè)更方便的工具平臺(tái)，可以讓基礎(chǔ)不太多甚至零基礎(chǔ)的人也能來用、來解決自己的問題，我們提供了這樣一個(gè)定制化訓(xùn)練和服務(wù)平臺(tái)，EasyDL，可以把各種數(shù)據(jù)送進(jìn)來進(jìn)行加工學(xué)習(xí)、部署，最后提供服務(wù)，既可以提供云端服務(wù)也能提供各種智能設(shè)備上的服務(wù)。

　　這里我不再講EasyDL背后的各種技術(shù)，但是給大家看一個(gè)曲線，我們看一下基于EasyDL進(jìn)行模型訓(xùn)練的數(shù)量在持續(xù)的增長(zhǎng)，現(xiàn)在已經(jīng)有超過三萬個(gè)第三方應(yīng)用的模型，基于EasyDL實(shí)現(xiàn)，然后來解決自己的任務(wù)。

　　這是另一個(gè)例子，農(nóng)作物，在農(nóng)耕地塊的識(shí)別，這里涉及到在這個(gè)應(yīng)用場(chǎng)景里面提取相應(yīng)的數(shù)據(jù)，然后用衛(wèi)星遙感數(shù)據(jù)進(jìn)行模型訓(xùn)練，然后進(jìn)行融合、部署，最后完成一個(gè)，比如說這個(gè)地塊里面，作物長(zhǎng)得怎么樣，有沒有災(zāi)害等等進(jìn)行這種識(shí)別，自動(dòng)的就可以進(jìn)行農(nóng)耕地的監(jiān)測(cè)。剛才舉的只是兩個(gè)行業(yè)，我們看一下，實(shí)際上百度的飛槳這個(gè)深度學(xué)習(xí)平臺(tái)，已經(jīng)用在很多行業(yè)里面，用在很多行業(yè)里面，我們也相應(yīng)的要看一看各個(gè)行業(yè)發(fā)展的趨勢(shì)。當(dāng)然這個(gè)報(bào)告是麥肯錫提供的報(bào)告，我們可以看到，深度學(xué)習(xí)一旦應(yīng)用到某一個(gè)行業(yè)里面，可能帶來的提升幅度，大家看到，旅游、物流、零售、汽車等等，各個(gè)行業(yè)都可以因這個(gè)深度學(xué)習(xí)的應(yīng)用帶來很大的商業(yè)價(jià)值的提升。時(shí)間也到了，我今天的報(bào)告就到這里，我希望我們的飛槳深度學(xué)習(xí)平臺(tái)能推動(dòng)人工智能發(fā)展，加快產(chǎn)業(yè)智能化。

　　謝謝大家！