AI機(jī)器學(xué)習(xí)的應(yīng)用課件

AI機(jī)器學(xué)習(xí)的應(yīng)用技術(shù)創(chuàng)新，變革未來(lái)AI機(jī)器學(xué)習(xí)的應(yīng)用技術(shù)創(chuàng)新，變革未來(lái)1?目錄AI應(yīng)用背景介紹AIfor

everyone效果成本總結(jié)目錄AI應(yīng)用背景介紹2從圖靈測(cè)試說(shuō)起？目標(biāo)：判斷機(jī)器是否表現(xiàn)出與人等價(jià)或無(wú)法區(qū)分的智能兩個(gè)基本問(wèn)題：充分性：通過(guò)圖靈測(cè)試就是智能？必要性：通過(guò)圖靈測(cè)試才是智能？?jī)蓚€(gè)著名變種：Feigenbaum

testNicholasNegroponte

Test2017/9/243[Alan

Turing]？目標(biāo)：判斷機(jī)器是否表現(xiàn)出與人等價(jià)或2017/9/243[A3“人工”

智能發(fā)展歷史推理期1956-1960s邏輯推理舉例：自動(dòng)定理證明系統(tǒng)知識(shí)期1970s-1980s知識(shí)工程舉例：專(zhuān)家系統(tǒng)學(xué)習(xí)期1990s-現(xiàn)在機(jī)器學(xué)習(xí)舉例：AlphaGo[Zhi-Hua

Zhou]2017/9/244推理期知識(shí)期學(xué)習(xí)期[Zhi-HuaZhou]2017/9/4機(jī)器學(xué)習(xí)的經(jīng)典定義利用經(jīng)驗(yàn)改善系統(tǒng)性能經(jīng)驗(yàn)

?

數(shù)據(jù)機(jī)器學(xué)習(xí)被廣泛應(yīng)用搜索與推薦生物特征識(shí)別自動(dòng)駕駛軍事決策助手（DARPA）…2017/9/245利用經(jīng)驗(yàn)改善系統(tǒng)性能2017/9/2455機(jī)器學(xué)習(xí)的成功應(yīng)用和成本成就戰(zhàn)勝人類(lèi)圍棋世界冠軍柯潔、李世石成本DeepMind頂級(jí)科學(xué)家團(tuán)隊(duì)10年以上研究~2000CPUs+

~300GPUs2017/9/246成就2017/9/2466機(jī)器學(xué)習(xí)的成功應(yīng)用和成本提升雖然互聯(lián)網(wǎng)用戶(hù)增長(zhǎng)緩慢2009-2015收入提升10倍+成本線上線下數(shù)萬(wàn)臺(tái)機(jī)器60+機(jī)器學(xué)習(xí)專(zhuān)家團(tuán)隊(duì)近十年分析調(diào)研4121086202007 2008 2009 2010 2011 2012 2013 2014 2015Annual

Revenue Internet

Users智能廣告系統(tǒng)上線2017/9/247提升4122AnnualRevenue Internet7目錄2017/9/248AI應(yīng)用背景介紹AIfor

everyone效果成本總結(jié)目錄2017/9/248AI應(yīng)用背景介紹8典型的機(jī)器學(xué)習(xí)過(guò)程2017/9/249定義問(wèn)題收集數(shù)據(jù)特征工程模型訓(xùn)練模型評(píng)估模型應(yīng)用機(jī)器學(xué)習(xí)專(zhuān)家反復(fù)選擇模型反復(fù)選擇特征反復(fù)選擇數(shù)據(jù)模型應(yīng)用到實(shí)際環(huán)境2017/9/249定義問(wèn)題收集數(shù)據(jù)特征工程模型訓(xùn)練模型評(píng)估9機(jī)器學(xué)習(xí)的效果門(mén)檻2017/9/2410建模門(mén)檻數(shù)據(jù)門(mén)檻特征門(mén)檻算法門(mén)檻模型應(yīng)用門(mén)檻適應(yīng)性門(mén)檻信任門(mén)檻數(shù)據(jù)安全和隱私門(mén)檻2017/9/2410建模門(mén)檻建模門(mén)檻：實(shí)際應(yīng)用中數(shù)據(jù)和維度的趨勢(shì)有效數(shù)據(jù)的增長(zhǎng)數(shù)據(jù)量：??????

?

????????~????????數(shù)據(jù)維度的增長(zhǎng)宏觀維度（??????）?

微觀維度（

????????~????????）宏觀維度（比如：年齡、性別等）微觀維度（比如用戶(hù)ID等）頻度2017/9/2411有效數(shù)據(jù)的增長(zhǎng)宏觀維度（比如：年齡、性別等）微觀維度（比如用建模門(mén)檻：機(jī)器學(xué)習(xí)模型的趨勢(shì)宏觀特征復(fù)雜模型微觀特征復(fù)雜模型宏觀特征簡(jiǎn)單模型微觀特征簡(jiǎn)單模型機(jī)器學(xué)習(xí)模型在工業(yè)應(yīng)用中的四個(gè)象限2017/9/2412宏觀特征復(fù)雜模型微觀特征復(fù)雜模型宏觀特征微觀特征機(jī)器學(xué)習(xí)建模門(mén)檻：沒(méi)有免費(fèi)的午餐2017/9/2413No

FreeLunch定理：[Wolpert

and

Macready

1997]任意兩個(gè)算法??1和??2，?

??(????

|??,

??,

??1)

=

?

??(????

|??,

??,??2)?? ???? ??任意算法（包括隨機(jī)算法）在所有問(wèn)題上的期望性能一樣不存在通用算法但在具體的實(shí)際問(wèn)題上，有可能存在比其他算法好的算法需要針對(duì)不同的實(shí)際問(wèn)題，研究開(kāi)發(fā)不同的機(jī)器學(xué)習(xí)算法2017/9/2413NoFreeLunch定理：[Wo適應(yīng)性門(mén)檻：面對(duì)開(kāi)放世界數(shù)據(jù)分布變化遷移學(xué)習(xí)Importance

Sampling與環(huán)境交互、新訓(xùn)練樣本強(qiáng)化學(xué)習(xí)新訓(xùn)練目標(biāo)遷移學(xué)習(xí)樣本屬性含義變化[World

War

II,

Abraham

Wald][強(qiáng)化學(xué)習(xí)]2017/9/2414數(shù)據(jù)分布變化新訓(xùn)練目標(biāo)[WorldWarII,Abra降低適應(yīng)性門(mén)檻：魯棒機(jī)器學(xué)習(xí)2017/9/2415訓(xùn)練階段對(duì)噪聲數(shù)據(jù)的魯棒性應(yīng)用階段模型對(duì)未知樣本的魯棒性置信度估計(jì)對(duì)關(guān)鍵性高風(fēng)險(xiǎn)應(yīng)用的魯棒性增加數(shù)據(jù)、SafeMachine

Learning算法2017/9/2415訓(xùn)練階段信任門(mén)檻：黑箱模型比如醫(yī)療應(yīng)用：只給出診斷，不給出原因無(wú)法給出治療方案可解釋機(jī)器學(xué)習(xí)TwiceLearning[Zhou,

2004]LIME[Ribeiro,

2016]InfluenceFunctionsInterpretation[PangWeiKoh,

2017][Tensorflow

DNN]2017/9/2416[Decision

Tree][Zhi-HuaZhou,

2004]比如醫(yī)療應(yīng)用：只給出診斷，不給出原因無(wú)法給出治療方案2017數(shù)據(jù)安全和隱私門(mén)檻保護(hù)用戶(hù)隱私，同時(shí)保持?jǐn)?shù)據(jù)的有效性解決方案保留數(shù)據(jù)隱私的機(jī)器學(xué)習(xí)方法Differential

Privacy模型交易取代數(shù)據(jù)交易2017/9/2417Differinone

entryIndistinguishabletoany

adversary...????……??′??…[Dwork

2006]保護(hù)用戶(hù)隱私，同時(shí)保持?jǐn)?shù)據(jù)的有效性Differential17目錄2017/9/2418AI應(yīng)用背景介紹AIfor

everyone效果成本總結(jié)目錄2017/9/2418AI應(yīng)用背景介紹機(jī)器學(xué)習(xí)應(yīng)用的成本2017/9/2419計(jì)算成本專(zhuān)家成本編程門(mén)檻機(jī)器學(xué)習(xí)專(zhuān)業(yè)門(mén)檻數(shù)據(jù)成本2017/9/2419計(jì)算成本降低計(jì)算成本：計(jì)算效率優(yōu)化2017/9/2420計(jì)算存儲(chǔ)通訊容錯(cuò)2017/9/2420計(jì)算分布式并行計(jì)算摩爾定律失效能耗墻（Power

Wall）延遲墻（Latency

Wall）單機(jī)能力有限IO、存儲(chǔ)、計(jì)算有限目前提升計(jì)算能力的主流方式并行化：降低執(zhí)行延遲?提升吞吐但是，Amdahl定律[Power

Wall][Latency

Wall][Amdahl定律]2017/9/2421摩爾定律失效[PowerWall][LatencyWal分布式并行模型訓(xùn)練[LargeScaleDistributedDeepNetworks,

Google]數(shù)據(jù)分布式和模型分布式模型參數(shù)訓(xùn)練數(shù)據(jù)2017/9/2422[LargeScaleDistributedDeep典型計(jì)算模型：數(shù)據(jù)流典型機(jī)器學(xué)習(xí)模型優(yōu)化過(guò)程：查取原模型????????根據(jù)原模型計(jì)算更新???更新模型????????

=

????????

+???問(wèn)題模型參數(shù)??是一個(gè)所有計(jì)算共享的中間狀態(tài)2017/9/2423模型參數(shù)典型機(jī)器學(xué)習(xí)模型優(yōu)化過(guò)程：?jiǎn)栴}2017/9/2423模型參數(shù)典型計(jì)算模型：參數(shù)服務(wù)器2017/9/2424[ASP][SSP,

Xing]一致性模型[BSP]2017/9/2424[ASP][SSP,Xing]一致性24趨勢(shì)：數(shù)據(jù)流

+

參數(shù)服務(wù)器2017/9/24252017/9/2425其他計(jì)算效率優(yōu)化計(jì)算異構(gòu)計(jì)算優(yōu)化異步，合理地計(jì)算調(diào)度存儲(chǔ)不同存儲(chǔ)設(shè)備共存：Hard

Disk

/

SSD

/

NVMe

/

RAM

/

L2

Cache…多級(jí)緩存通訊提升網(wǎng)絡(luò)吞吐、降低網(wǎng)絡(luò)延遲軟件：請(qǐng)求合并、緩存硬件：多網(wǎng)卡、InfiniBand…災(zāi)備DataLineageVS.

Checkpointing2017/9/2426計(jì)算2017/9/2426機(jī)器學(xué)習(xí)應(yīng)用的成本2017/9/2427計(jì)算成本專(zhuān)家成本編程門(mén)檻機(jī)器學(xué)習(xí)專(zhuān)業(yè)門(mén)檻數(shù)據(jù)成本2017/9/2427計(jì)算成本降低編程門(mén)檻：機(jī)器學(xué)習(xí)平臺(tái)[TheFourth

Paradigm]2017/9/2428[TheFourthParadigm]2017/9/24降低專(zhuān)業(yè)門(mén)檻：從“人工”智能到機(jī)器智能2017/9/2429定義問(wèn)題收集數(shù)據(jù)特征工程模型訓(xùn)練模型評(píng)估模型應(yīng)用機(jī)器學(xué)習(xí)專(zhuān)家反復(fù)選擇模型反復(fù)選擇特征反復(fù)選擇數(shù)據(jù)模型應(yīng)用到實(shí)際環(huán)境AutoML2017/9/2429定義問(wèn)題收集數(shù)據(jù)特征工程模型訓(xùn)練模型評(píng)29自動(dòng)機(jī)器學(xué)習(xí)（AUTOML）自動(dòng)數(shù)據(jù)清洗自動(dòng)數(shù)據(jù)類(lèi)型推斷自動(dòng)特征工程自動(dòng)模型和參數(shù)選擇自學(xué)習(xí)2017/9/2430自動(dòng)數(shù)據(jù)清洗2017/9/243030自動(dòng)組合特征自動(dòng)化特征組合：FeatureGo問(wèn)題空間22????=20,

10315652AlphaGo空間10171TOWARDS

AI

FOR

EVERYONE

涂威威31FeatureGo

VS.IJCAI20172017/9/24[TheFourth

Paradigm]自動(dòng)化特征組合：FeatureGoTOWARDSAIFO31自動(dòng)時(shí)序特征2017/9/2432自動(dòng)時(shí)序嵌入HE-TreeNetHE-DeepNetX

AUCimprovement：~2%[TheFourth

Paradigm]2017/9/2432自動(dòng)時(shí)序嵌入HE-TreeNetHE-32自動(dòng)模型和超參數(shù)選擇Bayes方法演化計(jì)算方法遷移學(xué)習(xí)方法2017/9/2433模型訓(xùn)練模型模型評(píng)估超參數(shù)列表訓(xùn)練數(shù)據(jù)驗(yàn)證數(shù)據(jù)自動(dòng)超參數(shù)方法模型效果[遷移學(xué)習(xí)超參數(shù)選擇方法][Bayes、演化計(jì)算超參數(shù)選擇方法]Bayes方法2017/9/2433模型訓(xùn)練模型模型評(píng)估超參33自動(dòng)模型和參數(shù)選擇：工程優(yōu)化2017/9/2434Dynamic

GraphCrossParameter

Sharing[TheFourth

Paradigm]Speed

Up：2~10x2017/9/2434DynamicGraphCross34機(jī)器學(xué)習(xí)應(yīng)用的成本計(jì)算成本專(zhuān)家成本編程門(mén)檻機(jī)器學(xué)習(xí)專(zhuān)業(yè)門(mén)檻數(shù)據(jù)成本2017/9/2435計(jì)算成本2017/9/243535降低數(shù)據(jù)成本：學(xué)件、遷移學(xué)習(xí)學(xué)件

=

模型（

Model

）+

規(guī)約（

Specification）可重用可演進(jìn)可了解遷移學(xué)習(xí)[Pan

&

Yang,TKDE

2010]特征遷移樣本遷