阿里大數(shù)據(jù)算法平臺架構(gòu)

1、阿里大數(shù)據(jù)算法平臺架構(gòu)On MaxCompute目 錄1阿里云大數(shù)據(jù)計(jì)算服務(wù)2算法平臺架構(gòu)3算法應(yīng)用MaxCompute-阿里巴巴大數(shù)據(jù)基礎(chǔ)服務(wù)存：數(shù)據(jù)大集中，存入 MaxCompute通：統(tǒng)規(guī)范，打通各個業(yè)務(wù)部門用：推動數(shù)據(jù)開放和交換，促發(fā)展，養(yǎng)生態(tài)其它領(lǐng)域1688.c o m支 付 寶小保基淘夭 貸險(xiǎn)金寶貓螞蟻金服聚Ali ba劃ba.算co m數(shù)字尚娛德 樂友 盟Ali ex菜鳥物pres流s 電子商務(wù)物流阿里云大數(shù)據(jù)計(jì)算服務(wù)醫(yī) 療UC一個大型的內(nèi)部生態(tài)系統(tǒng)阿里集團(tuán)99.9%的數(shù)據(jù)分析與算法 跑在大數(shù)據(jù)計(jì)算服務(wù)上面 數(shù)千 個大數(shù)據(jù)應(yīng)用 上萬 名開發(fā)者 數(shù)萬 臺規(guī)模的超大集群 EB 級數(shù)據(jù)

2、規(guī)模 百萬 張表應(yīng)用場景：個性化推薦|風(fēng)險(xiǎn)控制|全集團(tuán)統(tǒng)的數(shù)據(jù)倉庫BI機(jī)器深度學(xué)習(xí)學(xué)習(xí)MaxCompute-All in One BoxSQLTensor- FlowBI 報(bào)表智能推薦文本識別圖像識別RESTful API/SDK/Web IDE/PAI MRMPIPluto語音識別MaxCompute-Data Store & Task Plugin EngineAliCloud OS(飛夭）Cluster -110000 X86 ServersCluster -210000 X86 ServersCluster -N10000 X86 Servers多租戶女全 審計(jì)配置 監(jiān)控運(yùn)維 部署目

3、錄1阿里云大數(shù)據(jù)計(jì)算服務(wù)2算法平臺架構(gòu)3算法應(yīng)用平臺架構(gòu)設(shè)計(jì)算法開發(fā)者算法使用者Project-資源隔離的基礎(chǔ)Project2Project3Project 1存儲 計(jì)算 Project4用戶 女全策略任務(wù)Project是最基本的資源隔離單位多project可以共享個集群資源Project類似千Oracle的schema，或MySQL的database數(shù)據(jù)、用戶、任務(wù)等都隸屬千個project各Project之間授權(quán)后數(shù)據(jù)可以互相 訪問計(jì)量、Quota限制以project為單位數(shù)據(jù)格式結(jié)構(gòu)化MaxCompute 表數(shù)據(jù)是無序的特征表達(dá)有限KV表Map表SQL select支持斗結(jié)構(gòu)化OSS上的

4、文件Cfile圖像視頻分布式文件系統(tǒng)數(shù)據(jù)接口分層抽象方便水平擴(kuò)展對接不同環(huán)境數(shù)據(jù)有序接口實(shí)現(xiàn)兼容性MPI 算法架構(gòu)設(shè)計(jì)平臺與算法解耦MPI 計(jì)算框架與算法分離MPI 算法開發(fā)本地開發(fā)、調(diào)試線下、線上無縫集成Pluto-Caffe 并行化Why OpenMPI?顯存直讀、IB網(wǎng)絡(luò)通信，GPU多機(jī)訓(xùn)練首選架構(gòu)TensorFlow On MaxComputePython SDKMaxCompute ServiceTFTask計(jì) 算集分 布 式 調(diào) 度分 布 式 存 儲TFTaskTFTaskimport odpsutilimport tensorflow as tfwith tf.device(“/

5、jobs:ps/task:0/cpu:0”): a=tf.constant() b=tf.constant()with tf.device(“job:worker/task:0/gpu:0”): c=tf.matul(a,b)config=tf.ConfigProto()with tf.train.odpsClusterManager() as trainer群:print “running”異構(gòu)(CPU/GPU)計(jì)算調(diào)度ENDBEGINSQL(C)MR(C)CNN(G)RNN(G)Job DAG 中允許不同Action類型節(jié)點(diǎn)擴(kuò)展Job XML，基千 tag 確定運(yùn)行集群機(jī)器學(xué)習(xí)-PAI開發(fā)

6、流程數(shù)據(jù)預(yù)處理數(shù)據(jù)特征工程機(jī)器學(xué)習(xí)模型訓(xùn)練模型評估離線/在線服務(wù)學(xué)習(xí)目 錄1阿里云大數(shù)據(jù)計(jì)算服務(wù)2算法平臺架構(gòu)3算法應(yīng)用基千MPI算法的推薦應(yīng)用OCR-證件識別左上：身份證 左下：駕駛證 中上：營業(yè)執(zhí)照 右上：門店右下：英文圖像標(biāo)注從圖像中檢測識別物品、人、場景、事件，并打上標(biāo)簽利用網(wǎng)絡(luò)上的大量公開圖片自動學(xué)習(xí)，能適應(yīng)自定義的標(biāo)簽列表圖像搜索-同款商品推薦圖像車輛識別轎車：粵A834M1(藍(lán)牌)小巴：粵AF7945(黃牌)轎車：粵A0928警(白牌)中巴：粵AN2197(黃牌)貨車：粵A967W0(藍(lán)牌)大巴：粵AJ9075(黃牌)視頻廣告植入自動植入式廣告，不影晌觀看體驗(yàn)，不停頓、無打擾；可根據(jù)視頻場景和觀眾喜好植入定制化廣告內(nèi)容；阿里云人工智能 PK 第50界世界速記大賽亞