企業(yè)級(jí)機(jī)器學(xué)習(xí)平臺(tái)產(chǎn)品解析

198919921997201620142011BillOthelloDeepBlueAlphaGo2007SPHINXIBMWatsonAppleSiri1994NuanceChinookCheckers1988FacebookDeepFaceMicrosoftTayLoebnerPrizeClaudicoTexasHold’em2015GoogleBrain201220002013DQNXboxKinectGoogleNowMicrosoftCortanaPalantirMetropolisWealthfrontBettermentGoogleAdWordsKenshoGoogleAuto-EmailMSOfficeGrammar2012CMUBossBostonDynamicsGoogleCarPepperAmazonKiva人工智能發(fā)展的主要里程碑2021/5/91AI

=

機(jī)器學(xué)習(xí)

+

大數(shù)據(jù)存儲(chǔ)和計(jì)算能力的發(fā)展：

Intel

/

Nvidia

/

SSD

/

Infiniband數(shù)據(jù)規(guī)模的變化：

O2O

/

物聯(lián)網(wǎng)

/

互聯(lián)網(wǎng)+機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展：

框架、人才、數(shù)據(jù)科學(xué)家2021/5/92大綱1.

機(jī)器學(xué)習(xí)產(chǎn)品2.

算法與算法框架3.

可擴(kuò)展平臺(tái)架構(gòu)4.

面向部署集成5.

案例與選型企業(yè)級(jí)機(jī)器學(xué)習(xí)產(chǎn)品架構(gòu)解析2021/5/93機(jī)器學(xué)習(xí)產(chǎn)品要解決什么問(wèn)題？業(yè)務(wù)專(zhuān)家：利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)獲得業(yè)務(wù)提升關(guān)心：

模型效果、與業(yè)務(wù)結(jié)合、可解釋系統(tǒng)管理人員：維護(hù)大量數(shù)據(jù)流

&

線上模型服務(wù)關(guān)心：

資源使用、一致性、可管理性數(shù)據(jù)科學(xué)家：處理數(shù)據(jù)

&

模型調(diào)研關(guān)心：

算法、靈活性、可擴(kuò)展性、性能2021/5/94模型效果

VS

調(diào)研成本?

大量數(shù)據(jù)導(dǎo)入導(dǎo)出&預(yù)處理?

特征工程

&調(diào)參領(lǐng)域知識(shí)

VS

技能要求?

問(wèn)題定義和優(yōu)化目標(biāo)需要業(yè)務(wù)經(jīng)驗(yàn)?

需要懂Python

/

Spark

/

Tensorflow投產(chǎn)要求

VS

運(yùn)維難度?

線上特征?

實(shí)時(shí)預(yù)估服務(wù)機(jī)器學(xué)習(xí)平臺(tái)的困難？

VS

VSVS2021/5/95提升算法效果2021/5/96聰明

VS

笨天真無(wú)邪

VS

博覽群書(shū)一代宗師

VS

走火入魔2021/5/97確保模型效果

–

充分使用盡可能多的數(shù)據(jù)經(jīng)驗(yàn)風(fēng)險(xiǎn)：

模型對(duì)于訓(xùn)練數(shù)據(jù)分類(lèi)結(jié)果的誤差置信風(fēng)險(xiǎn)：

模型對(duì)于未知數(shù)據(jù)分類(lèi)結(jié)果的誤差樣本不足的情況下，VC維越高，越容易過(guò)擬合樣本充足的情況下，VC維越高，模型效果越好->

如何獲得足夠的樣本數(shù)據(jù)：使用更多的表和字段，3維特征->

如何獲得足夠的計(jì)算能力：分布式機(jī)器學(xué)習(xí)VC維

=

機(jī)器學(xué)習(xí)的智商2021/5/98大規(guī)模機(jī)器學(xué)習(xí)框架GDBTC++

14

/

兼具運(yùn)行效率和開(kāi)發(fā)效率機(jī)器學(xué)習(xí)過(guò)程抽象，隱藏分布式細(xì)節(jié)數(shù)據(jù)流與學(xué)習(xí)過(guò)程的緊密結(jié)合面向?qū)嶋H客戶(hù)問(wèn)題的算法包2021/5/99Split

RRSplit

RRSplit

RRmapmapmap

(Sort)reduceOutputFormat

filefileRecordReadersInput

(k,v)

pairsIntermediate

(k,v)

pairs

PartitionerWrite

back

tolocal

HDFSstoreMR/Spark

ML

計(jì)算模型

Node

1

Files

loaded

from

local

HDFS

stores

Input

FormatSplit

RRSplit

RRSplit

RRmapmapmapPartitioner

(Sort)reduceOutputFormat

file

fileRecordReadersInput

(k,v)

pairsIntermediate

(k,v)

pairsWrite

back

tolocal

HDFSstore

Node

2

Files

loaded

from

local

HDFS

storesInput

Format“Shuffling”

processIntermediate(k,v)

pairsexchanged

by

allnodesDataflowMapShuffleReduce2021/5/910

WorkerData

Shared

WorkerData

Shared

WorkerData

SharedPartion

2

ww’=w-η

w

w’

ww’=w-η

w

w’

ww’=w-η△w

w’wwGDBT

計(jì)算模型

Parameter

Server

Partion

1

w

inHQueuewwwwPartitioned

by

feature

Partion

3MinibatchPush/Pull

wLoad

DataFrom

Datasource2021/5/911GDBT

Not

Only

Parameter

Server存儲(chǔ)

|

計(jì)算

|

通訊

|

災(zāi)備

|

開(kāi)放接口

|

場(chǎng)景優(yōu)化HDFSLocal

FSS3…zeromqCUDAMKL…YarnMPIMesosGDBT

DataSource/HeterCacheGDBT

RpcService

GDBTHeterComputationGDBT

Channel

GDBTProcessesGDBT

ExecEngineGDBT

Group

CommunicationGDBT

ML

ComponentsGDBT

WrapperGDBT

LR/FM…GDBT

TransferGDBT

TreeNet

GDBTAutoFeatureGDBT

W&D

NNGDBT

EnsembleGDBT

PS…2021/5/912……GDBT集成面向客戶(hù)適用的算法DNN

model

LR

fea-weight

GBDT

modelCOEC,

continuous

features?

機(jī)器學(xué)習(xí)問(wèn)題并非0和1問(wèn)題?

需要盡可能利用離散&連續(xù)特征?

面向客戶(hù)場(chǎng)景（模型穩(wěn)定性）

Bagging

+

Deep

Sparse

Network（第四范式新一代深度學(xué)習(xí)模型，2015）……2021/5/913GDBT架構(gòu)收益開(kāi)發(fā)新算法只需要一百到幾百行代碼（LR、FM）無(wú)須關(guān)心分布式細(xì)節(jié)，就可獲得分布式算法支持LossFunction/算法數(shù)據(jù)流的定制2021/5/914降低成本與門(mén)檻2021/5/915?

業(yè)務(wù)專(zhuān)家?

數(shù)據(jù)科學(xué)家?

機(jī)器學(xué)習(xí)系統(tǒng)開(kāi)發(fā)人才AI

–

價(jià)值與成本培養(yǎng)一個(gè)合格的AI人才需要6-10年的時(shí)間--楊強(qiáng)

AAAI

Fellow，第四范式首席科學(xué)家培養(yǎng)一個(gè)合格的AI人才可增加經(jīng)濟(jì)收益500-1000萬(wàn)美元

--Andrew

Moore

卡耐基梅隆大學(xué)計(jì)算機(jī)學(xué)院院長(zhǎng)在

白宮AI發(fā)展聽(tīng)證會(huì)上的講話?

BI?

SQL?

Oracle

DB/DB22021/5/916降低技能門(mén)檻

–

AutoML

/

AssistML

/

TransferLearning?

算法創(chuàng)新：較少的需要參數(shù)手動(dòng)調(diào)整?

自動(dòng)特征工程：利用DSN，同時(shí)獲得千人千面

+

可推理的效果?

高級(jí)特征工程算子：序列事件特征、社交關(guān)系特征?

特征和模型可解釋性：輔助建模人員更有效率工作?

Transfer

Learning

(IN

PROGRESS)：如何打破全局意義上的數(shù)據(jù)分割2021/5/917Prophet

–

對(duì)模型的全生命周期管理增量測(cè)試數(shù)據(jù)樣本數(shù)據(jù)算法優(yōu)化算法標(biāo)簽待評(píng)估數(shù)據(jù)

特征測(cè)試數(shù)據(jù)優(yōu)化特征

迭代

訓(xùn)練其他場(chǎng)景遷移數(shù)據(jù)源準(zhǔn)備數(shù)據(jù)分析處理數(shù)據(jù)建模價(jià)值應(yīng)用數(shù)據(jù)接入模型應(yīng)用數(shù)據(jù)處理數(shù)據(jù)分析特征處理模型訓(xùn)練模型評(píng)估模型訓(xùn)練應(yīng)用分析整理模型數(shù)據(jù)科學(xué)家/業(yè)務(wù)專(zhuān)家

多功能多語(yǔ)言支持Python、R、SQL等多功能語(yǔ)言和用戶(hù)習(xí)慣的使用方式

團(tuán)隊(duì)協(xié)作為不同的團(tuán)隊(duì)角色的提供針對(duì)性的功能和與之對(duì)應(yīng)的協(xié)作方式，同時(shí)提供不同角色的培訓(xùn)服務(wù)

易使用交互式的圖形化界面能快速的完成業(yè)務(wù)問(wèn)題轉(zhuǎn)化和建模過(guò)程的定義

高效率提供多種系統(tǒng)化實(shí)驗(yàn)，并提供自動(dòng)的優(yōu)化和調(diào)參功能

高效能自主知識(shí)產(chǎn)權(quán)的專(zhuān)利算法和計(jì)算框架提供高效的計(jì)算能力和精準(zhǔn)的應(yīng)用效果

快速定制作為通用開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)者可快速依托平臺(tái)的組件庫(kù)和架構(gòu)完成專(zhuān)屬的人工智能業(yè)務(wù)系統(tǒng)的定制和對(duì)接

高可擴(kuò)展提供多語(yǔ)言的SDK，幫助開(kāi)發(fā)者在此基礎(chǔ)上完成二次開(kāi)發(fā)和擴(kuò)展使用

高處理能力大規(guī)模分布式的底層架構(gòu)，滿(mǎn)足高業(yè)務(wù)復(fù)雜度和數(shù)據(jù)量的存儲(chǔ)和處理需求開(kāi)發(fā)者/系統(tǒng)工程師2021/5/918Node

Executor

GDBT

Operator

Spark

Operator

HDFS

Function

Yarn

FunctionBigdata

Cluster

Yarn

Cluster

HDFS

Storage

Spark

Streaming

DB

Instances

CallReportABI

RegisterTask

PullProphet

–

系統(tǒng)架構(gòu)

Lamma&SDK

DAG

Prophet

API

ServicesModelTranswarp

PredMgrOnline

Cluster

Prediction

Service

Cannon

KVStore

Docker

Container

OnlineNode

Agent管理在線服務(wù)&離線任務(wù)Web界面

&

Python

SDK任務(wù)調(diào)度：DAG集群功能代理機(jī)制集群動(dòng)態(tài)注冊(cè)、卸載機(jī)制2021/5/919圖形機(jī)器學(xué)習(xí)操作界面

-

Lamma算子區(qū)DAG操作區(qū)參數(shù)配置區(qū)計(jì)劃操作區(qū)2021/5/920圖形機(jī)器學(xué)習(xí)操作界面

-

Lamma?

使用場(chǎng)景以PC為主?

ReactJS（核心框架）?

Lamma-Flux（數(shù)據(jù)流框架）?

Lamma-Parts（組件框架）2021/5/921圖形機(jī)器學(xué)習(xí)操作界面

-

Lamma{"taskType":

"DataSplitAtom","enableGroup":

false,"nodeTemplates":

[{"name":

"DataSplitAtom",

"label":

"數(shù)據(jù)拆分",

"tag":

[

"DataSplit"

],"inputs":

{

"type":

"data",

"slots":

[

{

"type":

"data"

}

]

},"outputs":{

"type":

"data",

"slots":

[

{

"type":

"data"

},

{

"type":

"data"

}

]

},"config":

{

"basic":{"method":

{

"content":

0,"widget":

{"name":

"DropDown","isVisible":

true,"order":

1,"candidates":

[{

"label":

"按比例拆分?jǐn)?shù)據(jù)",

"value":

0,

"isDefault":

true

},{

"label":

"按規(guī)則拆分?jǐn)?shù)據(jù)",

"value":

1

},{

"label":

"先排序后拆分?jǐn)?shù)據(jù)",

"value":

2

}

],"label":

"拆分方式"

},"isParent":

true,……?

界面組件模板化開(kāi)發(fā)2021/5/922Lamma

-

前后端打通?

服務(wù)器端語(yǔ)法推斷和驗(yàn)證Spark代理

Web

UIAPI

Gateway

Func調(diào)度器

節(jié)點(diǎn)注冊(cè)同時(shí)

驗(yàn)證函數(shù)注冊(cè)

Feature代理

驗(yàn)證&執(zhí)行Hadoop

Cluster2021/5/923SDK

–

更快的調(diào)研或生產(chǎn)?

Web的優(yōu)點(diǎn)：

直觀、可視化?

Web的缺點(diǎn)：

操作復(fù)雜，不利于重復(fù)任務(wù)（例如For循環(huán)）

SDKWeb

共用Prophet

API

Service

Prophet

Backend

Cluster

ComputingDistributed

Storage2021/5/924架構(gòu)收益工程團(tuán)隊(duì)和算法團(tuán)隊(duì)的粘合劑：縮短新技術(shù)產(chǎn)品化流程

模型調(diào)研過(guò)程更有效率，無(wú)人值守

提供前后端打通功能：訓(xùn)練過(guò)程可視化、進(jìn)度和錯(cuò)誤

可上線2021/5/925面向部署集成2021/5/926大客戶(hù)IT三件事安全、穩(wěn)定、規(guī)范企業(yè)產(chǎn)品運(yùn)維三件事標(biāo)準(zhǔn)、靈活、自動(dòng)化2021/5/927大數(shù)據(jù)&機(jī)器學(xué)習(xí)給IT運(yùn)維管理人員帶來(lái)的麻煩資源搶占Troubleshooting麻煩大數(shù)據(jù)集群兼容性上線困難2021/5/928資源搶占與資源調(diào)度

Problem：

?

機(jī)器學(xué)習(xí)任務(wù)的災(zāi)備設(shè)計(jì)與ETL不同

?

局部獨(dú)占是通常較優(yōu)的調(diào)度策略

?

除了Yarn默認(rèn)的vCPU/內(nèi)存以外，網(wǎng)絡(luò)帶寬、IO也是重要考量因素

TaskSchedulerTS

NodeTS

NodeTS

NodeNetwork

TrafficIO

Usage

by

deviceIncomingTasksYarn

ContainerYarn

ContainerYarn

Container2021/5/929

Node

Agent

Cluster

(Yarn)ComputingDango

–

Yarn

on

Yarn?

全功能調(diào)度

?

計(jì)算和存儲(chǔ)分離可能

?

根據(jù)Ability調(diào)度任務(wù)

?

多集群災(zāi)備

Node

AgentCluster

(Mesos

+

CUDA)

ComputingStorage

Ability

ManagerAbility

RegisterTask

Scheduler

Storage

Manager

StorageRegister2021/5/930TroubleShooting問(wèn)題

Problem：

?

Hadoop默認(rèn)UI不友好

（域名、端口、操作方式）

?

分布式任務(wù)的TroubleShooting需要經(jīng)驗(yàn)

?

小錯(cuò)誤導(dǎo)致的時(shí)間浪費(fèi)（大型人物半途終止）Solution：?

LogStreaming

/

WebViewer

/

LogDownloader?

對(duì)日志的關(guān)鍵條目進(jìn)行分析并展示到UI?

執(zhí)行計(jì)劃預(yù)先推斷20