亞馬遜大規(guī)模應(yīng)用機(jī)器學(xué)習(xí)的MLOps實(shí)踐

亞馬遜大規(guī)模應(yīng)用機(jī)器學(xué)習(xí)的MLOps實(shí)踐議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來(lái)的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來(lái)的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享用戶配送A商品選擇商品打包購(gòu)買(mǎi)為兌現(xiàn)這一承諾，需要進(jìn)行哪些工作預(yù)測(cè)容量采購(gòu)庫(kù)存放置物流每天4億件商品預(yù)測(cè)20

+物流中心，

萬(wàn)

機(jī)器人，300+1.9萬(wàn)輛拖車(chē)，3萬(wàn)+配送車(chē)準(zhǔn)時(shí)配送承諾（2019年，為AmazonPrime客戶配送了超過(guò)10億個(gè)包裹）亞馬遜物流中心

——

人類(lèi)與機(jī)器人的協(xié)奏曲?

計(jì)算機(jī)追蹤數(shù)百萬(wàn)隨機(jī)存放的貨品?

機(jī)器人隊(duì)列將貨架帶給工作人員?

通過(guò)

BinVision

System(物料倉(cāng)儲(chǔ)視覺(jué)系統(tǒng))

指導(dǎo)收貨/取貨活動(dòng)為什么運(yùn)輸包裝很重要？逐步減少越來(lái)越多比同等大小的包裝箱輕75%運(yùn)輸過(guò)程中占用的空間減少40%亞馬遜大規(guī)模的應(yīng)用人工智能和機(jī)器學(xué)習(xí)議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來(lái)的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享以手工及簡(jiǎn)單工具在坊間作業(yè)的生產(chǎn)方式?

每個(gè)人在各自的環(huán)境中工作?

使用不同的工具?

不容易合作?

不容易規(guī)?；I(yè)化帶來(lái)專(zhuān)業(yè)化規(guī)模化軟件開(kāi)發(fā)領(lǐng)域里對(duì)工程方法的系統(tǒng)應(yīng)用機(jī)器學(xué)習(xí)的生命周期展開(kāi)來(lái)看機(jī)器學(xué)習(xí)的生命周期1.

從客戶的業(yè)務(wù)目標(biāo)/機(jī)會(huì)逆向工作。2.

框定適合業(yè)務(wù)需求的機(jī)器學(xué)習(xí)問(wèn)題。3.

收集適合當(dāng)前機(jī)器學(xué)習(xí)用例的數(shù)據(jù)。4.

在預(yù)處理階段對(duì)數(shù)據(jù)進(jìn)行清理、排序和標(biāo)準(zhǔn)化。5.

設(shè)計(jì)適合機(jī)器學(xué)習(xí)方法和業(yè)務(wù)用例的特征。-

與業(yè)務(wù)領(lǐng)域?qū)＜?/p>

一起設(shè)計(jì)特征，以確保其準(zhǔn)確性和可解釋性。6.

迭代訓(xùn)練模型，并針對(duì)業(yè)務(wù)用例進(jìn)行優(yōu)化。7.

在強(qiáng)大的基礎(chǔ)架構(gòu)中部署機(jī)器學(xué)習(xí)應(yīng)用程序。8.

監(jiān)控?cái)?shù)據(jù)、基礎(chǔ)設(shè)施和模型輸出以維護(hù)業(yè)務(wù)價(jià)值。數(shù)據(jù)之于機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)項(xiàng)目的大約99%嗎？機(jī)器學(xué)習(xí)項(xiàng)目的大約1%嗎？準(zhǔn)備工作執(zhí)行過(guò)程采購(gòu)和準(zhǔn)備高質(zhì)量的原料采購(gòu)和準(zhǔn)備高質(zhì)量的數(shù)據(jù)做一頓飯模型訓(xùn)練機(jī)器學(xué)習(xí):

Pilots

vs

OperationalisingPilot階段階段OperationalModelEvaluationExperimentsDataVerificationInfrastructureManagementServingInfrastructureDataCollectionConfigurationServingInfrastructureML代碼Analysis

&Evaluations機(jī)器學(xué)習(xí)代碼ContinuousDataCollectionConfigurationMonitoringDataVerificationProcessManagementETLMonitoringTestingContinuousIntegrationAutomationTestingManagementToolsAutomationCI/CDContinuousDeployment目標(biāo):回答“是否可行，應(yīng)該繼續(xù)采用ML？”的問(wèn)題目標(biāo):將系統(tǒng)投入生產(chǎn)并實(shí)現(xiàn)預(yù)期的商業(yè)價(jià)值得到的結(jié)果我們的目標(biāo)MLOps-

MLOps

是交付機(jī)器學(xué)習(xí)解決方案的一PeopleMLOps系列人員、技術(shù)和流程的組合。-

架構(gòu)良好的

MLOps

賦能企業(yè)有效且一致地將機(jī)器學(xué)習(xí)模型部署到生產(chǎn)中，并提供業(yè)務(wù)價(jià)值。TechnologyProcesses實(shí)現(xiàn)

MLOps

的必要條件?

MLpipelines?

數(shù)據(jù)倉(cāng)庫(kù)?

Datapipelines?

CI/CD技術(shù)流程?

模型開(kāi)發(fā)環(huán)境?

模型推理基礎(chǔ)架構(gòu)?

訓(xùn)練?

部署?

Monitoring?

Logging?

性能?

治理?

所涉及的角色(Data

scientist,MLengineer,SysOps,etc)人員?

能力?

協(xié)作?

文化議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來(lái)的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享業(yè)務(wù)用例：搜索相關(guān)性?

搜索和發(fā)現(xiàn)體驗(yàn)?

如果您在亞馬遜上搜索要購(gòu)買(mǎi)的產(chǎn)品，您使用的是亞馬遜搜索！?

索引全球所有產(chǎn)品?

使用

ML

將相關(guān)且有趣的商品與每位客戶查詢(xún)進(jìn)行匹配搜索與商品的召回有序的商品列表無(wú)序的召回結(jié)果搜索詞MatchingRanking搜索與商品的召回BehavioralsignalBehavioraldata有序的商品列表無(wú)序的召回結(jié)果Keywordmatching搜索詞RankingSemanticmatchingSemantic

similarity如何提高相關(guān)性并減少稀疏查詢(xún)搜索結(jié)果？使用語(yǔ)義召回增強(qiáng)商品搜索匹配搜索與商品的語(yǔ)義召回最大化（搜索詞與高購(gòu)買(mǎi)可能性產(chǎn)品）對(duì)之間的相似性最小化（搜索詞與不相關(guān)產(chǎn)品）對(duì)之間的相似性搜索與商品的語(yǔ)義召回將搜索詞和商品映射到共享的

embedding

spaceShared

embedding|V|

X

2564

6

7

8

21

3

2NikeRedOutdoor

running

shoesBurgundyjogging

shoesBrand

ColorTitleProductQuery搜索與商品的召回COSTanhBatchnormTanh?

平均池化神經(jīng)網(wǎng)絡(luò)架構(gòu)?

數(shù)十億參數(shù)和

TB

數(shù)據(jù)Batchnorm余弦相似性Avg

pooling?

Similarity=Shared

embedding|V|

X

256以前的基礎(chǔ)架構(gòu)控制平面數(shù)據(jù)平面數(shù)據(jù)處理(Hadoop

or

Spark)模型訓(xùn)練Amazon

S3Amazon

EC2Amazon

Batch定制工作流Amazon

ECR面臨的挑戰(zhàn)?

一些組件自構(gòu)建以來(lái)就沒(méi)有經(jīng)歷過(guò)代際架構(gòu)變化?

碎片化的自定義代碼、管道、評(píng)估工具?

重復(fù)開(kāi)發(fā)：難以調(diào)試，難以擴(kuò)展?

有限的敏捷性：體力勞動(dòng)和保姆式的維護(hù)?

慢迭代：上市時(shí)間長(zhǎng)?

運(yùn)營(yíng)風(fēng)險(xiǎn)：有限或沒(méi)有血緣跟蹤，沒(méi)有模型注冊(cè)更新后的基礎(chǔ)架構(gòu)ML

OpsModelanalysisOrchestrated

experimentDataModelpipelinedeploymentSourcecodeDataanalysisDatapreparationModeltrainingModelevaluationModelvalidationSourcerepositoryvalidation數(shù)據(jù)科學(xué)家實(shí)驗(yàn)/開(kāi)發(fā)/測(cè)試生產(chǎn)/再生產(chǎn)TrainedmodelDatapipelinesModelregistryFeaturestoreAutomated

model

building

pipelineModelservingDatavalidationDatapreparationModeltrainingModelevaluationModelvalidationMLmetadata

storePerformancemonitoringInferenceserviceTriggerMLOps:AmazonSearch控制平面數(shù)據(jù)平面3VPCAmazon

ECRAmazon

S3Amazon

CloudWatchStepFunctions215VPC4AmazonEventBridgeAPI用戶SageMaker

PipelinesSageMakerStudioSageMaker

modelDynamoDB效果僅其中一個(gè)模型將數(shù)據(jù)科學(xué)家生產(chǎn)力提高至少

10%將實(shí)驗(yàn)速度提高至少

3

倍就節(jié)省

了20%的部署和維護(hù)時(shí)間更多價(jià)值收集和準(zhǔn)備數(shù)據(jù)在notebooks數(shù)據(jù)標(biāo)注偏差檢查特征存儲(chǔ)中可視化挑選算法訓(xùn)練模型參數(shù)調(diào)優(yōu)生產(chǎn)部署管理和監(jiān)控CI/CD提升機(jī)器學(xué)習(xí)卓越運(yùn)營(yíng)議程?

亞馬遜應(yīng)用人工智能和機(jī)器學(xué)習(xí)的概況?

機(jī)器學(xué)習(xí)與MLOps?

實(shí)踐中的挑戰(zhàn)及SageMaker帶來(lái)的改進(jìn)?

經(jīng)驗(yàn)總結(jié)與分享MLOps目標(biāo)在生產(chǎn)中標(biāo)準(zhǔn)化機(jī)器學(xué)習(xí)并最大限度地縮短交付時(shí)間數(shù)據(jù)科學(xué)家專(zhuān)注于創(chuàng)新而不是基礎(chǔ)設(shè)施促進(jìn)知識(shí)和代碼的可重用性和共享性AI/ML應(yīng)用增加在運(yùn)營(yíng)中，清晰定義機(jī)器學(xué)習(xí)應(yīng)用及運(yùn)營(yíng)模式模塊算法VPCMLpipeline生成器算法目錄Pushupdates代碼數(shù)據(jù)科學(xué)家Pipelineblueprint數(shù)據(jù)科學(xué)家逐步消除應(yīng)用人工智能與機(jī)器學(xué)習(xí)道路上的障礙