互聯(lián)網(wǎng)電商離線大數(shù)據(jù)分析實踐

1、互聯(lián)網(wǎng)電商離線大數(shù)據(jù)分析最佳實踐技術(shù)創(chuàng)新，變革未來場景描述電商網(wǎng)站銷售數(shù)據(jù)通過大數(shù)據(jù)分析后將業(yè)務(wù)指標(biāo)數(shù)據(jù)在大屏幕上展示，如銷售指標(biāo)、客戶指標(biāo)、銷售排名、訂單 地區(qū)分布等。大屏上銷售數(shù)據(jù)可視化動態(tài)展示，效果震撼，觸控大屏支持用戶自助查詢數(shù)據(jù)，極大地增強(qiáng)數(shù)據(jù)的 可讀性。適用場景電商網(wǎng)站數(shù)據(jù)看板全國/全球業(yè)務(wù)態(tài)勢分析互聯(lián)網(wǎng)金融風(fēng)險數(shù)據(jù)監(jiān)控行業(yè)標(biāo)簽 ：互聯(lián)網(wǎng)、新零售、金融、通用產(chǎn)品標(biāo)簽：MaxCompute、RDS、ECS、Dataworks、DataV、VPC、EIP等實現(xiàn)架構(gòu)架構(gòu)說明：用戶訂單等數(shù)據(jù)同步到MaxCompute。通過Dataworks對原始數(shù)據(jù)進(jìn)行處理并 形成開放API。需要展示的結(jié)

2、果數(shù)據(jù)以API的形式通過 DataV在大屏上展示。MaxCompute產(chǎn)品介紹大規(guī)模彈性資源池SQLMRFuxi(資源管理及任務(wù)調(diào)度)全局元數(shù)據(jù)圖計算Spark交互式MaxCompute Engine(通用并行計算框架)Pangu(大規(guī)模分布式存儲服務(wù))New SQLJavaPythonMaxCompute生態(tài)工具(Dataworks、Studio、QuickBI、3rd Party工具)MaxComputeMaxCompute向用戶提供了豐富的大數(shù)據(jù)開發(fā)工具、完善的數(shù)據(jù)導(dǎo)入導(dǎo)出方案以及多種經(jīng)典的分布式計算 模型。能夠最快速地解決用戶海量數(shù)據(jù)計算問題，有效降低企業(yè)大數(shù)據(jù)計算平臺的總體擁有成本，

3、提高大 數(shù)據(jù)應(yīng)用開發(fā)效率，并保障數(shù)據(jù)在云計算環(huán)境的安全。全托管的Serverless、多租戶模式，作業(yè)級別的自動彈性伸縮，免平臺運維及配置調(diào)優(yōu)勢。支持按作業(yè)付費、預(yù)占計算資源付費、打包套餐等多種付費方案，滿足最靈活的客戶購買需求。多功能：提供SQL/MR/Spark/機(jī)器學(xué)習(xí)/圖計算等多種計算能力，避免為計算而搬數(shù)據(jù)。高性能計算引擎：隨著數(shù)據(jù)規(guī)模的增加，性能線性增長，超越競品的性能優(yōu)勢。安全的數(shù)據(jù)平臺：原生的多租戶系統(tǒng)，以項目進(jìn)行隔離，所有計算任務(wù)在安全沙箱中運行，支持ACL+Policy+Label細(xì)粒度授權(quán)，支持?jǐn)?shù)據(jù)KMS加密，支持行為審計 (即將發(fā)布)。生態(tài)開放：高度兼容Hive、支持原

4、生的Spark應(yīng)用、支持Python生態(tài)(PyODPS)、第三方BI工具。企業(yè)級管理能力：完整的批量(Tunnel)/實時(Datahub)數(shù)據(jù)接入能力、Dataworks數(shù)據(jù)開發(fā)/應(yīng)用生產(chǎn)運維/數(shù)據(jù)管理/數(shù)據(jù)質(zhì)量，快速構(gòu)建企業(yè)級數(shù)據(jù)服務(wù)平臺。產(chǎn)品架構(gòu)產(chǎn)品特點云原生服務(wù)架構(gòu)：MaxCompute五大產(chǎn)品特性開箱即用 在線服務(wù)高效能 低成本安全 可靠支持多種 分布式計算模型生態(tài)融合五分鐘即可開通大數(shù)據(jù)平臺持續(xù)高效低成本的大數(shù)據(jù)引擎多租戶數(shù)據(jù)安全保障機(jī)制滿足不同場景下的技術(shù)需求支持多樣數(shù)據(jù)源、生態(tài)工具和標(biāo)準(zhǔn)MaxCompute優(yōu)缺點評估HadoopMaxCompute優(yōu)點Hadoop生態(tài)、組件豐富

5、；超大規(guī)模擴(kuò)展能力；按需僅計算和存儲收費，TCO幫助節(jié)省50-70%；數(shù)據(jù)統(tǒng)一、元數(shù)據(jù)統(tǒng)一、資源調(diào)度統(tǒng)一、安全統(tǒng)一、多租戶的 權(quán)限認(rèn)證，多層沙箱防護(hù)、網(wǎng)絡(luò)隔離、數(shù)據(jù)細(xì)粒度管理；阿里云產(chǎn)品之間集成度較高；集群完全托管免運維、提供數(shù)據(jù)恢復(fù)、三副本保證；不足固定的機(jī)型，軟件版本，手動部署； 租用費高，需要人工運維，成本高；需要搭建額外的消息中間件集群 or 關(guān)系型數(shù)據(jù) 庫；需要額外的安全機(jī)制；多集群多組件版本帶來的可靠性下降；數(shù)據(jù)實時寫入，實時可見；主要是批的場景，流的場景需要客戶對接Flink。方案優(yōu)勢 大規(guī)模存儲：超大規(guī)模存儲自動擴(kuò)容，最大可支持EB級別的數(shù)據(jù)。 高性能：同時性能更穩(wěn)定;如 1T

6、B 數(shù)據(jù)規(guī)模的 TPC-DS, MaxCompute 比 Spark 快 28%,比 Hive 快 76%,比 Impala 快 7%。 低成本：相比自建降低30%以上成本。 安全：原生的多租戶系統(tǒng)，以項目進(jìn)行隔離，所有計算任務(wù)在安全沙箱中運行。 圖形化編輯界面，拖拽就可以完成專業(yè)級大數(shù)據(jù)可視化。方案適配難度 本方案包含Step by Step，可以由文檔使用者自行完成。 本方案適合做開發(fā)者或架構(gòu)師做互聯(lián)網(wǎng)、電商行業(yè)離線數(shù)據(jù)大數(shù)據(jù)分析及大屏展示 PoC驗證使用。 部署該方案需要理解SQL語言，難度適中。Step by Step步驟一：電商網(wǎng)站Demo搭建步驟二：Dataworks大數(shù)據(jù)處理 步驟三