大數(shù)據(jù)物流可視化解決方案

1、物 流 大 數(shù) 據(jù) 處 理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理統(tǒng)計(jì)/分析挖掘1234567 潘 果第1頁(yè)淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革baidu大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實(shí)時(shí)處理技術(shù)物流大數(shù)據(jù)處理介紹1234目 錄第2頁(yè)【推薦】用大數(shù)據(jù)能力找到商品之間關(guān)系第3頁(yè)【推薦】用大數(shù)據(jù)能力找到商品之間關(guān)系第4頁(yè)你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？第5頁(yè)3132架構(gòu)化1950-1970數(shù)字化1970-1990網(wǎng)絡(luò)化1990-+物聯(lián)網(wǎng)大數(shù)據(jù)Something Big is HappeningNOW移動(dòng)互聯(lián)網(wǎng)云計(jì)算4信息技術(shù)革命小周期智慧化第6頁(yè)51:1 MarketingNanotargeting和Retargetin

2、g第7頁(yè)6第8頁(yè)2IBM IBM 多渠道交通控制交易分析智慧醫(yī)療國(guó)土安全制造金融電信欺詐和風(fēng)險(xiǎn)日志分析搜索質(zhì)量零售：流失、促銷(xiāo) Copyright Corporation大數(shù)據(jù)在各行各業(yè)都能夠取得應(yīng)用2第9頁(yè)4 Copyright CorporationIBM IBM 取得突破性回報(bào)了解關(guān)于客戶一切作快速大量地創(chuàng)新產(chǎn)品和風(fēng)險(xiǎn)利用工具化資產(chǎn)利用大數(shù)據(jù)能力能夠幫助企業(yè)取得突破性回報(bào)利用大數(shù)據(jù)獨(dú)有技術(shù)能力可視化和發(fā)覺(jué)Hadoop執(zhí)行零延遲操數(shù)據(jù)倉(cāng)庫(kù)流計(jì)算文本分析整合和治理多媒體內(nèi)容經(jīng)過(guò)分析仸意大數(shù)據(jù)類型交易 / 應(yīng)用數(shù)據(jù)機(jī)器數(shù)據(jù)社交媒體數(shù)據(jù)實(shí)時(shí)偵測(cè)欺詐4第10頁(yè)11快雜大大數(shù)據(jù)新思維第11頁(yè)13多數(shù)

3、據(jù)源集成浮動(dòng)車(chē)GPS:20M/day手機(jī)位置信息:18M/day居民調(diào)查:80000戶視頻/圖像數(shù)據(jù)和元數(shù)據(jù):100s of TB/dayGIS數(shù)據(jù)供水系統(tǒng)智能電網(wǎng)睡眠質(zhì)量出租車(chē)運(yùn)行數(shù)據(jù):1M/day交通卡:19M/day高速路收費(fèi)數(shù)據(jù):0.5M/day社交網(wǎng)絡(luò)情感分析部分?jǐn)?shù)據(jù)起源:BeijingTOCC第12頁(yè)12大數(shù)據(jù)新方法學(xué)數(shù)據(jù)極大豐富前提下新分析思維和技術(shù)采樣數(shù)據(jù) 全集數(shù)據(jù)多數(shù)據(jù)源整合基于主觀因果假設(shè) 相關(guān)關(guān)系大數(shù)據(jù)+小算法+上下文+知識(shí)積累描述性分析 預(yù)測(cè)性和處方性分析實(shí)時(shí)性 絕對(duì)精確性第13頁(yè)數(shù)據(jù)數(shù)據(jù)中介服務(wù)生態(tài)系統(tǒng)數(shù)據(jù)擁有者大數(shù)據(jù)數(shù)據(jù)中介數(shù)據(jù)技術(shù)企業(yè) 數(shù)據(jù)產(chǎn)品和服務(wù)16第14頁(yè)大

4、數(shù)據(jù)系統(tǒng)設(shè)計(jì)權(quán)衡大致量基于采樣查詢實(shí)時(shí)性流計(jì)算批量計(jì)算準(zhǔn)確性惰性數(shù)據(jù)即席查詢Little data(個(gè)人計(jì)算)19城市計(jì)算增量計(jì)算內(nèi)存計(jì)算第15頁(yè)案例一：大數(shù)據(jù)分析系統(tǒng)架構(gòu)搭建第16頁(yè)baidu數(shù)據(jù)規(guī)模 1001000PB 10100PB/天 千億萬(wàn)億 百億千億 十億百億/天 十億百億/天 100TB1PB/天數(shù)據(jù)總量數(shù)據(jù)處理量網(wǎng)頁(yè)索引更新量請(qǐng)求日志第17頁(yè)離線在線離線分析與在線試驗(yàn)相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品主要?jiǎng)?chuàng)新伎倆算法A算法B算法B經(jīng)過(guò)反饋來(lái)驗(yàn)證算法優(yōu)劣第18頁(yè)搜索引擎迭代5%5%Online LearningA/B test策略機(jī)器學(xué)習(xí)平臺(tái)FeatureTraining數(shù)據(jù)網(wǎng)頁(yè)網(wǎng)頁(yè)庫(kù)倒

5、排表Data Mining第19頁(yè)想法原型系統(tǒng)快速開(kāi)發(fā)測(cè)試產(chǎn)品布署運(yùn)維開(kāi)發(fā)框架互聯(lián)網(wǎng)產(chǎn)品迭代A/B測(cè)試，連續(xù)優(yōu)化數(shù)據(jù)智能驗(yàn)證數(shù)據(jù)分析應(yīng)用引擎云測(cè)試應(yīng)用引擎第20頁(yè)數(shù)據(jù)架構(gòu)技術(shù)互聯(lián)網(wǎng)服務(wù)enable數(shù)據(jù)智能第21頁(yè)IT產(chǎn)業(yè)生產(chǎn)力改變607080900010硬件Mainframe軟件PCInternetInf+人+數(shù)據(jù)Cloud迭代本質(zhì)是讓人參加系統(tǒng)進(jìn)化，而B(niǎo)ig Data為迭代指導(dǎo)方向，Infrastructure則加速迭代。軟件+人第22頁(yè)互聯(lián)網(wǎng)服務(wù)經(jīng)典技術(shù)特點(diǎn)超大規(guī)?？焖俚?3頁(yè)數(shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計(jì)算云計(jì)算技術(shù)體系第24頁(yè)DiskFlashPipeK

6、/VFileTable統(tǒng)一存放體系 平衡大容量、高并發(fā)、低延遲 不一樣訪問(wèn)模式經(jīng)過(guò)組合滿足統(tǒng)一訪問(wèn)與傳輸數(shù)據(jù)訪問(wèn)層P2PCDN分布式存放第25頁(yè)描述能力數(shù)據(jù)流優(yōu)化控制流管理資源分配優(yōu)先級(jí)、并發(fā)控制隔離、安全執(zhí)行層模型層MapReduce表示層SQL-like翻譯JoinSelectTop分布式計(jì)算BCDA第26頁(yè)實(shí)時(shí)存放與計(jì)算kNN查詢平臺(tái)向量計(jì)算引擎流式數(shù)據(jù)處理引擎PubSub引擎機(jī)器學(xué)習(xí)算法平臺(tái)OLAP引擎復(fù)雜事件處理引擎分布式數(shù)據(jù)結(jié)構(gòu)超大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)圖查詢平臺(tái)實(shí)時(shí)檢索平臺(tái)第27頁(yè)向量計(jì)算引擎VectorLayoutMap-ShuffleOperators/ CheckpointSIMDP

7、rogram第28頁(yè)復(fù)雜事件處理average(price)trigger(?,b,c)filter(b)pattern(a-b-c)condition(func(a,b,c)第29頁(yè)流式計(jì)算模型windowstepboundtimeM=Stream第30頁(yè)目標(biāo) 1000PB 10億維特征訓(xùn)練 100維條件查詢 流式 觸發(fā)式海量高維、多維實(shí)時(shí)更大、更復(fù)雜、更加快!第31頁(yè)數(shù)據(jù)智能分布式存放與計(jì)算大規(guī)模人工輔劣標(biāo)注系統(tǒng)人計(jì)算向量引擎MachineLearning算法Web Contents流式處理LogsPubSub推薦系統(tǒng)智能交通Apps自勱評(píng)定商業(yè)智能決議輔劣第32頁(yè)關(guān)于京東第33頁(yè)營(yíng)銷(xiāo)管理

8、供給商管理倉(cāng)儲(chǔ)管理財(cái)務(wù)系統(tǒng)客戶數(shù)據(jù)網(wǎng)站前臺(tái)關(guān)于京東 京東擁有覆蓋企業(yè)全部?jī)r(jià)值鏈穩(wěn)定系統(tǒng)，經(jīng)過(guò)連續(xù)優(yōu)化打造開(kāi)放平臺(tái)，全方面提升用戶體驗(yàn)。配送管理第34頁(yè)大規(guī)模數(shù)據(jù)處理愈加輕易ETL/企業(yè)數(shù)據(jù)倉(cāng)庫(kù)（Hive/Pig/MR）數(shù)據(jù)挖掘/建模（R、Mahout）搜索和推薦日志存放第35頁(yè)“Next Click”運(yùn)行智能風(fēng)險(xiǎn)控制互動(dòng)分析一些場(chǎng)景需要深入考量MapReduce批量處理=延遲較長(zhǎng)無(wú)法滿足用戶實(shí)時(shí)需求調(diào)度開(kāi)銷(xiāo)較大第36頁(yè)批處理與分析近實(shí)時(shí)分析實(shí)時(shí)流處理實(shí)時(shí)性離線準(zhǔn)實(shí)時(shí)/實(shí)時(shí)實(shí)時(shí)處理時(shí)間分鐘到小時(shí)毫秒到秒連續(xù)不停數(shù)據(jù)量TB-PBGB-TB連續(xù)編程模型MapReduceQueriesDAG用戶分析師

9、/開(kāi)發(fā)者分析師/開(kāi)發(fā)者開(kāi)發(fā)者成本中高高應(yīng)用ETL/數(shù)據(jù)挖掘/預(yù)處理數(shù)據(jù)決議分析/大數(shù)據(jù)包含三部分第37頁(yè)服務(wù)模型 性能大數(shù)據(jù)實(shí)時(shí)處理思索第38頁(yè) 模型 海量數(shù)據(jù) 數(shù)據(jù)量大 并發(fā)數(shù)高 多個(gè)數(shù)據(jù)源整合 預(yù)定義好數(shù)據(jù)模型 去規(guī)格化 數(shù)據(jù)任務(wù)依賴關(guān)系簡(jiǎn)單 推和拉問(wèn)題 拉比推好大數(shù)據(jù)實(shí)時(shí)處理思索第39頁(yè) 性能 高并發(fā)需求 大容量需求 GBTB 級(jí)后臺(tái)數(shù)據(jù)處理吞吐 高速度需求 從數(shù)據(jù)產(chǎn)生處處理完成結(jié)果延遲要求到秒級(jí) 計(jì)算需要在短時(shí)間內(nèi)完成 批處理預(yù)算 硬件支持 內(nèi)存、CPU、網(wǎng)絡(luò) 容錯(cuò) 水平擴(kuò)展大數(shù)據(jù)實(shí)時(shí)處理思索第40頁(yè)關(guān)聯(lián)獲取價(jià)值，維度按需定制互動(dòng)分析、報(bào)表等完成價(jià)值交付與其它在線生產(chǎn)系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接（

10、數(shù)據(jù)反哺）計(jì)算即服務(wù)大數(shù)據(jù)實(shí)時(shí)處理思索 服務(wù)第41頁(yè)生產(chǎn)數(shù)據(jù)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)實(shí)時(shí)處理架構(gòu)財(cái)務(wù)數(shù)據(jù)集市采銷(xiāo)數(shù)據(jù)集市羅盤(pán)數(shù)據(jù)集市分析挖掘數(shù)據(jù)集數(shù)據(jù)緩沖區(qū)企業(yè)消息總線流式計(jì)算集群實(shí)時(shí)數(shù)據(jù)同時(shí)模型日志系統(tǒng)高速存取集群在線實(shí)時(shí)計(jì)算集群持久 化PUSHPULL/PUSH訂閱ELTELT高速存取集群ETL報(bào)表應(yīng)用分析應(yīng)用推薦應(yīng)用.數(shù)據(jù)推送中心近實(shí)時(shí)分析集群近實(shí)時(shí)計(jì)算實(shí)時(shí)計(jì)算在線服務(wù)離線計(jì)算應(yīng)用分布式消息系統(tǒng)緩存集群第42頁(yè)日志（用戶行為、）批量同時(shí)消息隊(duì)列 開(kāi)源技術(shù)FlumeScribeKafka大數(shù)據(jù)實(shí)時(shí)處理技術(shù) 數(shù)據(jù)傳輸?shù)?3頁(yè) Apache項(xiàng)目：/ 一個(gè)分布式公布/訂閱消息系統(tǒng) 術(shù)語(yǔ) Topics

11、 消息分組 Brokers 消息存放 Producers 消息生產(chǎn)者 Consumers 消息消費(fèi)者Kafka第44頁(yè)大數(shù)據(jù)實(shí)時(shí)處理技術(shù) 幾個(gè)點(diǎn)SinkAgentAgentStorm等Broker(Topic1)Broker(Topic2)HDFSZookeeper解耦緩沖容錯(cuò)透明跨數(shù)據(jù)中心數(shù)據(jù)分發(fā)FlumeKafka第45頁(yè)HadoopHBaseCassandraMongoDBRedis 數(shù)據(jù)庫(kù)Sharding 適當(dāng)就是最好大數(shù)據(jù)實(shí)時(shí)處理技術(shù) 存放 大容量低速存放 高速存放 KV存放 開(kāi)源NoSQL數(shù)據(jù)存放第46頁(yè)可加計(jì)算、不可加計(jì)算實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)計(jì)算實(shí)時(shí)數(shù)據(jù)計(jì)算數(shù)據(jù)實(shí)時(shí)計(jì)算 開(kāi)源計(jì)算框架 S

12、torm Impala 大數(shù)據(jù)實(shí)時(shí)處理技術(shù) 計(jì)算第47頁(yè)大數(shù)據(jù)實(shí)時(shí)分析明細(xì)事實(shí)表聚合表1聚合表2聚合表3第48頁(yè) 基本概念 Streams（流） 元組序列 Spouts 流源頭 Bolts Functions, Filters, Joins, Aggregations Topologies 優(yōu)點(diǎn) 可擴(kuò)展、容錯(cuò)、易用 在內(nèi)存中執(zhí)行流式計(jì)算Storm Twitter開(kāi)源分布式處理框架SpoutsBoltTopologies第49頁(yè) Nimbus 主控節(jié)點(diǎn)，用于任務(wù)分配，集群任務(wù)監(jiān)控等 Zookeeper 集群中協(xié)調(diào)，共有數(shù)據(jù)存放(如心跳信息) Supervisor 對(duì)應(yīng)一臺(tái)物理機(jī)，用于開(kāi)啟work

13、er Worker 工作進(jìn)程，負(fù)責(zé)開(kāi)啟task，以及經(jīng)過(guò)zeromq進(jìn)行tuple分發(fā)，與接收。 Task 工作線程,任務(wù)處理Storm布署第50頁(yè)Storm應(yīng)用模式用戶查詢大數(shù)據(jù)存放數(shù)據(jù)視圖集（批處理）數(shù)據(jù)流HadoopStorm數(shù)據(jù)視圖集（實(shí)時(shí)處理）數(shù)據(jù)流數(shù)據(jù)視圖集（實(shí)時(shí)處理）數(shù)據(jù)視圖集（實(shí)時(shí)處理）第51頁(yè)流式計(jì)算第52頁(yè)流式計(jì)算應(yīng)用事件搜集器Storm前段展現(xiàn) 事件驅(qū)動(dòng)實(shí)現(xiàn)第53頁(yè) 注意 內(nèi)存泄露 消息堆積 算法模塊拆分流式計(jì)算第54頁(yè)分析可視化數(shù)據(jù)可視化數(shù)據(jù)反哺計(jì)算即服務(wù) 仔細(xì)思索其價(jià)值實(shí)時(shí)統(tǒng)計(jì)：最流行廣告CTR預(yù)測(cè)ETL：格式轉(zhuǎn)換、重復(fù)值過(guò)濾、運(yùn)行需求：資源調(diào)派大數(shù)據(jù)實(shí)時(shí)處理技術(shù) 服

14、務(wù)和應(yīng)用 價(jià)值展現(xiàn)第55頁(yè) 對(duì)系統(tǒng)壓力 數(shù)據(jù)量 數(shù)據(jù)展現(xiàn) 數(shù)據(jù)讀寫(xiě)和傳輸 處理方法 前端和后端解耦 緩存應(yīng)用 JS發(fā)揮前端能力 壓縮 排隊(duì) 異步、非阻塞IO模型 線程池 事件驅(qū)動(dòng) 后端更強(qiáng)勁 數(shù)據(jù)庫(kù)集群：分庫(kù)、分表、分區(qū) NoSQL數(shù)據(jù)庫(kù)：Hbase、MongoDB等數(shù)據(jù)應(yīng)用問(wèn)題第56頁(yè)淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革第57頁(yè)淘寶數(shù)據(jù)四階段 被動(dòng)響應(yīng)年前 主動(dòng)變革- 優(yōu)化完善- 引領(lǐng)驅(qū)動(dòng)-第58頁(yè)數(shù)據(jù)系統(tǒng)變遷年前數(shù)據(jù)庫(kù)(集群)腳本簡(jiǎn)單調(diào)度數(shù)據(jù)報(bào)表-Hadoop集群調(diào)度監(jiān)控實(shí)時(shí)日志傳輸數(shù)據(jù)門(mén)戶多維分析-Hadoop集群DXP公有云實(shí)時(shí)Storm調(diào)度監(jiān)控實(shí)時(shí)日志傳輸實(shí)時(shí)數(shù)據(jù)庫(kù)同時(shí)數(shù)據(jù)門(mén)戶自助查詢工具元數(shù)

15、據(jù)管理-數(shù)據(jù)驅(qū)動(dòng)新模式探索第59頁(yè)調(diào)度監(jiān)控業(yè)務(wù)庫(kù)（Mysql）Log Server外部數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)計(jì)算平臺(tái)數(shù)據(jù)門(mén)戶多維自助查詢平臺(tái)OpenAPI數(shù)據(jù)平臺(tái)架構(gòu)數(shù)據(jù)應(yīng)用數(shù)據(jù)收集DBSyncTTDataXHiveHDFSHbase實(shí)時(shí)計(jì)算StormOceanBase分布式集群量子恒道在云端接入數(shù)據(jù)魔方DXP數(shù)據(jù)交換平臺(tái)冷數(shù)據(jù)集群第60頁(yè)數(shù)據(jù)應(yīng)用格局第61頁(yè)對(duì)外數(shù)據(jù)產(chǎn)品 數(shù)據(jù)魔方/淘寶指數(shù)行業(yè)趨勢(shì)人群特征成交排行市場(chǎng)細(xì)分 量子恒道銷(xiāo)售分析營(yíng)銷(xiāo)效果起源分析 搜索排行榜第62頁(yè)對(duì)外數(shù)據(jù)產(chǎn)品 淘寶時(shí)光機(jī)/回想感動(dòng) 排行榜第63頁(yè)對(duì)外數(shù)據(jù)產(chǎn)品-淘寶指數(shù)第64頁(yè)對(duì)外數(shù)據(jù)產(chǎn)品-量子恒道第65頁(yè)數(shù)據(jù)嵌入產(chǎn)品中 搜

16、索匹配、排序 廣告匹配、排序 推薦 商家后臺(tái)數(shù)據(jù) 營(yíng)銷(xiāo)效果直通車(chē)、展示廣告、淘寶客第66頁(yè)內(nèi)部數(shù)據(jù)服務(wù) 淘數(shù)據(jù)門(mén)戶用戶分析商家云圖活動(dòng)效果分析例行數(shù)據(jù)報(bào)表 在云端低門(mén)檻接入分布式集群周活躍用戶1000+第67頁(yè)內(nèi)部數(shù)據(jù)服務(wù) 多維數(shù)據(jù)自助查詢平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)和索引技術(shù)結(jié)合隨意組合維度秒級(jí)返回 日常數(shù)據(jù)需求管理數(shù)據(jù)接口人第68頁(yè)數(shù)據(jù)工具 天網(wǎng)調(diào)度 元數(shù)據(jù)管理 數(shù)據(jù)地圖-定位、血緣分析 DataX異源數(shù)據(jù)傳輸 TimeTunnel實(shí)時(shí)日志傳輸 監(jiān)控報(bào)警 生命周期管理第69頁(yè)新探索 金融服務(wù)小微企業(yè)貸款個(gè)人消費(fèi)貸款 全網(wǎng)精準(zhǔn)營(yíng)銷(xiāo)DMP、DSP、AD Exchange、RTB 無(wú)線與PC數(shù)據(jù)打通 數(shù)據(jù)交換第70頁(yè)一些觀點(diǎn) 數(shù)據(jù)處理是伎倆，數(shù)據(jù)應(yīng)用是根本 云系統(tǒng)運(yùn)維能力是關(guān)鍵競(jìng)爭(zhēng)力 整合關(guān)聯(lián)讓數(shù)據(jù)價(jià)值指數(shù)級(jí)增加 數(shù)據(jù)可視化很主要 想大做小，迭代優(yōu)化 關(guān)于隱私隱私和服務(wù)權(quán)衡控制使用比控制搜集更有效不針對(duì)詳細(xì)個(gè)體第71頁(yè)初識(shí)物流物流信息技術(shù)物流信息平臺(tái)概念發(fā)展歷程第72頁(yè)物流概念（Logistics）起源于二戰(zhàn)軍事（運(yùn)輸管理、倉(cāng)儲(chǔ)管理和庫(kù)存管理 ）物流管理：除運(yùn)輸外需求預(yù)測(cè)、采購(gòu)、生產(chǎn)計(jì)劃、存貨管理、配送與客戶服務(wù)等 第73頁(yè)第74頁(yè)物流信息技術(shù)條碼技術(shù)射頻技術(shù)第75頁(yè)物流信息技術(shù)EDI技術(shù)G