大數(shù)據(jù)與智慧物流

1、大數(shù)據(jù)與智慧物流隨著大數(shù)據(jù)時代的到來，云計算和大數(shù)據(jù)技術(shù)加快向物流業(yè)滲透，通過海量的物流數(shù)據(jù)挖掘新的商業(yè)價值。物流之爭在一定程度上逐漸演變?yōu)榇髷?shù)據(jù)技術(shù)之爭。在大數(shù)據(jù)技術(shù)的支持下，人與物流設(shè)備之間、設(shè)備與設(shè)備之間形成更加密切的結(jié)合，形成一個功能龐大的智慧物流系統(tǒng)，實現(xiàn)物流管理與物流作業(yè)的自動化與智能化。可以說，大數(shù)據(jù)技術(shù)是構(gòu)建智慧物流的基礎(chǔ)。京東商城作為中國最大的自營式B2c電商平臺，流轉(zhuǎn)著千萬級的訂單數(shù)據(jù)信息，京東大數(shù)據(jù)擁有覆蓋供應鏈最前端的供應商到末端最終用戶的整個信息數(shù)據(jù)，無論廣度、完整度，還是自營模式所獨有的用戶數(shù)據(jù)準確度都獨具優(yōu)勢。為了深入系統(tǒng)地展示大數(shù)據(jù)在智慧物流各個環(huán)節(jié)的應用及其發(fā)

2、揮的重要作用，本刊特邀數(shù)位京東大數(shù)據(jù)專家以大數(shù)據(jù)與智慧物流為話題，根據(jù)京東的最佳實踐，包括如何利用大數(shù)據(jù)技術(shù)來實現(xiàn)物流網(wǎng)絡(luò)布局、倉儲運營管理優(yōu)化，運輸路由的最優(yōu)策略、物流開放業(yè)務個性化、以及物流決策系統(tǒng)的實現(xiàn)等內(nèi)容，以連載的方式詳細介紹，希望為業(yè)內(nèi)提供借鑒。1、 大數(shù)據(jù)與智慧物流概述智慧物流就是以大數(shù)據(jù)處理技術(shù)為基礎(chǔ)，利用軟件系統(tǒng)把人和設(shè)備更好地結(jié)合起來，系統(tǒng)不斷提升智能化水平，讓人和設(shè)備能夠發(fā)揮各自的優(yōu)勢，達到系統(tǒng)最佳的狀態(tài)，并且不斷進化。在“互聯(lián)網(wǎng)+”的大環(huán)境下，智慧物流成為業(yè)界一致追求，智慧物流的基礎(chǔ)就是大數(shù)據(jù)相關(guān)的技術(shù)。以大數(shù)據(jù)為基礎(chǔ)的智慧物流，在效率、成本、用戶體驗等方面將具有極大的

3、優(yōu)勢，也將從根本上改變目前物流運行的模式，“雙11”就是典型的案例。2、 大數(shù)據(jù)的發(fā)展過程及價值大數(shù)據(jù)的發(fā)展可以分為三個階段。首先是數(shù)的產(chǎn)生，早在公元前8000年，兩河流域的蘇美爾人將各種形狀的小的粘土記號像珠子一樣串在一起，保留記數(shù)實物來記數(shù)信息。第二階段是產(chǎn)生于近代的數(shù)據(jù)科學，是以統(tǒng)計學作為基礎(chǔ)，一個重要的假設(shè)就是采樣遵守獨立同分布，其中很大的原因就是當時的技術(shù)對于巨量的數(shù)據(jù)無法進行計算，或者成本無法承受。2014年，隨著技術(shù)的發(fā)展，特別是云計算等技術(shù)的成熟，巨量數(shù)據(jù)的計算存儲都不再是問題，并且大數(shù)據(jù)應用顯現(xiàn)出巨大價值的時候。第三階段，大數(shù)據(jù)時代就到來了。大數(shù)據(jù)時代的顯著特征之一就是可以利

4、用數(shù)據(jù)的相關(guān)性來解決問題，而不只是依賴因果關(guān)系，創(chuàng)新的數(shù)據(jù)應用開始層出不窮。而基于大數(shù)據(jù)技術(shù)的深度學習等人工智能的發(fā)展，特別是谷歌AlphaGo的成功，是個標志性事件，讓我們更加認識到大數(shù)據(jù)技術(shù)可以突破人的認知能力極限，因此，一個真正革新的時代來臨了。大數(shù)據(jù)的價值不僅在于其原始價值，更在于數(shù)據(jù)之間的連接、大數(shù)據(jù)擴展、再利用和重組。例如，京東利用物流大數(shù)據(jù)加上用戶交易數(shù)據(jù)，推出的移動商店就大受歡迎。另外，大數(shù)據(jù)開放對于提升整個社會的發(fā)展水平具有重要作用。大數(shù)據(jù)作為數(shù)字資產(chǎn)，可以重復利用，不像資源類的零和游戲，政府、協(xié)會等社會組織可以收集數(shù)據(jù)脫敏后對社會開放，為社會服務，創(chuàng)造出更大的社會價值。3、

5、 大數(shù)據(jù)是構(gòu)建智慧物流的基礎(chǔ)京東商城依托物流的優(yōu)勢，快速崛起，目前已經(jīng)成為自營B2c電商的領(lǐng)頭羊。其整個物流系統(tǒng)日處理數(shù)量達到百萬級，大促銷期間甚至高達上千萬，物流操作人員多達數(shù)十萬，龐大的業(yè)務規(guī)模下，智慧化物流系統(tǒng)成為迫切需求。青龍系統(tǒng)作為支撐京東物流的核心系統(tǒng)，不僅保證了京東物流的準時高效，同時保證了極高的用戶體驗，在京東的不斷發(fā)展過程中，青龍系統(tǒng)也逐漸為外界矚目，從2012年研發(fā)版本1.0到目前的6.0的演進過程中，我們逐步認識到，以大數(shù)據(jù)處理為核心的系統(tǒng)是構(gòu)建智慧物流的關(guān)鍵?！按髷?shù)據(jù)”的經(jīng)典定義可以歸納為4個V:海量的數(shù)據(jù)規(guī)模(volume)、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)數(shù)據(jù)體系(veloci

6、ty)、多樣的數(shù)據(jù)類型(variety)和巨大的數(shù)據(jù)價值(value)。從青龍系統(tǒng)看，每天處理億級數(shù)據(jù)，具有海量信息的數(shù)據(jù)規(guī)模；支持快速的數(shù)據(jù)流轉(zhuǎn)，實現(xiàn)了物流各個節(jié)點實時數(shù)據(jù)監(jiān)控優(yōu)化；系統(tǒng)處理各種各樣的信息，包含了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)具有極大的價值，如推動系統(tǒng)成本和效率優(yōu)化1%則可以節(jié)約上億成本。因此,青龍系統(tǒng)具有顯著的大數(shù)據(jù)特征。IIIIII物說度75怪必三刊物流就0133«物用游噴分化韻曲防審優(yōu)化智能硬件互聯(lián)網(wǎng)青龍系統(tǒng)分瓶星統(tǒng)配送笳統(tǒng)君同京維物威網(wǎng)MB曾案送吧，照考運營體系我們在實戰(zhàn)中認識到，把大數(shù)據(jù)轉(zhuǎn)化為智慧系統(tǒng)，需要具備兩個基礎(chǔ)。第一，業(yè)務數(shù)據(jù)化，并且具有數(shù)據(jù)質(zhì)量保障。

7、京東物流在青龍系統(tǒng)的支撐下，實現(xiàn)了所有物流操作的線上化，也就數(shù)據(jù)化，并且，對每個操作環(huán)節(jié)都可以進行實時分析，這就奠定了很好的數(shù)據(jù)基礎(chǔ)。如果業(yè)務都是線下操作，或者系統(tǒng)無法準確及時收集數(shù)據(jù)，那么，即使數(shù)據(jù)量夠大，缺乏關(guān)鍵數(shù)據(jù)和數(shù)據(jù)不準確，也會給大數(shù)據(jù)處理帶來很大的困難。第二，大數(shù)據(jù)處理技術(shù)，包括數(shù)據(jù)收集、傳輸、存儲、計算、展示等一系列技術(shù)。青龍系統(tǒng)在數(shù)據(jù)處理技術(shù)上也踩過很多坑，最早我們用數(shù)據(jù)庫生產(chǎn)庫做一些數(shù)據(jù)的分析，發(fā)現(xiàn)很快性能就跟不上了，因為數(shù)據(jù)分析SQL（結(jié)構(gòu)化查詢語言）一執(zhí)行，生產(chǎn)庫性能急劇下降；隨后又開始利用讀庫，并結(jié)合MQ（程序化交易平臺），也就是操作數(shù)據(jù)庫的時候，會發(fā)出一個MQ數(shù)據(jù)分析

8、處理系統(tǒng)接收MQ重新解析，但是也不能很好解決問題；最后，我們總結(jié)發(fā)現(xiàn)，作為傳統(tǒng)的技術(shù)人員，我們是試圖用OLTP（聯(lián)機事務處理）的方法來解決OLAP（聯(lián)機分析處理）的問題，這在方向上就存在問題。最后我們總結(jié)發(fā)現(xiàn)，當做大數(shù)據(jù)應用時，首先是要分清企業(yè)的應用場景，至少需要考慮兩個維度：2:大數(shù)據(jù)應用場景的維度一致性數(shù)據(jù)量24是實時性維度，大數(shù)據(jù)分析是秒級的還是離線的，也就是小時以后拿到也沒問題;二是一致性維度，即對一致性到底是什么樣的要求，是否要求100%r致。由此可以劃分四個場景。當企業(yè)重新做數(shù)據(jù)系統(tǒng)或者大數(shù)據(jù)應用時，肯定要考慮所用的業(yè)務場景到底如何，再加上數(shù)據(jù)量維度（從現(xiàn)在新系統(tǒng)發(fā)展來看，企業(yè)架構(gòu)

9、支撐業(yè)務兩年發(fā)展已經(jīng)足夠）。這幾個維度確定以后，從ETL（數(shù)據(jù)倉庫技術(shù)）數(shù)據(jù)抽取到數(shù)據(jù)傳輸?shù)綌?shù)據(jù)存儲，包括數(shù)據(jù)計算，技術(shù)相對來講比較成熟了，從而可以選擇合適的技術(shù)。京東在大數(shù)據(jù)處理技術(shù)上也做了很多工作，現(xiàn)在對于實時數(shù)據(jù)、離線數(shù)據(jù)，都有完整的解決方案，這樣對于青龍系統(tǒng)來講，可以基于公司大數(shù)據(jù)平臺，進行對應的實時數(shù)據(jù)處理和離線數(shù)據(jù)分析。大數(shù)據(jù)平臺技術(shù)棧其實非常重要，因為它從技術(shù)上提供了一個基礎(chǔ)數(shù)據(jù)質(zhì)量保障。如果數(shù)據(jù)質(zhì)量得不到保障的，那么后面所進行的分析就不靠譜；整個系統(tǒng)都是不可靠的。四、以大數(shù)據(jù)為基礎(chǔ)構(gòu)建智慧物流系統(tǒng)的步驟傳統(tǒng)物流系統(tǒng)的數(shù)據(jù)處理，也被稱為BI（商業(yè)智能）分析，往往是事后進行的。而我

10、們認為的智慧物流系統(tǒng)，不同于傳統(tǒng)物流系統(tǒng)，它是以數(shù)據(jù)作為開始，數(shù)據(jù)的應用貫穿其中，并且是以數(shù)據(jù)為終點的一個循環(huán)上升過程。在可靠的數(shù)據(jù)源和處理技術(shù)基礎(chǔ)上，我們就可以以大數(shù)據(jù)為基礎(chǔ)逐步構(gòu)建智慧物流系統(tǒng)，這個構(gòu)建過程主要分為以下四步。M/!=iql/Hbaiife*/Searu:h/CEic:he倉詢弓！堂II!r*1IDF效機存儲Spark準室時枇國處理SKU看Job3Ijqt>nj口七工job1金融拍拍無線第一步，通過大數(shù)據(jù)技術(shù)準確及時還原業(yè)務，也就是及時準確地采集業(yè)務運行的數(shù)據(jù)，并分不同層次需求展示出來。業(yè)務日報、周報、月報等離線數(shù)據(jù)都是業(yè)務管理的基礎(chǔ)，如果不能做到及時準確，數(shù)字化運營是

11、無法進行的，更不用說智慧化了。對于物流系統(tǒng)來講，進行圖形化展示非常重要，通常一圖勝千言。在時間維度，實時展示各個節(jié)點的生產(chǎn)量，相鄰節(jié)點間的差異，可以很好地把控業(yè)務。我們還發(fā)現(xiàn)，移動端的開發(fā)，對業(yè)務非常有幫助。物流是商品流、實物流、資金流、信息流的結(jié)合，因此，地理維度展示也非常有幫助。第二步，通過大數(shù)據(jù)評估業(yè)務。在大數(shù)據(jù)時代，我們可以依據(jù)社會化的數(shù)據(jù)，進行業(yè)務評估，并且可以利用互聯(lián)網(wǎng)灰度測試的方法，進行流程優(yōu)化的評估，這些方法可以讓我們對業(yè)務有更深刻的理解。對于物流這種勞動密集型行業(yè)，利用實時數(shù)據(jù)進業(yè)內(nèi)排名對現(xiàn)場也能起到很好的激勵作用。第三步，在對業(yè)務進行實時監(jiān)控和準確評估后，利用大數(shù)據(jù)對業(yè)務進

12、行預測。預測一直是大數(shù)據(jù)應用的核心，也是最有價值的地方。預測的準確度，也就是傳統(tǒng)統(tǒng)計學中的置信度，是預測的一個重要衡量。大數(shù)據(jù)的預測，很多是利用到相關(guān)性，因此，完全準確的預測是非常困難的，如果應用對于準確度的容忍度越高，就越容易進行預測。對于物流行業(yè)而言，如果能夠提前進行業(yè)務量預測，那么，對于資源調(diào)度等非常有意義，不僅能夠?qū)崿F(xiàn)更好的時效，而且能夠避免浪費。4：單量建模預測倉信打包全國I華北I華東I華中I華南I西南I西必I東北.外單接貨量打包待分揀配送員待收貨單早第四步，依托大數(shù)據(jù)進行智能決策。這很大程度上依賴預測的準確性和業(yè)務對準確性的包容性，這樣可以得出四個象限，對于預測準確性高并且包容性強

13、的業(yè)務，越容易實現(xiàn)智能決策，目前最好的方式依然是人機結(jié)合，能夠利用大數(shù)據(jù)和人工智能的技術(shù)，為人工提供輔助決策，讓人工決策更加合理。當前，基于大數(shù)據(jù)的深度學習技術(shù)，在人工智能領(lǐng)域取得突破，例如谷歌AlphaGo的案例，從而為智能決策提供了非常大的想象空間。具體分成了兩個維度，一個維度是構(gòu)建系統(tǒng)的難度，另一個維度則是構(gòu)建系統(tǒng)的價值首先，要選擇應用場景，選擇合適的大數(shù)據(jù)技術(shù)架構(gòu)，把數(shù)據(jù)質(zhì)量能夠做好。然后，要對業(yè)務進行分析，第一步主要進行業(yè)務還原，包括業(yè)務節(jié)點，環(huán)比、同比，環(huán)節(jié)差異，最好用圖形化的方式展示出來。之后可以進行下一步，做業(yè)務評估，評估業(yè)務健康度，這也有很多的方法：如同比、環(huán)比，以及和業(yè)界平

14、均指標對標的方法。如果能通過大數(shù)據(jù)做到和友商實時對標，就能發(fā)現(xiàn)自己的薄弱點，從而進行改進和優(yōu)化，優(yōu)化后再將系統(tǒng)指標運行一下，檢驗是否真的改進了；利用灰度的方法，也可以對業(yè)務改進進行效果評估。5：數(shù)據(jù)決策模型唯度大數(shù)據(jù)最核心的是預測，業(yè)務負責人如果能夠提前知道業(yè)務情況，現(xiàn)場的管理就能處理得更好。再往上走就是業(yè)務決策系統(tǒng)，Google的AlphaG。就是一個典型例子，但是實際的業(yè)務可能更加復雜。五、大數(shù)據(jù)在智慧物流中的應用在大數(shù)據(jù)技術(shù)和物流大數(shù)據(jù)本身的保障下，我們可以開展多種應用，如從物流網(wǎng)點的智能布局，到運輸路線的優(yōu)化；從裝載率的提升，到最后一公里的優(yōu)化；從公司層面的決策，到配送員的智能推薦等，從點到面，逐步提升智能化水平，智慧物流將顯示出在效率、成本、用戶體驗方面不可比擬的優(yōu)勢，我們會在