生產(chǎn)企業(yè)大數(shù)據(jù)平臺建設(shè)項目建議書v2

大數(shù)據(jù)平臺建設(shè)項目建議書

目錄第一章、 項目背景 3第二章、 項目思路 4第三章、 建設(shè)內(nèi)容與方案 5第四章、 時間進度 13第五章、 項目預(yù)算 15第六章、 企業(yè)效益及社會效益 15第七章、 結(jié)論 15

入深的方式劃分為幾個階段：對總部及下屬六廠各系統(tǒng)的數(shù)據(jù)進行整合、共享及分析，以企業(yè)六廠為基礎(chǔ)，搭建大數(shù)據(jù)平臺框架，在不對基礎(chǔ)系統(tǒng)進行遷移整合的前提下，對數(shù)據(jù)進行整合并建立數(shù)據(jù)之間的關(guān)系。并制定一定的數(shù)據(jù)采集規(guī)則，獲取三博五廠的數(shù)據(jù)。基于大數(shù)據(jù)平臺全面的數(shù)據(jù)共享能力，強化數(shù)據(jù)的表達深度，能夠?qū)υ袇R總的報表數(shù)據(jù)進行更細粒度的表達和展示；這里可能需要創(chuàng)建新的應(yīng)用服務(wù)系統(tǒng)或者是擴充原有的服務(wù)系統(tǒng)來完成。完全整合三博所屬五廠系統(tǒng)及數(shù)據(jù)，消除企業(yè)內(nèi)部的數(shù)據(jù)孤島。面向外部進行數(shù)據(jù)擴充，例如利用網(wǎng)絡(luò)進行相關(guān)行業(yè)的數(shù)據(jù)抓取，并將數(shù)據(jù)整合到大數(shù)據(jù)平臺，結(jié)合既有的內(nèi)部數(shù)據(jù)建立運營決策系統(tǒng)。建設(shè)內(nèi)容與方案基于對整合三博五廠系統(tǒng)及數(shù)據(jù)難度的考慮，本次項目以第一、第二階段作為項目的主要內(nèi)容。3.1、建立大數(shù)據(jù)平臺基礎(chǔ)架構(gòu)，整合現(xiàn)有生產(chǎn)及管理系統(tǒng)由合作方負責建設(shè)大數(shù)據(jù)平臺基礎(chǔ)架構(gòu)，整合現(xiàn)有的各個生產(chǎn)及管理系統(tǒng)，將各系統(tǒng)的生產(chǎn)及管理數(shù)據(jù)進行集中統(tǒng)一管理、分析，對大數(shù)據(jù)平臺建設(shè)提供相應(yīng)的支撐。大數(shù)據(jù)平臺的總體架構(gòu)及模塊部署情況如下：3.1.1、總體架構(gòu)3.1.2、模塊劃分及部署根據(jù)大數(shù)據(jù)平臺建設(shè)的要求，大數(shù)據(jù)智能決策平臺（大數(shù)據(jù)存儲、計算及分析平臺）主要由三大模塊組成：數(shù)據(jù)采集模塊、存儲計算模塊及訪問支撐模塊。數(shù)據(jù)采集模塊：數(shù)據(jù)采集模塊提供支持多數(shù)據(jù)源提取、多通道傳輸、多種方式聚合的數(shù)據(jù)采集工具及接口，包括flume代理集群日志采集、Chukwa實時數(shù)據(jù)采集、Python網(wǎng)絡(luò)數(shù)據(jù)爬取、Sqoop關(guān)系數(shù)據(jù)庫數(shù)據(jù)批量提取、HDFS文件上傳下載FTP客戶端及多通道數(shù)據(jù)源整合實時分布式消息系統(tǒng)Kafka。存儲計算模塊：存儲計算模塊實現(xiàn)了海量數(shù)據(jù)存儲、批處理計算、實時計算、機器學(xué)習(xí)、圖計算、實時查詢及集群運行監(jiān)控等功能，包括YARN分布式資源管理系統(tǒng)、分布式文件系統(tǒng)HDFS、Spark/MR批處理、Spark實時計算、GraphX圖計算、MLLib機器學(xué)習(xí)、Hbase實時查詢、Hive等Sql計算引擎、MySql關(guān)系型數(shù)據(jù)庫及Dr.Elephant等可視化集群監(jiān)控工具。訪問支撐模塊：訪問支撐模塊提供了上層軟件易于使用和編程的大數(shù)據(jù)平臺層接口及內(nèi)存數(shù)據(jù)庫，包括封裝了SparkSql、Hive、Phoenix的sql查詢接口，封裝了MR、Spark開發(fā)函數(shù)庫的API編程接口、工具及redis內(nèi)存數(shù)據(jù)庫。系統(tǒng)部署：基礎(chǔ)Hadoop大數(shù)據(jù)平臺服務(wù)器集群由一臺主機（Master）、三臺從機（Slaver152/153/154）、組成。平臺采用分布式集群方式工作，提供N+1冗余模式。3.1.3、通過建設(shè)，提供存儲及數(shù)據(jù)服務(wù)能力1）存儲能力：初期建設(shè)完畢按照其物理硬件配置，平臺實現(xiàn)如下存儲能力指標：業(yè)務(wù)數(shù)據(jù)存儲：1TB業(yè)務(wù)數(shù)據(jù)實時數(shù)據(jù)存儲：8GB實時數(shù)據(jù)查詢：2秒業(yè)務(wù)數(shù)據(jù)查詢：10秒存儲動態(tài)擴容能力：根據(jù)后期系統(tǒng)以及數(shù)據(jù)遷移的需要平臺具備動態(tài)擴容能力，在先期物理設(shè)備所提供的容量不能滿足業(yè)務(wù)發(fā)展需要的請下進行動態(tài)擴容。2）業(yè)務(wù)數(shù)據(jù)支持：根據(jù)企業(yè)既有業(yè)務(wù)系統(tǒng)以及對應(yīng)的實際行業(yè)和運營特征，基于大數(shù)據(jù)平臺被劃分為三級數(shù)據(jù)存儲，各級存儲的建設(shè)目標描述如下：A. 一級存儲：平臺的原始業(yè)務(wù)數(shù)據(jù)存儲層，面向企業(yè)內(nèi)部的原有各大業(yè)務(wù)系統(tǒng)，支持其將原有數(shù)據(jù)存儲完全遷移到大數(shù)據(jù)平臺，即提供數(shù)據(jù)融合能力外還把原有系統(tǒng)的基礎(chǔ)存儲支持作為平臺基礎(chǔ)能力；也支持通過文件或者消息方式將其部分的融合數(shù)據(jù)以非實時或準實時的周期上傳到大數(shù)據(jù)平臺，主要用于業(yè)務(wù)數(shù)據(jù)融合。B. 二級存儲：細化的融合層，主要面向現(xiàn)有業(yè)務(wù)之間的數(shù)據(jù)融合溝通，解決現(xiàn)有業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)互通問題；同時在該層對于基礎(chǔ)業(yè)務(wù)數(shù)據(jù)進行整合以及基礎(chǔ)計算，產(chǎn)生新的業(yè)務(wù)數(shù)據(jù)并存儲，為更高層級的業(yè)務(wù)運維提供大數(shù)據(jù)支撐。本層數(shù)據(jù)是對基礎(chǔ)數(shù)據(jù)的第一級融合計算，主要面向業(yè)務(wù)。C. 三級存儲：基于二級存儲數(shù)據(jù)進行高層的決策分析計算，產(chǎn)生最終的運營支撐和決策分析結(jié)果數(shù)據(jù)，該層次計算過程中將應(yīng)用各種統(tǒng)計、分析、學(xué)習(xí)算法；同時也給予業(yè)務(wù)訪問特征，將二級存儲的熱點數(shù)據(jù)組織為熱表進行存儲，對外提供高速數(shù)據(jù)訪問接口。3.2、對目前生產(chǎn)及管理中涉及的數(shù)據(jù)進行采集并予以整合3.2.1、內(nèi)部數(shù)據(jù)整合完善現(xiàn)有農(nóng)務(wù)管理平臺、NC供應(yīng)鏈平臺、生產(chǎn)調(diào)度平臺、電子商務(wù)平臺等與企業(yè)供產(chǎn)銷業(yè)務(wù)流程相關(guān)的系統(tǒng)采集數(shù)據(jù)功能，統(tǒng)一集中管控的形式，將公司管理范圍內(nèi)的農(nóng)戶、車輛及地塊信息、糖廠生產(chǎn)信息集中輸入到公司總部平臺中，完成集中化采集及管理。1、優(yōu)先針對農(nóng)務(wù)系統(tǒng)以及生產(chǎn)系統(tǒng)進行數(shù)據(jù)整合共享，再次是NC系統(tǒng)；考慮整合的主要目標是可分析業(yè)務(wù)數(shù)據(jù)，圖片圖表等文件類型數(shù)據(jù)不考慮在大數(shù)據(jù)平臺上存儲；可以存儲在其它位置僅在大數(shù)據(jù)平臺上存儲其位置信息；2、在各分廠數(shù)據(jù)庫服務(wù)器上部署數(shù)據(jù)采集代理，按照業(yè)務(wù)數(shù)據(jù)規(guī)則要求最高以準實時的要求同步數(shù)據(jù)到大數(shù)據(jù)平臺；或者首先以生產(chǎn)報表為周期在同步報表數(shù)據(jù)的同時同步相關(guān)詳細數(shù)據(jù)記錄。將以上各平臺采集到的結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)以統(tǒng)一的數(shù)據(jù)規(guī)則進行處理，通過圖形可視化的方式，對采集到的數(shù)據(jù)進行抽取、轉(zhuǎn)換、加工、整合，最大程度的簡化數(shù)據(jù)并采用過程流式的組織方式進行數(shù)據(jù)集成應(yīng)用開發(fā)。3.2.2、外部數(shù)據(jù)采集利用爬蟲技術(shù)，幫助企業(yè)把外部互聯(lián)網(wǎng)的各類相關(guān)數(shù)據(jù)資源轉(zhuǎn)變成企業(yè)的數(shù)據(jù)資產(chǎn)，并且與內(nèi)部數(shù)據(jù)結(jié)合，結(jié)合的數(shù)據(jù)挖掘平臺和文本處理技術(shù)，能夠從海量的文本數(shù)據(jù)中智能地獲取深度的價值信息，最終形成行業(yè)的發(fā)展趨勢、競爭對手情報、競品對比分析、以及各類數(shù)據(jù)提供服務(wù)，如財報數(shù)據(jù)、宏觀經(jīng)濟數(shù)據(jù)、價格指數(shù)等。3.3、利用采集的數(shù)據(jù)進行挖掘分析，輸出有價值的成果3.3.1、經(jīng)營分析主要分析價值鏈，包括種植、加工、銷售三個階段，依據(jù)企業(yè)價值鏈模型展開分析，如種植-加工生產(chǎn)（采購、生產(chǎn)、質(zhì)量）-銷售物流（倉庫管理、銷售管理），縱向分析各職能對主價值鏈的支撐與協(xié)同。3.3.2、生產(chǎn)分析利用大數(shù)據(jù)處理和分析方法，挖掘工藝參數(shù)（如處理甘蔗、初壓汁、末壓汁、打包蔗渣等流程）、優(yōu)化協(xié)同時間（實際榨蔗時間、生產(chǎn)安全率、設(shè)備故障損失時間、部門/公司協(xié)作流程時間優(yōu)化等）、成品糖（優(yōu)級白砂糖、一級白砂糖、一級赤砂糖）產(chǎn)量之間的流程工藝優(yōu)化、生產(chǎn)能耗分析（混合蔗渣、濾泥、廢蜜、輔助材料、燃料及汽電消耗等）、產(chǎn)能分析（多維度分析，如糖產(chǎn)率），優(yōu)化生產(chǎn)流程、降本增效、提高收益、實現(xiàn)利潤最大化是生產(chǎn)主題的核心內(nèi)容。3.3.3、銷售分析分別從天氣、氣候、成熟過程、運輸?shù)葘Ω收岢善返挠绊?，以及成品糖的整個生產(chǎn)過程（如收割、榨汁等）分析，實現(xiàn)降本增效，確保甘蔗的高峰生長期間提升甘蔗的單位產(chǎn)量和品質(zhì)，產(chǎn)糖率保持在穩(wěn)定向上水平，保持穩(wěn)定不變的甘蔗甜味比率。3.3.4、行業(yè)分析1、行業(yè)發(fā)展動態(tài)跟蹤2、行業(yè)發(fā)展分析1）糖業(yè)發(fā)展景氣指數(shù)：宏觀環(huán)境數(shù)據(jù)（GDP增長率、工業(yè)增加值、人均收入、人口信息、農(nóng)業(yè)人口、糖業(yè)產(chǎn)值等）、市場數(shù)據(jù)（總體規(guī)模、市場份額、競爭信息等）、生產(chǎn)數(shù)據(jù)（甘蔗種植面積、產(chǎn)量、產(chǎn)糖量、劣質(zhì)比例、銷量、價格、設(shè)備運行數(shù)據(jù)等）、供應(yīng)鏈數(shù)據(jù)（競價信息、物資倉儲信息、供應(yīng)銷售信息、物流信息等），建立算法模型，輸出糖業(yè)發(fā)展景氣指數(shù)，動態(tài)顯示糖業(yè)目前發(fā)展情況。2）糖業(yè)發(fā)展分析：市場經(jīng)濟環(huán)境分析、競爭環(huán)境分析、糖業(yè)環(huán)境發(fā)展、企業(yè)內(nèi)部發(fā)展分析等。時間進度1、建設(shè)期限如下：（1）系統(tǒng)硬件需求建議及配備：項目啟動后30天內(nèi)。（2）2017年12月底完成股份大數(shù)據(jù)項目系統(tǒng)基礎(chǔ)平臺搭建。（3）2018年6月底，完成內(nèi)外部數(shù)據(jù)的采集及整合。（4）2018年12月底，完成數(shù)據(jù)整合、決策分析模型、預(yù)測分析模型與算法。（5）項目整體完工：2019年6月底。2、工作計劃如下：階段任務(wù)計劃時間交付地點需求調(diào)研1.1項目啟動2017/6至2017/7廣西區(qū)內(nèi)指定地點1.2范圍定義廣西區(qū)內(nèi)指定地點項目規(guī)劃2.1制定項目計劃及實施解決方案2017/7至2017/8廣西區(qū)內(nèi)指定地點實施交付3.1系統(tǒng)基礎(chǔ)平臺搭建2017/8至2017/12廣西區(qū)內(nèi)指定地點3.2數(shù)據(jù)倉庫2018/1至2018/12廣西區(qū)內(nèi)指定地點3.3主題分析廣西區(qū)內(nèi)指定地點3.4數(shù)據(jù)測試廣西區(qū)內(nèi)指定地點3.5應(yīng)用測試廣西區(qū)內(nèi)指定地點3.6數(shù)據(jù)修改以及應(yīng)用調(diào)整廣西區(qū)內(nèi)指定地點3.7將開發(fā)系統(tǒng)組件部署到生產(chǎn)系統(tǒng)2019/1-2019/6廣西區(qū)內(nèi)指定地點3.8項目培訓(xùn)廣西區(qū)內(nèi)指定地點3.9系統(tǒng)上線廣西區(qū)內(nèi)指定地點4.1系統(tǒng)優(yōu)化、項目回顧及驗收廣西區(qū)內(nèi)指定地點項目預(yù)算本次項目投資預(yù)計280萬元，其中項目軟件投資建設(shè)費用約200萬元，網(wǎng)絡(luò)服務(wù)器等硬件投資約80萬元。企業(yè)效益及社會效益項目實施后，實現(xiàn)對企業(yè)總部及下屬11廠的系統(tǒng)數(shù)據(jù)實施整合，并進行集約化、系統(tǒng)化、精細化的分析，使管理層及業(yè)務(wù)管理部門通過統(tǒng)一平臺實現(xiàn)對下屬各廠生產(chǎn)情況的實時管控，以支撐更快、更準確做出相應(yīng)的決策。同時，通過對原始數(shù)據(jù)的采集、存儲、分析、運算，為業(yè)務(wù)流程上“蔗農(nóng)、蔗管員、砍運工人、壓榨、生產(chǎn)、銷售、決策層”各環(huán)節(jié)的角色提供精細化、實時化的分析、決策指導(dǎo)，為增加甘蔗產(chǎn)量、提高生產(chǎn)效率、深化運營決策提供信息化基礎(chǔ)。更進一步通過的實踐，為廣西甚至全國制糖業(yè)輸出具有實際參考價值的行業(yè)大數(shù)據(jù)分析及決策成果，促進全國及廣西制糖業(yè)的發(fā)展。結(jié)論1、大數(shù)據(jù)平臺是國家和地方鼓勵類項目，符合國家和地方兩化融合相關(guān)政策2、大