面向煙草行業(yè)研發(fā)應(yīng)用的大數(shù)據(jù)分析平臺研究

面向煙草業(yè)研發(fā)應(yīng)用大數(shù)據(jù)分析平研究摘要煙草研發(fā)體系具有業(yè)務(wù)廣泛、數(shù)據(jù)龐雜等特點(diǎn)，影響大數(shù)據(jù)分析技術(shù)在煙草研發(fā)領(lǐng)域的推廣應(yīng)用建面向煙草行業(yè)研發(fā)應(yīng)用的大數(shù)據(jù)分析平臺循全局?jǐn)?shù)據(jù)應(yīng)用的整合思維裝多源異構(gòu)的煙草研發(fā)數(shù)據(jù)的采集與存儲過程用應(yīng)用場景驅(qū)動與數(shù)據(jù)分層融合策略成數(shù)據(jù)主題化規(guī)范化管理計(jì)并開發(fā)數(shù)據(jù)分析過程可視化編排器化數(shù)據(jù)資產(chǎn)價(jià)值挖掘過程平臺能夠非數(shù)據(jù)專家用戶專注于煙草研發(fā)業(yè)務(wù)利于推動大數(shù)據(jù)分析技術(shù)在煙草研發(fā)體系中的應(yīng)用。關(guān)鍵詞煙草研發(fā)體系數(shù)據(jù)自動匯聚數(shù)據(jù)血緣分析數(shù)據(jù)主題分析可視化編排器0引言大數(shù)據(jù)背景下，數(shù)據(jù)驅(qū)動煙草業(yè)務(wù)發(fā)展已成為普遍共識，大數(shù)據(jù)分析技術(shù)在煙草研發(fā)領(lǐng)域的應(yīng)用已成為研究熱點(diǎn)，諸多理論研究成果應(yīng)運(yùn)而生。同時(shí)，也產(chǎn)生了許多應(yīng)用于煙草領(lǐng)域的數(shù)據(jù)云平臺的研究與開發(fā)。例:鄒暾等針對煙草業(yè)務(wù)特點(diǎn)，設(shè)計(jì)靈活可快速部署的煙草企業(yè)云平臺架構(gòu)；陳力等構(gòu)建私有云平臺草企業(yè)相關(guān)軟源務(wù)系統(tǒng)分散獨(dú)立的問題；張君等借助云平臺構(gòu)煙草企業(yè)創(chuàng)新流程益文利用云平臺服務(wù)現(xiàn)通省級煙草基礎(chǔ)資源的多層級、統(tǒng)一管理調(diào)度。上述研究是大數(shù)據(jù)分析技術(shù)在煙草領(lǐng)域應(yīng)用的有益探索目前行業(yè)內(nèi)合煙草研發(fā)業(yè)務(wù)多源異構(gòu)數(shù)據(jù)進(jìn)行煙草研發(fā)業(yè)務(wù)分析的成功案例較少因，煙草研發(fā)業(yè)務(wù)廣泛的特點(diǎn)致煙草研發(fā)數(shù)據(jù)體量大型繁雜儲分散的問

題通卷煙研發(fā)業(yè)務(wù)的行業(yè)專家難以利用上述龐雜的數(shù)據(jù)有效挖掘價(jià)值終影響大數(shù)據(jù)分析技術(shù)在研發(fā)體系中的應(yīng)用成效。針對煙草研發(fā)體系的業(yè)務(wù)、數(shù)據(jù)、用戶的特點(diǎn)，采用分層技術(shù)架構(gòu)，構(gòu)建面向用戶的煙草研發(fā)體系大數(shù)據(jù)云平臺裝數(shù)據(jù)采集與存儲范數(shù)據(jù)管理化數(shù)據(jù)分析流程煙草研發(fā)體系非數(shù)據(jù)專家用戶專注于煙草研發(fā)業(yè)務(wù)本身免用戶直面復(fù)雜的大數(shù)據(jù)分析技術(shù)和龐雜的煙草研發(fā)原始數(shù)據(jù)低用戶大數(shù)據(jù)分析技術(shù)要求草研發(fā)人員實(shí)現(xiàn)利用數(shù)據(jù)驅(qū)動煙草研發(fā)業(yè)務(wù)的重要探索和嘗試。1平臺架構(gòu)要實(shí)現(xiàn)讓煙草研發(fā)體系非數(shù)據(jù)專家用戶夠便捷地使用數(shù)據(jù)驅(qū)動煙草研發(fā)業(yè)務(wù)要大數(shù)據(jù)平臺向下能夠匯聚理繁雜的研發(fā)體系數(shù)據(jù)上能夠提供簡便的數(shù)據(jù)分析應(yīng)用與接口服務(wù)體采用分層架構(gòu)數(shù)據(jù)專家用戶的數(shù)據(jù)分析應(yīng)用與接口服務(wù)底層的數(shù)據(jù)匯聚、數(shù)據(jù)存儲題數(shù)據(jù)服務(wù)等功能模塊以及算法庫與分析服務(wù)此免用戶直面繁雜的研發(fā)體系數(shù)據(jù)，同時(shí)降低用戶對大數(shù)據(jù)分析的技術(shù)要求。平臺分層結(jié)構(gòu)設(shè)計(jì)如圖1示。

1平平臺的總體分層架構(gòu)包含如下特征:1)基礎(chǔ)資源層采用Hadoop開源分布式架構(gòu)業(yè)現(xiàn)有硬件資產(chǎn)。2)中間服務(wù)層包括數(shù)據(jù)自動匯聚、數(shù)據(jù)存儲管理、主題數(shù)據(jù)服務(wù)、數(shù)據(jù)分析服務(wù)4大模塊動采集煙草研發(fā)相關(guān)數(shù)據(jù)現(xiàn)繁雜數(shù)據(jù)的存儲管理理數(shù)據(jù)間血緣關(guān)系與提供主題化規(guī)范數(shù)據(jù)服務(wù)，提供機(jī)器學(xué)習(xí)算法庫與分析服務(wù)。3)應(yīng)用服務(wù)層靈活組合下層數(shù)據(jù)服務(wù)與分析服務(wù)，設(shè)計(jì)拖拽式的數(shù)據(jù)分析工具數(shù)據(jù)分析與挖掘服務(wù)全面restful口數(shù)據(jù)支撐和服務(wù)。4)平臺采用分層模式，通過上層應(yīng)用對底層服務(wù)的封裝，避免用戶直面復(fù)雜的大數(shù)據(jù)分析技術(shù)和繁雜的煙草研發(fā)數(shù)據(jù)，降低用戶的大數(shù)據(jù)分析技術(shù)要求?；谏鲜龇謱蛹軜?gòu)，實(shí)現(xiàn)面向業(yè)務(wù)用戶的數(shù)據(jù)分析需求。2平臺主要數(shù)據(jù)自動匯聚服務(wù)與數(shù)據(jù)分析編排器數(shù)據(jù)采集自動化、數(shù)據(jù)管理規(guī)范化與數(shù)據(jù)分析操作簡便化用戶大數(shù)據(jù)分析操作的關(guān)鍵功能。2.1數(shù)據(jù)自匯聚平臺管理員可根據(jù)數(shù)據(jù)源據(jù)類型特點(diǎn)擇全量與增量接入的方式創(chuàng)建數(shù)據(jù)采集任務(wù)的調(diào)度管理服務(wù)會根據(jù)每個(gè)任務(wù)所設(shè)計(jì)好的處理過程和計(jì)劃時(shí)間按規(guī)則分別進(jìn)行調(diào)度，將數(shù)據(jù)接入平臺。數(shù)據(jù)自動匯聚功能的技術(shù)架構(gòu)如圖2示。

數(shù)該平臺利用Airflow為整體的流程調(diào)度引擎通過下發(fā)的方式注冊到zookeeper在多個(gè)節(jié)點(diǎn)上監(jiān)聽Spark服務(wù)進(jìn)行實(shí)際的ETL操作。待抽取任務(wù)結(jié)束再次推送一個(gè)統(tǒng)計(jì)任務(wù)給Spark務(wù)，以供后續(xù)分析和BI接使用。其中是一款由Airbnb司開源的Python寫的可編程、調(diào)度和監(jiān)控的工作流平臺(/)是Apache基金會的頂級項(xiàng)目(Hadoop等都在其列。實(shí)際部署中，平臺針對云南中煙技術(shù)中心的實(shí)際需求Airflow行了定制化開發(fā)進(jìn)行了漢化和本地時(shí)區(qū)轉(zhuǎn)化，新增了部分適配服務(wù)以便能更好地和數(shù)據(jù)中心進(jìn)行整合。數(shù)據(jù)抽取的過程支持全量同步和增量更新。利用Spark的資源優(yōu)勢和針對不同數(shù)據(jù)源的自適配平臺可以高效地進(jìn)行數(shù)據(jù)的抽取工作據(jù)所開發(fā)的統(tǒng)一且可配置的抽取流程邏輯以簡便地配置一個(gè)或批量新增多個(gè)接入流程。數(shù)據(jù)抽取規(guī)則如下：

當(dāng)全量接入時(shí)臺從內(nèi)部自行進(jìn)行當(dāng)前數(shù)據(jù)和已有數(shù)據(jù)的比對而獲取本次抽取數(shù)據(jù)的增量情況時(shí)量數(shù)據(jù)并入已有的數(shù)據(jù)集量抽取規(guī)則流程如圖3所示。全量當(dāng)增量接入時(shí)，根據(jù)原始數(shù)據(jù)的時(shí)間/序列號獲取新數(shù)據(jù)，并接入到當(dāng)前數(shù)據(jù)集內(nèi)。增量抽取規(guī)則流程如圖4示。增量數(shù)據(jù)抽取的結(jié)果以parquet的格式存儲在Hive內(nèi)，存儲媒介采用hudihudi是由Uber公司開源并在2019年年初成為Apache基金會孵化項(xiàng)目的一個(gè)Spark\Hive件庫(/)。利用hudi特性，該平臺可以針對存儲在Hive上的數(shù)據(jù)進(jìn)行可靠并且高效的更新、刪除操作。同時(shí)也讓這些數(shù)據(jù)支持了回滾和存儲點(diǎn)等一些關(guān)系型數(shù)據(jù)庫的特性。與此同時(shí)，也源生支持SparkSQL這讓整個(gè)平臺中數(shù)據(jù)的使用更加便捷。

其中hudi存儲采用了名為模式。它是一種注重讀取效率的數(shù)據(jù)存儲模式，其具體的實(shí)現(xiàn)機(jī)理是針對存儲在HDFS上的每個(gè)Parquet件以“文件_順序號_間戳.parquet”的形式命名。數(shù)據(jù)在存儲時(shí)已排好序新數(shù)據(jù)到來時(shí)會先檢索文件的位置后復(fù)制原始文件的數(shù)據(jù)并與新數(shù)據(jù)做整合成的新文件的文件名一致間戳更新為當(dāng)前時(shí)間樣便保留了更新前數(shù)據(jù)的快照和更新后的新文件。讀取數(shù)據(jù)的時(shí)候，hudi會根據(jù)指定的時(shí)間來篩選過濾所需要的文件，從而達(dá)到獲取指定時(shí)間數(shù)據(jù)快照的目的。通過上述設(shè)計(jì)和技術(shù)實(shí)現(xiàn)夠便捷地設(shè)置采集任務(wù)制化地設(shè)置采集方式和采集計(jì)劃時(shí)可通過不同時(shí)間的數(shù)據(jù)快照實(shí)現(xiàn)數(shù)據(jù)比對功能而能夠?qū)崟r(shí)查看數(shù)據(jù)采集情況。對于云南中煙研發(fā)數(shù)據(jù)多源異構(gòu)、來源繁雜的特點(diǎn)，可以通過上述功能實(shí)時(shí)查看不同來源的數(shù)據(jù)采集情況制化地設(shè)定采集任務(wù)。除進(jìn)行比對外通過統(tǒng)計(jì)任務(wù)對抽取數(shù)據(jù)的結(jié)果增量進(jìn)行多維度的統(tǒng)計(jì)，包括數(shù)據(jù)的增量情況、空值每個(gè)空值行數(shù)占當(dāng)前列總行數(shù)的比率)、健康度所有列非空值率的字段飽和一個(gè)表列都有值的個(gè)數(shù)所有列的個(gè)數(shù))、數(shù)據(jù)集中度總數(shù)排名前20表的總數(shù)占總體的比率等。相應(yīng)的統(tǒng)計(jì)數(shù)據(jù)可提供到云南中煙其他業(yè)務(wù)系統(tǒng)中進(jìn)行展現(xiàn)圖6所示。

5統(tǒng)6統(tǒng)2.2主題數(shù)服務(wù)主題數(shù)據(jù)服務(wù)功能可自動梳理不同源數(shù)據(jù)間血緣始數(shù)據(jù)至主題數(shù)據(jù)的映射關(guān)系，避免“業(yè)務(wù)專家”用戶直面繁雜的原始數(shù)據(jù)，便于用戶理解、使用和管理繁雜的煙草研發(fā)數(shù)據(jù)。主題數(shù)據(jù)服務(wù)功能技術(shù)架構(gòu)如圖7示。主

血緣梳理模塊根據(jù)用戶選定主題于數(shù)據(jù)表字段信息數(shù)據(jù)庫和數(shù)據(jù)表兩個(gè)層次梳理不同源數(shù)據(jù)間血緣關(guān)系，構(gòu)建分層數(shù)據(jù)血緣關(guān)系拓?fù)鋱D。邏輯映射模塊根據(jù)數(shù)據(jù)血緣關(guān)系的煙草研發(fā)體系原始數(shù)據(jù)映射至緊扣主題、關(guān)系清晰的主題數(shù)據(jù)，將原始數(shù)據(jù)權(quán)限規(guī)則轉(zhuǎn)換為主題數(shù)據(jù)權(quán)限規(guī)則。在數(shù)據(jù)權(quán)限上用了為整個(gè)大數(shù)據(jù)平臺的權(quán)限管理服務(wù)平臺的構(gòu)建過程中，Hive數(shù)據(jù)庫與平臺的用戶體系認(rèn)證掛鉤，利用Ranger數(shù)據(jù)權(quán)限的功能(可針對到庫、表、字段甚至行一級)管理者可以很好地控制平臺用戶的數(shù)據(jù)使用權(quán)限，對應(yīng)用戶只能看到被分配的數(shù)據(jù)且可對敏感數(shù)據(jù)進(jìn)行加密或者去除障了數(shù)據(jù)資產(chǎn)的安全性。通過數(shù)據(jù)主題服務(wù)夠?qū)煵菅邪l(fā)業(yè)務(wù)中的如原料方輔料等某一主題相關(guān)的數(shù)據(jù)從來源繁雜、多源異構(gòu)的狀態(tài)，轉(zhuǎn)化為標(biāo)準(zhǔn)、統(tǒng)一的主題數(shù)據(jù)，從而便于“非數(shù)據(jù)專家用戶”理解及使用。2.3數(shù)據(jù)分編排器平臺提供了可視化的數(shù)據(jù)編排工具以根據(jù)自己的需求以及邏輯使用編排器提供的組件自由組合和處理數(shù)據(jù)設(shè)計(jì)可以有效地降低用戶對大數(shù)據(jù)分析技術(shù)的要求，簡化大數(shù)據(jù)分析過程的操作，使得“非數(shù)據(jù)專家用戶”也能便捷地使用該服務(wù)。圖8為通過編排器生成的一個(gè)主題數(shù)據(jù)的流程圖。編排器上的每個(gè)節(jié)點(diǎn)為針對數(shù)據(jù)進(jìn)行的一個(gè)細(xì)粒度的操作在執(zhí)行時(shí)會將這些節(jié)點(diǎn)組合起來形成一個(gè)有向無環(huán)的流程圖，并發(fā)送給Spark成為各自的算子。在編排器的任務(wù)執(zhí)

行時(shí)調(diào)用相應(yīng)數(shù)據(jù)與分析算法運(yùn)行數(shù)據(jù)分析處理邏輯回分析處理結(jié)果在可視化編輯層展示。數(shù)據(jù)經(jīng)過分析處理后的結(jié)果會以Parquet的形式回存到數(shù)據(jù)平臺內(nèi)部，并可以在前臺構(gòu)建成為數(shù)據(jù)緩存或者可視化組件的數(shù)據(jù)源供后續(xù)再編排或者實(shí)際用戶的分析使用。數(shù)據(jù)分析編排器整體技術(shù)框架如圖9示。數(shù)數(shù)據(jù)編排器與前置的功能緊密結(jié)合時(shí)建編排來源的輸入節(jié)點(diǎn)與來源數(shù)據(jù)的變化直接掛鉤了可以自己制定任務(wù)編排的執(zhí)行計(jì)劃時(shí)間以外某個(gè)數(shù)據(jù)匯聚的任務(wù)結(jié)束或者已有的主題數(shù)據(jù)重新生成的時(shí)候?qū)θ魏我昧?/p>

對應(yīng)數(shù)據(jù)的編排任務(wù)進(jìn)行自動更新重啟該任務(wù)刷新已有的輸出結(jié)果據(jù)分析編排工具的底層在輸出到主題數(shù)據(jù)的同時(shí)也會自動構(gòu)建主題的血緣關(guān)系到自動化構(gòu)建映射關(guān)系的目的。數(shù)據(jù)分析編排器可非數(shù)據(jù)專家用戶捷地實(shí)現(xiàn)數(shù)據(jù)的分析及圖形化編排，對于云南中煙的研發(fā)數(shù)據(jù)體系，用戶即可對原料、配方、材輔料等某一主題的數(shù)據(jù)進(jìn)行編排分析可實(shí)現(xiàn)對多個(gè)主題數(shù)據(jù)的交叉編排分析而為真正實(shí)現(xiàn)數(shù)據(jù)驅(qū)動研發(fā)業(yè)務(wù)提供了應(yīng)用基礎(chǔ)。3平臺應(yīng)用以云南中煙煙草研發(fā)體系數(shù)據(jù)為例足上述功能的大數(shù)據(jù)分析云平臺，自動匯聚原料綜管、精益研發(fā)、煙葉配方、主數(shù)據(jù)管理等信息系統(tǒng)，共計(jì)259余條數(shù)據(jù)理物料管理室管理等主題業(yè)務(wù)的數(shù)據(jù)血緣關(guān)系并構(gòu)建相應(yīng)主題數(shù)據(jù)庫,完室數(shù)據(jù)分析化構(gòu)優(yōu)化”等多個(gè)業(yè)務(wù)場景的大數(shù)據(jù)分析應(yīng)用。3.1實(shí)例概實(shí)驗(yàn)室數(shù)據(jù)分析用為例面向用戶的云南中煙煙草研發(fā)體系大數(shù)據(jù)云平臺的應(yīng)用流程與應(yīng)用結(jié)果進(jìn)行實(shí)例驗(yàn)證?！皩?shí)驗(yàn)室數(shù)據(jù)分析”應(yīng)用實(shí)簡稱“應(yīng)用實(shí)例，綜合各類型實(shí)驗(yàn)室監(jiān)測數(shù)據(jù)分析析卷煙生產(chǎn)質(zhì)量及其監(jiān)控現(xiàn)狀解卷煙質(zhì)量監(jiān)控實(shí)際情況時(shí)分析實(shí)驗(yàn)室設(shè)備的使用情況、使用飽和度等，以保障卷煙產(chǎn)品質(zhì)量、風(fēng)格穩(wěn)定，是一個(gè)典型的大數(shù)據(jù)分析應(yīng)用場景。

3.2實(shí)例實(shí)3.21數(shù)據(jù)自動匯聚“實(shí)驗(yàn)室數(shù)據(jù)分析用實(shí)例的數(shù)據(jù)來源主要為實(shí)驗(yàn)室信息管理系統(tǒng)據(jù)自動匯聚方案設(shè)計(jì)如表1示。實(shí)3.22血緣關(guān)系分析卷煙及其原料精香料料等相關(guān)的理化實(shí)驗(yàn)檢測結(jié)果數(shù)據(jù)通過實(shí)驗(yàn)分析過程獲取，為此，以“實(shí)驗(yàn)編號”集合為主題“源”數(shù)據(jù)，自動梳理應(yīng)用實(shí)例相關(guān)的數(shù)據(jù)后所得到的血緣關(guān)系如圖10所示。10數(shù)3.23流程編排運(yùn)行

采用數(shù)據(jù)分析編排器拽的方式如圖所示的應(yīng)用實(shí)例的數(shù)據(jù)分析處理邏輯圖9所示的應(yīng)用實(shí)例中的各項(xiàng)數(shù)據(jù)編排處理后過平臺內(nèi)可視化組件形成如圖11示的可視化表達(dá)結(jié)果。具體地，通過可視化呈現(xiàn)了實(shí)驗(yàn)室的各類統(tǒng)計(jì)數(shù)據(jù)，如人員統(tǒng)計(jì)、設(shè)備統(tǒng)計(jì)、生產(chǎn)報(bào)告、承接任務(wù)統(tǒng)計(jì)等。另外以進(jìn)一步查看實(shí)驗(yàn)室設(shè)備的使用飽和度及貢獻(xiàn)度時(shí)各項(xiàng)檢測指標(biāo)進(jìn)行分析，可以得到各卷煙廠產(chǎn)品的物理指標(biāo)穩(wěn)定性及化學(xué)指標(biāo)穩(wěn)定性情況。11可3.3結(jié)果與論本文以“實(shí)驗(yàn)室數(shù)據(jù)分析”為實(shí)例，自動匯LIMS統(tǒng)中的卷煙原料、香精香料的理化實(shí)驗(yàn)檢測數(shù)據(jù)驗(yàn)相關(guān)的人數(shù)據(jù)，以“實(shí)驗(yàn)編號”集合為主題源數(shù)據(jù)，自動梳理應(yīng)用實(shí)例相關(guān)數(shù)據(jù)血緣關(guān)系，采用數(shù)據(jù)分析編排器建并自動執(zhí)行應(yīng)用實(shí)例的數(shù)據(jù)分析處理邏輯到應(yīng)用實(shí)例的大數(shù)據(jù)分析結(jié)果。應(yīng)用實(shí)例的分析過程與分析結(jié)果表明戶的煙草研發(fā)體系大數(shù)據(jù)分析云平臺，采用分層架構(gòu)，實(shí)現(xiàn)上層應(yīng)用對底層服務(wù)的封裝。其中，上層應(yīng)用使用拖拽式數(shù)據(jù)分析處理流程編排雜的大數(shù)據(jù)分析算法技術(shù)和繁雜的煙草研

發(fā)體系數(shù)據(jù)，降低用戶使用大數(shù)據(jù)分析技術(shù)驅(qū)動煙草研發(fā)業(yè)務(wù)發(fā)展的技術(shù)要求。底層服務(wù)的數(shù)據(jù)自動匯聚方案根據(jù)預(yù)設(shè)數(shù)據(jù)采集模式聚煙草研發(fā)原始數(shù)據(jù)須用戶主動干預(yù)題數(shù)據(jù)服務(wù)根據(jù)用戶指定主題動梳理主題數(shù)據(jù)血緣關(guān)系，構(gòu)建主題數(shù)據(jù)庫，為用戶提供規(guī)范化的數(shù)據(jù)管理與應(yīng)用服務(wù)。4結(jié)語煙草研發(fā)業(yè)務(wù)環(huán)節(jié)眾多，涵蓋配方、原料、煙用材料、調(diào)香、工藝、消費(fèi)行為等方面業(yè)務(wù)平臺系統(tǒng)復(fù)雜多樣據(jù)異構(gòu)異質(zhì)何梳理研發(fā)業(yè)務(wù)中所產(chǎn)生的海量數(shù)據(jù)，盤活數(shù)據(jù)資產(chǎn)，是行業(yè)內(nèi)目前面臨的一個(gè)課題。本文所構(gòu)建的面向煙草行業(yè)研發(fā)應(yīng)用的大數(shù)據(jù)分