葡萄大數(shù)據(jù)解決方案說明書

葡萄管家項目解決方案說明書XX科技股份有限公司編制

目錄一、項目存在問題及需解決問題 31. 存在問題 32. 需解決問題 4二、解決方案 51.解決方案總體架構 52.核心技術 6（1）Hadoop 6（2）SpringMVC 6（3）MyBatis 7（4）Echarts 7（5）MySQL 7（6）Hive 7（7）HBASE 8（8）Zookeeper 8（9）Flume 8三、開發(fā)范圍 91.數(shù)據(jù)生產(chǎn) 92.數(shù)據(jù)采集/消費 93.數(shù)據(jù)分析 104.數(shù)據(jù)展示 11項目存在問題及需解決問題存在問題1.農(nóng)技專家匱乏，服務范圍有限傳統(tǒng)的農(nóng)業(yè)生產(chǎn)，高度依賴農(nóng)業(yè)生產(chǎn)專家的現(xiàn)場技術指導，但即使是在非常需要農(nóng)業(yè)技術推廣人員的農(nóng)忙時節(jié)，在田間地頭依然難覓他們的蹤影。據(jù)調(diào)查，目前我國農(nóng)業(yè)技術推廣人員普遍缺少，即使是在農(nóng)業(yè)大省，也面臨嚴重缺乏的困局。數(shù)據(jù)顯示，目前我國在崗的農(nóng)技推廣人員僅有50萬人，平均每萬名農(nóng)業(yè)人口中農(nóng)技人員僅有6.6人。此外，嚴重的知識斷層和知識老化，以及知識結構偏低，是現(xiàn)有農(nóng)技站面臨的另一個尷尬。農(nóng)技人員斷層的同時，涉農(nóng)專業(yè)也同樣門可羅雀，被莘莘學子打入冷宮。眾所周知，農(nóng)業(yè)發(fā)展需要科學的引領，需要科學的生產(chǎn)技術，但我國農(nóng)民接受新技術的能力普遍較差，大部分勞動力不能掌握現(xiàn)代科學技術，依舊沿用傳統(tǒng)的生產(chǎn)方式和方法。要實現(xiàn)農(nóng)業(yè)產(chǎn)業(yè)化與現(xiàn)代化，就必須推廣應用先進的農(nóng)業(yè)生產(chǎn)技術和管理方法，在農(nóng)技人員匱乏且后續(xù)乏人的環(huán)境之下，如何利用先進的互聯(lián)網(wǎng)、大數(shù)據(jù)技術，將有限的農(nóng)業(yè)生產(chǎn)專家的生產(chǎn)技術和管理方法推廣應用到農(nóng)業(yè)生產(chǎn)中，就成了當務之急、燃眉之需。2.農(nóng)技服務模式單一，指導效率低下目前，我國的農(nóng)業(yè)技術服務模式比較單一，主要依賴農(nóng)業(yè)技術推廣站農(nóng)技人員到田間地頭進行實地指導，間或組織農(nóng)業(yè)生產(chǎn)者進行臨時的農(nóng)業(yè)技術培訓。在農(nóng)業(yè)技術推廣人員極為匱乏的當下，農(nóng)業(yè)生產(chǎn)指導的效率非常低。近年來，隨著互聯(lián)網(wǎng)技術的發(fā)展，農(nóng)業(yè)信息化有了一定的推進，農(nóng)業(yè)專家、農(nóng)技人員可以通過互聯(lián)網(wǎng)進行遠程的農(nóng)業(yè)生產(chǎn)指導。然而，這種形式的指導僅僅是減少了農(nóng)技人員到現(xiàn)場的時間，在極為有限的程度上加大了農(nóng)技服務的面積，而專家在線指導依舊面臨著專家資源匱乏的問題；加之遠程指導僅僅通過照片、視頻、語音等進行診斷、指導，存在信息采集不完全、信息傳遞有誤差等問題；且農(nóng)業(yè)生產(chǎn)技術往往因人而異，不同的人進行指導往往生產(chǎn)效果不同，導致遠程農(nóng)技服務效果不佳。要提高農(nóng)技服務的效率，提升農(nóng)業(yè)生產(chǎn)的效率，歸根結底是要解決農(nóng)業(yè)專家匱乏、農(nóng)業(yè)技術服務模式單一、農(nóng)業(yè)生產(chǎn)技術缺乏標準的問題。3.農(nóng)業(yè)數(shù)據(jù)稀缺，利用價值微小近年來，快速發(fā)展的大數(shù)據(jù)、物聯(lián)網(wǎng)等高新技術，給傳統(tǒng)農(nóng)業(yè)帶來了變革的可能。但由于我國農(nóng)業(yè)長期處于小農(nóng)經(jīng)濟模式，農(nóng)業(yè)生產(chǎn)數(shù)據(jù)極為匱乏，農(nóng)業(yè)生產(chǎn)數(shù)據(jù)采集的方式落后，對于大數(shù)據(jù)來說，采集的數(shù)據(jù)微乎其微。而且，目前數(shù)據(jù)孤島問題嚴重，農(nóng)業(yè)生產(chǎn)數(shù)據(jù)主要集中在科研院所，數(shù)據(jù)遠未實現(xiàn)數(shù)字化，并沒有建立起真正意義上的農(nóng)業(yè)數(shù)據(jù)庫，更沒有形成大數(shù)據(jù)的共享利用。大數(shù)據(jù)的“4V”特性里面，有一點很重要的特性是“價值密度低”，也就是說單純的原始數(shù)據(jù)對用戶來說價值并不大，一定要經(jīng)過專業(yè)的分析處理，才能體現(xiàn)出真正的價值。雖然目前已有一些基于大數(shù)據(jù)的農(nóng)業(yè)生產(chǎn)管理產(chǎn)品，但尚未建立標準的農(nóng)業(yè)數(shù)據(jù)庫及農(nóng)業(yè)生產(chǎn)智能算法，與智能化生產(chǎn)尚有較大差距，遠未涉足農(nóng)業(yè)生產(chǎn)的人工智能領域。需解決問題農(nóng)業(yè)數(shù)據(jù)稀缺，利用價值微小缺少有效的系統(tǒng)平臺業(yè)務標準解決方案解決方案總體架構圖1葡萄管家解決方案總體架構HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術來源于FayChang所撰寫的Google論文“Bigtable：一個結構化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關系數(shù)據(jù)庫，它是一個適合于非結構化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。系統(tǒng)采用面向對象的軟件設計方法，把整個系統(tǒng)看作是多個離散對象的組合。系統(tǒng)設計時，首先把業(yè)務流程分解成功能模塊及其業(yè)務實體對象，然后根據(jù)業(yè)務流程分析對于這些業(yè)務實體對象的操作方法，形成業(yè)務處理對象，最后把各個功能模塊關聯(lián)起來，形成系統(tǒng)。軟件設計是一個將需求轉變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設計陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設計思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務處理邏輯分離。系統(tǒng)采用參數(shù)化的設計思想，定義和管理系統(tǒng)的實體及配置，調(diào)整實體以適應外部變化。系統(tǒng)采用J2EE技術保證程序邏輯實現(xiàn)的平臺無關性，并便于安裝部署。系統(tǒng)采用AJAX技術，提高客戶操作的交互性，保證實際使用的易用性。系統(tǒng)采用echarts可視化框架實現(xiàn)數(shù)據(jù)展示。核心技術HadoopHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構建Web應用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設置以及結果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個關系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關系數(shù)據(jù)庫管理系統(tǒng))應用軟件之一。MySQL是一種關系型數(shù)據(jù)庫管理系統(tǒng)，關系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標準化語言。MySQL軟件采用了雙授權政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。HiveHive是基于Hadoop構建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉換為MapReduce任務運行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復雜的數(shù)據(jù)分析。它與關系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進行數(shù)據(jù)提取轉化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴展性。HBASEHBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術可在廉價PCServer上搭建起大規(guī)模結構化存儲集群。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調(diào)服務，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對于該模塊的業(yè)務，即數(shù)據(jù)生產(chǎn)過程，一般并不會讓你來進行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項目的一體化方案的設計（數(shù)據(jù)的產(chǎn)生、存儲、分析、展示），則必須清楚每一個環(huán)節(jié)是如何處理的，包括其中每個環(huán)境可能隱藏的問題；數(shù)據(jù)結構，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費數(shù)據(jù)采集模塊（消費），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們在此需要將實時數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)-->flume-->kafka-->sparks