版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)投標(biāo)方案
目錄
第一章項(xiàng)目需求理解13
1.1.項(xiàng)目概述14
1.1.1.項(xiàng)目建設(shè)背景14
1.1.2.項(xiàng)目建設(shè)目標(biāo)14
1.1.3.主要建設(shè)內(nèi)容16
1.1.4.項(xiàng)目的現(xiàn)狀18
1.2.平臺(tái)基礎(chǔ)框架19
1.2.1.基礎(chǔ)框架19
1.2.2.門戶19
1.2.3.區(qū)塊鏈系統(tǒng)19
1.2.4.B2B線上支持結(jié)算系統(tǒng)20
1.2.5.電子簽章系統(tǒng)20
1.3.在線交易平臺(tái)22
1.3.1.制種訂單交易系統(tǒng)22
1.3.2.在線交易系統(tǒng)(種子、農(nóng)資、農(nóng)產(chǎn)品、米
制
品)22
1.3.3.米制品種植訂單交易系統(tǒng)23
1.3.4.在線交易基礎(chǔ)系統(tǒng)23
1.4.生產(chǎn)管理系統(tǒng)24
1.4.1.追溯模式建設(shè)24
1.4.2.農(nóng)業(yè)數(shù)據(jù)分析中心24
1.4.3.生產(chǎn)管理體系建設(shè)24
1.5.生產(chǎn)服務(wù)管理系統(tǒng)25
1.5.1.農(nóng)機(jī)服務(wù)管理系統(tǒng)25
1.5.2.測土配肥服務(wù)管理系統(tǒng)25
1.5.3.農(nóng)機(jī)共享服務(wù)管理系統(tǒng)26
1.5.4.農(nóng)機(jī)補(bǔ)貼管理系統(tǒng)26
1.6.物流倉儲(chǔ)管理系統(tǒng)27
1.6.1.基礎(chǔ)管理27
1.6.2.訂單處理27
1.6.3.運(yùn)輸管理27
1.6.4.倉儲(chǔ)管理28
1.7.供應(yīng)鏈金融管理系統(tǒng)29
1.7.1.應(yīng)收賬款融資29
1.7.2.存貨融資29
1.7.3.預(yù)付款融資29
1.8.種業(yè)大數(shù)據(jù)展示系統(tǒng)30
1.8.1.機(jī)構(gòu)一覽30
1.8.2.農(nóng)業(yè)生產(chǎn)熱力圖30
1.8.3.農(nóng)情分析31
1.8.4.農(nóng)產(chǎn)品溯源基礎(chǔ)數(shù)據(jù)31
1.8.5.生產(chǎn)預(yù)警及分析31
第二章項(xiàng)目總體設(shè)計(jì)32
2.1.系統(tǒng)總體設(shè)計(jì)原則32
2.1.1.統(tǒng)一設(shè)計(jì)原則32
2.1.2.先進(jìn)性原則32
2.1.3.高可靠/高安全性原則32
2.1.4.標(biāo)準(zhǔn)化原則33
2.1.5.成熟性原則33
2.1.6.適用性原則33
2.1.7.可擴(kuò)展性原則33
2.2.業(yè)務(wù)應(yīng)用支撐平臺(tái)設(shè)計(jì)原則34
2.2.1.遵循相關(guān)規(guī)范或標(biāo)準(zhǔn)34
2.2.2.采用先進(jìn)和成熟的技術(shù)34
2.2.3.可靈活的與其他系統(tǒng)集成34
2.2.4.快速開發(fā)/快速修改的原則34
2.2.5.具有良好的可擴(kuò)展性35
2.2.6.平臺(tái)無關(guān)性35
2.2.7.安全性和可靠性35
2.2.8.用戶操作方便的原則35
2.3.共享交換區(qū)數(shù)據(jù)庫設(shè)計(jì)原則36
2.3.1.統(tǒng)一設(shè)計(jì)原則36
2.3.2.有效提取原則36
2.3.3.保證交換原則36
2.3.4.采用集中與分布式相結(jié)合的系統(tǒng)結(jié)構(gòu)……36
2.4.總集成設(shè)計(jì)原則37
2.4.1.總體設(shè)計(jì)原則37
2.4.2.系統(tǒng)及應(yīng)用支撐環(huán)境設(shè)計(jì)原則38
2.5.關(guān)鍵技術(shù)44
2.5.1.大數(shù)據(jù)技術(shù)44
2.5.2.物聯(lián)網(wǎng)技術(shù)64
2.5.3.J2EE技術(shù)69
2.5.4.B/S架構(gòu)技術(shù)71
第三章系統(tǒng)安全解決方案78
3.1.信息系統(tǒng)安全的含義78
3.2.信息系統(tǒng)涉及的內(nèi)容80
3.2.1.系統(tǒng)運(yùn)行的安全80
3.2.2.訪問權(quán)限和系統(tǒng)信息資源保護(hù)80
3.2.3.信息內(nèi)容安全80
3.2.4.作業(yè)和交易的安全81
3.2.5.人員和安全的規(guī)章制度保障81
3.2.6.安全體系整體的防范和應(yīng)急反應(yīng)功能...81
3.3.現(xiàn)有信息系統(tǒng)存在的突出問題82
3.3.1.信息系統(tǒng)安全管理問題突出82
3.3.2.缺乏信息化安全意識(shí)與對(duì)策82
3.3.3.重安全技術(shù),輕安全管理83
3.3.4.系統(tǒng)管理意識(shí)淡薄83
3.3.5.信息系統(tǒng)安全技術(shù)及規(guī)劃83
3.4.信息系統(tǒng)安全管理95
3.4.1.信息系統(tǒng)安全管理原則95
3.4.2.信息系統(tǒng)安全管理的工作內(nèi)容96
3.5.第三方等級(jí)保護(hù)要求98
第四章項(xiàng)目在線交易平臺(tái)建設(shè)135
4.1.制種訂單交易系統(tǒng)140
4.1.1.由交易中心代辦提貨140
4.1.2.直接交收140
4.1.3.貨款經(jīng)交易中心結(jié)算140
4.2.在線交易系統(tǒng)(種子、農(nóng)資、農(nóng)產(chǎn)品、米制品)143
4.2.1.會(huì)員管理143
4.2.2.會(huì)員注冊(cè)143
4.2.3.會(huì)員誠信等級(jí)143
4.2.4.會(huì)員等級(jí)143
4.2.5.業(yè)務(wù)流程144
4.3.米制品種植訂單交易系統(tǒng)144
4.3.1.訂單掛牌144
4.3.2.訂單合同144
4.3.3.資金管理145
4.3.4.交收管理145
4.3.5.信息發(fā)布145
4.4.在線交易基礎(chǔ)系統(tǒng)146
4.4.1.用戶管理146
4.4.2.基礎(chǔ)數(shù)據(jù)管理146
4.4.3.管理員角色管理146
4.4.4.部門管理146
4.4.5.系統(tǒng)菜單管理146
4.4.6.接口配置管理146
4.4.7.監(jiān)控管理147
4.4.8.時(shí)效管理147
4.4.9.日志管理147
4.5.軟件界面示例148
第五章生產(chǎn)管理系統(tǒng)建設(shè)159
5.1.追溯模式建設(shè)160
5.1.1.主體標(biāo)識(shí)161
5.2.農(nóng)業(yè)數(shù)據(jù)分析中心171
5.2.1.數(shù)據(jù)庫概述172
5.2.2.關(guān)鍵技術(shù)173
5.3.生產(chǎn)管理體系建設(shè)178
5.3.1.建設(shè)目標(biāo)178
5.3.2.生產(chǎn)管理體系建設(shè)功能179
5.3.3.種子加工的工藝流程181
5.3.4.種子干燥182
5.4.生產(chǎn)服務(wù)管理系統(tǒng)建設(shè)184
第六章農(nóng)機(jī)服務(wù)管理系統(tǒng)201
6.1.測土配肥服務(wù)管理系統(tǒng)203
6.1.1.測土數(shù)據(jù)管理203
6.1.2.施肥配方管理203
6.1.3.測土配方分析203
6.1.4.測土配方知識(shí)管理203
6.1.5.測土數(shù)據(jù)應(yīng)用203
6.2.農(nóng)機(jī)共享服務(wù)管理系統(tǒng)204
6.2.1.發(fā)布資源204
6.2.2.資源管理204
6.2.3.租賃設(shè)備或服務(wù)204
6.2.4.聯(lián)系客戶204
6.2.5.提供服務(wù)204
6.2.6.訂單結(jié)算205
6.3.農(nóng)機(jī)補(bǔ)貼服務(wù)管理系統(tǒng)206
6.3.1.基礎(chǔ)信息管理206
6.3.2.農(nóng)機(jī)推廣目錄管理206
6.3.3.農(nóng)機(jī)補(bǔ)貼目錄管理206
6.3.4.農(nóng)機(jī)購置補(bǔ)貼管理206
6.3.5.農(nóng)機(jī)作業(yè)補(bǔ)貼管理206
6.4.軟件界面示例207
6.4.1.農(nóng)機(jī)檔案207
6.4.2.訂單管理209
6.4.3.作業(yè)調(diào)度210
6.4.4.作業(yè)監(jiān)管211
6.4.5.作業(yè)分析212
第七章物流倉儲(chǔ)管理系統(tǒng)建設(shè)213
7.1.登錄注冊(cè)219
7.1.1.中間層登錄219
7.1.2.軟件登錄219
7.1.3.基礎(chǔ)資料221
7.2.系統(tǒng)226
7.2.1.系統(tǒng)參數(shù)226
7.2.2.用戶及權(quán)限管理226
7.2.3.修改登陸密碼229
7.3.運(yùn)輸管理230
7.3.1.訂單管理230
7.3.2.發(fā)貨業(yè)務(wù)232
7.3.3.管理報(bào)表249
7.4.財(cái)務(wù)中心254
7.4.1.初始設(shè)置254
7.4.2.往來對(duì)賬255
7.4.3.出納管理261
7.5.客服中心268
7.5.1.運(yùn)單管理268
7.5.2.短信中心271
7.5.3.回單管理277
7.5.4.報(bào)價(jià)管理280
7.6.車輛管理282
7.6.1.車輛管理282
7.7.倉儲(chǔ)管理模塊289
7.7.1.入庫管理289
7.7.2.在庫管理292
7.7.3.出庫管理294
第八章供應(yīng)鏈金融管理系統(tǒng)建設(shè)298
8.1.應(yīng)收賬款融資305
8.1.1.保理業(yè)務(wù)管理305
8.1.2.保理池管理305
8.1.3.反向保理業(yè)務(wù)管理305
8.2.存貨融資306
8.2.1.靜態(tài)抵質(zhì)押管理306
8.2.2.動(dòng)態(tài)抵質(zhì)押管理306
8.2.3.倉單質(zhì)押管理306
8.3.預(yù)付款融資307
8.3.1.靜態(tài)抵質(zhì)押管理307
8.4.種業(yè)大數(shù)據(jù)展示系統(tǒng)建設(shè)308
8.4.1.項(xiàng)目分析309
8.4.2.建設(shè)內(nèi)容310
8.4.3.建設(shè)目標(biāo)314
8.4.4.解決方案315
8.5.平臺(tái)基礎(chǔ)框架321
8.5.1.基礎(chǔ)框架321
8.5.2.業(yè)務(wù)中臺(tái)325
8.5.3.數(shù)據(jù)中臺(tái)325
8.6.門戶327
8.6.1.操作指引327
8.6.2.產(chǎn)業(yè)指數(shù)327
8.6.3.預(yù)報(bào)預(yù)警327
8.6.4.政策法規(guī)327
8.6.5.信息發(fā)布328
8.6.6.監(jiān)管數(shù)據(jù)328
8.6.7.數(shù)據(jù)查詢328
8.6.8.基地動(dòng)態(tài)328
8.6.9.技術(shù)交流328
8.6.10種業(yè)資訊329
8.6.11科研動(dòng)態(tài)329
8.7.區(qū)塊鏈系統(tǒng)330
8.7.1.應(yīng)收款融資330
8.7.2.授信融資330
8.7.3.合同存證330
8.8.B2B線上支持結(jié)算系統(tǒng)331
8.8.1.電子合同331
8.8.2.短信服務(wù)332
8.8.3.銀行對(duì)接332
8.8.4.銀行接口332
8.9.電子簽章系統(tǒng)333
8.9.1.客戶身份實(shí)名認(rèn)證333
8.9.2.數(shù)字證書認(rèn)證與電子印章管理333
8.9.3.電子合同管理333
8.9.4.電子簽章應(yīng)用333
8.9.5.與業(yè)務(wù)系統(tǒng)集成333
第九章硬件相關(guān)334
9.1.產(chǎn)品保真方法334
9.1.1.先進(jìn)性334
9.1.2.開放性334
9.1.3.可靠性334
9.1.4.安全性335
9.1.5.穩(wěn)定性336
9.1.6.健壯性336
9.1.7.可擴(kuò)展性337
9.2.項(xiàng)目管理與實(shí)施方案338
9.2.1.項(xiàng)目管理部門及崗位設(shè)置338
9.2.2.項(xiàng)目內(nèi)部控制339
9.2.3.質(zhì)量控制342
9.2.4.風(fēng)險(xiǎn)控制346
9.2.5.軟件開發(fā)控制356
9.2.6.合同管理363
9.2.7.組織協(xié)調(diào)365
9.2.8.需求調(diào)研與分析368
9.2.9.系統(tǒng)集成377
9.2.10技術(shù)文件及交付物396
9.2.11測試計(jì)劃397
9.2.12驗(yàn)收計(jì)劃403
第一章項(xiàng)目需求理解
XX縣種子產(chǎn)業(yè)互聯(lián)網(wǎng)服務(wù)平臺(tái)主要由在線交易平臺(tái)、
生產(chǎn)管理系統(tǒng)、生產(chǎn)服務(wù)管理系統(tǒng)、物流倉儲(chǔ)管理系統(tǒng)、
供應(yīng)鏈金融管理系統(tǒng)、種業(yè)大數(shù)據(jù)展示系統(tǒng),以及相應(yīng)的
基礎(chǔ)框架、配套硬件以及配套服務(wù)等組成。
通過各種方式收集和獲得所開發(fā)項(xiàng)目的業(yè)務(wù)需求,并
對(duì)獲取的需求和系統(tǒng)應(yīng)具有的隱含需求進(jìn)行分析,以建立
系統(tǒng)的軟件需求。這些需求通常包括:
a.功能需求
b.數(shù)據(jù)需求
c.性能需求
d.人機(jī)接口需求
e.安全和保密需求
f.網(wǎng)絡(luò)需求
g.和其他系統(tǒng)的接口需求
h.操作、維護(hù)和安裝需求
i.一些特殊的設(shè)計(jì)限制
使用《系統(tǒng)開發(fā)規(guī)范》中規(guī)定的需求分析方法和工具
清晰準(zhǔn)確地定義和描述這些需求。編寫《軟件需求說明
書》,編寫初步的《系統(tǒng)指南》。
《軟件需求說明書》得到用戶確認(rèn)后,提交評(píng)審。
1.1.項(xiàng)目概述
1.1.1.項(xiàng)目建設(shè)背景
根據(jù)XX縣委、縣政府的決定,由XX縣農(nóng)業(yè)農(nóng)村局牽
頭,在全面深入地對(duì)全國種子產(chǎn)業(yè)的情況,XX縣種子產(chǎn)業(yè)的
發(fā)展?fàn)顩r、痛點(diǎn)需求、服務(wù)機(jī)會(huì)、轉(zhuǎn)型路徑等進(jìn)行深入調(diào)
研基礎(chǔ)上,完成了《XX縣種子產(chǎn)業(yè)鏈一體化發(fā)展規(guī)劃》、
《XX縣種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)系統(tǒng)商業(yè)模式設(shè)計(jì)與發(fā)展戰(zhàn)略
規(guī)劃》兩份咨詢報(bào)告。XX縣投資建設(shè)種業(yè)產(chǎn)業(yè)互聯(lián)網(wǎng)服務(wù)
平臺(tái),具有重要的現(xiàn)實(shí)意義和經(jīng)濟(jì)價(jià)值;利用互聯(lián)網(wǎng)、物
聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù),建設(shè)立足XX縣、輻射福建省乃至
全國的種子產(chǎn)業(yè)互聯(lián)網(wǎng)服務(wù)平臺(tái),推動(dòng)XX縣種子產(chǎn)業(yè)互聯(lián)
網(wǎng)轉(zhuǎn)型的戰(zhàn)略規(guī)劃。
1.1.2.項(xiàng)目建設(shè)目標(biāo)
建設(shè)XX縣種業(yè)產(chǎn)業(yè)互聯(lián)網(wǎng)服務(wù)平臺(tái),解決XX縣種業(yè)
產(chǎn)業(yè)的痛點(diǎn),進(jìn)一步強(qiáng)化XX縣在種業(yè)產(chǎn)業(yè)鏈中制種強(qiáng)縣和
行業(yè)引領(lǐng)的核心地位。通過以大數(shù)據(jù)、云計(jì)算、互聯(lián)網(wǎng)、
物聯(lián)網(wǎng)、區(qū)塊鏈、人工智能等為代表的新一代信息技術(shù)重
塑種子產(chǎn)業(yè),數(shù)字種業(yè)和數(shù)字農(nóng)業(yè)應(yīng)運(yùn)而生,促進(jìn)種子產(chǎn)
業(yè)從傳統(tǒng)的垂直分工體系轉(zhuǎn)向產(chǎn)業(yè)價(jià)值鏈一體化協(xié)同發(fā)
展,這將是未來種業(yè)發(fā)展的必然方向,將在數(shù)字農(nóng)業(yè)和智慧
農(nóng)業(yè)方面發(fā)揮示范和先鋒作用。
1.1.3.主要建設(shè)內(nèi)容
項(xiàng)目建設(shè)內(nèi)容包含“1個(gè)中心、5個(gè)子系統(tǒng)”,即以在
線交易平臺(tái)為中心,5個(gè)子系統(tǒng)即生產(chǎn)管理系統(tǒng)、生產(chǎn)服務(wù)
管理系統(tǒng)、物流倉儲(chǔ)管理系統(tǒng)、供應(yīng)鏈金融管理系統(tǒng)、種
業(yè)大數(shù)據(jù)展示系統(tǒng),以及相應(yīng)的基礎(chǔ)框架、配套硬件以及
配套服務(wù)等,此平臺(tái)由中標(biāo)方建設(shè)、運(yùn)營維護(hù)及推廣,所有
權(quán)為采購方擁有。種業(yè)大數(shù)據(jù)展示系統(tǒng)、在線交易平臺(tái)產(chǎn)
生的與種業(yè)相關(guān)的數(shù)據(jù)無償提供給XX縣人民政府使用。其
余平臺(tái)產(chǎn)生的數(shù)據(jù),由XX縣人民政府和運(yùn)營公司共享。平
臺(tái)總體邏輯架構(gòu)如下圖所示:
科務(wù)中心農(nóng)機(jī)服務(wù)中心生產(chǎn)管理中U在線交易心
公司業(yè)務(wù)
監(jiān)控報(bào)警
他供成建全中C種業(yè)大題中心
支撐故障處理
業(yè)務(wù)其事舉元
用戶中心商品中心交易中心評(píng)價(jià)中心
系統(tǒng)升級(jí)
門店中心接素中心數(shù)據(jù)服務(wù)中心營翁中心
應(yīng)用發(fā)布
支撐
云平臺(tái)分布式應(yīng)用假務(wù)平臺(tái)ED4S安全能護(hù)
集
彈性計(jì)算關(guān)系型數(shù)據(jù)店服開放奪律消息服開故緩存開族數(shù)據(jù)處理集
業(yè)務(wù)監(jiān)控
群
服務(wù)KC5務(wù)RDS/DKDS服務(wù)OSS務(wù)MQ服務(wù)CCS服務(wù)COPS群
分
監(jiān)
布控
分有式文件系統(tǒng)任務(wù)調(diào)度運(yùn)架部
選程過置調(diào)用安全管理分布協(xié)同服務(wù)資源管理
XX縣種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)建設(shè)項(xiàng)目通過7大服務(wù)中心
的建設(shè),為產(chǎn)業(yè)鏈各環(huán)節(jié)用戶提供針對(duì)性的產(chǎn)業(yè)服務(wù),幫
助產(chǎn)業(yè)鏈上用戶降本增效;同時(shí)構(gòu)建種業(yè)綜合服務(wù)生態(tài)
圈,實(shí)現(xiàn)種業(yè)新價(jià)值、新業(yè)態(tài)的創(chuàng)造,為產(chǎn)業(yè)升級(jí)賦能,
整合重構(gòu)產(chǎn)業(yè)鏈資源。未來項(xiàng)目將提供覆蓋種子產(chǎn)業(yè)鏈全
生命周期的7大服務(wù):
1)科研成果轉(zhuǎn)化:通過科研服務(wù)中心,鏈接科研機(jī)構(gòu)及
種子公司雙方,有效對(duì)接供需,推動(dòng)科技成果轉(zhuǎn)化;
2)農(nóng)機(jī)共享服務(wù):通過農(nóng)機(jī)共享中心,讓種植戶更便捷
得獲取農(nóng)機(jī)服務(wù)信息,讓服務(wù)商獲得更多訂單,提高農(nóng)機(jī)
利用率;
3)生產(chǎn)管理服務(wù):通過生產(chǎn)管理中心,運(yùn)用互聯(lián)網(wǎng)手
段,進(jìn)行田塊、作物、人員、流程、成本管理,打造生產(chǎn)
全流程一體化管控服務(wù),降低生產(chǎn)成本,提高生產(chǎn)效率;
4)在線交易服務(wù):建設(shè)在線交易平臺(tái),實(shí)現(xiàn)農(nóng)資交易、
種子交易(制種訂單交易、商品種子交易)、米制品交易一
體化;
5)倉儲(chǔ)物流服務(wù):建設(shè)智慧倉庫、智慧物流管平臺(tái),幫
助企業(yè)更好的管理產(chǎn)品,降低庫存,實(shí)現(xiàn)產(chǎn)品可追溯,降
低倉庫運(yùn)營費(fèi)用;
6)供應(yīng)鏈金融服務(wù):基于產(chǎn)業(yè)鏈真實(shí)交易數(shù)據(jù),為產(chǎn)業(yè)
鏈用戶提供低成本的資金支持,緩解資金壓力;
7)種業(yè)大數(shù)據(jù)服務(wù):在提供產(chǎn)業(yè)鏈服務(wù)的同時(shí),對(duì)產(chǎn)業(yè)
鏈各環(huán)節(jié)數(shù)據(jù),進(jìn)行統(tǒng)一收集、處理、分析,從而實(shí)時(shí)掌
握產(chǎn)業(yè)發(fā)展動(dòng)態(tài),及時(shí)調(diào)整發(fā)展方向,制定合理的產(chǎn)業(yè)規(guī)
劃。
1.1.4.項(xiàng)目的現(xiàn)狀
XX縣隨著種子、種苗銷售環(huán)節(jié)的放開,種子種苗生產(chǎn)
經(jīng)營企業(yè)、經(jīng)銷商的數(shù)量大幅增加,不同程度存在無證和
超范圍、超區(qū)域生產(chǎn)經(jīng)營、經(jīng)銷的現(xiàn)象。農(nóng)作物品種未審
先推、生產(chǎn)經(jīng)營檔案和臺(tái)賬不全、銷售假劣種子等違法違
規(guī)行為仍時(shí)有發(fā)生。對(duì)商品種子和農(nóng)民個(gè)人自繁、自用的
常規(guī)剩余種子的界定困難,非法營銷種子的現(xiàn)象無法有效
制止。非主要農(nóng)作物種子,尤其是蔬菜、瓜果等種子主要
采取墟日集市銷售,沒有相對(duì)統(tǒng)一穩(wěn)定的經(jīng)營地點(diǎn),流動(dòng)
性大,給市場監(jiān)管帶來困難。
引導(dǎo)種子企業(yè)、育種科研單位、科研項(xiàng)目向園區(qū)集
聚,重點(diǎn)開展種子生產(chǎn)加工技術(shù)研究、育種科研、種子加
工倉儲(chǔ)等服務(wù)。大力推進(jìn)“育繁推一體化”種子企業(yè)的培
育,著力引進(jìn)一批規(guī)模大、技術(shù)力量強(qiáng)、資金雄厚、產(chǎn)業(yè)
關(guān)聯(lián)度高的種子企業(yè),形成良性競爭局面。重點(diǎn)形成
“產(chǎn)、學(xué)、研”相結(jié)合的科技創(chuàng)新體系,力爭將其打造成
育種能力強(qiáng)、生產(chǎn)加工先進(jìn)、技術(shù)服務(wù)到位的領(lǐng)軍企業(yè)。
突出品牌創(chuàng)建。加快種子質(zhì)量標(biāo)準(zhǔn)體系、種子質(zhì)量認(rèn)證體
系和地方標(biāo)準(zhǔn)體系建設(shè),增強(qiáng)種子產(chǎn)業(yè)話語權(quán)。加大XX種
子品牌化建設(shè)力度,帶動(dòng)種子企業(yè)創(chuàng)建自主品牌,形成
“企業(yè)品牌+區(qū)域品牌”的品牌一體化發(fā)展,提高企業(yè)品
牌和區(qū)域品牌信任度、知名度、美譽(yù)度。
1.2.平臺(tái)基礎(chǔ)框架
1.2.1.基礎(chǔ)框架
基礎(chǔ)框架為XX縣種子產(chǎn)業(yè)互聯(lián)網(wǎng)服務(wù)平臺(tái)的基礎(chǔ),主
要包含微服務(wù)架構(gòu)模式從數(shù)據(jù)庫、到邏輯層、到界面展現(xiàn)
層獨(dú)立,從需求、設(shè)計(jì)、開發(fā)、測試、部署上線和運(yùn)維獨(dú)
立、業(yè)務(wù)中臺(tái)、數(shù)據(jù)中臺(tái)功能。
1.2.2.門戶
門戶將種子產(chǎn)業(yè)上下游相關(guān)用戶的應(yīng)用和數(shù)據(jù)集成到
一個(gè)信息管理平臺(tái)之上,并以統(tǒng)一的用戶軟件界面提供給
用戶,使政府相關(guān)職能部門、種子公司、代制種公司、經(jīng)
紀(jì)人、種植戶之間、與合作伙伴和顧客之間順暢溝通。
1.2.3.區(qū)塊鏈系統(tǒng)
利用區(qū)塊鏈區(qū)塊鏈具有可溯源、共識(shí)和去中心化的特
性,確保透明度和安全性,確保供應(yīng)鏈各參與方業(yè)務(wù)數(shù)據(jù)
(如產(chǎn)地、日期、價(jià)格、質(zhì)量等)的公正性、準(zhǔn)確性。參與
各方可將業(yè)務(wù)數(shù)據(jù)存放在于區(qū)塊鏈,區(qū)塊鏈對(duì)參與方提供
完全平等的訪問權(quán),基于高度的信任關(guān)系和對(duì)于所有的交
易記錄可追溯性和可驗(yàn)證性,方便供應(yīng)鏈金融企業(yè)重塑風(fēng)
險(xiǎn)控制模型,因?yàn)檎w透明度的提高將極大降低行業(yè)風(fēng)
險(xiǎn)。
1.2.4.B2B線上支持結(jié)算系統(tǒng)
系統(tǒng)主要包含電子合同系統(tǒng)、短信服務(wù)系統(tǒng)、銀行對(duì)
接系統(tǒng)、銀行接口系統(tǒng)。
1.2.5.電子簽章系統(tǒng)
客戶身份實(shí)名認(rèn)證是通過多途徑,對(duì)用戶的真實(shí)信息
進(jìn)行驗(yàn)證。企業(yè)客戶包括對(duì)企業(yè)名稱、企業(yè)證件號(hào)碼、企
業(yè)法人等信息進(jìn)行認(rèn)證,確保平臺(tái)內(nèi)的企業(yè)客戶是真實(shí)有
效的。而個(gè)人客戶則需要對(duì)個(gè)人姓名、個(gè)人證件信息進(jìn)行
認(rèn)證,同時(shí)還需要通過短信驗(yàn)證或其它活體驗(yàn)證方式,確
保操作人與平臺(tái)內(nèi)用戶的統(tǒng)一性。
數(shù)字認(rèn)證與電子印章管理是電子簽章的基礎(chǔ),用戶要
在電子合同或其它電子文檔上進(jìn)行電子簽章,需要先為用
戶申請(qǐng)一張代表其身份的數(shù)字證書,并將實(shí)體化的公章或
個(gè)人簽名電子化。平臺(tái)支持個(gè)人用戶在移動(dòng)端進(jìn)行簽章
時(shí),手寫進(jìn)行簽名,同時(shí)也支持根據(jù)用戶名稱生成電子印
模。數(shù)字證書認(rèn)證包含了對(duì)數(shù)字證書的申請(qǐng)、外部證書注
冊(cè)、證書注銷、證書延期等操作;而電子印章管理則是對(duì)
電子印模的制作、修改、刪除、啟/停用等操作。
電子合同管理是指通過互聯(lián)網(wǎng),完成種業(yè)公司與供應(yīng)
商或采購商的合同簽訂。平臺(tái)需要嚴(yán)格按照相關(guān)法律法規(guī)
的要求進(jìn)行建設(shè),實(shí)現(xiàn)紙質(zhì)合同全面電子化,確保電子合
同的法律效應(yīng)和合同在線操作的可追溯性。
電子簽章應(yīng)用主要用電子合同簽署、電子質(zhì)保書簽章
和其它電子文件簽章。
所有在平臺(tái)進(jìn)行電子簽章的客戶和公司公章簽署人,
都會(huì)擁有唯一的UKey,用于PC端簽章,而平臺(tái)移動(dòng)APP則
使用簽章密碼進(jìn)行簽章。平臺(tái)同時(shí)為平臺(tái)其它業(yè)務(wù)系統(tǒng)提
供后臺(tái)批量簽章接口,完成多文件批量簽章操作,如電子
質(zhì)保書批量簽章。
電子合同平臺(tái)與平臺(tái)其它業(yè)務(wù)系統(tǒng)集成,完成業(yè)務(wù)處
理和電子合同簽訂的一體化,保障業(yè)務(wù)系統(tǒng)可以根據(jù)業(yè)務(wù)
數(shù)據(jù)查詢對(duì)應(yīng)的合同,業(yè)務(wù)系統(tǒng)根據(jù)業(yè)務(wù)操作產(chǎn)生的合
同,也統(tǒng)一保存在電子合同平臺(tái),方便對(duì)合同進(jìn)行管理。
與業(yè)務(wù)系統(tǒng)集成,主要是要進(jìn)行用戶數(shù)據(jù)同步、合同相關(guān)
業(yè)務(wù)數(shù)據(jù)傳輸、電子合同推送與傳輸,同時(shí)也為業(yè)務(wù)系統(tǒng)
提供簽章服務(wù)。
1.3.在線交易平臺(tái)
種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)在線交易系統(tǒng)為了實(shí)現(xiàn)用戶個(gè)性
化服務(wù)和更為完善的售后服務(wù),引入會(huì)員管理體系。會(huì)員
注冊(cè)登陸網(wǎng)站后,建立健全的個(gè)人檔案,包括會(huì)員基本信
息、訂購信息、反饋信息,客服人員可根據(jù)會(huì)員資料為不
同的會(huì)員提供不同業(yè)務(wù)介紹及推薦,延伸售后服務(wù)的深度
及寬度,滿足不同層次會(huì)員的需求并帶動(dòng)傳統(tǒng)業(yè)務(wù)的擴(kuò)
展。
1.3.1.制種訂單交易系統(tǒng)
系統(tǒng)允許種子公司發(fā)布制種計(jì)劃,需求畝數(shù)、保底回
購產(chǎn)量及價(jià)格、制種技術(shù)要求,經(jīng)紀(jì)人在線訂購制種計(jì)
劃;經(jīng)紀(jì)人發(fā)布種植資源,擁有的生產(chǎn)田、種植戶等資
源,種子公司可邀請(qǐng)經(jīng)紀(jì)人進(jìn)行制種訂單的接收;同時(shí)滿
足在線簽訂電子合同、資金管理。
1.3.2.在線交易系統(tǒng)(種子、農(nóng)資、農(nóng)產(chǎn)品、米制品)
種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)在線交易系統(tǒng)為了實(shí)現(xiàn)用戶個(gè)性
化服務(wù)和更為完善的售后服務(wù),引入會(huì)員管理體系。會(huì)員注
冊(cè)登陸網(wǎng)站后,建立健全的個(gè)人檔案,包括會(huì)員基本信
息、訂購信息、反饋信息,客服人員可根據(jù)會(huì)員資料為不
同的會(huì)員提供不同業(yè)務(wù)介紹及推薦,延伸售后服務(wù)的深度
及寬度,滿足不同層次會(huì)員的需求并帶動(dòng)傳統(tǒng)業(yè)務(wù)的擴(kuò)
展。
1.3.3.米制品種植訂單交易系統(tǒng)
系統(tǒng)允許種子公司發(fā)布制種計(jì)劃,需求畝數(shù)、保底回
購產(chǎn)量及價(jià)格、制種技術(shù)要求,經(jīng)紀(jì)人在線訂購制種計(jì)
劃;經(jīng)紀(jì)人發(fā)布種植資源,擁有的生產(chǎn)田、種植戶等資
源,種子公司可邀請(qǐng)經(jīng)紀(jì)人進(jìn)行制種訂單的接收;同時(shí)滿
足在線簽訂電子合同、資金管理。
1.3.4.在線交易基礎(chǔ)系統(tǒng)
種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)在線交易基礎(chǔ)系統(tǒng)為制種訂單交
易系統(tǒng)、在線交易系統(tǒng)(種子、農(nóng)資、農(nóng)產(chǎn)品、米制品)、
米制品種植訂單交易系統(tǒng)提供基礎(chǔ)服務(wù)。
1.4.生產(chǎn)管理系統(tǒng)
種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)生產(chǎn)管理系統(tǒng)為生產(chǎn)企業(yè)錄入生
產(chǎn)檔案信息以及對(duì)生產(chǎn)檔案的管理,為了保證生產(chǎn)管理系
統(tǒng)數(shù)據(jù)庫能夠有效地提供數(shù)據(jù)共享、數(shù)據(jù)更新等服務(wù),需
要建立一套符合XX特色的技術(shù)規(guī)范和管理辦法,從而保證
能夠充分發(fā)揮監(jiān)管系統(tǒng)的核心作用。
1.4.1.追溯模式建設(shè)
根據(jù)企業(yè)生產(chǎn)管理實(shí)際水平,追溯分為三個(gè)級(jí)別:主體
標(biāo)識(shí)、銷售批次、生產(chǎn)批次級(jí)別,追溯級(jí)別是企業(yè)質(zhì)量安
全信用等級(jí)的重要指標(biāo)。
1.4.2.農(nóng)業(yè)數(shù)據(jù)分析中心
分析中心為政府職能部門及企業(yè)提供具體的數(shù)據(jù)收
集、清洗、分析等功能模塊,通過對(duì)生產(chǎn)規(guī)模、投入品、
企業(yè)相關(guān)信息、倉儲(chǔ)及銷售模塊管理,從而保證數(shù)據(jù)分析
中心達(dá)到預(yù)期目標(biāo)。
1.4.3.生產(chǎn)管理體系建設(shè)
農(nóng)業(yè)除了農(nóng)產(chǎn)品本身所生產(chǎn)的經(jīng)濟(jì)價(jià)值外,對(duì)于整個(gè)
農(nóng)作的生產(chǎn)過程則可視為一項(xiàng)衍生的知識(shí)價(jià)值。
1.5.生產(chǎn)服務(wù)管理系統(tǒng)
生產(chǎn)服務(wù)系統(tǒng)包括農(nóng)機(jī)服務(wù)、測土配肥服務(wù)、農(nóng)機(jī)共
享服務(wù)。在種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)中,生產(chǎn)服務(wù)是生產(chǎn)管理
系統(tǒng)的進(jìn)一步延伸,是對(duì)生產(chǎn)管理系統(tǒng)中產(chǎn)生的數(shù)據(jù)資產(chǎn)
的使用,生產(chǎn)服務(wù)的規(guī)劃、調(diào)度、實(shí)現(xiàn)、補(bǔ)貼監(jiān)管,都體
現(xiàn)在線上化、數(shù)字化、自動(dòng)化,是數(shù)字農(nóng)業(yè)生產(chǎn)的典型體
現(xiàn)。
1.5.1.農(nóng)機(jī)服務(wù)管理系統(tǒng)
以GIS為基礎(chǔ),采集和整合現(xiàn)有農(nóng)機(jī)基礎(chǔ)數(shù)據(jù),實(shí)現(xiàn)
XX縣農(nóng)機(jī)數(shù)據(jù)資源的集中采集、統(tǒng)一管理和綜合利用,實(shí)
現(xiàn)對(duì)各類農(nóng)機(jī)基礎(chǔ)數(shù)據(jù)全面、規(guī)范的管理,為各類應(yīng)用、
服務(wù)、決策提供支撐。內(nèi)容方面包括對(duì)農(nóng)田、農(nóng)機(jī)生產(chǎn)企
業(yè)、農(nóng)機(jī)專業(yè)合作社、維修服務(wù)站、農(nóng)機(jī)大戶、培訓(xùn)機(jī)構(gòu)
等的管理及查詢分析,通過對(duì)XX縣農(nóng)田、農(nóng)機(jī)生產(chǎn)企
業(yè)、農(nóng)機(jī)專業(yè)合作社、農(nóng)機(jī)大戶等數(shù)據(jù)的采集及存儲(chǔ),實(shí)
現(xiàn)政府部門對(duì)農(nóng)機(jī)組織的快速管理。
1.5.2.測土配肥服務(wù)管理系統(tǒng)
測土配方施肥是以土壤測試和肥料田間試驗(yàn)為基礎(chǔ),
根據(jù)作物需肥規(guī)律、土壤供肥性能和肥料效應(yīng),提高肥料
利用率和減少用量,提高作物產(chǎn)量,改善農(nóng)產(chǎn)品品質(zhì)。
1.5.3.農(nóng)機(jī)共享服務(wù)管理系統(tǒng)
近年來隨著城鎮(zhèn)化建設(shè)速率加快,農(nóng)村人口大量外
流,從事第一產(chǎn)業(yè)的人員開始菱縮,有限的勞動(dòng)力無法滿足
大量的土地。將農(nóng)戶閑置富余的農(nóng)機(jī)利用農(nóng)機(jī)共享服務(wù)管
理系統(tǒng)進(jìn)行共享出租,可以增加額外的收入。改善農(nóng)機(jī)用
戶獲取信息滯后現(xiàn)狀,拓展獲取信息渠道。平臺(tái)會(huì)及時(shí)將
最新農(nóng)機(jī)產(chǎn)品、保養(yǎng)等信息第一時(shí)間推送給用戶。用戶可
根據(jù)自己時(shí)間,隨時(shí)隨地了解最新的農(nóng)機(jī)咨詢。
1.5.4.農(nóng)機(jī)補(bǔ)貼管理系統(tǒng)
農(nóng)機(jī)補(bǔ)貼是是國家為了鼓勵(lì)和支持農(nóng)民使用先進(jìn)適用
的農(nóng)業(yè)機(jī)械,提高農(nóng)業(yè)綜合生產(chǎn)能力,促進(jìn)農(nóng)業(yè)增效、農(nóng)民
增收,對(duì)農(nóng)民所購置和作業(yè)中的農(nóng)機(jī)給予一定比例的財(cái)政
補(bǔ)貼。種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)農(nóng)機(jī)補(bǔ)貼管理系統(tǒng)主要包括基
礎(chǔ)信息管理、農(nóng)機(jī)推廣目錄管理、補(bǔ)貼目錄管理、農(nóng)機(jī)購
置補(bǔ)貼管理、農(nóng)機(jī)作業(yè)補(bǔ)貼管理。
1.6.物流倉儲(chǔ)管理系統(tǒng)
對(duì)貨物存儲(chǔ)、出入庫、庫存盤點(diǎn)、臺(tái)賬等進(jìn)行動(dòng)態(tài)管
理,倉儲(chǔ)作業(yè)全過程電子化操作;提供貨物信息、儲(chǔ)位、
庫存量、鮮度、破損、盤點(diǎn)、訂單跟蹤、貨物跟蹤;
1.6.1.基礎(chǔ)管理
系統(tǒng)需要實(shí)現(xiàn)對(duì)貨物統(tǒng)一管理、分類,貨物可以對(duì)客
戶進(jìn)行定義,貨物的分組按照貨物本身的特性。提供單據(jù)
制作及報(bào)表制作功能,該單據(jù)與報(bào)表可以應(yīng)用在不同的客
戶,同時(shí)根據(jù)客戶的要求可以不斷增加報(bào)表及單證,然后
方便加入并能夠應(yīng)用到不同的客戶。
1.6.2.訂單處理
訂單接收、確認(rèn)、輸入以及預(yù)處理作業(yè)。訂單處理子
系統(tǒng)要能夠保證所接收的訂單是合法的,訂單所要求的貨品
品種和數(shù)量是能夠支持的,訂單類型是合乎要求。
1.6.3.運(yùn)輸管理
運(yùn)用GIS平臺(tái)結(jié)合GPS車載設(shè)備,對(duì)車輛進(jìn)行運(yùn)營管
理和跟蹤定位功能于一體,真正實(shí)現(xiàn)隨時(shí)隨地掌控車輛的
運(yùn)行狀況,具有容量大、效率高、穩(wěn)定可靠等技術(shù)特點(diǎn)。
1.6.4.倉儲(chǔ)管理
倉庫管理作業(yè)包括商品從入庫到出庫之間的裝卸、搬
運(yùn)、流通加工等一切作業(yè)。還包括對(duì)倉庫的區(qū)域規(guī)劃、硬
設(shè)備管理、人力資源的調(diào)動(dòng)等相關(guān)的作業(yè)內(nèi)容。
1.7.供應(yīng)鏈金融管理系統(tǒng)
將資金流有效整合到供應(yīng)鏈管理的過程中,既為供應(yīng)
鏈各環(huán)節(jié)企業(yè)提供貿(mào)易資金服務(wù),又為供應(yīng)鏈弱勢企業(yè)提
供新型貸款融資服務(wù)。
1.7.1.應(yīng)收賬款融資
在上下游企業(yè)簽訂買賣合同形成應(yīng)收賬款后,供應(yīng)商
將應(yīng)收賬款單據(jù)轉(zhuǎn)讓至供應(yīng)鏈企業(yè),同時(shí)下游客戶對(duì)供應(yīng)
鏈企業(yè)作出付款承諾,隨后供應(yīng)鏈企業(yè)給供應(yīng)商提供信用
貸款以緩解階段性資金壓力,當(dāng)應(yīng)收款收回時(shí),融資方償
還借款給供應(yīng)鏈企業(yè)。
1.7.2.存貨融資
以貿(mào)易過程中貨物進(jìn)行抵質(zhì)押融資,發(fā)生在企業(yè)存貨
量較大或庫存周轉(zhuǎn)較慢,導(dǎo)致資金周轉(zhuǎn)壓力較大的情況
下,企業(yè)利用現(xiàn)有貨物進(jìn)行資金提前套現(xiàn)。
1.7.3.預(yù)付款融資
在上游企業(yè)承諾回購的前提下,中小型企業(yè)以供應(yīng)鏈
指定倉庫的倉單向供應(yīng)鏈企業(yè)申請(qǐng)融資來緩解預(yù)付款壓
力,由供應(yīng)鏈企業(yè)控制其提貨權(quán)的融資業(yè)務(wù),一般按照單
筆業(yè)務(wù)來進(jìn)行,不關(guān)聯(lián)其他業(yè)務(wù)。
1.8.種業(yè)大數(shù)據(jù)展示系統(tǒng)
建立基于云計(jì)算的種業(yè)產(chǎn)業(yè)大數(shù)據(jù)展示系統(tǒng),通過收
集、匯聚行業(yè)市場動(dòng)態(tài)、平臺(tái)交易數(shù)據(jù)等,為行業(yè)發(fā)展規(guī)
劃、企業(yè)經(jīng)營管理提供分析決策提供服務(wù)。大數(shù)據(jù)中心將
實(shí)現(xiàn)快速部署、安全可靠、靈活擴(kuò)容、綠色節(jié)能、智能管
理和空間高效利用,以整體提升行業(yè)管理和公共服務(wù)水
平。
依托虛擬化基礎(chǔ)設(shè)施與支撐平臺(tái),在建立在線交易平
臺(tái)等系統(tǒng)的基礎(chǔ)上,統(tǒng)籌與協(xié)調(diào)各方資源,根據(jù)模塊化思
想,采用集成化方案,建立基于云計(jì)算的種業(yè)產(chǎn)業(yè)大數(shù)據(jù)
展示系統(tǒng)。具體建設(shè)內(nèi)容包括:
1.8.1.機(jī)構(gòu)一覽
將種子產(chǎn)業(yè)互聯(lián)網(wǎng)平臺(tái)系統(tǒng)所管理的用戶等通過地
圖、圖表等豐富的表現(xiàn)形式進(jìn)行展示,地圖信息包含行政
區(qū)劃以及用戶位置地點(diǎn),并且顯示用戶位置地點(diǎn)的聚合效
果。
1.8.2.農(nóng)業(yè)生產(chǎn)熱力圖
地圖信息包含制種地位置地點(diǎn)和制種地區(qū)域位置信
息。制種地的位置地點(diǎn)是用點(diǎn)形式來表示;制種地的區(qū)域
是圖層的形式來表示。
1.8.3.農(nóng)情分析
對(duì)天氣數(shù)據(jù)進(jìn)行分析,做到災(zāi)害天氣預(yù)警目標(biāo);對(duì)資
源環(huán)境分析,達(dá)到指導(dǎo)農(nóng)業(yè)作業(yè)目標(biāo)。
1.8.4.農(nóng)產(chǎn)品溯源基礎(chǔ)數(shù)據(jù)
通過政府部門的公信力為溯源提供支撐,通過質(zhì)檢執(zhí)
法、樣品分析、投入品監(jiān)管實(shí)現(xiàn)生產(chǎn)過程關(guān)鍵要素的實(shí)時(shí)
監(jiān)管。
1.8.5.生產(chǎn)預(yù)警及分析
產(chǎn)量及預(yù)估:通過生產(chǎn)種植分布及企業(yè)情況對(duì)區(qū)域內(nèi)
生產(chǎn)的農(nóng)作物進(jìn)行整理分析,結(jié)合往年生產(chǎn)產(chǎn)量、災(zāi)害天
氣、人為影響等多個(gè)維度的數(shù)據(jù)對(duì)產(chǎn)品進(jìn)行預(yù)估及分析。
應(yīng)急預(yù)案:根據(jù)大數(shù)據(jù)平臺(tái)多個(gè)維度的數(shù)據(jù),預(yù)判農(nóng)
業(yè)生產(chǎn)中的風(fēng)險(xiǎn)點(diǎn),對(duì)風(fēng)險(xiǎn)點(diǎn)提前制作應(yīng)急預(yù)案。
第二章項(xiàng)目總體設(shè)計(jì)
2.1.系統(tǒng)總體設(shè)計(jì)原則
為確保系統(tǒng)的建設(shè)成功與可持續(xù)發(fā)展,在系統(tǒng)的建設(shè)
與技術(shù)方案設(shè)計(jì)時(shí)我們遵循如下的原則:
2.1.1.統(tǒng)一設(shè)計(jì)原則
統(tǒng)籌規(guī)劃和統(tǒng)一設(shè)計(jì)系統(tǒng)結(jié)構(gòu)。尤其是應(yīng)用系統(tǒng)建設(shè)
結(jié)構(gòu)、數(shù)據(jù)模型結(jié)構(gòu)、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)以及系統(tǒng)擴(kuò)展規(guī)劃等
內(nèi)容,均需從全局出發(fā)、從長遠(yuǎn)的角度考慮。
2.1.2.先進(jìn)性原則
系統(tǒng)構(gòu)成必須采用成熟、具有國內(nèi)先進(jìn)水平,并符合
國際發(fā)展趨勢的技術(shù)、軟件產(chǎn)品和設(shè)備。在設(shè)計(jì)過程中充
分依照國際上的規(guī)范、標(biāo)準(zhǔn),借鑒國內(nèi)外目前成熟的主流
網(wǎng)絡(luò)和綜合信息系統(tǒng)的體系結(jié)構(gòu),以保證系統(tǒng)具有較長的
生命力和擴(kuò)展能力。保證先進(jìn)性的同時(shí)還要保證技術(shù)的穩(wěn)
定、安全性。
2.1.3.高可靠/高安全性原則
系統(tǒng)設(shè)計(jì)和數(shù)據(jù)架構(gòu)設(shè)計(jì)中充分考慮系統(tǒng)的安全和可
靠。
2.1.4.標(biāo)準(zhǔn)化原則
系統(tǒng)各項(xiàng)技術(shù)遵循國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)和相關(guān)
規(guī)范。
2.1.5.成熟性原則
系統(tǒng)要采用國際主流、成熟的體系架構(gòu)來構(gòu)建,實(shí)現(xiàn)
跨平臺(tái)的應(yīng)用。
2.1.6.適用性原則
保護(hù)已有資源,急用先行,在滿足應(yīng)用需求的前提
下,盡量降低建設(shè)成本。
2.1.7.可擴(kuò)展性原則
信息系統(tǒng)設(shè)計(jì)要考慮到業(yè)務(wù)未來發(fā)展的需要,盡可能
設(shè)計(jì)得簡明,降低各功能模塊耦合度,并充分考慮兼容
性。系統(tǒng)能夠支持對(duì)多種格式數(shù)據(jù)的存儲(chǔ)。
2.2.業(yè)務(wù)應(yīng)用支撐平臺(tái)設(shè)計(jì)原則
業(yè)務(wù)應(yīng)用支撐平臺(tái)的設(shè)計(jì)遵循了以下原則:
2.2.1.遵循相關(guān)規(guī)范或標(biāo)準(zhǔn)
遵循J2EE、XML、JDBC、EJB、SNMP、HTTP、TCP/IP、
SSL等業(yè)界主流標(biāo)準(zhǔn)
2.2.2.采用先進(jìn)和成熟的技術(shù)
系統(tǒng)采用三層體系結(jié)構(gòu),使用XML規(guī)范作為信息交互
的標(biāo)準(zhǔn),充分吸收國際廠商的先進(jìn)經(jīng)驗(yàn),并且采用先進(jìn)、
成熟的軟硬件支撐平臺(tái)及相關(guān)標(biāo)準(zhǔn)作為系統(tǒng)的基礎(chǔ)。
2.2.3.可靈活的與其他系統(tǒng)集成
系統(tǒng)采用基于工業(yè)標(biāo)準(zhǔn)的技術(shù),方便與其他系統(tǒng)的集
成。
2.2.4.快速開發(fā)/快速修改的原則
系統(tǒng)提供了靈活的二次開發(fā)手段,在面向組件的應(yīng)用
框架上,能夠在不影響系統(tǒng)情況下快速開發(fā)新業(yè)務(wù)、增加
新功能,同時(shí)提供方便地對(duì)業(yè)務(wù)進(jìn)行修改和動(dòng)態(tài)加載的支
持,保障應(yīng)用系統(tǒng)應(yīng)能夠方便支持集中的版本控制與升級(jí)
管理。
2.2.5.具有良好的可擴(kuò)展性
系統(tǒng)能夠支持硬件、系統(tǒng)軟件、應(yīng)用軟件多個(gè)層面的
可擴(kuò)展性,能夠?qū)崿F(xiàn)快速開發(fā)/重組、業(yè)務(wù)參數(shù)配置、業(yè)務(wù)
功能二次開發(fā)等多個(gè)方面使得系統(tǒng)可以支持未來不斷變化
的特征。
2.2.6.平臺(tái)無關(guān)性
系統(tǒng)能夠適應(yīng)多種主流主機(jī)平臺(tái)、數(shù)據(jù)庫平臺(tái)、中間
件平臺(tái),具有較強(qiáng)的跨系統(tǒng)平臺(tái)的能力。
2.2.7.安全性和可靠性
系統(tǒng)能保證數(shù)據(jù)安全一致,高度可靠,應(yīng)提供多種檢
查和處理手段,保證系統(tǒng)的準(zhǔn)確性。針對(duì)主機(jī)、數(shù)據(jù)庫、
網(wǎng)絡(luò)、應(yīng)用等各層次制定相應(yīng)的安全策略和可靠性策略保
障系統(tǒng)的安全性和可靠性。
2.2.8.用戶操作方便的原則
系統(tǒng)提供統(tǒng)一的界面風(fēng)格,可為每個(gè)用戶群,包括客
戶,提供一個(gè)一致的、個(gè)性化定制的和易于使用的操作界
面。
2.3.共享交換區(qū)數(shù)據(jù)庫設(shè)計(jì)原則
2.3.1.統(tǒng)一設(shè)計(jì)原則
為保證數(shù)據(jù)的有效性、合理性、一致性和可用性,在
全國統(tǒng)一設(shè)立交換資源庫基本項(xiàng)目和統(tǒng)一編碼的基礎(chǔ)上,
進(jìn)行擴(kuò)展并制定統(tǒng)一的交換資源庫結(jié)構(gòu)標(biāo)準(zhǔn)。
2.3.2.有效提取原則
既要考慮宏觀決策需要,又要兼顧現(xiàn)實(shí)性,并進(jìn)行業(yè)
務(wù)信息的有效提取,過濾掉生產(chǎn)區(qū)中的過程性、地方性數(shù)
據(jù),將關(guān)鍵性、結(jié)果性數(shù)據(jù)提交集中到交換區(qū)數(shù)據(jù)庫中。
2.3.3.保證交換原則
統(tǒng)一設(shè)計(jì)數(shù)據(jù)交換接口、協(xié)議、流程和規(guī)范,保證數(shù)
據(jù)通道的順暢。
2.3.4.采用集中與分布式相結(jié)合的系統(tǒng)結(jié)構(gòu)
根據(jù)網(wǎng)絡(luò)發(fā)達(dá),地區(qū)經(jīng)濟(jì)差異性等特點(diǎn),交換區(qū)采用
集中與分布式相結(jié)合的數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu),并逐步向大型集
中式數(shù)據(jù)庫系統(tǒng)過渡。
2.4.總集成設(shè)計(jì)原則
2.4.1.總體設(shè)計(jì)原則
1..整體性和開放性的原則
在本項(xiàng)目系統(tǒng)設(shè)計(jì)時(shí)將充分考慮各部門之間的關(guān)系,
整體設(shè)計(jì)規(guī)劃本項(xiàng)目系統(tǒng),注重各種信息資源的有機(jī)整
合;既考慮安全性,同時(shí)也考慮具有一定的開放性,把握
好信息共享和信息安全之間的關(guān)系。
2.可擴(kuò)展性和易維護(hù)性的原則
在設(shè)計(jì)時(shí)應(yīng)具有一定的前瞻性,充分考慮系統(tǒng)升級(jí)、
擴(kuò)容、擴(kuò)充和維護(hù)的可行性;并針對(duì)本系統(tǒng)涉及用戶多、
業(yè)務(wù)繁雜的特點(diǎn),充分考慮如何大幅度提高業(yè)務(wù)處理的響
應(yīng)速度以及統(tǒng)計(jì)匯總的速度和精度。
3.經(jīng)濟(jì)性和實(shí)用性的原則
系統(tǒng)的設(shè)計(jì)實(shí)施盡最大可能節(jié)省項(xiàng)目投資,設(shè)計(jì)系統(tǒng)
性能優(yōu)良,價(jià)格合理,具有較好的性能價(jià)格比,設(shè)計(jì)面向
實(shí)際,注重實(shí)效,堅(jiān)持實(shí)用、經(jīng)濟(jì)的原則,充分合理利用
現(xiàn)有設(shè)備和信息資源,幫助用戶節(jié)省投資。
4.先進(jìn)性和成熟性的原則
在系統(tǒng)設(shè)計(jì)時(shí),將充分應(yīng)用先進(jìn)和成熟的技術(shù),滿足
建設(shè)的要求,把科學(xué)的管理理念和先進(jìn)的技術(shù)手段緊密結(jié)
合起來,提出先進(jìn)合理的業(yè)務(wù)流程;系統(tǒng)將使用先進(jìn)成熟
的技術(shù)手段和標(biāo)準(zhǔn)化產(chǎn)品,使系統(tǒng)具有較高性能,符合當(dāng)
今技術(shù)發(fā)展方向,確保系統(tǒng)具有較強(qiáng)的生命力,有長期的
使用價(jià)值,符合未來的發(fā)展趨勢。
5.可靠性和穩(wěn)定性的原則
在設(shè)計(jì)時(shí)采用了可靠的技術(shù),系統(tǒng)各環(huán)節(jié)具備故障分
析與恢復(fù)和容錯(cuò)能力,并在安全體系建設(shè)、復(fù)雜環(huán)節(jié)解決
方案和系統(tǒng)切換等各方面考慮周到、切實(shí)可行,建成的系
統(tǒng)將安全可靠,穩(wěn)定性強(qiáng),把各種可能的風(fēng)險(xiǎn)降至最低。
6.安全性和保密性的原則
在系統(tǒng)設(shè)計(jì)把安全性放在首位,既考慮信息資源的充
分共享,也考慮了信息的保護(hù)和隔離;系統(tǒng)在各個(gè)層次對(duì)
訪問都進(jìn)行了控制,設(shè)置了嚴(yán)格的操作權(quán)限;并充分利用
日志系統(tǒng)、健全的備份和恢復(fù)策略增強(qiáng)系統(tǒng)的安全性。
2.4.2.系統(tǒng)及應(yīng)用支撐環(huán)境設(shè)計(jì)原則
1.網(wǎng)絡(luò)基礎(chǔ)平臺(tái)設(shè)計(jì)原則
網(wǎng)絡(luò)基礎(chǔ)平臺(tái)是整個(gè)系統(tǒng)的基礎(chǔ),是所有業(yè)務(wù)信息、
監(jiān)控信息以及業(yè)務(wù)數(shù)據(jù)傳輸?shù)耐ǖ馈R虼司W(wǎng)絡(luò)基礎(chǔ)平臺(tái)的
規(guī)劃和設(shè)計(jì)應(yīng)遵循如下主要原則:
1.1.可靠性和可用性
網(wǎng)絡(luò)基礎(chǔ)平臺(tái)建設(shè)從種業(yè)工作的實(shí)際需求出發(fā),以應(yīng)
用為主導(dǎo),采用成熟的設(shè)備和技術(shù),充分保證網(wǎng)絡(luò)系統(tǒng)的
可靠性??煽啃栽诰W(wǎng)絡(luò)設(shè)計(jì)中體現(xiàn)在兩方面。一方面在于
網(wǎng)絡(luò)拓?fù)涞脑O(shè)計(jì),盡量使網(wǎng)絡(luò)上不存在單點(diǎn)故障。另一方
面,連接網(wǎng)絡(luò)的設(shè)備必須支持插卡、接口、電源等部件的
冗余與熱插拔能力以及支持例如VRRP等路由器冗余協(xié)議。
網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)中的設(shè)備高可靠性和系統(tǒng)高可用性;要求設(shè)
備所有關(guān)鍵部件可以實(shí)現(xiàn)冗余工作,可以在線更換(插
拔),故障的恢復(fù)時(shí)間在秒級(jí)間隔內(nèi)完成。多級(jí)容錯(cuò)設(shè)計(jì)基
于單個(gè)設(shè)備高可靠性的基礎(chǔ)之上進(jìn)一步提高系統(tǒng)的可用
性。
1.2.開放性
網(wǎng)絡(luò)設(shè)計(jì)應(yīng)當(dāng)考慮使用開放的國際標(biāo)準(zhǔn)協(xié)議,例如網(wǎng)
絡(luò)協(xié)議TCP/IP,路由協(xié)議OSPF、IS-IS,網(wǎng)絡(luò)管理協(xié)議
SNMP以及RMON等。
1.3.先進(jìn)性
在選擇網(wǎng)絡(luò)技術(shù)時(shí)必須在滿足需求和先進(jìn)性的條件下
選擇采用主流技術(shù)。在滿足需求的條件下選用主流技術(shù)可
以在產(chǎn)品選擇、網(wǎng)絡(luò)擴(kuò)展、網(wǎng)絡(luò)升級(jí)方面取得更大的主
動(dòng)。
1.4.可管理性
網(wǎng)絡(luò)中的任何設(shè)備均可以通過網(wǎng)絡(luò)管理平臺(tái)進(jìn)行控
制,網(wǎng)絡(luò)的設(shè)備狀態(tài),故障報(bào)警等都可以通過網(wǎng)管平臺(tái)進(jìn)
行監(jiān)控,通過網(wǎng)絡(luò)管理平臺(tái)簡化管理工作,提高網(wǎng)絡(luò)管理
的效率。
1.5.安全性構(gòu)建主動(dòng)、有效的系統(tǒng)安全體系,包括網(wǎng)
絡(luò)結(jié)構(gòu)設(shè)計(jì)、路由策略、傳送技術(shù)選擇、安全基礎(chǔ)設(shè)施、
應(yīng)用系統(tǒng)安全和安全管理保障體系等方面。
1.6.標(biāo)準(zhǔn)化、規(guī)范化
本項(xiàng)目的網(wǎng)絡(luò)系統(tǒng)設(shè)備,應(yīng)符合相應(yīng)的國際標(biāo)準(zhǔn)、國
家標(biāo)準(zhǔn)或者相關(guān)行業(yè)規(guī)范。便于系統(tǒng)的升級(jí)、擴(kuò)容,以及
與其它系統(tǒng)或廠家的設(shè)備的互連、互通。在網(wǎng)絡(luò)系統(tǒng)總體
設(shè)計(jì)中,應(yīng)采用開放式的體系結(jié)構(gòu),便于網(wǎng)絡(luò)的擴(kuò)展,且
相對(duì)獨(dú)立的子網(wǎng)絡(luò)便于進(jìn)行組合和調(diào)整。網(wǎng)絡(luò)系統(tǒng)中選用
成熟的標(biāo)準(zhǔn)化的路由通信協(xié)議,保證網(wǎng)絡(luò)互聯(lián)的穩(wěn)定性和
數(shù)據(jù)的互通。
2.主機(jī)存儲(chǔ)備份系統(tǒng)設(shè)計(jì)原則
2.1.可擴(kuò)展性
在滿足用戶目前需要的同時(shí),為進(jìn)一步的業(yè)務(wù)發(fā)展提
供良好的擴(kuò)展能力,存儲(chǔ)管理設(shè)備和軟件需采用先進(jìn)技
術(shù),以利于整個(gè)系統(tǒng)的平滑升級(jí)。同時(shí),必須考慮到今后
存儲(chǔ)環(huán)境的變化和災(zāi)難恢復(fù)系統(tǒng)建立的需要。
2.2.可管理性和高效性
為保證數(shù)據(jù)存儲(chǔ)的可管理性,減少管理的復(fù)雜性。采
用先進(jìn)的備份技術(shù)和先進(jìn)的備份系統(tǒng)軟件,采用統(tǒng)一的管
理機(jī)制,保證大數(shù)據(jù)量的一致性備份和高速切換。必須提
供高效的存儲(chǔ)設(shè)備的管理能力和數(shù)據(jù)備份功能。
2.3.安全性
必須在方案設(shè)計(jì)上保證系統(tǒng)的安全性和高可用性。在
實(shí)施的過程中,能在線安裝和部署,盡量對(duì)現(xiàn)有的生產(chǎn)系
統(tǒng)的影響減至最低。同時(shí),存儲(chǔ)管理設(shè)備和軟件安全性能
應(yīng)在數(shù)據(jù)的傳輸,全壽命周期管理和應(yīng)用存儲(chǔ)系統(tǒng)管理員
和操作員各個(gè)層次得到體現(xiàn),滿足用戶的安全機(jī)制。并能
通過相關(guān)軟件可監(jiān)控所有的系統(tǒng)資源使用狀況、性能統(tǒng)計(jì)
分析、故障診斷報(bào)警等。
2.4.實(shí)時(shí)性
有些關(guān)鍵性的任務(wù)是要24小時(shí)不停機(jī)運(yùn)行的,在備份
的時(shí)候,有一些文件可能仍然處于打開的狀態(tài)。那么在進(jìn)
行備份的時(shí)候,要采取措施,實(shí)時(shí)地查看文件大小、進(jìn)行
事務(wù)跟蹤,以保證正確地備份系統(tǒng)中的所有文件。
3.安全保障體系設(shè)計(jì)原則
3.1.全面考慮,重點(diǎn)部署,分步實(shí)施
安全保障體系是融合設(shè)備、技術(shù)、管理于一體的系統(tǒng)
工程,需要全面考慮;同時(shí),盡量考慮到涉及網(wǎng)絡(luò)安全的
重點(diǎn)因素,充分考慮可擴(kuò)展性和可持續(xù)性,從解決眼前問
題、夯實(shí)基礎(chǔ)、建設(shè)整個(gè)體系等方面作好安全工作。
3.2.規(guī)范性、先進(jìn)性、可擴(kuò)展性、完整性并重
安全防護(hù)涵蓋的對(duì)象較多,涉及管理、技術(shù)等多個(gè)方
面,包括系統(tǒng)定級(jí)、安全評(píng)測、風(fēng)險(xiǎn)評(píng)估等多項(xiàng)環(huán)節(jié),是
一項(xiàng)復(fù)雜的系統(tǒng)工程。為保證監(jiān)測中心網(wǎng)絡(luò)和各業(yè)務(wù)系統(tǒng)
安全防護(hù)工作的有效性和規(guī)范性,相關(guān)工作應(yīng)按照國家有
關(guān)標(biāo)準(zhǔn)實(shí)施。系統(tǒng)應(yīng)采用成熟先進(jìn)的技術(shù),同時(shí),網(wǎng)絡(luò)安
全基礎(chǔ)構(gòu)架和安全產(chǎn)品必須有較強(qiáng)的可擴(kuò)展性,為安全系
統(tǒng)的改進(jìn)和完善創(chuàng)造條件。
3.3.適度性原則
安全是相對(duì)的,沒有絕對(duì)的安全。安全建設(shè)需要綜合
考慮資產(chǎn)價(jià)值、風(fēng)險(xiǎn)等級(jí),實(shí)現(xiàn)分級(jí)適度的安全。監(jiān)測中
心網(wǎng)絡(luò)及系統(tǒng)的安全防護(hù)工作應(yīng)始終運(yùn)用等級(jí)保護(hù)的思
想,制定和落實(shí)與環(huán)保網(wǎng)絡(luò)和系統(tǒng)重要性相適應(yīng)的安全保
護(hù)措施要求;要堅(jiān)持運(yùn)用風(fēng)險(xiǎn)評(píng)估的方法,提出相應(yīng)的改
進(jìn)措施,對(duì)網(wǎng)絡(luò)和系統(tǒng)進(jìn)行適度的安全建設(shè)。
3.4.經(jīng)濟(jì)性原則
充分利用現(xiàn)有投資,采取有效的措施和方案盡量規(guī)避
投資風(fēng)險(xiǎn)。
3.5.分級(jí)分域的安全防護(hù)原則
根據(jù)信息安全等級(jí)保護(hù)的相關(guān)要求,結(jié)合網(wǎng)絡(luò)特點(diǎn),
網(wǎng)絡(luò)安全設(shè)計(jì)應(yīng)遵循分級(jí)分域的安全防護(hù)策略,保障物理
層、網(wǎng)絡(luò)層、系統(tǒng)層、數(shù)據(jù)層、應(yīng)用層的安全性。
3.6.技術(shù)和管理并重原則
安全保障體系是融合設(shè)備、技術(shù)、管理于一體的系統(tǒng)
工程,重在管理。在技術(shù)體系建設(shè)的同時(shí),需要加強(qiáng)安全
組織、安全策略和安全運(yùn)維體系的建設(shè)。
2.5.關(guān)鍵技術(shù)
2.5.1.大數(shù)據(jù)技術(shù)
種業(yè)產(chǎn)業(yè)互聯(lián)網(wǎng)服務(wù)平臺(tái)的建設(shè)在一開始就需要規(guī)劃
其技術(shù)路線,包括開發(fā)運(yùn)行環(huán)境和體系架構(gòu),必須考慮其
穩(wěn)定可靠、符合業(yè)界標(biāo)準(zhǔn)及發(fā)展趨勢,能滿足系統(tǒng)不斷發(fā)
展的業(yè)務(wù)需求、處理能力需求和技術(shù)更新發(fā)展的需求,我
們采用SDCHadoop平臺(tái)和面向服務(wù)的體系結(jié)構(gòu)(SOA)及
基于Hadoop的數(shù)據(jù)倉庫Hive。
6.1.1SDCHadoop平臺(tái)
(1)架構(gòu)設(shè)計(jì)
大數(shù)據(jù)基礎(chǔ)平臺(tái)集工作臺(tái)、工作流開發(fā)環(huán)境、任務(wù)調(diào)
度、數(shù)據(jù)管理、數(shù)據(jù)檢索、集群運(yùn)維管理系統(tǒng)和應(yīng)用門戶
為一體,為用戶提供基于大數(shù)據(jù)的基礎(chǔ)解決方案,全面滿
足不同行業(yè)、不同人群對(duì)大數(shù)據(jù)的個(gè)性化要求。
SDCHadoop集成開發(fā)工具:提供了web圖形化方式操
作,包括流程控制、作業(yè)調(diào)度、數(shù)據(jù)管理、數(shù)據(jù)搜索、元
數(shù)據(jù)管理、文件管理等功能。
HDFS:Hadoop分布式文件系統(tǒng)(HadoopDistributed
FileSystem),提供高吞吐量的數(shù)據(jù)訪問,適合大規(guī)模數(shù)
據(jù)集方面的應(yīng)用。Zookeeper:提供分布式、高可用性的協(xié)
調(diào)服務(wù)能力。幫助系統(tǒng)避免單點(diǎn)故障,從而建立可靠的應(yīng)
用程序。
HBase:提供海量數(shù)據(jù)存儲(chǔ)功能,是一種構(gòu)建在HDFS
之上的分布式、面向列的存儲(chǔ)系統(tǒng)。
Elasticsearch:提供了一個(gè)分布式多用戶能力的全
文搜索引擎。
Parquet:面向分析型業(yè)務(wù)的列式存儲(chǔ)格式。
YARN資源管理系統(tǒng),它是一個(gè)通用的資源模塊,可以
為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度。
Tachyon:分布式內(nèi)存文件系統(tǒng),可以在集群里以訪問
內(nèi)存的速度來訪問存在tachyon里的文件。
Redis:提供基于內(nèi)存的高性能分布式K-V緩存系統(tǒng)。
MapReduce提供快速并行處理大量數(shù)據(jù)的能力,是一種
分布式數(shù)據(jù)處理模式和執(zhí)行環(huán)境。
Spark:基于內(nèi)存進(jìn)行計(jì)算的分布式計(jì)算框架。
Strom:提供分布式、高容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。
Hive:建立在Hadoop基礎(chǔ)上的開源的數(shù)據(jù)倉庫,提
供類似SQL的HiveQueryLanguage語言操作結(jié)構(gòu)化數(shù)據(jù)
存儲(chǔ)服務(wù)和基本的數(shù)據(jù)分析服務(wù)。
Impala:提供SQL語義,能查詢存儲(chǔ)在Hadoop的
HDFS和HBase中的PB級(jí)大數(shù)據(jù)。
SparkStreaming:建立在Spark上的實(shí)時(shí)計(jì)算框架,
通過它提供的豐富的API、基于內(nèi)存的高速執(zhí)行引擎,用戶
可以結(jié)合流式、批處理和交互試查詢應(yīng)用。
(2)功能模塊
大數(shù)據(jù)運(yùn)維管理
大數(shù)據(jù)運(yùn)維管理為大數(shù)據(jù)存儲(chǔ)供高可靠、安全、容
錯(cuò)、易用的集群管理能力,支持大規(guī)模集群的安裝部署、
統(tǒng)一監(jiān)控告警、統(tǒng)一用戶權(quán)限管理、日志查詢、服務(wù)管理
等。
服務(wù)管理
提供服務(wù)管理,支持對(duì)各項(xiàng)資源及服務(wù)進(jìn)行創(chuàng)建、刪
除、啟停、重啟、配置、升級(jí)、部署、維護(hù)等操作:
統(tǒng)一監(jiān)控告警
提供集群監(jiān)控功能,集成大數(shù)據(jù)服務(wù)、可視化服務(wù)、
數(shù)據(jù)挖掘服務(wù)等,并對(duì)服務(wù)器CPU、服務(wù)資源、服務(wù)狀態(tài)
(警告、錯(cuò)誤、隱患)進(jìn)行實(shí)時(shí)監(jiān)控,并以圖表形式呈
現(xiàn)。支持異常郵件報(bào)警,便于用戶及時(shí)發(fā)現(xiàn)問題并處理。
日志查詢
提供日志分析友好的Web界面,可以幫助用戶匯總、
分析和搜索重要數(shù)據(jù)日志。
統(tǒng)一用戶權(quán)限管理
提供統(tǒng)一用戶權(quán)限管理,方便管理員對(duì)用戶進(jìn)行管
理。
SDCHadoop集成開發(fā)工具
提供了web圖形化方式操作,包括流程控制、作業(yè)調(diào)
度、數(shù)據(jù)管理、數(shù)據(jù)搜索、元數(shù)據(jù)管理、文件管理等功
能。
流程控制
工作流是由多個(gè)節(jié)點(diǎn)和節(jié)點(diǎn)間的依賴關(guān)系所組成的一
組邏輯和規(guī)則,形成一張有向無環(huán)圖(DAG圖)開發(fā)者可通
過開發(fā)面板和管理面板進(jìn)入工作流設(shè)計(jì)器,在工作流設(shè)計(jì)
器中通過拖拽不同類型節(jié)點(diǎn)并連線的方式來開發(fā)一個(gè)工作
流,提供基本的數(shù)據(jù)集成、數(shù)據(jù)計(jì)算、數(shù)據(jù)調(diào)度等組件的
工作流設(shè)計(jì),支持工作流的新增、刪除、修改、查詢、測
試運(yùn)行、格式化、提交、保存。支持設(shè)置工作流任務(wù)定時(shí)
執(zhí)行,并實(shí)時(shí)監(jiān)控任務(wù)執(zhí)行情況,支持運(yùn)行日志查看。
實(shí)時(shí)概況
采用多視圖實(shí)時(shí)對(duì)流程運(yùn)行進(jìn)行監(jiān)控,從狀態(tài)、時(shí)
段、步驟類型、耗時(shí)等不同角度查看過去12小時(shí)或24小
時(shí)內(nèi)所有流程的運(yùn)行統(tǒng)計(jì)概況,幫助用戶第一時(shí)間獲知全
局運(yùn)行情況,并提供強(qiáng)大的性能分析報(bào)告優(yōu)化流程調(diào)度。
流程設(shè)計(jì)
通過簡單的拖拽方式即可完成數(shù)據(jù)特征提取,樣本數(shù)
據(jù)建立,數(shù)據(jù)挖掘場景構(gòu)建等復(fù)雜流程設(shè)計(jì),界面簡潔,
操作簡單。
工作流列表和工作流設(shè)計(jì)在同一頁面,方便用戶快速
的切換工作流進(jìn)行操作,提供工作流新增、刪除、修改、
查詢、運(yùn)行、保存功能。
提供工作流組件參數(shù)配置,滿足用戶各類流程設(shè)計(jì)需
求。
用戶可設(shè)置工作流調(diào)度,讓流程任務(wù)定時(shí)執(zhí)行。
提供工作流運(yùn)行、暫停功能,運(yùn)行過程中實(shí)時(shí)返回各
步驟運(yùn)行結(jié)果。
運(yùn)行監(jiān)控:展示進(jìn)行中和已完成的工作流信息,信息
主要包含流程名稱、狀態(tài)、提交者、啟動(dòng)時(shí)間、結(jié)束時(shí)
間、運(yùn)行進(jìn)度。
提供關(guān)鍵詞搜索流程功能,支持按狀態(tài)和周期篩選工
作流,方便用戶快速查找。
提供運(yùn)行中的工作流暫停、終止功能。
提供已完成的工作流再次運(yùn)行、查看運(yùn)行日志功能。
作業(yè)調(diào)度
通過多時(shí)間維度的計(jì)算任務(wù)調(diào)度、在線運(yùn)維、監(jiān)控報(bào)
警等功能為大數(shù)據(jù)開發(fā)提供穩(wěn)定的計(jì)算調(diào)度能力,可以支
持超過百萬級(jí)的調(diào)度任務(wù)量。
數(shù)據(jù)管理
支持關(guān)系型數(shù)據(jù)、Hadoop等多種方式的數(shù)據(jù)查詢操
作。可指定數(shù)據(jù)庫進(jìn)行查詢,支持歷史查詢記錄查看。
提供圖表化的查詢結(jié)果展示,支持條狀圖、折線圖、
圓形圖、映射圖;圖表還可按升序、降序及正常序顯示查
詢結(jié)果。
支持查詢結(jié)果導(dǎo)出為XLS和CSV格式,還可保存到
HDFS或者Hive中。
數(shù)據(jù)搜索
通過平臺(tái)建立多維索引,實(shí)現(xiàn)分布式實(shí)時(shí)搜索與分析
引擎,可實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行深度搜索。
元數(shù)據(jù)管理
對(duì)元數(shù)據(jù)進(jìn)行管理和操作,查看表結(jié)構(gòu)、表的存儲(chǔ)位
置及樣本數(shù)據(jù)。支持從文件創(chuàng)建一個(gè)表、手動(dòng)創(chuàng)建一個(gè)表
以及Hadoop體系與傳統(tǒng)關(guān)系型數(shù)據(jù)庫之間大批量數(shù)據(jù)的傳
輸。
查看元數(shù)據(jù)信息,如表結(jié)構(gòu)、樣例數(shù)據(jù)及存儲(chǔ)位置
等,支持指定數(shù)據(jù)庫查看。
支持手動(dòng)創(chuàng)建一個(gè)表,后續(xù)數(shù)據(jù)導(dǎo)入到該表文件夾
下,可實(shí)現(xiàn)對(duì)數(shù)據(jù)的查詢等操作;同時(shí)也支持從數(shù)據(jù)文件
中導(dǎo)入數(shù)據(jù)的方式創(chuàng)建一個(gè)表。
文件管理
文件管理主要功能是實(shí)現(xiàn)對(duì)Hadoop文件的管理,實(shí)現(xiàn)
海量數(shù)據(jù)文件的分布式存儲(chǔ)。支持對(duì)文件進(jìn)行新增、刪
除、修改、查詢、權(quán)限更改等操作。支持查看歷史記錄以
及從回收站恢復(fù)刪除的文件。
分布式文件系統(tǒng)HDFS
HDFS是Hadoop的分布式文件系統(tǒng),實(shí)現(xiàn)高吞吐量的
數(shù)據(jù)訪問,適合大規(guī)模數(shù)據(jù)集方面的應(yīng)用,為海量數(shù)據(jù)提
供存儲(chǔ)。
HDFS包含主、備NameNode和多個(gè)DataNode。NameNod
負(fù)責(zé)保存和管理所有的HDFS元數(shù)據(jù)??蛻舳诉B接到
NameNod,例如打開、關(guān)閉、重命名文件和目錄,同時(shí)決
定“數(shù)據(jù)塊”到具體DataNode節(jié)點(diǎn)的映射。DataNode在
NameNode的指揮下進(jìn)行“數(shù)據(jù)塊”的創(chuàng)建、刪除和復(fù)制。
分布式批處理引擎MapReduce
MapReduce是用于并行處理大數(shù)據(jù)集的軟件框架。
MapReduce的根源是函數(shù)性編程中的map和reduce函
數(shù)。Map函數(shù)接受一組數(shù)據(jù)并將其轉(zhuǎn)換為一個(gè)鍵值對(duì)列表,
輸入域中的每個(gè)元素對(duì)應(yīng)一個(gè)鍵值對(duì)。Reduce函數(shù)接受
Map函數(shù)生成的列表,然后根據(jù)它們的鍵縮小鍵值對(duì)列
表。MapReduce起到了將大事務(wù)分散到不同設(shè)備處理的能
力,這樣原本必須用單臺(tái)較強(qiáng)服務(wù)器才能運(yùn)行的任務(wù),在
分布式環(huán)境下也能完成了。
統(tǒng)一資源管理和調(diào)度框架YARN
YARN是Hadoop2.0中的資源管理系統(tǒng),它是一個(gè)通用
的資源管理模塊,可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)
度。YARN不僅局限于MapReduce一種框架使用,也可以
供其他框架使用,比如Tez、Spark、Storm等。YARN主
要分為ResourceManager、ApplicationMaster與
NodeManager三個(gè)部分。
ResourceManager:RM是一個(gè)全局的資源管理器,負(fù)責(zé)
整個(gè)系統(tǒng)的資源管理和分配。它主要由兩個(gè)組件構(gòu)成:調(diào)
度器(Scheduler)和應(yīng)用程序管理器(Applications
Manager)調(diào)度器根據(jù)容量、隊(duì)列等限制條件(如每個(gè)隊(duì)列
分配一定的資源,最多執(zhí)行一定數(shù)量的作業(yè)等),將系統(tǒng)
中的資源分配給各個(gè)正在運(yùn)行的應(yīng)用程序。調(diào)度器僅根據(jù)
各個(gè)應(yīng)用程序的資源需求進(jìn)行資源分配,而資源分配單位
用一個(gè)抽象概念Container表示。Container是一個(gè)動(dòng)態(tài)
資源分配單位,它將內(nèi)存、CPU、磁盤、網(wǎng)絡(luò)等資源封裝在
一起,從而限定每個(gè)任務(wù)使用的資源量。此外,該調(diào)度器
是一個(gè)可插拔的組件,用戶可根據(jù)自己的需要設(shè)計(jì)新的調(diào)
度器,YARN提供了多種直接可用的調(diào)度器,比如Fair
Scheduler和CapacityScheduler等。
應(yīng)用程序管理器負(fù)責(zé)管理整個(gè)系統(tǒng)中所有應(yīng)用程序,
包括應(yīng)用程序提交、與調(diào)度器協(xié)商資源以啟動(dòng)
ApplicationMaster、監(jiān)控ApplicationMaster運(yùn)行狀態(tài)
并在失敗時(shí)重新啟動(dòng)它等。
NodeManage:NM是每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器。
一方面,它會(huì)定時(shí)向RM匯報(bào)本節(jié)點(diǎn)上的資源使用情況和各
個(gè)Container的運(yùn)行狀態(tài);另一方面,它接收并處理來AM
的Container啟動(dòng)/停止等各種請(qǐng)求。
ApplicationMaster:AM負(fù)責(zé)一個(gè)Application生命
周期內(nèi)的所有工作,包括:與RM調(diào)度器協(xié)商以獲取資源
將得到的資源進(jìn)一步分配給內(nèi)部的任務(wù)(資源的二次分
配)。與NM通信以啟動(dòng)/停止任務(wù)。
監(jiān)控所有任務(wù)運(yùn)行狀態(tài),并在任務(wù)運(yùn)行失敗時(shí)重新為
任務(wù)申請(qǐng)資源以重啟任務(wù)。分布式數(shù)據(jù)庫HBase是一個(gè)高
可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)。
HBase適合于存儲(chǔ)大表數(shù)據(jù)(表的規(guī)??梢赃_(dá)到數(shù)十億行以
及數(shù)百萬列)訪問可以達(dá)到實(shí)時(shí)級(jí)別。
HBase集群由Master進(jìn)程和多個(gè)RegionServer進(jìn)程組
成。
利用HadoopHDFS(HadoopDistributedFile
System)作為其文件存儲(chǔ)系統(tǒng),提供高可靠性、高性能、
列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫系統(tǒng)。為Spark和
HadoopMapReduce提供海量數(shù)據(jù)實(shí)時(shí)處理能力。
利用ZooKeeper作為協(xié)同服務(wù)。
分布式內(nèi)存計(jì)算框架Spark
Spark是一個(gè)并行數(shù)據(jù)處理框架,能夠幫助用戶簡單
的開發(fā)快速,統(tǒng)一的大數(shù)據(jù)應(yīng)用,對(duì)數(shù)據(jù)進(jìn)行,協(xié)處理,
流式處理,交互式分析等等。
Spark具有如下特點(diǎn):
快速:數(shù)據(jù)處理能力,比MapReduce快10-100倍。
易用:可以通過Java,Scala,Python,簡單快速的
編寫并行的應(yīng)用處理大數(shù)據(jù)量,Spark提供了超過80種
高層的操作符來幫助用戶組件并行程序。普遍性:Spark
提供了眾多高層的工具,例如SparkSQL,MLib,GraphX,
可以在一個(gè)應(yīng)用中,方便的將這些工具進(jìn)行組合。與
Hadoop集成:Spark能夠直接運(yùn)行于Hadoop2.0的集
群,并且能夠直接讀取現(xiàn)存的Hadoop數(shù)據(jù)。尤其,
Spark和Hadoop緊密結(jié)合,可以通過大數(shù)據(jù)基礎(chǔ)平臺(tái)
Console部署安裝Spark。
SparkStreaming是一種構(gòu)建在Spark上的實(shí)時(shí)計(jì)算
框架,它擴(kuò)展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。
SparkSQL是Spark中用于結(jié)構(gòu)化數(shù)據(jù)處理的模塊。
SparkSQL提供了一種通用的訪問多數(shù)據(jù)源的方式,可訪問
的數(shù)據(jù)源包括Hive、Avro、Parquet、ORC、JSON和
JDBC數(shù)據(jù)源,這些不同的數(shù)據(jù)源直接也可以實(shí)現(xiàn)互相操
作。SparkSQL復(fù)用了Hive的前端處理邏輯和元數(shù)據(jù)處
理模塊,使用SparkSQL可以直接對(duì)已有的Hive數(shù)據(jù)進(jìn)
行查詢。另外,SparkSQL還提供了諸如API、CLI、JDBC
等諸多接口,對(duì)客戶端提供多樣接入形式。
分布式搜索ElasticSearch
ElasticSearch是一個(gè)實(shí)時(shí)分布式搜索和分析引擎:
可用于全文搜索、結(jié)構(gòu)化搜索、文本分析;
提供了一個(gè)分布式多用戶能力的全文搜索引擎,基于
RESTfulweb接口,目的是通過簡單的RESTfulAPI來隱
藏Lucene的復(fù)雜性,從而讓全文搜索變得簡單;
使用Java開發(fā)的,用于復(fù)雜應(yīng)用底層的搜索功能開
發(fā)。Elasticsearch不僅僅是Lucene和全文搜索,還支
持以下特性:分布式的實(shí)時(shí)文件存儲(chǔ),每個(gè)字段都被索引
并可被搜索;分布式的實(shí)時(shí)分析搜索引擎;
可以擴(kuò)展到上百臺(tái)服務(wù)器,處理PB級(jí)結(jié)構(gòu)化或非結(jié)構(gòu)
化數(shù)據(jù)。Elasticsearch是面向文檔(documentoriented)
的:可以存儲(chǔ)整個(gè)對(duì)象或文檔(document)。
同時(shí)會(huì)索引(index)每個(gè)文檔的內(nèi)容使之可以被搜
索。
在Elasticsearch中,可以對(duì)文檔(而非成行成列的
數(shù)據(jù))進(jìn)行索引、搜索、排序、過濾。
分布式緩存層(Tachyon、Redis)
Tachyon是Spark生態(tài)系統(tǒng)內(nèi)快速崛起的一個(gè)新項(xiàng)
目。本質(zhì)上,Tachyon是個(gè)分布式的內(nèi)存文件系統(tǒng),它在
減輕Spark內(nèi)存壓力的同時(shí),也賦予了Spark內(nèi)存快速大
量數(shù)據(jù)讀寫的能力。Tachyon把內(nèi)存存儲(chǔ)的功能從Spark
中分離出來,使Spark可以更專注計(jì)算的本身,以求通
過更細(xì)的分工達(dá)到更高的執(zhí)行效率。Tachyon可以有效地
解決如下問題:當(dāng)兩個(gè)Spark作業(yè)需要共享數(shù)據(jù)時(shí),無需
再通過寫磁盤,而是借助Tachyon進(jìn)行內(nèi)存讀寫,從而提
高計(jì)算效率。在使用Tachyon對(duì)數(shù)據(jù)進(jìn)行緩存后,即便
在Spark程序崩潰JVM進(jìn)程退出后,所緩存數(shù)據(jù)也不會(huì)
丟失。這樣,Spark工作重啟時(shí)可以直接從Tachyon內(nèi)
存讀取數(shù)據(jù)了。當(dāng)兩個(gè)Spark作業(yè)需要操作相同的數(shù)據(jù)
時(shí),它們可以直接從Tachyon獲取,并不需要各自緩存一
份數(shù)據(jù),從而降低JVM內(nèi)存壓力,減少垃圾收集發(fā)生的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年物業(yè)清潔與維護(hù)服務(wù)合同3篇
- 2024年檢測領(lǐng)域咨詢服務(wù)協(xié)議精簡版版
- 2024年協(xié)議離婚合作的藝術(shù)與法律框架3篇
- 2024事業(yè)單位青年英才招聘合同3篇
- 2025營業(yè)執(zhí)照抵押合同范本格式
- 2024年新型城鎮(zhèn)化建設(shè)項(xiàng)目投標(biāo)書范本合同3篇
- 2025年開封貨運(yùn)上崗資格證模擬考試
- 洛陽師范學(xué)院《包裝材料學(xué)》2023-2024學(xué)年第一學(xué)期期末試卷
- 房地產(chǎn)銷售顧問聘用合同樣本
- 環(huán)保產(chǎn)業(yè)授權(quán)經(jīng)營的管理辦法
- Minitab培訓(xùn)教程課件
- 技術(shù)需求信息表
- 樂山大佛介紹課件
- 血透室運(yùn)用PDCA循環(huán)降低血透病人長期深靜脈留置導(dǎo)管的感染率品管圈成果匯報(bào)
- 云南省昆明一中2024年高二上數(shù)學(xué)期末質(zhì)量檢測試題含解析
- 網(wǎng)絡(luò)安全攻防演練防守方方案
- 教育政策與法規(guī)全套完整教學(xué)課件
- 關(guān)注心靈快樂成長心理健康教育主題班會(huì)
- 數(shù)胎動(dòng)那些事兒胎動(dòng)與胎兒安全孕婦學(xué)校課件PPT
- 沖刺高考主題班會(huì)
- 小型谷物烘干機(jī)設(shè)計(jì)
評(píng)論
0/150
提交評(píng)論