智慧食藥品監(jiān)管公眾信息查詢平臺(tái)建設(shè)方案

1、智慧食藥品監(jiān)管公眾信息查詢平臺(tái)建設(shè)方案目錄 TOC o 1-3 h z u HYPERLINK l _Toc62058096 1.1.技術(shù)方案 PAGEREF _Toc62058096 h 3 HYPERLINK l _Toc62058097 1.1.1.總體設(shè)計(jì) PAGEREF _Toc62058097 h 3 HYPERLINK l _Toc62058098 1.1.2.食品藥品安全云平臺(tái)設(shè)計(jì) PAGEREF _Toc62058098 h 8 HYPERLINK l _Toc62058099 1.1.3.食品藥品惠民服務(wù)系統(tǒng)設(shè)計(jì) PAGEREF _Toc62058099 h 36 HYPE

2、RLINK l _Toc62058100 1.1.4.食品質(zhì)量追溯系統(tǒng)設(shè)計(jì) PAGEREF _Toc62058100 h 49 HYPERLINK l _Toc62058101 1.1.5.網(wǎng)格化監(jiān)管平臺(tái)設(shè)計(jì) PAGEREF _Toc62058101 h 60 HYPERLINK l _Toc62058102 1.1.6.電子監(jiān)管平臺(tái)設(shè)計(jì) PAGEREF _Toc62058102 h 64 HYPERLINK l _Toc62058103 1.1.7.門戶網(wǎng)站改版設(shè)計(jì) PAGEREF _Toc62058103 h 65 HYPERLINK l _Toc62058104 1.2.終端查詢機(jī)品牌、

3、型號(hào)、技術(shù)參數(shù)及功能設(shè)計(jì) PAGEREF _Toc62058104 h 68 HYPERLINK l _Toc62058105 1.2.1.技術(shù)參數(shù) PAGEREF _Toc62058105 h 68 HYPERLINK l _Toc62058106 1.2.2.效果圖 PAGEREF _Toc62058106 h 69 HYPERLINK l _Toc62058107 1.3.人員組織方案 PAGEREF _Toc62058107 h 74 HYPERLINK l _Toc62058108 1.4.驗(yàn)收時(shí)所能達(dá)到的標(biāo)準(zhǔn) PAGEREF _Toc62058108 h 75 HYPERLINK

4、l _Toc62058109 1.4.1.采購內(nèi)容 PAGEREF _Toc62058109 h 75 HYPERLINK l _Toc62058110 1.4.2.系統(tǒng)建設(shè)內(nèi)容及范圍 PAGEREF _Toc62058110 h 75 HYPERLINK l _Toc62058111 1.4.3.技術(shù)標(biāo)準(zhǔn)及要求 PAGEREF _Toc62058111 h 76 HYPERLINK l _Toc62058112 1.4.4.組織實(shí)施及驗(yàn)收 PAGEREF _Toc62058112 h 78 HYPERLINK l _Toc62058113 1.4.5.服務(wù)要求 PAGEREF _Toc620

5、58113 h 81技術(shù)方案總體設(shè)計(jì)建設(shè)原則本工程在建設(shè)過程中堅(jiān)持以下原則：1、政府主導(dǎo)，合力推進(jìn)強(qiáng)化政府對(duì)基本、基層、基礎(chǔ)資源的責(zé)任和投入，加強(qiáng)宏觀調(diào)控和統(tǒng)籌管理，并有效動(dòng)員、利用社會(huì)資源，增加供給，促進(jìn)有序競(jìng)爭(zhēng)，實(shí)現(xiàn)公平和效率的統(tǒng)一。 2、頂層設(shè)計(jì)，試點(diǎn)先行強(qiáng)化統(tǒng)一規(guī)劃、頂層設(shè)計(jì)，集中資金和技術(shù)優(yōu)勢(shì)，在市內(nèi)選擇部分企業(yè)進(jìn)行試點(diǎn)，試點(diǎn)成功后在全市范圍內(nèi)全面推廣。 3、集約建設(shè)，資源共享實(shí)現(xiàn)跨機(jī)構(gòu)、跨區(qū)域、跨領(lǐng)域的信息資源共享，促進(jìn)協(xié)調(diào)發(fā)展。 4、惠及居民，服務(wù)應(yīng)用惠及全市居民是系統(tǒng)建設(shè)發(fā)展的出發(fā)點(diǎn)和最終目標(biāo)，利用信息化手段讓城鄉(xiāng)居民獲得更加優(yōu)質(zhì)、高效、便捷的食品安全信息服務(wù)。對(duì)系統(tǒng)建設(shè)的理解

6、現(xiàn)狀及問題分析現(xiàn)狀分析食藥監(jiān)機(jī)構(gòu)信息化建設(shè)概況（一）市級(jí)信息系統(tǒng)建設(shè)情況1、對(duì)信息化建設(shè)的重視程度有所增強(qiáng)各“四品一械”企業(yè)，尤其是大中型企業(yè)對(duì)大力推進(jìn)信息化建設(shè)形成普遍共識(shí)，在過去的幾年中加大了信息化建設(shè)的投入，運(yùn)行效果初見成效。對(duì)信息化統(tǒng)一規(guī)劃、統(tǒng)一建設(shè)的理念也有所理解，在調(diào)研過程中，企業(yè)表示支持并且愿意配合全市食品安全追溯系統(tǒng)建設(shè)，為以信息化手段促進(jìn)業(yè)務(wù)協(xié)同、信息共享創(chuàng)造了良好氛圍。2、企業(yè)信息系統(tǒng)應(yīng)用基本普及在調(diào)研過程中，大中型企業(yè)基本都有已經(jīng)建設(shè)的產(chǎn)品信息電子管理系統(tǒng)，包括供應(yīng)商信息管理，原料采購臺(tái)賬，產(chǎn)品生產(chǎn)臺(tái)賬，產(chǎn)品檢驗(yàn)檢測(cè)臺(tái)賬，產(chǎn)品銷售臺(tái)賬等。為食品安全追溯系統(tǒng)所需要的關(guān)鍵環(huán)節(jié)

7、信息提供了來源。3、針對(duì)大中型企業(yè)開展試點(diǎn)接入在信息化程度較高的部分大中型企業(yè)中，開展食品追溯信息的積極探索。對(duì)監(jiān)管的食品企業(yè)進(jìn)行分批次接入。（二）“四品一械”管理信息化建設(shè)情況1、業(yè)務(wù)系統(tǒng)建設(shè)行政許可管理系統(tǒng)全市統(tǒng)一的行政許可管理系統(tǒng)在市級(jí)集中部署，已于2015年在全市范圍內(nèi)投入使用，實(shí)現(xiàn)”四品一械”行政許可證申請(qǐng)，變更，延期，注銷等業(yè)務(wù)，管理內(nèi)容主要包括企業(yè)基本信息、行政許可業(yè)務(wù)審批流程管理，行政許可信息發(fā)證，行政許可信息管理等。目前系統(tǒng)運(yùn)行平穩(wěn)，初步實(shí)現(xiàn)了管理科學(xué)、操作規(guī)范、監(jiān)督有力、補(bǔ)償便捷的預(yù)期目標(biāo)。在提高工作效率、降低管理成本、實(shí)現(xiàn)資源共享等方面起到了積極的作用。（三）食藥監(jiān)管理局

8、門戶網(wǎng)站建設(shè)情況食藥監(jiān)管理局建設(shè)的門戶網(wǎng)站，包含了機(jī)構(gòu)職能，公示公告，工作動(dòng)態(tài)，文件通知，政策法規(guī)，辦事指南，下載專區(qū)，數(shù)據(jù)查詢，信息公開，便民服務(wù)等模塊，方便百姓了解并在線使用食藥監(jiān)局的相關(guān)業(yè)務(wù)。存在問題各級(jí)政府高度重視食藥安全問題，但食藥安全監(jiān)管仍舊存在一些問題，主要表現(xiàn)在以下幾個(gè)方面：監(jiān)管體制機(jī)制尚不健全我國的食品管理體系主要是圍繞保障食品供給建立起來的，食品安全監(jiān)管能力明顯滯后。食品安全監(jiān)管體制以分段監(jiān)管為主、品種監(jiān)管為輔，監(jiān)管環(huán)節(jié)較多，在實(shí)踐中還存在監(jiān)管職能不清、責(zé)任不明等問題。綜合協(xié)調(diào)機(jī)制仍待完善，一些地方還沒有建立綜合協(xié)調(diào)機(jī)制、明確辦事機(jī)構(gòu)；各監(jiān)管環(huán)節(jié)銜接不夠緊密，監(jiān)管力量分散，

9、缺乏信息、資源共享機(jī)制，監(jiān)管效率較低。一些地方政府監(jiān)管責(zé)任制及責(zé)任追究制不完善，監(jiān)管責(zé)任落實(shí)不到位。電子監(jiān)管方式建設(shè)有待加強(qiáng)。如企業(yè)信息管理，產(chǎn)品信息管理，產(chǎn)品安全信息發(fā)布，產(chǎn)品安全風(fēng)險(xiǎn)預(yù)警，產(chǎn)品安全追溯，企業(yè)及產(chǎn)品曝光公告，產(chǎn)品安全投訴及舉報(bào)，食藥局政策政務(wù)公告，食品企業(yè)遠(yuǎn)程視頻電子監(jiān)管等系統(tǒng)，均可作為監(jiān)管方法，提供監(jiān)管手段，提高監(jiān)管效率。監(jiān)管能力較為薄弱各級(jí)食品安全監(jiān)管部門尤其是基層單位，存在人員不足、裝備滯后、一線執(zhí)法快速檢測(cè)能力較低等問題。食品安全檢驗(yàn)檢測(cè)能力不能滿足食品安全監(jiān)管需要，特別是中西部地區(qū)和基層還存在大面積空白，專業(yè)技術(shù)人員不足，儀器設(shè)備配置和實(shí)驗(yàn)室環(huán)境條件不能適應(yīng)檢測(cè)需要

10、，一些檢驗(yàn)機(jī)構(gòu)儀器設(shè)備利用率不高，信息難以共享，高端檢測(cè)儀器設(shè)備大量依賴進(jìn)口，難以為保障食品安全提供全方位的技術(shù)支撐。此外，食品安全事件應(yīng)急處置中信息報(bào)送、發(fā)布不暢，部門間、區(qū)域間協(xié)調(diào)聯(lián)動(dòng)不夠，應(yīng)急隊(duì)伍裝備落后，快速反應(yīng)能力有待進(jìn)一步提高。法規(guī)和標(biāo)準(zhǔn)體系有待完善食品安全法配套法規(guī)規(guī)章還不健全，相關(guān)法律法規(guī)之間銜接不暢，對(duì)食品安全違法犯罪行為的懲處力度仍需加大。地方性法規(guī)制定滯后，大部分地區(qū)尚未制定針對(duì)食品生產(chǎn)加工小作坊、食品攤販的管理辦法。統(tǒng)一的食品安全標(biāo)準(zhǔn)體系尚未完全形成，部分食品衛(wèi)生標(biāo)準(zhǔn)、質(zhì)量標(biāo)準(zhǔn)、食用農(nóng)產(chǎn)品質(zhì)量安全標(biāo)準(zhǔn)以及行業(yè)標(biāo)準(zhǔn)存在缺失、滯后、重復(fù)以及相互矛盾的問題，食品安全標(biāo)準(zhǔn)整合及

11、制修訂任務(wù)繁重，相關(guān)投入尚不能滿足實(shí)際工作需要。風(fēng)險(xiǎn)監(jiān)測(cè)評(píng)估和科技支撐能力仍需提高我國食品安全風(fēng)險(xiǎn)監(jiān)測(cè)、評(píng)估工作起步較晚，風(fēng)險(xiǎn)監(jiān)測(cè)體系有待進(jìn)一步完善，監(jiān)測(cè)網(wǎng)點(diǎn)數(shù)量、監(jiān)測(cè)范圍、監(jiān)測(cè)技術(shù)機(jī)構(gòu)數(shù)量和能力等與實(shí)際需要仍有較大差距。食品安全風(fēng)險(xiǎn)評(píng)估能力仍然薄弱，專業(yè)技術(shù)人員缺乏，系統(tǒng)性風(fēng)險(xiǎn)防范能力有待加強(qiáng)。對(duì)食品安全規(guī)律的系統(tǒng)性研究不夠深入，食品安全管理理論與方法、檢驗(yàn)檢測(cè)技術(shù)與設(shè)備、過程控制技術(shù)等領(lǐng)域的研究相對(duì)不足，科研成果應(yīng)用前安全性評(píng)估不夠，基礎(chǔ)數(shù)據(jù)缺乏，食品安全隱患識(shí)別能力不強(qiáng)。食品安全宣傳教育亟待加強(qiáng)一些食品生產(chǎn)經(jīng)營單位及其從業(yè)人員法制觀念不強(qiáng)，責(zé)任意識(shí)淡薄，主體責(zé)任不落實(shí)，甚至不講誠信、見利

12、忘義、違法犯罪，針對(duì)食品生產(chǎn)經(jīng)營單位及其從業(yè)人員的食品安全宣傳教育仍需加強(qiáng)。食品安全培訓(xùn)體系尚不健全，培訓(xùn)機(jī)構(gòu)和師資較少，培訓(xùn)內(nèi)容缺乏針對(duì)性，對(duì)各級(jí)監(jiān)管執(zhí)法人員的專業(yè)培訓(xùn)普遍不足。公眾食品安全意識(shí)和食品安全基礎(chǔ)知識(shí)水平仍需提高，食品安全科普宣傳力度亟待加大。與企業(yè)利益之間并沒有正向關(guān)系，企業(yè)沒有積極性。 電子化信息系統(tǒng)建設(shè)有待加強(qiáng)完善 電子信息化系統(tǒng)建設(shè)數(shù)量較少，更多系統(tǒng)有待建設(shè)。當(dāng)前社會(huì)發(fā)展中，食品藥品監(jiān)督管理部門需要依靠科學(xué)技術(shù)特別是信息技術(shù)提高監(jiān)管能力、水平和效率。在關(guān)注建設(shè)功能完善的食品質(zhì)量追溯系統(tǒng)的同時(shí)，行政審批平臺(tái)，食藥監(jiān)管局網(wǎng)格化管理，企業(yè)日常檢查系統(tǒng)，食藥企業(yè)遠(yuǎn)程視頻電子監(jiān)管系

13、統(tǒng)，企業(yè)信息管理系統(tǒng)，企業(yè)誠信等級(jí)管理系統(tǒng)，企業(yè)產(chǎn)品信息管理系統(tǒng)，食品質(zhì)量追溯系統(tǒng)，產(chǎn)品安全信息發(fā)布系統(tǒng)，企業(yè)及產(chǎn)品曝光公告系統(tǒng)，產(chǎn)品安全投訴及舉報(bào)系統(tǒng)，產(chǎn)品安全風(fēng)險(xiǎn)預(yù)警機(jī)制系統(tǒng)，食藥局政策政務(wù)公告系統(tǒng)，政府官方網(wǎng)站其他的系統(tǒng)建設(shè)也是息息相關(guān)的。電子化信息系統(tǒng)整體可按照“整體規(guī)劃、分步實(shí)施、基礎(chǔ)優(yōu)先、民生優(yōu)先”的原則，逐步建設(shè)。解決思路1、監(jiān)管與服務(wù)并重建立食品質(zhì)量安全追溯系統(tǒng)，能夠連接生產(chǎn)、檢驗(yàn)、監(jiān)管和消費(fèi)各個(gè)環(huán)節(jié)，讓消費(fèi)者了解符合衛(wèi)生安全的生產(chǎn)和流通過程，提高消費(fèi)者放心程度。企業(yè)監(jiān)管對(duì)食品企業(yè)生產(chǎn)、檢驗(yàn)、監(jiān)管和消費(fèi)各個(gè)環(huán)節(jié)的臺(tái)賬信息進(jìn)行采集，對(duì)數(shù)據(jù)進(jìn)行保存，并對(duì)臺(tái)賬中記錄的RFID及條碼實(shí)

14、現(xiàn)各環(huán)節(jié)的可溯性。服務(wù)于企業(yè)強(qiáng)化產(chǎn)業(yè)鏈各 HYPERLINK /subview/11699066/12060757.htm t _blank 企業(yè)責(zé)任，扶正抑劣，有力的保護(hù)企業(yè)信譽(yù)。通過實(shí)施追溯能夠查詢到市場(chǎng)上流通的產(chǎn)品源頭信息，切實(shí)找到產(chǎn)品質(zhì)量負(fù)責(zé)人，迫使有安全隱患的企業(yè)退出市場(chǎng)，而生產(chǎn)質(zhì)量好的企業(yè)也可以建立信譽(yù)。并在公眾機(jī)，手機(jī)APP等公布企業(yè)誠信等級(jí)，從而增加企業(yè)積極性。服務(wù)于群眾 給與 HYPERLINK /subview/1327043/1327043.htm t _blank 消費(fèi)者知情權(quán)。消費(fèi)者能夠通過終端查詢系統(tǒng)查到食品的來源地以及生產(chǎn)流程，并決定是否購買。消費(fèi)者可以通過超市終

15、端或食品安全追溯官方網(wǎng)站對(duì)食品種植、生產(chǎn)、加工、運(yùn)輸?shù)惹闆r進(jìn)行查詢。2、管理機(jī)制創(chuàng)新創(chuàng)新食品安全管理機(jī)制，從傳統(tǒng)的現(xiàn)場(chǎng)人員監(jiān)管，紙質(zhì)臺(tái)賬監(jiān)管，各獨(dú)立環(huán)節(jié)監(jiān)管，到遠(yuǎn)程電子信息體系智能，整體流程及信息追溯監(jiān)管。 項(xiàng)目建設(shè)必要性及意義項(xiàng)目建設(shè)必要性近年來，由于食品安全（食物中毒、 HYPERLINK /subview/22501/22501.htm t _blank 瘋牛病、 HYPERLINK /subview/42463/42463.htm t _blank 口蹄疫、 HYPERLINK /subview/8863/8863.htm t _blank 禽流感等畜禽疾病以及嚴(yán)重農(nóng)產(chǎn)品殘藥、進(jìn)口食品

16、材料激增等）危機(jī)頻繁發(fā)生，嚴(yán)重影響了人們的身體健康，引起了全世界的廣泛關(guān)注，如何對(duì)食品有效跟蹤和追溯，已成為一個(gè)極為迫切解決的問題。項(xiàng)目建設(shè)的意義應(yīng)用本系統(tǒng)對(duì)食品進(jìn)行追溯，每個(gè)產(chǎn)品使用的原材料原始數(shù)據(jù)都有記錄，可以隨時(shí)確認(rèn)。在銷售環(huán)節(jié)中，快速對(duì)應(yīng)客戶的索賠可以快速回答客戶對(duì)產(chǎn)品原材料提出的質(zhì)疑；對(duì)貨原材料標(biāo)準(zhǔn)由 HYPERLINK /subview/1151618/1151618.htm t _blank PC機(jī)管理、檢查。防止標(biāo)準(zhǔn)外材料的進(jìn)入，確保產(chǎn)品品質(zhì)；數(shù)據(jù)采集器內(nèi)存有配方數(shù)據(jù).通過與原材料上RFID標(biāo)簽及條碼數(shù)據(jù)比對(duì)，消除混合錯(cuò)誤工序檢查有PC機(jī)管理，將各個(gè)工序的檢驗(yàn)內(nèi)容下載到數(shù)據(jù)采集

17、器中，使用采集器；錄入檢驗(yàn)數(shù)據(jù)，消除手工記錄。RFID標(biāo)簽相對(duì)可以放入大量的信息，容易實(shí)現(xiàn) HYPERLINK /subview/1868030/1868030.htm t _blank 信息化管理，一旦食品發(fā)生質(zhì)量問題，馬上可以確認(rèn)食品的生產(chǎn)過程，特定事故原因，及時(shí)召回問題食品，將企業(yè)的經(jīng)濟(jì)損失，信譽(yù)損失降低到最小范圍。食品藥品安全云平臺(tái)設(shè)計(jì)數(shù)據(jù)中心Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。簡(jiǎn)單地說來，Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。Hadoop實(shí)現(xiàn)

18、了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性（fault-tolerent）的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。hadoop主要的一些特點(diǎn)：1擴(kuò)容能力（Scalable）：能可靠地（reliably）存儲(chǔ)和處理千兆字節(jié)（PB）數(shù)

19、據(jù)。2成本低（Economical）：可以通過普通機(jī)器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計(jì)可達(dá)數(shù)千個(gè)節(jié)點(diǎn)。3高效率（Efficient）：通過分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行地（parallel）處理它們，這使得處理非常的快速。4可靠性（Reliable）：hadoop能自動(dòng)地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地重新部署（redeploy）計(jì)算任務(wù)。Hadoop主要子項(xiàng)目*HadoopCommon:在0.20及以前的版本中，包含HDFS、MapReduce和其他項(xiàng)目公共內(nèi)容，從0.21開始HDFS和MapReduce被分離為獨(dú)立的子項(xiàng)目，其余內(nèi)容為Hado

20、opCommon*HDFS:Hadoop分佈式文件系統(tǒng)(DistributedFileSystem)HDFS(HadoopDistributedFileSystem)*MapReduce：并行計(jì)算框架，0.20前使用org.apache.hadoop.mapred舊接口，0.20版本開始引入org.apache.hadoop.mapreduce的新API*HBase:類似GoogleBigTable的分布式NoSQL列數(shù)據(jù)庫。（HBase和Avro已經(jīng)于2010年5月成為頂級(jí)Apache項(xiàng)目1）*Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻(xiàn)。*Zookeeper：分布式鎖設(shè)施，提供類似Goo

21、gleChubby的功能，由Facebook貢獻(xiàn)。*Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。HDFS存儲(chǔ)HDFS架構(gòu)圖如下：數(shù)據(jù)塊(block)HDFS(HadoopDistributedFileSystem)默認(rèn)的最基本的存儲(chǔ)單位是64M的數(shù)據(jù)塊。和普通文件系統(tǒng)相同的是，HDFS中的文件是被分成64M一塊的數(shù)據(jù)塊存儲(chǔ)的。不同于普通文件系統(tǒng)的是，HDFS中，如果一個(gè)文件小于一個(gè)數(shù)據(jù)塊的大小，并不占用整個(gè)數(shù)據(jù)塊存儲(chǔ)空間。元數(shù)據(jù)節(jié)點(diǎn)(Namenode)和數(shù)據(jù)節(jié)點(diǎn)(datanode)元數(shù)據(jù)節(jié)點(diǎn)用來管理文件系統(tǒng)的命名空間其將所有的文件和文件夾的元數(shù)據(jù)保存在一個(gè)文

22、件系統(tǒng)樹中。這些信息也會(huì)在硬盤上保存成以下文件：命名空間鏡像(namespaceimage)及修改日志(editlog)其還保存了一個(gè)文件包括哪些數(shù)據(jù)塊，分布在哪些數(shù)據(jù)節(jié)點(diǎn)上。然而這些信息并不存儲(chǔ)在硬盤上，而是在系統(tǒng)啟動(dòng)的時(shí)候從數(shù)據(jù)節(jié)點(diǎn)收集而成的。數(shù)據(jù)節(jié)點(diǎn)是文件系統(tǒng)中真正存儲(chǔ)數(shù)據(jù)的地方?？蛻舳?client)或者元數(shù)據(jù)信息(namenode)可以向數(shù)據(jù)節(jié)點(diǎn)請(qǐng)求寫入或者讀出數(shù)據(jù)塊。其周期性的向元數(shù)據(jù)節(jié)點(diǎn)回報(bào)其存儲(chǔ)的數(shù)據(jù)塊信息。從元數(shù)據(jù)節(jié)點(diǎn)(secondarynamenode)從元數(shù)據(jù)節(jié)點(diǎn)并不是元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)問題時(shí)候的備用節(jié)點(diǎn)，它和元數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)不同的事情。其主要功能就是周期性將元數(shù)據(jù)節(jié)點(diǎn)的命名空

23、間鏡像文件和修改日志合并，以防日志文件過大。這點(diǎn)在下面會(huì)相信敘述。合并過后的命名空間鏡像文件也在從元數(shù)據(jù)節(jié)點(diǎn)保存了一份，以防元數(shù)據(jù)節(jié)點(diǎn)失敗的時(shí)候，可以恢復(fù)。元數(shù)據(jù)節(jié)點(diǎn)文件夾結(jié)構(gòu)VERSION文件是javaproperties文件，保存了HDFS的版本號(hào)。layoutVersion是一個(gè)負(fù)整數(shù)，保存了HDFS的持續(xù)化在硬盤上的數(shù)據(jù)結(jié)構(gòu)的格式版本號(hào)。namespaceID是文件系統(tǒng)的唯一標(biāo)識(shí)符，是在文件系統(tǒng)初次格式化時(shí)生成的。cTime此處為0storageType表示此文件夾中保存的是元數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)。文件系統(tǒng)命名空間映像文件及修改日志當(dāng)文件系統(tǒng)客戶端(client)進(jìn)行寫操作時(shí)，首先把它記

24、錄在修改日志中(editlog)元數(shù)據(jù)節(jié)點(diǎn)在內(nèi)存中保存了文件系統(tǒng)的元數(shù)據(jù)信息。在記錄了修改日志后，元數(shù)據(jù)節(jié)點(diǎn)則修改內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)。每次的寫操作成功之前，修改日志都會(huì)同步(sync)到文件系統(tǒng)。fsimage文件，也即命名空間映像文件，是內(nèi)存中的元數(shù)據(jù)在硬盤上的checkpoint，它是一種序列化的格式，并不能夠在硬盤上直接修改。同數(shù)據(jù)的機(jī)制相似，當(dāng)元數(shù)據(jù)節(jié)點(diǎn)失敗時(shí)，則最新checkpoint的元數(shù)據(jù)信息從fsimage加載到內(nèi)存中，然后逐一重新執(zhí)行修改日志中的操作。從元數(shù)據(jù)節(jié)點(diǎn)就是用來幫助元數(shù)據(jù)節(jié)點(diǎn)將內(nèi)存中的元數(shù)據(jù)信息checkpoint到硬盤上的checkpoint的過程如下：從元數(shù)據(jù)節(jié)點(diǎn)

25、通知元數(shù)據(jù)節(jié)點(diǎn)生成新的日志文件，以后的日志都寫到新的日志文件中。從元數(shù)據(jù)節(jié)點(diǎn)用httpget從元數(shù)據(jù)節(jié)點(diǎn)獲得fsimage文件及舊的日志文件。從元數(shù)據(jù)節(jié)點(diǎn)將fsimage文件加載到內(nèi)存中，并執(zhí)行日志文件中的操作，然后生成新的fsimage文件。從元數(shù)據(jù)節(jié)點(diǎn)獎(jiǎng)新的fsimage文件用httppost傳回元數(shù)據(jù)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)可以將舊的fsimage文件及舊的日志文件，換為新的fsimage文件和新的日志文件(第一步生成的)，然后更新fstime文件，寫入此次checkpoint的時(shí)間。這樣元數(shù)據(jù)節(jié)點(diǎn)中的fsimage文件保存了最新的checkpoint的元數(shù)據(jù)信息，日志文件也重新開始，不會(huì)變的很大

26、了。從元數(shù)據(jù)節(jié)點(diǎn)的目錄結(jié)構(gòu)數(shù)據(jù)節(jié)點(diǎn)的目錄結(jié)構(gòu)數(shù)據(jù)節(jié)點(diǎn)的VERSION文件格式如下：blk_保存的是HDFS的數(shù)據(jù)塊，其中保存了具體的二進(jìn)制數(shù)據(jù)。blk_.meta保存的是數(shù)據(jù)塊的屬性信息：版本信息，類型信息，和checksum當(dāng)一個(gè)目錄中的數(shù)據(jù)塊到達(dá)一定數(shù)量的時(shí)候，則創(chuàng)建子文件夾來保存數(shù)據(jù)塊及數(shù)據(jù)塊屬性信息。數(shù)據(jù)流(dataflow)讀文件的過程客戶端(client)用FileSystem的open()函數(shù)打開文件Distributed File System用RPC調(diào)用元數(shù)據(jù)節(jié)點(diǎn)，得到文件的數(shù)據(jù)塊信息。對(duì)于每一個(gè)數(shù)據(jù)塊，元數(shù)據(jù)節(jié)點(diǎn)返回保存數(shù)據(jù)塊的數(shù)據(jù)節(jié)點(diǎn)的地址。DistributedFile

27、System返回FSDataInputStream給客戶端，用來讀取數(shù)據(jù)。客戶端調(diào)用stream的read()函數(shù)開始讀取數(shù)據(jù)。DFSInputStream連接保存此文件第一個(gè)數(shù)據(jù)塊的最近的數(shù)據(jù)節(jié)點(diǎn)。Data從數(shù)據(jù)節(jié)點(diǎn)讀到客戶端(client)當(dāng)此數(shù)據(jù)塊讀取完畢時(shí)，DFSInputStream關(guān)閉和此數(shù)據(jù)節(jié)點(diǎn)的連接，然后連接此文件下一個(gè)數(shù)據(jù)塊的最近的數(shù)據(jù)節(jié)點(diǎn)。當(dāng)客戶端讀取完畢數(shù)據(jù)的時(shí)候，調(diào)用FSDataInputStream的close函數(shù)。在讀取數(shù)據(jù)的過程中，如果客戶端在與數(shù)據(jù)節(jié)點(diǎn)通信出現(xiàn)錯(cuò)誤，則嘗試連接包含此數(shù)據(jù)塊的下一個(gè)數(shù)據(jù)節(jié)點(diǎn)。失敗的數(shù)據(jù)節(jié)點(diǎn)將被記錄，以后不再連接。寫文件的過程客戶端調(diào)

28、用create()來創(chuàng)建文件DistributedFileSystem用RPC調(diào)用元數(shù)據(jù)節(jié)點(diǎn)，在文件系統(tǒng)的命名空間中創(chuàng)建一個(gè)新的文件。元數(shù)據(jù)節(jié)點(diǎn)首先確定文件原來不存在，并且客戶端有創(chuàng)建文件的權(quán)限，然后創(chuàng)建新文件。DistributedFileSystem返回DFSOutputStream，客戶端用于寫數(shù)據(jù)?？蛻舳碎_始寫入數(shù)據(jù)，DFSOutputStream將數(shù)據(jù)分成塊，寫入dataqueue。Dataqueue由DataStreamer讀取，并通知元數(shù)據(jù)節(jié)點(diǎn)分配數(shù)據(jù)節(jié)點(diǎn)，用來存儲(chǔ)數(shù)據(jù)塊(每塊默認(rèn)復(fù)制3塊)。分配的數(shù)據(jù)節(jié)點(diǎn)放在一個(gè)pipeline里。DataStreamer將數(shù)據(jù)塊寫入pipel

29、ine中的第一個(gè)數(shù)據(jù)節(jié)點(diǎn)。第一個(gè)數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)塊發(fā)送給第二個(gè)數(shù)據(jù)節(jié)點(diǎn)。第二個(gè)數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)發(fā)送給第三個(gè)數(shù)據(jù)節(jié)點(diǎn)。DFSOutputStream為發(fā)出去的數(shù)據(jù)塊保存了ackqueue，等待pipeline中的數(shù)據(jù)節(jié)點(diǎn)告知數(shù)據(jù)已經(jīng)寫入成功。如果數(shù)據(jù)節(jié)點(diǎn)在寫入的過程中失?。宏P(guān)閉pipeline，將ackqueue中的數(shù)據(jù)塊放入dataqueue的開始。當(dāng)前的數(shù)據(jù)塊在已經(jīng)寫入的數(shù)據(jù)節(jié)點(diǎn)中被元數(shù)據(jù)節(jié)點(diǎn)賦予新的標(biāo)示，則錯(cuò)誤節(jié)點(diǎn)重啟后能夠察覺其數(shù)據(jù)塊是過時(shí)的，會(huì)被刪除。失敗的數(shù)據(jù)節(jié)點(diǎn)從pipeline中移除，另外的數(shù)據(jù)塊則寫入pipeline中的另外兩個(gè)數(shù)據(jù)節(jié)點(diǎn)。元數(shù)據(jù)節(jié)點(diǎn)則被通知此數(shù)據(jù)塊是復(fù)制塊數(shù)不足，將

30、來會(huì)再創(chuàng)建第三份備份。當(dāng)客戶端結(jié)束寫入數(shù)據(jù)，則調(diào)用stream的close函數(shù)。此操作將所有的數(shù)據(jù)塊寫入pipeline中的數(shù)據(jù)節(jié)點(diǎn)，并等待ackqueue返回成功。最后通知元數(shù)據(jù)節(jié)點(diǎn)寫入完畢。HBASEHase架構(gòu)圖如下：HDFS組件HDFS被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodityhardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。NameNode和DataNode：HDFS采用master/

31、slave架構(gòu)。一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanodes組成。Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間(namespace)以及客戶端對(duì)文件的訪問。集群中的Datanode一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。HDFS暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組Datanode上。Namenode執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命名文件或目錄。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode節(jié)點(diǎn)的映射。Datanode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請(qǐng)求

32、。在Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。Namenode和Datanode被設(shè)計(jì)成可以在普通的商用機(jī)器上運(yùn)行。這些機(jī)器一般運(yùn)行著GNU/Linux操作系統(tǒng)(OS)。HDFS采用Java語言開發(fā)，因此任何支持Java的機(jī)器都可以部署Namenode或Datanode。由于采用了可移植性極強(qiáng)的Java語言，使得HDFS可以部署到多種類型的機(jī)器上。一個(gè)典型的部署場(chǎng)景是一臺(tái)機(jī)器上只運(yùn)行一個(gè)Namenode實(shí)例，而集群中的其它機(jī)器分別運(yùn)行一個(gè)Datanode實(shí)例。這種架構(gòu)并不排斥在一臺(tái)機(jī)器上運(yùn)行多個(gè)Datanode，只不過這樣的情況比較少見。集群中單一Namenode的結(jié)構(gòu)大大簡(jiǎn)化

33、了系統(tǒng)的架構(gòu)。Namenode是所有HDFS元數(shù)據(jù)的仲裁者和管理者，這樣，用戶數(shù)據(jù)永遠(yuǎn)不會(huì)流過Namenode。NameNode核心功能:文件命名空間的維護(hù)，包含對(duì)文件和目錄的訪問權(quán)限、修改信息、訪問時(shí)間、名字空間及磁盤空間進(jìn)行管理。數(shù)據(jù)塊到datanode的映射維護(hù)功能?？蛻舳藢?duì)文件的訪問功能。namenode聯(lián)邦機(jī)制，支持namenode橫向擴(kuò)展為多個(gè)，每個(gè)namenode分管一部分目錄，提高整體擴(kuò)展性、目錄管理的隔離性。namenodeHA，解決namenode單點(diǎn)問題，保證服務(wù)高可用，支持自動(dòng)和人工的節(jié)點(diǎn)切換。對(duì)文件系統(tǒng)進(jìn)行只讀快照，支持對(duì)整個(gè)目錄空間或者指定的子目錄進(jìn)行只讀快照。在進(jìn)

34、行數(shù)據(jù)塊副本存放時(shí)，支持多個(gè)副本中至少兩個(gè)位于不同機(jī)架上。支持機(jī)架感知，依據(jù)網(wǎng)絡(luò)拓?fù)浜蜋C(jī)架信息，實(shí)現(xiàn)節(jié)點(diǎn)IP地址到對(duì)應(yīng)機(jī)架的映射關(guān)系DataNode核心功能:負(fù)責(zé)進(jìn)行block的創(chuàng)建、刪除和復(fù)制，并定時(shí)進(jìn)行塊狀態(tài)報(bào)告。負(fù)責(zé)來自文件系統(tǒng)客戶端的讀寫請(qǐng)求。命名空間HDFS支持傳統(tǒng)的層次型文件組織結(jié)構(gòu)。用戶或者應(yīng)用程序可以創(chuàng)建目錄，然后將文件保存在這些目錄里。文件系統(tǒng)名字空間的層次結(jié)構(gòu)和大多數(shù)現(xiàn)有的文件系統(tǒng)類似：用戶可以創(chuàng)建、刪除、移動(dòng)或重命名文件。當(dāng)前，HDFS不支持用戶磁盤配額和訪問權(quán)限控制，也不支持硬鏈接和軟鏈接。但是HDFS架構(gòu)并不妨礙實(shí)現(xiàn)這些特性。Namenode負(fù)責(zé)維護(hù)文件系統(tǒng)的名字空間

35、，任何對(duì)文件系統(tǒng)名字空間或?qū)傩缘男薷亩紝⒈籒amenode記錄下來。應(yīng)用程序可以設(shè)置HDFS保存的文件的副本數(shù)目。文件副本的數(shù)目稱為文件的副本系數(shù)，這個(gè)信息也是由Namenode保存的。核心功能：支持傳統(tǒng)的層次型文件組織，用戶可以創(chuàng)建目錄，并在目錄中創(chuàng)建、刪除、移動(dòng)和重命名文件。Namenode維護(hù)文件系統(tǒng)的命名空間，并將修改的信息記錄下來。物理存儲(chǔ)DataNode把塊存儲(chǔ)到本地文件系統(tǒng)、虛擬磁盤中，對(duì)本地文件系統(tǒng)、虛擬磁盤進(jìn)行讀、寫。數(shù)據(jù)存儲(chǔ)HDFS被設(shè)計(jì)成能夠在一個(gè)大集群中跨機(jī)器可靠地存儲(chǔ)超大文件。它將每個(gè)文件存儲(chǔ)成一系列的數(shù)據(jù)塊，除了最后一個(gè)，所有的數(shù)據(jù)塊都是同樣大小的。為了容錯(cuò)，文件的

36、所有數(shù)據(jù)塊都會(huì)有副本。每個(gè)文件的數(shù)據(jù)塊大小和副本系數(shù)都是可配置的。應(yīng)用程序可以指定某個(gè)文件的副本數(shù)目。副本系數(shù)可以在文件創(chuàng)建的時(shí)候指定，也可以在之后改變。HDFS中的文件都是一次性寫入的，并且嚴(yán)格要求在任何時(shí)候只能有一個(gè)寫入者。數(shù)據(jù)接入方式數(shù)據(jù)訪問API接口：應(yīng)支持常見語言的文件訪問API接口，如Java、C/C+、PHP、Python等語言FTP接入：通過標(biāo)準(zhǔn)的FTP協(xié)議和FTP客戶端可以直接訪問HDFS文件數(shù)據(jù)均衡HDFS的架構(gòu)支持?jǐn)?shù)據(jù)均衡策略。如果某個(gè)Datanode節(jié)點(diǎn)上的空閑空間低于特定的臨界點(diǎn)，按照均衡策略系統(tǒng)就會(huì)自動(dòng)地將數(shù)據(jù)從這個(gè)Datanode移動(dòng)到其他空閑的Datanode。

37、數(shù)據(jù)安全Namenode啟動(dòng)后會(huì)進(jìn)入一個(gè)稱為安全模式的特殊狀態(tài)。處于安全模式的Namenode是不會(huì)進(jìn)行數(shù)據(jù)塊的復(fù)制的。Namenode從所有的Datanode接收心跳信號(hào)和塊狀態(tài)報(bào)告。塊狀態(tài)報(bào)告包括了某個(gè)Datanode所有的數(shù)據(jù)塊列表。每個(gè)數(shù)據(jù)塊都有一個(gè)指定的最小副本數(shù)。當(dāng)Namenode檢測(cè)確認(rèn)某個(gè)數(shù)據(jù)塊的副本數(shù)目達(dá)到這個(gè)最小值，那么該數(shù)據(jù)塊就會(huì)被認(rèn)為是副本安全(safelyreplicated)的；在一定百分比（這個(gè)參數(shù)可配置）的數(shù)據(jù)塊被Namenode檢測(cè)確認(rèn)是安全之后（加上一個(gè)額外的30秒等待時(shí)間），Namenode將退出安全模式狀態(tài)。接下來它會(huì)確定還有哪些數(shù)據(jù)塊的副本沒有達(dá)到指定

38、數(shù)目，并將這些數(shù)據(jù)塊復(fù)制到其他Datanode上。數(shù)據(jù)采集交換：采集交換平臺(tái)是整個(gè)區(qū)域內(nèi)食藥機(jī)構(gòu)信息交換、共享和應(yīng)用的樞紐，負(fù)責(zé)綜合、管理以及標(biāo)準(zhǔn)化各個(gè)食藥部門和機(jī)構(gòu)所產(chǎn)生的信息，并承擔(dān)為食藥監(jiān)管理決策提供相關(guān)信息以及進(jìn)行數(shù)據(jù)交換和共享的重任。要按照國家信息化建設(shè)有關(guān)要求和總局、省局的數(shù)據(jù)標(biāo)準(zhǔn)，統(tǒng)一規(guī)劃、制訂數(shù)據(jù)交換與共享的標(biāo)準(zhǔn)規(guī)范，規(guī)劃共享數(shù)據(jù)庫結(jié)構(gòu)，實(shí)現(xiàn)與國家食藥監(jiān)總局?jǐn)?shù)據(jù)、省局?jǐn)?shù)據(jù)、市局?jǐn)?shù)據(jù)中心以及中國藥品電子監(jiān)管網(wǎng)追溯數(shù)據(jù)的互聯(lián)互通，建立食品藥品追溯數(shù)據(jù)交換中心、存儲(chǔ)中心和應(yīng)用中心，全面支撐面向企業(yè)、食藥監(jiān)部門和公眾的服務(wù)和監(jiān)管應(yīng)用需求，提高整個(gè)食藥監(jiān)部門業(yè)務(wù)處理的效率和質(zhì)量，滿足日益

39、增加的食藥監(jiān)信息共享與業(yè)務(wù)協(xié)同需求。（備注：國家食藥監(jiān)總局?jǐn)?shù)據(jù)：主要是指國家食品藥品監(jiān)督管理總覺在其網(wǎng)站上公布的“數(shù)據(jù)查詢”模塊中所包含的數(shù)據(jù)，鏈接： HYPERLINK /datasearch/face3/dir.html /datasearch/face3/dir.html。中國藥品電子監(jiān)管網(wǎng)數(shù)據(jù)：主要是指國家食品藥品監(jiān)督管理總局圍繞藥品電子監(jiān)管工作，與中信二十一世紀(jì)科技有限公司合作，推出的覆蓋藥品生產(chǎn)、經(jīng)營、零售等各環(huán)節(jié)監(jiān)管的藥品電子監(jiān)管平臺(tái)數(shù)據(jù)。湖北省食藥監(jiān)局?jǐn)?shù)據(jù)：主要是指湖北省食品藥品監(jiān)督管理總覺在其網(wǎng)站上公布的“數(shù)據(jù)查詢”模塊中所包含的數(shù)據(jù)。鏈接： HYPERLINK /searc

40、h/searchResultGJ.jsp?tid=123 /search/searchResultGJ.jsp?tid=123。市局行政審批數(shù)據(jù)：主要是指局建設(shè)的食品藥品遠(yuǎn)程行政審批平臺(tái)，將事權(quán)范圍內(nèi)的“四品一械”行政審批事項(xiàng)納入到平臺(tái)進(jìn)行受理、審批和發(fā)放，由此產(chǎn)生的企業(yè)基礎(chǔ)數(shù)據(jù)及審批數(shù)據(jù)。）數(shù)據(jù)采集交換平臺(tái)離線采集數(shù)據(jù)的采集交換。所有數(shù)據(jù)來源于各個(gè)業(yè)務(wù)系統(tǒng)，不管是異構(gòu)的數(shù)據(jù)庫管理系統(tǒng)還是非異構(gòu)的數(shù)據(jù)庫管理系統(tǒng)，要求都能通過通用的數(shù)據(jù)抽取（采集、清洗、轉(zhuǎn)換）或同步方法自動(dòng)地將數(shù)據(jù)推送至共享數(shù)據(jù)中心，并做出數(shù)據(jù)更新報(bào)告。另外，在操作上，對(duì)于任何業(yè)務(wù)應(yīng)用系統(tǒng)（包括現(xiàn)有的或新開發(fā)的），能以便捷的方式

41、，制定業(yè)務(wù)數(shù)據(jù)交換策略，最好不需要寫代碼即可實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的采集交換；同時(shí)，考慮到未來數(shù)據(jù)標(biāo)準(zhǔn)的變化情況，可以便捷地進(jìn)行主題數(shù)據(jù)庫配臵、數(shù)據(jù)交換策略配臵，以此達(dá)到對(duì)未來增加的任何業(yè)務(wù)應(yīng)用都能方便地將數(shù)據(jù)采集交換到共享數(shù)據(jù)中心平臺(tái)。實(shí)時(shí)采集能以可視化界面或拖拉等方式，實(shí)現(xiàn)對(duì)數(shù)據(jù)共享接口的發(fā)布。通過授權(quán)，利用提供的通用數(shù)據(jù)共享接口，可以將共享數(shù)據(jù)中心的部分或全部數(shù)據(jù)進(jìn)行共享和利用，并實(shí)時(shí)做出數(shù)據(jù)使用情況報(bào)告。另外，針對(duì)每一個(gè)數(shù)據(jù)共享接口，還需開發(fā)數(shù)據(jù)信息的存取編程實(shí)例，保證用戶可以在新開發(fā)的業(yè)務(wù)系統(tǒng)中方便地訪問接口。服務(wù)（接口）采集方式系統(tǒng)通過支持多樣化的數(shù)據(jù)接口，支持多樣的協(xié)議，來滿足在一些安全性

42、要求比較高，數(shù)據(jù)不允許直接訪問或不允許異地保存（如涉及到個(gè)人隱私數(shù)據(jù)）的情況下統(tǒng)一讀取和存儲(chǔ)數(shù)據(jù)的需要；文件采集方式各數(shù)據(jù)上報(bào)單位在根據(jù)本數(shù)據(jù)接口規(guī)范生成上報(bào)數(shù)據(jù)文件后，可通過本單位與個(gè)人征信基礎(chǔ)數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)中心（簡(jiǎn)稱數(shù)據(jù)中心）的網(wǎng)絡(luò)將上報(bào)數(shù)據(jù)文件上傳到數(shù)據(jù)中心，也可以通過存儲(chǔ)介質(zhì)將上報(bào)數(shù)據(jù)文件報(bào)送數(shù)據(jù)中心。通過網(wǎng)絡(luò)上傳數(shù)據(jù)文件時(shí)，數(shù)據(jù)中心提供了FTP、HTTP、SMTP三種上傳方式，數(shù)據(jù)上報(bào)單位可以通過三種協(xié)議之一將數(shù)據(jù)上傳到數(shù)據(jù)中心。通過存儲(chǔ)介質(zhì)上報(bào)數(shù)據(jù)文件時(shí)，可以通過磁盤、磁帶、光盤等存儲(chǔ)介質(zhì)，將數(shù)據(jù)文件直接送至數(shù)據(jù)中心。數(shù)據(jù)庫采集方式各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫通過JDBC接口進(jìn)行數(shù)據(jù)直連采集

43、數(shù)據(jù)配置管理數(shù)據(jù)交換系統(tǒng)實(shí)現(xiàn)所交換數(shù)據(jù)的采集工作，其提供多種方式的數(shù)據(jù)接入，包括：數(shù)據(jù)前置機(jī)接入、數(shù)據(jù)庫適配器、FTP接入、WebServices接入、信息直報(bào)等多種數(shù)據(jù)采集接入方式。其中前置機(jī)方式適用于對(duì)數(shù)據(jù)交換實(shí)時(shí)性要求較高、交換數(shù)據(jù)量大、接入條件成熟的部門，出于安全考慮，需將本部門應(yīng)用系統(tǒng)與平臺(tái)進(jìn)行物理或邏輯隔離的情況，平臺(tái)采用前置交換子系統(tǒng)為其提供數(shù)據(jù)接入，通過在數(shù)據(jù)源單位政府網(wǎng)絡(luò)上部署前置交換子系統(tǒng)。這種方式下，平臺(tái)對(duì)部門內(nèi)部應(yīng)用系統(tǒng)不會(huì)帶來任何影響，部門內(nèi)部的應(yīng)用系統(tǒng)僅與本部門的前置機(jī)交換信息資源。由信息提供方負(fù)責(zé)將共享的信息資源導(dǎo)入到本部門前置機(jī)中，信息使用方同樣從本部門前置機(jī)中

44、獲取所需資源，一次獲取資源后，可用于部門中的多項(xiàng)業(yè)務(wù)工作。Web服務(wù)代理接入模式適用于一些涉密的部門無法直接提供業(yè)務(wù)系統(tǒng)的數(shù)據(jù)或者無需提供業(yè)務(wù)數(shù)據(jù)只需提供相應(yīng)功能即可，那么針對(duì)這種需求，只能通過Web服務(wù)的方式提供系統(tǒng)的接入。加密要求數(shù)據(jù)加密在三個(gè)層次來實(shí)現(xiàn)：鏈路加密、節(jié)點(diǎn)加密和端到端加密。鏈路加密：對(duì)于在兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)間的某一次通信鏈路，鏈路加密能為網(wǎng)上傳輸?shù)臄?shù)據(jù)提供安全保證。對(duì)于鏈路加密（又稱在線加密），所有消息在被傳輸之前進(jìn)行加密，在每一個(gè)節(jié)點(diǎn)對(duì)接收到的消息進(jìn)行解密，然后先使用下一個(gè)鏈路的密鑰對(duì)消息進(jìn)行加密，再進(jìn)行傳輸。在到達(dá)目的地之前，一條消息可能要經(jīng)過許多通信鏈路的傳輸。由于在每一個(gè)中

45、間傳輸節(jié)點(diǎn)消息均被解密后重新進(jìn)行加密，因此，包括路由信息在內(nèi)的鏈路上的所有數(shù)據(jù)均以密文形式出現(xiàn)。這樣，鏈路加密就掩蓋了被傳輸消息的源點(diǎn)與終點(diǎn)。由于填充技術(shù)的使用以及填充字符在不需要傳輸數(shù)據(jù)的情況下就可以進(jìn)行加密，這使得消息的頻率和長(zhǎng)度特性得以掩蓋，從而可以防止對(duì)通信業(yè)務(wù)進(jìn)行分析。盡管鏈路加密在計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境中使用得相當(dāng)普遍，但它并非沒有問題。鏈路加密通常用在點(diǎn)對(duì)點(diǎn)的同步或異步線路上，它要求先對(duì)在鏈路兩端的加密設(shè)備進(jìn)行同步，然后使用一種鏈模式對(duì)鏈路上傳輸?shù)臄?shù)據(jù)進(jìn)行加密。這就給網(wǎng)絡(luò)的性能和可管理性帶來了副作用。節(jié)點(diǎn)加密：盡管節(jié)點(diǎn)加密能給網(wǎng)絡(luò)數(shù)據(jù)提供較高的安全性，但它在操作方式上與鏈路加密是類似的：

46、兩者均在通信鏈路上為傳輸?shù)南⑻峁┌踩裕欢荚谥虚g節(jié)點(diǎn)先對(duì)消息進(jìn)行解密，然后進(jìn)行加密。因?yàn)橐獙?duì)所有傳輸?shù)臄?shù)據(jù)進(jìn)行加密，所以加密過程對(duì)用戶是透明的。然而，與鏈路加密不同，節(jié)點(diǎn)加密不允許消息在網(wǎng)絡(luò)節(jié)點(diǎn)以明文形式存在，它先把收到的消息進(jìn)行解密，然后采用另一個(gè)不同的密鑰進(jìn)行加密，這一過程是在節(jié)點(diǎn)上的一個(gè)安全模塊中進(jìn)行。節(jié)點(diǎn)加密要求報(bào)頭和路由信息以明文形式傳輸，以便中間節(jié)點(diǎn)能得到如何處理消息的信息。因此這種方法對(duì)于防止攻擊者分析通信業(yè)務(wù)是脆弱的。端到端加密：端到端加密允許數(shù)據(jù)在從源點(diǎn)到終點(diǎn)的傳輸過程中始終以密文形式存在。采用端到端加密（又稱脫線加密或包加密），消息在被傳輸時(shí)到達(dá)終點(diǎn)之前不進(jìn)行解密，因?yàn)橄?/p>

47、息在整個(gè)傳輸過程中均受到保護(hù)，所以即使有節(jié)點(diǎn)被損壞也不會(huì)使消息泄露。端到端加密系統(tǒng)的價(jià)格便宜些，并且與鏈路加密和節(jié)點(diǎn)加密相比更可靠，更容易設(shè)計(jì)、實(shí)現(xiàn)和維護(hù)。端到端加密還避免了其它加密系統(tǒng)所固有的同步問題，因?yàn)槊總€(gè)報(bào)文包均是獨(dú)立被加密的，所以一個(gè)報(bào)文包所發(fā)生的傳輸錯(cuò)誤不會(huì)影響后續(xù)的報(bào)文包。此外，從用戶對(duì)安全需求的直覺上講，端到端加密更自然些。單個(gè)用戶可能會(huì)選用這種加密方法，以便不影響網(wǎng)絡(luò)上的其他用戶，此方法只需要源和目的節(jié)點(diǎn)是保密的即可。端到端加密系統(tǒng)通常不允許對(duì)消息的目的地址進(jìn)行加密，這是因?yàn)槊恳粋€(gè)消息所經(jīng)過的節(jié)點(diǎn)都要用此地址來確定如何傳輸消息。由于這種加密方法不能掩蓋被傳輸消息的源點(diǎn)與終點(diǎn)，

48、因此它對(duì)于防止攻擊者分析通信業(yè)務(wù)是脆弱的。大數(shù)據(jù)處理ETL負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。 ETL是數(shù)據(jù)倉庫中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對(duì)于關(guān)系數(shù)據(jù)庫，數(shù)據(jù)倉庫技術(shù)沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，它更面向?qū)嶋H工程應(yīng)用。所以從工程應(yīng)用的角度來考慮，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行一些系列處理，處理過程與經(jīng)驗(yàn)直接相關(guān)，同時(shí)這部分的工作直接關(guān)系數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量，從而影響到聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的結(jié)果的質(zhì)量。 數(shù)據(jù)倉庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，需要通

49、過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理環(huán)境、外部數(shù)據(jù)源和脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)導(dǎo)入到數(shù)據(jù)倉庫中；在技術(shù)上，ETL主要涉及到關(guān)聯(lián)、轉(zhuǎn)換、增量、調(diào)度和監(jiān)控等幾個(gè)方面；數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)中數(shù)據(jù)實(shí)時(shí)同步，所以ETL可以定時(shí)進(jìn)行。但多個(gè)ETL的操作時(shí)間、順序和成敗對(duì)數(shù)據(jù)倉庫中信息的有效性至關(guān)重要。實(shí)現(xiàn)ETL，首先要實(shí)現(xiàn)ETL轉(zhuǎn)換的過程。它可以集中地體現(xiàn)為以下幾個(gè)方面：空值處理 可捕獲字段空值，進(jìn)行加載或替換為其他含義數(shù)據(jù)，并可根據(jù)字段空值實(shí)現(xiàn)分流加載到不同目標(biāo)庫。 規(guī)范化數(shù)據(jù)格式 可實(shí)現(xiàn)字段格式約束定義，對(duì)于數(shù)據(jù)源中時(shí)間、數(shù)值、字符等數(shù)據(jù)，可自定義加載格式。 拆分?jǐn)?shù)據(jù) 依據(jù)業(yè)務(wù)需求對(duì)字段可進(jìn)

50、行分解。 驗(yàn)證數(shù)據(jù)正確性 可利用Lookup及拆分功能進(jìn)行數(shù)據(jù)驗(yàn)證。 數(shù)據(jù)替換 對(duì)于因業(yè)務(wù)因素，可實(shí)現(xiàn)無效數(shù)據(jù)、缺失數(shù)據(jù)的替換。 Lookup 查獲丟失數(shù)據(jù) Lookup實(shí)現(xiàn)子查詢，并返回用其他手段獲取的缺失字段，保證字段完整性。 建立ETL過程的主外鍵約束 對(duì)無依賴性的非法數(shù)據(jù)，可替換或?qū)С龅藉e(cuò)誤數(shù)據(jù)文件中，保證主鍵唯一記錄的加載。 為了能更好地實(shí)現(xiàn)ETL，筆者建議用戶在實(shí)施ETL過程中應(yīng)注意以下幾點(diǎn)： 如果條件允許，可利用數(shù)據(jù)中轉(zhuǎn)區(qū)對(duì)運(yùn)營數(shù)據(jù)進(jìn)行預(yù)處理，保證集成與加載的高效性； 如果ETL的過程是主動(dòng)“拉取”，而不是從內(nèi)部“推送”，其可控性將大為增強(qiáng)； ETL之前應(yīng)制定流程化的配置管理和標(biāo)

51、準(zhǔn)協(xié)議； 關(guān)鍵數(shù)據(jù)標(biāo)準(zhǔn)至關(guān)重要。目前，ETL面臨的最大挑戰(zhàn)是當(dāng)接收數(shù)據(jù)時(shí)其各源數(shù)據(jù)的異構(gòu)性和低質(zhì)量。以電信為例，A系統(tǒng)按照統(tǒng)計(jì)代碼管理數(shù)據(jù)，B系統(tǒng)按照賬目數(shù)字管理，C系統(tǒng)按照語音ID管理。當(dāng)ETL需要對(duì)這三個(gè)系統(tǒng)進(jìn)行集成以獲得對(duì)客戶的全面視角時(shí)，這一過程需要復(fù)雜的匹配規(guī)則、名稱/地址正?；c標(biāo)準(zhǔn)化。而ETL在處理過程中會(huì)定義一個(gè)關(guān)鍵數(shù)據(jù)標(biāo)準(zhǔn)，并在此基礎(chǔ)上，制定相應(yīng)的數(shù)據(jù)接口標(biāo)準(zhǔn)對(duì)大數(shù)據(jù)進(jìn)行分析的基本策略是把計(jì)算推向數(shù)據(jù)，而不是移動(dòng)大量的數(shù)據(jù)；對(duì)大數(shù)據(jù)處理、分析的性能優(yōu)化，分布式并行是必然選擇，并且軟件系統(tǒng)性能的提升可以降低企業(yè)對(duì)硬件的投入成本、節(jié)省計(jì)算資源，提高系統(tǒng)吞吐量；但異構(gòu)節(jié)點(diǎn)之間的性能

52、差異可能導(dǎo)致系統(tǒng)“木桶效應(yīng)”，因此，異構(gòu)機(jī)群需要特別關(guān)注負(fù)載均衡、任務(wù)調(diào)度等方面的設(shè)計(jì)；交通數(shù)據(jù)量及其多樣性給數(shù)據(jù)管理系統(tǒng)提出了新的要求，在存儲(chǔ)以及處理方式需要具備較好的擴(kuò)展性，無共享結(jié)構(gòu)的存儲(chǔ)方式是較好的候選方案，傳統(tǒng)數(shù)據(jù)庫缺少水平擴(kuò)展的能力，在系統(tǒng)設(shè)計(jì)決策中根據(jù)數(shù)據(jù)大小、性能瓶頸、處理能力等因素決定哪些數(shù)據(jù)由傳統(tǒng)數(shù)據(jù)庫來管理，哪些數(shù)據(jù)應(yīng)當(dāng)由新出現(xiàn)的存儲(chǔ)管理系統(tǒng)來管理。云計(jì)算是分布式處理、并行處理和網(wǎng)格計(jì)算的發(fā)展，是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)，具有分布式、大規(guī)模、虛擬化、高可靠性、通用性、高可擴(kuò)展性、低廉等特點(diǎn)，它實(shí)現(xiàn)對(duì)共享可配置計(jì)算資源（包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)等）的按需服務(wù)。

53、云計(jì)算中的平臺(tái)（集群計(jì)算框架）有谷歌的MapReduce與微軟的Dryad等，而Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce的開源分布式并行編程框架；專門針對(duì)迭代計(jì)算的編程框架有Pregel、HaLoop等，前者是一個(gè)迭代圖形計(jì)算系統(tǒng)，后者提供了一個(gè)迭代MapReduce接口?；贖adoop的應(yīng)用可以運(yùn)行于機(jī)群上，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理。此外，Hadoop平臺(tái)已經(jīng)形成了一個(gè)生態(tài)系統(tǒng)，提供一個(gè)分布式文件系統(tǒng)(HDFS），HBase是基于HDFS的對(duì)BigTable的開源實(shí)現(xiàn)，是面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，支持事務(wù)以及B樹范圍查詢和排序；Hive是基于Hadoop的大型數(shù)據(jù)倉庫，其目標(biāo)是簡(jiǎn)化Ha

54、doop上的數(shù)據(jù)聚集、即席查詢及大數(shù)據(jù)集的分析等操作，以減輕程序員的負(fù)擔(dān)；Pig是Yahoo!提出的類似于Hive的大數(shù)據(jù)集分析平臺(tái),它提供的類SQL語言叫Pig Latin，一種基于操作符的數(shù)據(jù)流式的接口,該語言的編譯器會(huì)把類SQL的數(shù)據(jù)分析請(qǐng)求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的MapReduce運(yùn)算；Mahout是可伸縮的機(jī)器學(xué)習(xí)算法；工具Sqoop用于傳統(tǒng)數(shù)據(jù)庫和HDFS進(jìn)行數(shù)據(jù)交換；Oozie是工作流調(diào)度工具；ZooKeeper是一個(gè)分布式的應(yīng)用程序協(xié)調(diào)器，它包含一個(gè)簡(jiǎn)單的原語集，分布式應(yīng)用程序可以基于它實(shí)現(xiàn)同步服務(wù)，配置維護(hù)和命名服務(wù)等?；贖adoop的大數(shù)據(jù)分析平臺(tái)構(gòu)建,需要注意的是，H

55、adoop適用于長(zhǎng)順序掃描，基于Hadoop的Hive會(huì)導(dǎo)致較高的延遲，因此不適用于需要快速響應(yīng)的場(chǎng)景；Hive基于只讀的，不適用于事務(wù)處理的場(chǎng)景。在平臺(tái)構(gòu)建中涉及分布式存儲(chǔ)系統(tǒng)的選擇。在分布式系統(tǒng)中，一致性(即所有節(jié)點(diǎn)訪問同一份最新的數(shù)據(jù)副本)、可用性(即對(duì)數(shù)據(jù)更新具備高可用性)、分區(qū)容忍性(即能容忍網(wǎng)絡(luò)分區(qū)），這三個(gè)要素最多只能同時(shí)實(shí)現(xiàn)兩個(gè)，這就是周知的CAP理論。但通過顯式處理分區(qū)情形，系統(tǒng)設(shè)計(jì)師可以通過細(xì)致地管理分區(qū)期間的不變性約束優(yōu)化數(shù)據(jù)的一致性和可用性，對(duì)三者進(jìn)行平衡。CAP的C僅指單一副本這個(gè)意義上的一致性，因此只是ACID一致性約束的一個(gè)嚴(yán)格的子集。ACID一致性不可能在分區(qū)過

56、程中保持，因此分區(qū)恢復(fù)時(shí)需要重建ACID一致性。而NoSQL一般放棄ACID事務(wù)策略的一致性，而是采用BASE(基本可用、事務(wù)軟狀態(tài)以及最終一致性)事務(wù)策略以換取高可用性和可伸縮性。NoSQL存儲(chǔ)系統(tǒng)可分為鍵值存儲(chǔ)(如Redis, Tokyo Cabinet)、列存儲(chǔ)(如HBase, Cassandra)、文檔數(shù)據(jù)庫(如MongoDB, CouchDB)、圖數(shù)據(jù)庫(如neo4j, FlockDB)等；對(duì)于具體應(yīng)用，應(yīng)當(dāng)根據(jù)需要支持的數(shù)據(jù)模型、一致性機(jī)制、存儲(chǔ)機(jī)制、持久性保障、事務(wù)支持、可用性、查詢能力、性能保障等方面來選擇相應(yīng)的NoSQL存儲(chǔ)系統(tǒng)，不可一概而論。據(jù)統(tǒng)計(jì)，目前NoSQL存儲(chǔ)系統(tǒng)有

57、150種之多處理與分析平臺(tái)涉及多種不同類型的應(yīng)用，如脫機(jī)應(yīng)用（數(shù)據(jù)分析、數(shù)據(jù)挖掘）和聯(lián)機(jī)應(yīng)用（數(shù)據(jù)流實(shí)時(shí)處理），不同的應(yīng)用可能采用了不同的計(jì)算框架。為提高資源利用率、降低運(yùn)維成本，將不同計(jì)算框架部署到公共的集群中，對(duì)資源（內(nèi)存，CPU，網(wǎng)絡(luò)IO等）統(tǒng)一管理與調(diào)度，讓不同計(jì)算框架共享集群資源。目前，這方面典型代表有Mesos和YARN。Mesos是一種讓多個(gè)計(jì)算框架有效共享機(jī)群資源的可伸縮彈性的“核心”集群資源管理器。它通過定義多個(gè)計(jì)算框架進(jìn)行資源共享的最小接口，把任務(wù)調(diào)度與執(zhí)行控制交給各個(gè)計(jì)算框架來負(fù)責(zé)。有利于適應(yīng)機(jī)群框架的多樣性和快速演化性。Mesos由master進(jìn)程和框架組成。maste

58、r進(jìn)程負(fù)責(zé)管理運(yùn)行于機(jī)群節(jié)點(diǎn)上的slave守護(hù)進(jìn)程，框架在slave節(jié)點(diǎn)上運(yùn)行任務(wù)。master進(jìn)程通過資源供應(yīng)方式實(shí)施個(gè)計(jì)算框架之間的資源共享。每一份資源供應(yīng)是各slave節(jié)點(diǎn)空閑資源表。master進(jìn)程采用某種策略（平等分享、優(yōu)先共享等）決定分配多少資源給每個(gè)框架。每個(gè)運(yùn)行于Mesos之上的計(jì)算框架均包含兩個(gè)組件：調(diào)度器和執(zhí)行器。特定計(jì)算框架通過自身的調(diào)度器向master進(jìn)程注冊(cè)，選擇是否接受master提供的資源，接受多少；而slave節(jié)點(diǎn)上的執(zhí)行器（如Hadoop的執(zhí)行器即TaskTracker）運(yùn)行框架的任務(wù)（task）4.服務(wù)支撐平臺(tái)：提供業(yè)務(wù)服務(wù)組件和公共服務(wù)組件兩類內(nèi)容功能，業(yè)

59、務(wù)服務(wù)組件用來實(shí)現(xiàn)食藥監(jiān)各類經(jīng)辦業(yè)務(wù)，業(yè)務(wù)服務(wù)組件包括注冊(cè)服務(wù)、信息存儲(chǔ)服務(wù)、信息共享和協(xié)同服務(wù)、全程溯源服務(wù)；公共服務(wù)組件主要面對(duì)社會(huì)公眾，保障公眾對(duì)食藥安全的知情權(quán)、監(jiān)督權(quán)和參與權(quán)。公共服務(wù)組件為智慧食藥監(jiān)信息平臺(tái)自身靈活性和可擴(kuò)展性的體現(xiàn)，公共服務(wù)組件包括：規(guī)則引擎、流程引擎、緩存管理等。這兩部分組件內(nèi)容用來支撐智慧食藥監(jiān)信息化目前的建設(shè)以及未來的擴(kuò)展總體設(shè)計(jì)云數(shù)據(jù)采集中心與大數(shù)據(jù)計(jì)算平臺(tái)的關(guān)系是，云數(shù)據(jù)采集中心提供存儲(chǔ)和計(jì)算資源，通過API的方式訪問資源，大數(shù)據(jù)計(jì)算平臺(tái)主要實(shí)現(xiàn)核心算法，包括圖像匹配算法，挖掘算法，智能推薦算法，知識(shí)學(xué)習(xí)算法等等，也能夠通過API 53 的方式建立收視率

60、統(tǒng)計(jì)應(yīng)用、智能推薦應(yīng)用、拍立購應(yīng)用等等。大數(shù)據(jù)計(jì)算平臺(tái)的需要的數(shù)據(jù)：包括智能終端上報(bào)的、網(wǎng)上實(shí)時(shí)爬取得、二次計(jì)算分析而獲取的等等，都通過通用接口存儲(chǔ)在云數(shù)據(jù)采集中心的分布式存儲(chǔ)平臺(tái)中（分布式文件系統(tǒng)（S2DFS）、分布式數(shù)據(jù)庫（D2B）。計(jì)算時(shí)候，通過接口發(fā)起作業(yè)，由云數(shù)據(jù)采集中心的作業(yè)調(diào)度服務(wù)進(jìn)程（JSS）負(fù)責(zé)調(diào)度，由數(shù)據(jù)計(jì)算服務(wù)進(jìn)程（DCS）負(fù)責(zé)計(jì)算處理，并把結(jié)果反饋給大數(shù)據(jù)計(jì)算平臺(tái)的各個(gè)應(yīng)用。由于要增加新的存儲(chǔ)設(shè)備，對(duì)于新設(shè)備上安裝分布式文件系統(tǒng)是否繼續(xù)選用S2DFS還是HDFS，我們需要回答以下幾個(gè)問題： 預(yù)算增加及擴(kuò)展問題：要部署HDFS，還得單獨(dú)購買兩臺(tái)高性能設(shè)備作為HDFS的元數(shù)