淺談大數(shù)據(jù)云服務(wù)平臺的原理與設(shè)計(jì)

1、    淺談大數(shù)據(jù)云服務(wù)平臺的原理與設(shè)計(jì)    沙威邱曉榮黃能耿摘要；近年來，大數(shù)據(jù)和云服務(wù)得到了廣泛的關(guān)注和迅猛的發(fā)展，而結(jié)合兩者特點(diǎn)搭建的大數(shù)據(jù)云服務(wù)平臺更已成為科研領(lǐng)域中的重要焦點(diǎn)。本文簡述了大數(shù)據(jù)、云服務(wù)的概念原理和基本特點(diǎn)，并依此設(shè)計(jì)了一個(gè)大數(shù)據(jù)云服務(wù)平臺，同時(shí)也對該平臺的功能要求和技術(shù)指標(biāo)做了一些簡單有益的探討。關(guān)鍵詞：大數(shù)據(jù)；云服務(wù)；數(shù)據(jù)安全：tp368.1 ：a ：1009-3044（2017）07-0083-02近年來，隨著信息技術(shù)的迅速發(fā)展，人類社會(huì)發(fā)生了前所未有的變革，各行各業(yè)已經(jīng)普遍認(rèn)識到海量信息的重要性。目前，在眾多的新興科技中

2、，大數(shù)據(jù)和云服務(wù)是最受人們關(guān)注的兩個(gè)典型代表，而兩者的結(jié)合已經(jīng)成為科研領(lǐng)域中的重要焦點(diǎn)，眾多成果已經(jīng)越來越多地滲透到了現(xiàn)實(shí)生活。1大數(shù)據(jù)技術(shù)1.1大數(shù)據(jù)的定義當(dāng)今的信息社會(huì)中到處都充滿著種類繁多、信息多樣化的數(shù)據(jù)，例如電子商務(wù)平臺的購物數(shù)據(jù)、即時(shí)聊天工具的文字?jǐn)?shù)據(jù)、視頻服務(wù)提供商的影音數(shù)據(jù)等，它們無時(shí)無刻地影響著人們的日常工作和衣食住行。根據(jù)國際咨詢公司gartner給出的定義，“大數(shù)據(jù)”是一種需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。而麥肯錫全球研究所給出的“大數(shù)據(jù)”定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件

3、工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。1.2大數(shù)據(jù)的特點(diǎn)美國ibm公司用5v來概括了大數(shù)據(jù)的性能特點(diǎn)，分別是：volume（規(guī)模性）、variety（多樣性）、velocity（高速性）、veracity（準(zhǔn)確性）、value（高值性）。其中，規(guī)模性指的是大數(shù)據(jù)的數(shù)據(jù)規(guī)模即可以達(dá)到tb、pb，甚至eb的規(guī)模。多樣性指的是大數(shù)據(jù)能夠包含各類形態(tài)和格式的數(shù)據(jù)。高速性指的是大數(shù)據(jù)一般需要在有限的時(shí)間限度內(nèi)獲得及時(shí)處理。準(zhǔn)確性指的是大數(shù)據(jù)的處理結(jié)果務(wù)必要保證相當(dāng)高的準(zhǔn)確性。高值性是指大數(shù)據(jù)含有諸多深層次的價(jià)值，能夠通過數(shù)據(jù)分析和數(shù)據(jù)挖掘給整個(gè)社

4、會(huì)帶來巨大的生產(chǎn)價(jià)值和商業(yè)價(jià)值。1.3大數(shù)據(jù)對存儲(chǔ)的要求大數(shù)據(jù)的數(shù)據(jù)類型一般可以分為三大類：傳統(tǒng)企業(yè)數(shù)據(jù)、機(jī)器和傳感器數(shù)據(jù)、社交數(shù)據(jù)等。大數(shù)據(jù)的出現(xiàn)，使得社會(huì)信息總量呈指數(shù)增長的趨勢，同時(shí)也對數(shù)據(jù)存儲(chǔ)提出了更高的要求，同時(shí)也對如何有效管理大數(shù)據(jù)提出了更高的要求。大數(shù)據(jù)對相關(guān)存儲(chǔ)設(shè)備的容量、讀寫性能、可靠性、擴(kuò)展性等都提出了更高的要求，需要綜合考慮數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性、功能集成度、系統(tǒng)可擴(kuò)展性、性能及成本各方面因素，為此云服務(wù)平臺就應(yīng)運(yùn)而生了。2云服務(wù)平臺2.1云服務(wù)的定義目前，在大數(shù)據(jù)實(shí)時(shí)性越來越高、計(jì)算量越來越大、數(shù)據(jù)越來越多的背景下，云服務(wù)已經(jīng)成為信息技術(shù)行業(yè)的一種主流基礎(chǔ)架構(gòu)和成熟商業(yè)

5、模式。那么，什么是云服務(wù)平臺呢？云服務(wù)平臺，又被稱為云計(jì)算技術(shù)，是并行計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算進(jìn)一步發(fā)展的產(chǎn)物。根據(jù)美國國家標(biāo)準(zhǔn)和技術(shù)研究院nist的定義，云計(jì)算是一種通過互聯(lián)網(wǎng)隨時(shí)隨地、便捷按需地訪問共享資源池（如應(yīng)用服務(wù)、計(jì)算設(shè)施、存儲(chǔ)設(shè)施等）的計(jì)算模式。也可以把云計(jì)算可以看做是一種模型，該模型可以方便按需地訪問可配置的計(jì)算資源公共集（計(jì)算機(jī)網(wǎng)絡(luò)、計(jì)算機(jī)服務(wù)器、相關(guān)存儲(chǔ)設(shè)備、應(yīng)用程序以及服務(wù)等等）。2.2云服務(wù)的特點(diǎn)一般來說，云服務(wù)具有以下5個(gè)特性：1）按需服務(wù)，可以依據(jù)終端用戶的實(shí)際需求對云服務(wù)所提供的各種資源進(jìn)行自動(dòng)分配。2）泛在接入，終端用戶可以依托各種智能終端（如筆記本、智能手機(jī)

6、、平板電腦等）通過互聯(lián)網(wǎng)訪問云服務(wù)。3）資源池化，云服務(wù)資源依托資源池的方式，利用虛擬化等相關(guān)技術(shù)，按照用戶需求以多租戶的形式提供服務(wù)。4）快速伸縮，云服務(wù)的規(guī)模必須根據(jù)用戶需求快速響應(yīng)，以能夠自動(dòng)適應(yīng)業(yè)務(wù)負(fù)載的動(dòng)態(tài)變化。5）按使用計(jì)費(fèi)，要求能夠?qū)崟r(shí)監(jiān)控云服務(wù)的資源使用量，并依據(jù)實(shí)時(shí)使用情況對服務(wù)精確計(jì)費(fèi)。3大數(shù)據(jù)云服務(wù)平臺3.1任務(wù)簡介大數(shù)據(jù)云服務(wù)平臺主要實(shí)現(xiàn)主數(shù)據(jù)中心和區(qū)域數(shù)據(jù)中心具有統(tǒng)一的門戶建設(shè)，該門戶具備登錄人口，統(tǒng)一的權(quán)限認(rèn)證。實(shí)現(xiàn)現(xiàn)有應(yīng)用的集成，服務(wù)接口的調(diào)用以及服務(wù)的統(tǒng)一管理（包括服務(wù)的注冊、發(fā)布和查詢等）。根據(jù)需求開發(fā)相應(yīng)的界面，結(jié)合調(diào)用指定服務(wù)實(shí)現(xiàn)相應(yīng)功能。此外，具體的開發(fā)

7、任務(wù)還應(yīng)包括；文檔撰寫、研制開發(fā)、配套服務(wù)、培訓(xùn)與技術(shù)支持等幾個(gè)方面。3.2系統(tǒng)框架針對大數(shù)據(jù)云服務(wù)平臺的系統(tǒng)需求，該平臺主要包括以下幾個(gè)功能。以門戶網(wǎng)站形式展現(xiàn)系統(tǒng)平臺，將各類資源集成到門戶中；用戶訪問統(tǒng)一登錄人口、統(tǒng)一認(rèn)證界面、統(tǒng)一權(quán)限管理；將現(xiàn)有的應(yīng)用通過改造后進(jìn)行界面集成；制定服務(wù)界面開發(fā)規(guī)范，提供服務(wù)界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，方便用戶開發(fā)服務(wù)界面并且能夠快速集成至服務(wù)平臺中。大數(shù)據(jù)云服務(wù)平臺的功能組成如圖1所示。3.3功能要求3.3.1門戶網(wǎng)站搭建采用目前較為主流的技術(shù)架構(gòu)搭建，易于擴(kuò)展，美觀實(shí)用的門戶網(wǎng)站。要求網(wǎng)站實(shí)現(xiàn)異地部署，統(tǒng)一用戶信息。各類資源可以方便的集成到該門戶

8、中。3.3.2模板、內(nèi)容管理模塊網(wǎng)站內(nèi)容管理提供統(tǒng)一的內(nèi)容采編、模板和欄目管理；提供用戶自定義頁面布局。提供頁面預(yù)覽功能，在內(nèi)容編輯完成后和發(fā)布之前可以看到實(shí)際效果。3.3.3單點(diǎn)登錄、統(tǒng)一權(quán)限管理用戶訪問統(tǒng)一登錄人口地址，進(jìn)入統(tǒng)一登錄認(rèn)證界面。平臺具有獨(dú)立的用戶信息管理庫，當(dāng)用戶登錄該平臺時(shí)，根據(jù)其權(quán)限顯示相應(yīng)的內(nèi)容，包括：操作項(xiàng)、服務(wù)和開發(fā)資源等。所有的注冊服務(wù)都必須經(jīng)由該平臺啟動(dòng)，平臺的權(quán)限管理只到服務(wù)級別，提供用戶信息調(diào)用服務(wù)接口。3.3.4服務(wù)統(tǒng)一管理提供服務(wù)界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，指導(dǎo)用戶如何開發(fā)服務(wù)界面并實(shí)現(xiàn)服務(wù)在該平臺上注冊、發(fā)布，方便用戶開發(fā)服務(wù)界面并且能夠快速集

9、成至服務(wù)平臺中。將現(xiàn)有的通用支持平臺（圖計(jì)算處理、實(shí)時(shí)計(jì)算處理和內(nèi)存計(jì)算處理）和業(yè)務(wù)支撐平臺（業(yè)務(wù)數(shù)據(jù)可視化工具和交互式分析挖掘環(huán)境）等應(yīng)用通過改造后以界面集成的方式集成到該平臺中。3.3.5元數(shù)據(jù)服務(wù)界面根據(jù)元數(shù)據(jù)服務(wù)要求編寫相應(yīng)界面，調(diào)用相關(guān)服務(wù)實(shí)現(xiàn)該應(yīng)用功能。3.3.6多源異構(gòu)數(shù)據(jù)綜合查詢界面根據(jù)多源異構(gòu)數(shù)據(jù)綜合查詢系統(tǒng)流程和要求編寫相應(yīng)界面，組織符合統(tǒng)一查詢標(biāo)準(zhǔn)的sql語句，調(diào)用統(tǒng)一數(shù)據(jù)查詢接口，實(shí)現(xiàn)相應(yīng)查詢功能。3.3.7平臺管理提供平臺日志管理，包括；查詢、刪除和導(dǎo)出等。根據(jù)用戶使用情況，在不改變平臺架構(gòu)的情況下，對平臺進(jìn)行修改，以滿足使用的需求。3.4技術(shù)指標(biāo)1）網(wǎng)頁響應(yīng)時(shí)間：2s；2）平臺并發(fā)用戶數(shù)：1000個(gè)。4小結(jié)隨著科技的進(jìn)一步發(fā)展，大數(shù)據(jù)將逐漸