淺談大數(shù)據(jù)云服務(wù)平臺的原理與設(shè)計

1、    淺談大數(shù)據(jù)云服務(wù)平臺的原理與設(shè)計    沙威邱曉榮黃能耿摘要；近年來，大數(shù)據(jù)和云服務(wù)得到了廣泛的關(guān)注和迅猛的發(fā)展，而結(jié)合兩者特點搭建的大數(shù)據(jù)云服務(wù)平臺更已成為科研領(lǐng)域中的重要焦點。本文簡述了大數(shù)據(jù)、云服務(wù)的概念原理和基本特點，并依此設(shè)計了一個大數(shù)據(jù)云服務(wù)平臺，同時也對該平臺的功能要求和技術(shù)指標(biāo)做了一些簡單有益的探討。關(guān)鍵詞：大數(shù)據(jù)；云服務(wù)；數(shù)據(jù)安全：tp368.1 ：a ：1009-3044（2017）07-0083-02近年來，隨著信息技術(shù)的迅速發(fā)展，人類社會發(fā)生了前所未有的變革，各行各業(yè)已經(jīng)普遍認(rèn)識到海量信息的重要性。目前，在眾多的新興科技中

2、，大數(shù)據(jù)和云服務(wù)是最受人們關(guān)注的兩個典型代表，而兩者的結(jié)合已經(jīng)成為科研領(lǐng)域中的重要焦點，眾多成果已經(jīng)越來越多地滲透到了現(xiàn)實生活。1大數(shù)據(jù)技術(shù)1.1大數(shù)據(jù)的定義當(dāng)今的信息社會中到處都充滿著種類繁多、信息多樣化的數(shù)據(jù)，例如電子商務(wù)平臺的購物數(shù)據(jù)、即時聊天工具的文字?jǐn)?shù)據(jù)、視頻服務(wù)提供商的影音數(shù)據(jù)等，它們無時無刻地影響著人們的日常工作和衣食住行。根據(jù)國際咨詢公司gartner給出的定義，“大數(shù)據(jù)”是一種需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。而麥肯錫全球研究所給出的“大數(shù)據(jù)”定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件

3、工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。1.2大數(shù)據(jù)的特點美國ibm公司用5v來概括了大數(shù)據(jù)的性能特點，分別是：volume（規(guī)模性）、variety（多樣性）、velocity（高速性）、veracity（準(zhǔn)確性）、value（高值性）。其中，規(guī)模性指的是大數(shù)據(jù)的數(shù)據(jù)規(guī)模即可以達到tb、pb，甚至eb的規(guī)模。多樣性指的是大數(shù)據(jù)能夠包含各類形態(tài)和格式的數(shù)據(jù)。高速性指的是大數(shù)據(jù)一般需要在有限的時間限度內(nèi)獲得及時處理。準(zhǔn)確性指的是大數(shù)據(jù)的處理結(jié)果務(wù)必要保證相當(dāng)高的準(zhǔn)確性。高值性是指大數(shù)據(jù)含有諸多深層次的價值，能夠通過數(shù)據(jù)分析和數(shù)據(jù)挖掘給整個社

4、會帶來巨大的生產(chǎn)價值和商業(yè)價值。1.3大數(shù)據(jù)對存儲的要求大數(shù)據(jù)的數(shù)據(jù)類型一般可以分為三大類：傳統(tǒng)企業(yè)數(shù)據(jù)、機器和傳感器數(shù)據(jù)、社交數(shù)據(jù)等。大數(shù)據(jù)的出現(xiàn)，使得社會信息總量呈指數(shù)增長的趨勢，同時也對數(shù)據(jù)存儲提出了更高的要求，同時也對如何有效管理大數(shù)據(jù)提出了更高的要求。大數(shù)據(jù)對相關(guān)存儲設(shè)備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要綜合考慮數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性、功能集成度、系統(tǒng)可擴展性、性能及成本各方面因素，為此云服務(wù)平臺就應(yīng)運而生了。2云服務(wù)平臺2.1云服務(wù)的定義目前，在大數(shù)據(jù)實時性越來越高、計算量越來越大、數(shù)據(jù)越來越多的背景下，云服務(wù)已經(jīng)成為信息技術(shù)行業(yè)的一種主流基礎(chǔ)架構(gòu)和成熟商業(yè)

5、模式。那么，什么是云服務(wù)平臺呢？云服務(wù)平臺，又被稱為云計算技術(shù)，是并行計算、分布式計算和網(wǎng)格計算進一步發(fā)展的產(chǎn)物。根據(jù)美國國家標(biāo)準(zhǔn)和技術(shù)研究院nist的定義，云計算是一種通過互聯(lián)網(wǎng)隨時隨地、便捷按需地訪問共享資源池（如應(yīng)用服務(wù)、計算設(shè)施、存儲設(shè)施等）的計算模式。也可以把云計算可以看做是一種模型，該模型可以方便按需地訪問可配置的計算資源公共集（計算機網(wǎng)絡(luò)、計算機服務(wù)器、相關(guān)存儲設(shè)備、應(yīng)用程序以及服務(wù)等等）。2.2云服務(wù)的特點一般來說，云服務(wù)具有以下5個特性：1）按需服務(wù)，可以依據(jù)終端用戶的實際需求對云服務(wù)所提供的各種資源進行自動分配。2）泛在接入，終端用戶可以依托各種智能終端（如筆記本、智能手機

6、、平板電腦等）通過互聯(lián)網(wǎng)訪問云服務(wù)。3）資源池化，云服務(wù)資源依托資源池的方式，利用虛擬化等相關(guān)技術(shù)，按照用戶需求以多租戶的形式提供服務(wù)。4）快速伸縮，云服務(wù)的規(guī)模必須根據(jù)用戶需求快速響應(yīng)，以能夠自動適應(yīng)業(yè)務(wù)負載的動態(tài)變化。5）按使用計費，要求能夠?qū)崟r監(jiān)控云服務(wù)的資源使用量，并依據(jù)實時使用情況對服務(wù)精確計費。3大數(shù)據(jù)云服務(wù)平臺3.1任務(wù)簡介大數(shù)據(jù)云服務(wù)平臺主要實現(xiàn)主數(shù)據(jù)中心和區(qū)域數(shù)據(jù)中心具有統(tǒng)一的門戶建設(shè)，該門戶具備登錄人口，統(tǒng)一的權(quán)限認(rèn)證。實現(xiàn)現(xiàn)有應(yīng)用的集成，服務(wù)接口的調(diào)用以及服務(wù)的統(tǒng)一管理（包括服務(wù)的注冊、發(fā)布和查詢等）。根據(jù)需求開發(fā)相應(yīng)的界面，結(jié)合調(diào)用指定服務(wù)實現(xiàn)相應(yīng)功能。此外，具體的開發(fā)

7、任務(wù)還應(yīng)包括；文檔撰寫、研制開發(fā)、配套服務(wù)、培訓(xùn)與技術(shù)支持等幾個方面。3.2系統(tǒng)框架針對大數(shù)據(jù)云服務(wù)平臺的系統(tǒng)需求，該平臺主要包括以下幾個功能。以門戶網(wǎng)站形式展現(xiàn)系統(tǒng)平臺，將各類資源集成到門戶中；用戶訪問統(tǒng)一登錄人口、統(tǒng)一認(rèn)證界面、統(tǒng)一權(quán)限管理；將現(xiàn)有的應(yīng)用通過改造后進行界面集成；制定服務(wù)界面開發(fā)規(guī)范，提供服務(wù)界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，方便用戶開發(fā)服務(wù)界面并且能夠快速集成至服務(wù)平臺中。大數(shù)據(jù)云服務(wù)平臺的功能組成如圖1所示。3.3功能要求3.3.1門戶網(wǎng)站搭建采用目前較為主流的技術(shù)架構(gòu)搭建，易于擴展，美觀實用的門戶網(wǎng)站。要求網(wǎng)站實現(xiàn)異地部署，統(tǒng)一用戶信息。各類資源可以方便的集成到該門戶

8、中。3.3.2模板、內(nèi)容管理模塊網(wǎng)站內(nèi)容管理提供統(tǒng)一的內(nèi)容采編、模板和欄目管理；提供用戶自定義頁面布局。提供頁面預(yù)覽功能，在內(nèi)容編輯完成后和發(fā)布之前可以看到實際效果。3.3.3單點登錄、統(tǒng)一權(quán)限管理用戶訪問統(tǒng)一登錄人口地址，進入統(tǒng)一登錄認(rèn)證界面。平臺具有獨立的用戶信息管理庫，當(dāng)用戶登錄該平臺時，根據(jù)其權(quán)限顯示相應(yīng)的內(nèi)容，包括：操作項、服務(wù)和開發(fā)資源等。所有的注冊服務(wù)都必須經(jīng)由該平臺啟動，平臺的權(quán)限管理只到服務(wù)級別，提供用戶信息調(diào)用服務(wù)接口。3.3.4服務(wù)統(tǒng)一管理提供服務(wù)界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，指導(dǎo)用戶如何開發(fā)服務(wù)界面并實現(xiàn)服務(wù)在該平臺上注冊、發(fā)布，方便用戶開發(fā)服務(wù)界面并且能夠快速集

9、成至服務(wù)平臺中。將現(xiàn)有的通用支持平臺（圖計算處理、實時計算處理和內(nèi)存計算處理）和業(yè)務(wù)支撐平臺（業(yè)務(wù)數(shù)據(jù)可視化工具和交互式分析挖掘環(huán)境）等應(yīng)用通過改造后以界面集成的方式集成到該平臺中。3.3.5元數(shù)據(jù)服務(wù)界面根據(jù)元數(shù)據(jù)服務(wù)要求編寫相應(yīng)界面，調(diào)用相關(guān)服務(wù)實現(xiàn)該應(yīng)用功能。3.3.6多源異構(gòu)數(shù)據(jù)綜合查詢界面根據(jù)多源異構(gòu)數(shù)據(jù)綜合查詢系統(tǒng)流程和要求編寫相應(yīng)界面，組織符合統(tǒng)一查詢標(biāo)準(zhǔn)的sql語句，調(diào)用統(tǒng)一數(shù)據(jù)查詢接口，實現(xiàn)相應(yīng)查詢功能。3.3.7平臺管理提供平臺日志管理，包括；查詢、刪除和導(dǎo)出等。根據(jù)用戶使用情況，在不改變平臺架構(gòu)的情況下，對平臺進行修改，以滿足使用的需求。3.4技術(shù)指標(biāo)1）網(wǎng)頁響應(yīng)時間：2s；2）平臺并發(fā)用戶數(shù)：1000個。4小結(jié)隨著科技的進一步發(fā)展，大數(shù)據(jù)將逐漸