淺談大數(shù)據(jù)云服務平臺的原理與設計

1、    淺談大數(shù)據(jù)云服務平臺的原理與設計    沙威邱曉榮黃能耿摘要；近年來，大數(shù)據(jù)和云服務得到了廣泛的關注和迅猛的發(fā)展，而結合兩者特點搭建的大數(shù)據(jù)云服務平臺更已成為科研領域中的重要焦點。本文簡述了大數(shù)據(jù)、云服務的概念原理和基本特點，并依此設計了一個大數(shù)據(jù)云服務平臺，同時也對該平臺的功能要求和技術指標做了一些簡單有益的探討。關鍵詞：大數(shù)據(jù)；云服務；數(shù)據(jù)安全：tp368.1 ：a ：1009-3044（2017）07-0083-02近年來，隨著信息技術的迅速發(fā)展，人類社會發(fā)生了前所未有的變革，各行各業(yè)已經(jīng)普遍認識到海量信息的重要性。目前，在眾多的新興科技中

2、，大數(shù)據(jù)和云服務是最受人們關注的兩個典型代表，而兩者的結合已經(jīng)成為科研領域中的重要焦點，眾多成果已經(jīng)越來越多地滲透到了現(xiàn)實生活。1大數(shù)據(jù)技術1.1大數(shù)據(jù)的定義當今的信息社會中到處都充滿著種類繁多、信息多樣化的數(shù)據(jù)，例如電子商務平臺的購物數(shù)據(jù)、即時聊天工具的文字數(shù)據(jù)、視頻服務提供商的影音數(shù)據(jù)等，它們無時無刻地影響著人們的日常工作和衣食住行。根據(jù)國際咨詢公司gartner給出的定義，“大數(shù)據(jù)”是一種需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。而麥肯錫全球研究所給出的“大數(shù)據(jù)”定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件

3、工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征。1.2大數(shù)據(jù)的特點美國ibm公司用5v來概括了大數(shù)據(jù)的性能特點，分別是：volume（規(guī)模性）、variety（多樣性）、velocity（高速性）、veracity（準確性）、value（高值性）。其中，規(guī)模性指的是大數(shù)據(jù)的數(shù)據(jù)規(guī)模即可以達到tb、pb，甚至eb的規(guī)模。多樣性指的是大數(shù)據(jù)能夠包含各類形態(tài)和格式的數(shù)據(jù)。高速性指的是大數(shù)據(jù)一般需要在有限的時間限度內獲得及時處理。準確性指的是大數(shù)據(jù)的處理結果務必要保證相當高的準確性。高值性是指大數(shù)據(jù)含有諸多深層次的價值，能夠通過數(shù)據(jù)分析和數(shù)據(jù)挖掘給整個社

4、會帶來巨大的生產(chǎn)價值和商業(yè)價值。1.3大數(shù)據(jù)對存儲的要求大數(shù)據(jù)的數(shù)據(jù)類型一般可以分為三大類：傳統(tǒng)企業(yè)數(shù)據(jù)、機器和傳感器數(shù)據(jù)、社交數(shù)據(jù)等。大數(shù)據(jù)的出現(xiàn)，使得社會信息總量呈指數(shù)增長的趨勢，同時也對數(shù)據(jù)存儲提出了更高的要求，同時也對如何有效管理大數(shù)據(jù)提出了更高的要求。大數(shù)據(jù)對相關存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要綜合考慮數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性、功能集成度、系統(tǒng)可擴展性、性能及成本各方面因素，為此云服務平臺就應運而生了。2云服務平臺2.1云服務的定義目前，在大數(shù)據(jù)實時性越來越高、計算量越來越大、數(shù)據(jù)越來越多的背景下，云服務已經(jīng)成為信息技術行業(yè)的一種主流基礎架構和成熟商業(yè)

5、模式。那么，什么是云服務平臺呢？云服務平臺，又被稱為云計算技術，是并行計算、分布式計算和網(wǎng)格計算進一步發(fā)展的產(chǎn)物。根據(jù)美國國家標準和技術研究院nist的定義，云計算是一種通過互聯(lián)網(wǎng)隨時隨地、便捷按需地訪問共享資源池（如應用服務、計算設施、存儲設施等）的計算模式。也可以把云計算可以看做是一種模型，該模型可以方便按需地訪問可配置的計算資源公共集（計算機網(wǎng)絡、計算機服務器、相關存儲設備、應用程序以及服務等等）。2.2云服務的特點一般來說，云服務具有以下5個特性：1）按需服務，可以依據(jù)終端用戶的實際需求對云服務所提供的各種資源進行自動分配。2）泛在接入，終端用戶可以依托各種智能終端（如筆記本、智能手機

6、、平板電腦等）通過互聯(lián)網(wǎng)訪問云服務。3）資源池化，云服務資源依托資源池的方式，利用虛擬化等相關技術，按照用戶需求以多租戶的形式提供服務。4）快速伸縮，云服務的規(guī)模必須根據(jù)用戶需求快速響應，以能夠自動適應業(yè)務負載的動態(tài)變化。5）按使用計費，要求能夠實時監(jiān)控云服務的資源使用量，并依據(jù)實時使用情況對服務精確計費。3大數(shù)據(jù)云服務平臺3.1任務簡介大數(shù)據(jù)云服務平臺主要實現(xiàn)主數(shù)據(jù)中心和區(qū)域數(shù)據(jù)中心具有統(tǒng)一的門戶建設，該門戶具備登錄人口，統(tǒng)一的權限認證。實現(xiàn)現(xiàn)有應用的集成，服務接口的調用以及服務的統(tǒng)一管理（包括服務的注冊、發(fā)布和查詢等）。根據(jù)需求開發(fā)相應的界面，結合調用指定服務實現(xiàn)相應功能。此外，具體的開發(fā)

7、任務還應包括；文檔撰寫、研制開發(fā)、配套服務、培訓與技術支持等幾個方面。3.2系統(tǒng)框架針對大數(shù)據(jù)云服務平臺的系統(tǒng)需求，該平臺主要包括以下幾個功能。以門戶網(wǎng)站形式展現(xiàn)系統(tǒng)平臺，將各類資源集成到門戶中；用戶訪問統(tǒng)一登錄人口、統(tǒng)一認證界面、統(tǒng)一權限管理；將現(xiàn)有的應用通過改造后進行界面集成；制定服務界面開發(fā)規(guī)范，提供服務界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，方便用戶開發(fā)服務界面并且能夠快速集成至服務平臺中。大數(shù)據(jù)云服務平臺的功能組成如圖1所示。3.3功能要求3.3.1門戶網(wǎng)站搭建采用目前較為主流的技術架構搭建，易于擴展，美觀實用的門戶網(wǎng)站。要求網(wǎng)站實現(xiàn)異地部署，統(tǒng)一用戶信息。各類資源可以方便的集成到該門戶

8、中。3.3.2模板、內容管理模塊網(wǎng)站內容管理提供統(tǒng)一的內容采編、模板和欄目管理；提供用戶自定義頁面布局。提供頁面預覽功能，在內容編輯完成后和發(fā)布之前可以看到實際效果。3.3.3單點登錄、統(tǒng)一權限管理用戶訪問統(tǒng)一登錄人口地址，進入統(tǒng)一登錄認證界面。平臺具有獨立的用戶信息管理庫，當用戶登錄該平臺時，根據(jù)其權限顯示相應的內容，包括：操作項、服務和開發(fā)資源等。所有的注冊服務都必須經(jīng)由該平臺啟動，平臺的權限管理只到服務級別，提供用戶信息調用服務接口。3.3.4服務統(tǒng)一管理提供服務界面開發(fā)規(guī)范和開發(fā)工具、模板的下載，指導用戶如何開發(fā)服務界面并實現(xiàn)服務在該平臺上注冊、發(fā)布，方便用戶開發(fā)服務界面并且能夠快速集

9、成至服務平臺中。將現(xiàn)有的通用支持平臺（圖計算處理、實時計算處理和內存計算處理）和業(yè)務支撐平臺（業(yè)務數(shù)據(jù)可視化工具和交互式分析挖掘環(huán)境）等應用通過改造后以界面集成的方式集成到該平臺中。3.3.5元數(shù)據(jù)服務界面根據(jù)元數(shù)據(jù)服務要求編寫相應界面，調用相關服務實現(xiàn)該應用功能。3.3.6多源異構數(shù)據(jù)綜合查詢界面根據(jù)多源異構數(shù)據(jù)綜合查詢系統(tǒng)流程和要求編寫相應界面，組織符合統(tǒng)一查詢標準的sql語句，調用統(tǒng)一數(shù)據(jù)查詢接口，實現(xiàn)相應查詢功能。3.3.7平臺管理提供平臺日志管理，包括；查詢、刪除和導出等。根據(jù)用戶使用情況，在不改變平臺架構的情況下，對平臺進行修改，以滿足使用的需求。3.4技術指標1）網(wǎng)頁響應時間：2s；2）平臺并發(fā)用戶數(shù)：1000個。4小結隨著科技的進一步發(fā)展，大數(shù)據(jù)將逐漸