




下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、 淺談大數(shù)據(jù)云服務(wù)平臺的原理與設(shè)計 沙威邱曉榮黃能耿摘要;近年來,大數(shù)據(jù)和云服務(wù)得到了廣泛的關(guān)注和迅猛的發(fā)展,而結(jié)合兩者特點搭建的大數(shù)據(jù)云服務(wù)平臺更已成為科研領(lǐng)域中的重要焦點。本文簡述了大數(shù)據(jù)、云服務(wù)的概念原理和基本特點,并依此設(shè)計了一個大數(shù)據(jù)云服務(wù)平臺,同時也對該平臺的功能要求和技術(shù)指標(biāo)做了一些簡單有益的探討。關(guān)鍵詞:大數(shù)據(jù);云服務(wù);數(shù)據(jù)安全:tp368.1 :a :1009-3044(2017)07-0083-02近年來,隨著信息技術(shù)的迅速發(fā)展,人類社會發(fā)生了前所未有的變革,各行各業(yè)已經(jīng)普遍認(rèn)識到海量信息的重要性。目前,在眾多的新興科技中
2、,大數(shù)據(jù)和云服務(wù)是最受人們關(guān)注的兩個典型代表,而兩者的結(jié)合已經(jīng)成為科研領(lǐng)域中的重要焦點,眾多成果已經(jīng)越來越多地滲透到了現(xiàn)實生活。1大數(shù)據(jù)技術(shù)1.1大數(shù)據(jù)的定義當(dāng)今的信息社會中到處都充滿著種類繁多、信息多樣化的數(shù)據(jù),例如電子商務(wù)平臺的購物數(shù)據(jù)、即時聊天工具的文字?jǐn)?shù)據(jù)、視頻服務(wù)提供商的影音數(shù)據(jù)等,它們無時無刻地影響著人們的日常工作和衣食住行。根據(jù)國際咨詢公司gartner給出的定義,“大數(shù)據(jù)”是一種需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。而麥肯錫全球研究所給出的“大數(shù)據(jù)”定義是:一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件
3、工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。1.2大數(shù)據(jù)的特點美國ibm公司用5v來概括了大數(shù)據(jù)的性能特點,分別是:volume(規(guī)模性)、variety(多樣性)、velocity(高速性)、veracity(準(zhǔn)確性)、value(高值性)。其中,規(guī)模性指的是大數(shù)據(jù)的數(shù)據(jù)規(guī)模即可以達到tb、pb,甚至eb的規(guī)模。多樣性指的是大數(shù)據(jù)能夠包含各類形態(tài)和格式的數(shù)據(jù)。高速性指的是大數(shù)據(jù)一般需要在有限的時間限度內(nèi)獲得及時處理。準(zhǔn)確性指的是大數(shù)據(jù)的處理結(jié)果務(wù)必要保證相當(dāng)高的準(zhǔn)確性。高值性是指大數(shù)據(jù)含有諸多深層次的價值,能夠通過數(shù)據(jù)分析和數(shù)據(jù)挖掘給整個社
4、會帶來巨大的生產(chǎn)價值和商業(yè)價值。1.3大數(shù)據(jù)對存儲的要求大數(shù)據(jù)的數(shù)據(jù)類型一般可以分為三大類:傳統(tǒng)企業(yè)數(shù)據(jù)、機器和傳感器數(shù)據(jù)、社交數(shù)據(jù)等。大數(shù)據(jù)的出現(xiàn),使得社會信息總量呈指數(shù)增長的趨勢,同時也對數(shù)據(jù)存儲提出了更高的要求,同時也對如何有效管理大數(shù)據(jù)提出了更高的要求。大數(shù)據(jù)對相關(guān)存儲設(shè)備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求,需要綜合考慮數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性、功能集成度、系統(tǒng)可擴展性、性能及成本各方面因素,為此云服務(wù)平臺就應(yīng)運而生了。2云服務(wù)平臺2.1云服務(wù)的定義目前,在大數(shù)據(jù)實時性越來越高、計算量越來越大、數(shù)據(jù)越來越多的背景下,云服務(wù)已經(jīng)成為信息技術(shù)行業(yè)的一種主流基礎(chǔ)架構(gòu)和成熟商業(yè)
5、模式。那么,什么是云服務(wù)平臺呢?云服務(wù)平臺,又被稱為云計算技術(shù),是并行計算、分布式計算和網(wǎng)格計算進一步發(fā)展的產(chǎn)物。根據(jù)美國國家標(biāo)準(zhǔn)和技術(shù)研究院nist的定義,云計算是一種通過互聯(lián)網(wǎng)隨時隨地、便捷按需地訪問共享資源池(如應(yīng)用服務(wù)、計算設(shè)施、存儲設(shè)施等)的計算模式。也可以把云計算可以看做是一種模型,該模型可以方便按需地訪問可配置的計算資源公共集(計算機網(wǎng)絡(luò)、計算機服務(wù)器、相關(guān)存儲設(shè)備、應(yīng)用程序以及服務(wù)等等)。2.2云服務(wù)的特點一般來說,云服務(wù)具有以下5個特性:1)按需服務(wù),可以依據(jù)終端用戶的實際需求對云服務(wù)所提供的各種資源進行自動分配。2)泛在接入,終端用戶可以依托各種智能終端(如筆記本、智能手機
6、、平板電腦等)通過互聯(lián)網(wǎng)訪問云服務(wù)。3)資源池化,云服務(wù)資源依托資源池的方式,利用虛擬化等相關(guān)技術(shù),按照用戶需求以多租戶的形式提供服務(wù)。4)快速伸縮,云服務(wù)的規(guī)模必須根據(jù)用戶需求快速響應(yīng),以能夠自動適應(yīng)業(yè)務(wù)負載的動態(tài)變化。5)按使用計費,要求能夠?qū)崟r監(jiān)控云服務(wù)的資源使用量,并依據(jù)實時使用情況對服務(wù)精確計費。3大數(shù)據(jù)云服務(wù)平臺3.1任務(wù)簡介大數(shù)據(jù)云服務(wù)平臺主要實現(xiàn)主數(shù)據(jù)中心和區(qū)域數(shù)據(jù)中心具有統(tǒng)一的門戶建設(shè),該門戶具備登錄人口,統(tǒng)一的權(quán)限認(rèn)證。實現(xiàn)現(xiàn)有應(yīng)用的集成,服務(wù)接口的調(diào)用以及服務(wù)的統(tǒng)一管理(包括服務(wù)的注冊、發(fā)布和查詢等)。根據(jù)需求開發(fā)相應(yīng)的界面,結(jié)合調(diào)用指定服務(wù)實現(xiàn)相應(yīng)功能。此外,具體的開發(fā)
7、任務(wù)還應(yīng)包括;文檔撰寫、研制開發(fā)、配套服務(wù)、培訓(xùn)與技術(shù)支持等幾個方面。3.2系統(tǒng)框架針對大數(shù)據(jù)云服務(wù)平臺的系統(tǒng)需求,該平臺主要包括以下幾個功能。以門戶網(wǎng)站形式展現(xiàn)系統(tǒng)平臺,將各類資源集成到門戶中;用戶訪問統(tǒng)一登錄人口、統(tǒng)一認(rèn)證界面、統(tǒng)一權(quán)限管理;將現(xiàn)有的應(yīng)用通過改造后進行界面集成;制定服務(wù)界面開發(fā)規(guī)范,提供服務(wù)界面開發(fā)規(guī)范和開發(fā)工具、模板的下載,方便用戶開發(fā)服務(wù)界面并且能夠快速集成至服務(wù)平臺中。大數(shù)據(jù)云服務(wù)平臺的功能組成如圖1所示。3.3功能要求3.3.1門戶網(wǎng)站搭建采用目前較為主流的技術(shù)架構(gòu)搭建,易于擴展,美觀實用的門戶網(wǎng)站。要求網(wǎng)站實現(xiàn)異地部署,統(tǒng)一用戶信息。各類資源可以方便的集成到該門戶
8、中。3.3.2模板、內(nèi)容管理模塊網(wǎng)站內(nèi)容管理提供統(tǒng)一的內(nèi)容采編、模板和欄目管理;提供用戶自定義頁面布局。提供頁面預(yù)覽功能,在內(nèi)容編輯完成后和發(fā)布之前可以看到實際效果。3.3.3單點登錄、統(tǒng)一權(quán)限管理用戶訪問統(tǒng)一登錄人口地址,進入統(tǒng)一登錄認(rèn)證界面。平臺具有獨立的用戶信息管理庫,當(dāng)用戶登錄該平臺時,根據(jù)其權(quán)限顯示相應(yīng)的內(nèi)容,包括:操作項、服務(wù)和開發(fā)資源等。所有的注冊服務(wù)都必須經(jīng)由該平臺啟動,平臺的權(quán)限管理只到服務(wù)級別,提供用戶信息調(diào)用服務(wù)接口。3.3.4服務(wù)統(tǒng)一管理提供服務(wù)界面開發(fā)規(guī)范和開發(fā)工具、模板的下載,指導(dǎo)用戶如何開發(fā)服務(wù)界面并實現(xiàn)服務(wù)在該平臺上注冊、發(fā)布,方便用戶開發(fā)服務(wù)界面并且能夠快速集
9、成至服務(wù)平臺中。將現(xiàn)有的通用支持平臺(圖計算處理、實時計算處理和內(nèi)存計算處理)和業(yè)務(wù)支撐平臺(業(yè)務(wù)數(shù)據(jù)可視化工具和交互式分析挖掘環(huán)境)等應(yīng)用通過改造后以界面集成的方式集成到該平臺中。3.3.5元數(shù)據(jù)服務(wù)界面根據(jù)元數(shù)據(jù)服務(wù)要求編寫相應(yīng)界面,調(diào)用相關(guān)服務(wù)實現(xiàn)該應(yīng)用功能。3.3.6多源異構(gòu)數(shù)據(jù)綜合查詢界面根據(jù)多源異構(gòu)數(shù)據(jù)綜合查詢系統(tǒng)流程和要求編寫相應(yīng)界面,組織符合統(tǒng)一查詢標(biāo)準(zhǔn)的sql語句,調(diào)用統(tǒng)一數(shù)據(jù)查詢接口,實現(xiàn)相應(yīng)查詢功能。3.3.7平臺管理提供平臺日志管理,包括;查詢、刪除和導(dǎo)出等。根據(jù)用戶使用情況,在不改變平臺架構(gòu)的情況下,對平臺進行修改,以滿足使用的需求。3.4技術(shù)指標(biāo)1)網(wǎng)頁響應(yīng)時間:2s;2)平臺并發(fā)用戶數(shù):1000個。4小結(jié)隨著科技的進一步發(fā)展,大數(shù)據(jù)將逐漸
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 培訓(xùn)師師資課件
- 教育中的社會心理學(xué)促進學(xué)生群體的積極互動與成長
- 兒童成長記錄與教育心理學(xué)的結(jié)合
- 應(yīng)急安全知識培訓(xùn)課件
- 企業(yè)品牌形象與智慧零售的發(fā)展策略
- 2025年中國兩輪流動垃圾箱數(shù)據(jù)監(jiān)測研究報告
- 從教育技術(shù)到用戶體驗俯臥式學(xué)習(xí)的未來趨勢
- 教育革新之光區(qū)塊鏈在學(xué)歷認(rèn)證的應(yīng)用案例
- 學(xué)校校園電動自行車管理辦法
- 全球鈾礦資源分布與2025年核能產(chǎn)業(yè)節(jié)能減排報告
- 2025年廣東高考政治試卷真題答案詳解講評(課件)
- 2025年家庭照護師職業(yè)資格考試試題及答案
- 2025年綏化市中考化學(xué)試題卷(含答案解析)
- 危重病人觀察和護理要點
- 砌體工程培訓(xùn)課件
- GB/T 45719-2025半導(dǎo)體器件金屬氧化物半導(dǎo)體(MOS)晶體管的熱載流子試驗
- 2025-2030中國醫(yī)藥商業(yè)行業(yè)盈利態(tài)勢與投資潛力分析報告
- 保險公司保單管理制度
- 醫(yī)藥公司廉政管理制度
- (人教2024版)英語七下期末全冊分單元總復(fù)習(xí)課件(新教材)
- 碳資產(chǎn)管理與碳金融 課件 第9章 碳資產(chǎn)管理案例
評論
0/150
提交評論