昆侖大數(shù)據(jù)教學(xué)實(shí)訓(xùn)建設(shè)方案

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)建設(shè)方案

目錄

1背景...................................................1

1.1大數(shù)據(jù)發(fā)展背景....................................................1

1.2國家政策背景......................................................2

13大數(shù)據(jù)教學(xué)建設(shè)的必要性...........................................3

2需求分析...............................................5

2.1市場需求分析......................................................5

2.2人才需求分析......................................................8

3建設(shè)思路.............................................11

3.1建設(shè)背景.........................................................11

3.2建設(shè)理念.........................................................12

3.3建設(shè)目標(biāo).........................................................14

3.4建設(shè)原則.........................................................15

3.5技術(shù)路線.........................................................16

4建設(shè)方案.............................................16

4.1系統(tǒng)架構(gòu).........................................................16

4.2網(wǎng)絡(luò)建設(shè)拓?fù)?....................................................18

4.3大數(shù)據(jù)課程建設(shè)...................................................19

4.4大數(shù)據(jù)行業(yè)案例...................................................26

4.5大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)...................................................31

5建議配置.............................................64

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

1背景

1.1大數(shù)據(jù)發(fā)展背景

近幾年來，隨著計(jì)算機(jī)和信息技術(shù)的飛速發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速

擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。動(dòng)輒達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的

行業(yè)、企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計(jì)算技術(shù)和信息系統(tǒng)的處理能力，因此，尋求

有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實(shí)世界的迫切需求。據(jù)世界權(quán)威IT信息咨

詢分析公司IDC研究報(bào)告預(yù)測：全世界數(shù)據(jù)量未來10年將從2009年的0.8ZB增長到

202035ZB(1ZB=1000EB=1000000PB),10年將增長44倍,年均增長達(dá)40%.

由于大數(shù)據(jù)處理需求的迫切性和重要性，近年來大數(shù)據(jù)技術(shù)已經(jīng)在全球?qū)W術(shù)界、工業(yè)

界和各政府之間得到高度關(guān)注和重視，全球掀起了一個(gè)可與20世紀(jì)90年代的信息高速公

路相提并論的研究熱潮。

大數(shù)據(jù)可以把人們從舊的價(jià)值觀和發(fā)展觀中解放出來，從全新的視角和角度理解世界

的科技進(jìn)步和復(fù)雜技術(shù)的涌現(xiàn)，變革人們關(guān)于工作、生活和思維的看法。大數(shù)據(jù)的應(yīng)用十

分廣泛，通過對(duì)大規(guī)模數(shù)據(jù)的分析，利用數(shù)據(jù)整體性與涌現(xiàn)性、相關(guān)性與不確定性、多樣

性與非線性及并行性與實(shí)時(shí)性研究大數(shù)據(jù)在公共交通、公共安全、社會(huì)管理等領(lǐng)域的應(yīng)

用。大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)一起使得很多事情成為可能，將會(huì)是新的經(jīng)濟(jì)增長點(diǎn)。大數(shù)

據(jù)隨著以數(shù)據(jù)科學(xué)為核心的計(jì)算機(jī)技術(shù)的迅猛發(fā)展，推動(dòng)了社會(huì)科學(xué)與自然科學(xué)等跨科學(xué)

研究的發(fā)展。

1

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

2017-2019中國大數(shù)據(jù)市場規(guī)模預(yù)測

市場規(guī)模（億元人民幣

r?201班大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模達(dá)到148.9億

元人民幣，帆t到2019年能達(dá)到388.1億元

人民市,保持40%左右償定的塔長率.

?大數(shù)據(jù)產(chǎn)業(yè)日益受到越蛔多廠商的型

視，在加大對(duì)物g收集.整理.分析的力

度的同時(shí)，大數(shù)據(jù)可應(yīng)用的場II不斷堪

多,在全觸.m.媒樂等領(lǐng)域中，廠商

基于大物國s供出為人性化的服務(wù).

?在移動(dòng)財(cái)大數(shù)據(jù)領(lǐng)域，廠育充分12施用

戶數(shù)據(jù)背后的價(jià)值,通過對(duì)大取據(jù)的分

析，一方面推動(dòng)禎瀕網(wǎng)站制作更為精良的

內(nèi)容以迎合用戶需求，另一方面也為視頻

網(wǎng)站墻加了更多的浮哨方式,通過精準(zhǔn)套

銷,視頻網(wǎng)站實(shí)現(xiàn)盈利.弁實(shí)現(xiàn)良性循

環(huán).

大數(shù)據(jù)的研究和分析應(yīng)用具有十分重大的意義和價(jià)值。被譽(yù)為“大數(shù)據(jù)時(shí)代預(yù)言家"

的維克托?邁爾-舍恩伯格在其《大數(shù)據(jù)時(shí)代》一書中列舉了大量詳實(shí)的大數(shù)據(jù)應(yīng)用案例，

并分析預(yù)測了大數(shù)據(jù)的發(fā)展現(xiàn)物口未來趨勢，提出了很多重要的觀點(diǎn)和發(fā)展思路。他認(rèn)

為：“大數(shù)據(jù)開啟了一次重大的時(shí)代轉(zhuǎn)型”，指出大數(shù)據(jù)將帶來巨大的變革，改變我們的生

活、工作和思維方式，改變我們的商業(yè)模式，影響我們的經(jīng)濟(jì)、政治、科技和社會(huì)等各個(gè)

層面。

1.2國家政策背景

隨著學(xué)校規(guī)模的不斷擴(kuò)張，提高教學(xué)質(zhì)量、培養(yǎng)高素質(zhì)技能型人才已成為學(xué)院發(fā)展的

核心要?jiǎng)?wù)。國辦發(fā)（2017]95號(hào)《關(guān)于深化產(chǎn)教融合的若干意見》明確指出：深化產(chǎn)教融

合，促進(jìn)教育鏈、人才鏈與產(chǎn)業(yè)鏈、創(chuàng)新鏈有機(jī)銜接，是當(dāng)前推進(jìn)人力資源供給側(cè)結(jié)構(gòu)性

改革的迫切要求，對(duì)新形勢下全面提高教育質(zhì)量、擴(kuò)大就業(yè)創(chuàng)業(yè)、推進(jìn)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)、培

育經(jīng)濟(jì)發(fā)展新動(dòng)能具有重要意義。如何培養(yǎng)人才，怎樣培養(yǎng)人才，怎樣實(shí)現(xiàn)人才與企業(yè)需

求的對(duì)接，是課程改革、提高課程有效性需要思考的問題。

"新工科”的提出將高等院校工程教育引領(lǐng)入一個(gè)全新的階段，高校紛紛加入自覺探

索新工科研究與實(shí)踐的行列中。新工科致力于打造適應(yīng)新興產(chǎn)業(yè)及新經(jīng)濟(jì)模式的工程人

才，在此背景下高等院校在積極探索校企合作的新模式。

2

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

近年來，以大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等相關(guān)領(lǐng)域?yàn)樘卣鞯男陆?jīng)濟(jì)步入了高速發(fā)展階

段，因此，作為人才培育的高等院校開啟全面推動(dòng)以培養(yǎng)創(chuàng)新型復(fù)合人才為主的"新工

科”的建設(shè)與發(fā)展。"新工科”的定義和內(nèi)涵中強(qiáng)調(diào)高等院校人才培養(yǎng)應(yīng)該與新興產(chǎn)業(yè)的尖

端企業(yè)進(jìn)行資源深度整合，協(xié)同推進(jìn)和保障新工科建設(shè)，從而實(shí)現(xiàn)工程教育強(qiáng)國的最終目

標(biāo)。

13大數(shù)據(jù)教學(xué)建設(shè)的必要性

1.3.1大數(shù)據(jù)人才現(xiàn)狀

由于大數(shù)據(jù)行業(yè)應(yīng)用需求日益增長，未來越來越多的研究和應(yīng)用領(lǐng)域?qū)⑿枰褂么髷?shù)

據(jù)并行計(jì)算技術(shù)，大數(shù)據(jù)技術(shù)將滲透到每個(gè)涉及到大規(guī)模數(shù)據(jù)和復(fù)雜計(jì)算的應(yīng)用領(lǐng)域。不

僅如此，以大數(shù)據(jù)處理為中心的計(jì)算技術(shù)將對(duì)傳統(tǒng)計(jì)算技術(shù)產(chǎn)生革命性的影響，不僅會(huì)廣

泛影響到計(jì)算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)、數(shù)據(jù)庫、編譯技術(shù)、程序設(shè)計(jì)技術(shù)和方法、軟件工

程技術(shù)、多媒體信息處理技術(shù)、人工智能以及其他計(jì)算機(jī)應(yīng)用技術(shù)，而且與傳統(tǒng)計(jì)算技術(shù)

相互結(jié)合產(chǎn)生很多新的研究熱點(diǎn)和課題。

大數(shù)據(jù)技術(shù)的發(fā)展將給我們研究計(jì)算機(jī)技術(shù)的專業(yè)人員帶來新的挑摒口機(jī)遇。目前，

國內(nèi)外IT企業(yè)對(duì)大數(shù)據(jù)技術(shù)人才的需求正快速增長，未來5~10年內(nèi)業(yè)界將需要大量的掌

握大數(shù)據(jù)處理技術(shù)的人才。IDC研究報(bào)告指出，“下一個(gè)10年里，世界范圍的服務(wù)器數(shù)量

將增長10倍，而企業(yè)數(shù)據(jù)中心管理的數(shù)據(jù)信息將增長50倍，企業(yè)數(shù)據(jù)中心需要處理的數(shù)

據(jù)文件數(shù)量將至少增長75倍，而世界范圍內(nèi)IT專業(yè)技術(shù)人才的數(shù)量僅能增長1.5倍?！币?/p>

此，未來十年里大數(shù)據(jù)處理和應(yīng)用需求與能提供的技術(shù)人才數(shù)量之間才各存在一個(gè)巨大的差

距。目前，由于國內(nèi)外高校開展大數(shù)據(jù)技術(shù)人才培養(yǎng)的時(shí)間不長，技術(shù)市場上掌握大數(shù)據(jù)

處理和應(yīng)用開發(fā)技術(shù)的人才十分短缺，因而這方面的技術(shù)人才十分搶手，供不應(yīng)求。調(diào)查

3

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

顯示，未來3-5年大數(shù)據(jù)人才缺口達(dá)到150萬之多，而目前已開辦成熟大數(shù)據(jù)專業(yè)的高校

屈指可數(shù)。

122高校大數(shù)據(jù)教學(xué)現(xiàn)狀

高校作為高科技人才以及創(chuàng)新技術(shù)的搖籃，承載著科研攻關(guān)和人才培養(yǎng)的雙重使命。

由于高校在大數(shù)據(jù)教育領(lǐng)域的發(fā)展時(shí)間并不是很長，所以目前高校在大數(shù)據(jù)專業(yè)方向的教

學(xué)過程中，主要面臨以下幾個(gè)方面的問題：

?師資隊(duì)伍建設(shè)

IT新技術(shù)更新太快，有限的教師資源很難在有限的時(shí)間內(nèi)系統(tǒng)的指導(dǎo)大批學(xué)生，設(shè)計(jì)

性和探究性實(shí)驗(yàn)難以開展。教師教學(xué)任務(wù)繁重，新技術(shù)開發(fā)課程周期長，內(nèi)部講師培養(yǎng)周

期長。

?教學(xué)實(shí)驗(yàn)環(huán)境

大數(shù)據(jù)實(shí)驗(yàn)一人多臺(tái)操作，傳統(tǒng)機(jī)房是一人一臺(tái)操作，傳統(tǒng)的機(jī)房實(shí)驗(yàn)室，已經(jīng)無法

滿足大數(shù)據(jù)實(shí)驗(yàn)操作的要求。

傳統(tǒng)機(jī)房的現(xiàn)有服務(wù)器資源，也大多無法滿足大數(shù)據(jù)實(shí)驗(yàn)的高計(jì)算、高性能要求?？?/p>

速更新的技術(shù)，導(dǎo)致現(xiàn)在教學(xué)實(shí)驗(yàn)環(huán)境無法快速適應(yīng)大數(shù)據(jù)實(shí)驗(yàn)教學(xué)的要求。所以迫切需

要引入云計(jì)算環(huán)境，利用分布式技術(shù)構(gòu)建云計(jì)算集群，支撐任務(wù)量更為繁重的實(shí)驗(yàn)環(huán)境。

?課程體系建設(shè)

由于新開專業(yè)，無參考標(biāo)準(zhǔn)體系，教師在編制大數(shù)據(jù)實(shí)驗(yàn)課程方面缺乏積累,教學(xué)內(nèi)

容開發(fā)緩慢。大數(shù)據(jù)實(shí)驗(yàn)需要大量的真實(shí)行業(yè)數(shù)據(jù)，無法通過模擬進(jìn)行教學(xué)。

所以教學(xué)內(nèi)容缺失主要是：缺乏真實(shí)數(shù)據(jù)；缺乏行業(yè)案例。

模擬數(shù)據(jù)的教學(xué)無法讓學(xué)生體會(huì)到大數(shù)據(jù)的真實(shí)應(yīng)用，造成學(xué)生動(dòng)手能力難以提升。

?科研新挑戰(zhàn)

4

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

數(shù)據(jù)的激增，勢必由量變引起質(zhì)變，從而使科研人員的思維和行為模式在傳統(tǒng)學(xué)科的

研究領(lǐng)域發(fā)生變化，如何利用大數(shù)據(jù)技術(shù)及優(yōu)勢，找到本學(xué)科研究成果的新視角，已經(jīng)成

為當(dāng)前高校研究的重要課題。

133建設(shè)必要性

目前，大數(shù)據(jù)專業(yè)的學(xué)生需要從原理、技術(shù)與應(yīng)用等不同的角度掌握大數(shù)據(jù)的理論與

方法。學(xué)生要很好地掌握這些課程，除了課堂學(xué)習(xí)，通過實(shí)驗(yàn)來加深理解和提高實(shí)際應(yīng)用

操作能力也是主要途徑。因此，建設(shè)專門的實(shí)驗(yàn)室就顯得非常重要。

綜合目前大數(shù)據(jù)學(xué)科建設(shè)所面臨的問題，對(duì)設(shè)有大數(shù)據(jù)專業(yè)或?qū)I(yè)方向的學(xué)校教師和

學(xué)生在教學(xué)科研過程中產(chǎn)生很大的影響。教師面臨著任務(wù)重、備課難、實(shí)驗(yàn)課難開展、發(fā)

論文沒思路等困擾，而學(xué)生又面臨著聽不懂、不會(huì)做、不會(huì)用、學(xué)不會(huì)的煩惱。所以大數(shù)

據(jù)學(xué)科如何實(shí)現(xiàn)標(biāo)準(zhǔn)教學(xué)、如何評(píng)估學(xué)生綜合能力、如何解決師資缺乏、如何保障科研成

果、學(xué)生就業(yè)如何滿足企業(yè)需求是高校在大數(shù)據(jù)學(xué)科建設(shè)中必須要解決的問題。

因此，高校建設(shè)一個(gè)專業(yè)的大數(shù)據(jù)實(shí)驗(yàn)、實(shí)訓(xùn)、科研綜合實(shí)驗(yàn)室，全方位支撐高校大

數(shù)據(jù)教學(xué)及科研的需求是必要的和緊迫的。

2需求分析

2.1市場需求分析

2016年以來，國家政策持續(xù)推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。2016年"十三五規(guī)劃”中明確提出

實(shí)施大數(shù)據(jù)戰(zhàn)略,把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，全面實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng),加快推

動(dòng)數(shù)據(jù)資源共享開放和開發(fā)應(yīng)用，助力產(chǎn)業(yè)轉(zhuǎn)型升級(jí)和社會(huì)治理創(chuàng)新。發(fā)改委、工信部及

農(nóng)業(yè)部、運(yùn)輸部等部委先后頒布相關(guān)后續(xù)政策，推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。隨著大數(shù)據(jù)產(chǎn)業(yè)的

進(jìn)一步落地，預(yù)計(jì)未來將有更多部門出臺(tái)具體政策，推動(dòng)大數(shù)據(jù)行業(yè)的發(fā)展。

5

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

大數(shù)據(jù)產(chǎn)業(yè)相關(guān)政策

文件名稱發(fā)文單位

《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃2016-2020》工信部

《信息產(chǎn)業(yè)發(fā)展指南》工信部、發(fā)改委

《軟件和信息技術(shù)服務(wù)業(yè)產(chǎn)業(yè)發(fā)展規(guī)

工信部

劃》

《關(guān)于促進(jìn)和規(guī)范醫(yī)療健康大數(shù)據(jù)應(yīng)

國務(wù)院

川發(fā)展的指導(dǎo)意見》

《農(nóng)業(yè)農(nóng)村大數(shù)據(jù)試點(diǎn)方案》農(nóng)業(yè)部

《關(guān)于推進(jìn)交通運(yùn)輸行業(yè)數(shù)據(jù)資源開

交通部

放共享的實(shí)施意見》

《關(guān)于加快中國林業(yè)大數(shù)據(jù)發(fā)展的指

林業(yè)局

導(dǎo)意見》

《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》環(huán)保部

《促進(jìn)大數(shù)據(jù)發(fā)展二年匚作方案》發(fā)改委

《促進(jìn)國上資源大數(shù)據(jù)應(yīng)川發(fā)展的實(shí)

國上資源部

施意見》

《關(guān)于促進(jìn)全國發(fā)展改革系統(tǒng)大數(shù)據(jù)

發(fā)改委

工作的指導(dǎo)意見》

在國家政策持續(xù)推動(dòng)下，大數(shù)據(jù)產(chǎn)業(yè)落地進(jìn)程加快，產(chǎn)業(yè)價(jià)值被進(jìn)一步發(fā)掘。

2017年我國大數(shù)據(jù)市場規(guī)模已達(dá)358億元，年增速達(dá)到47.3%,規(guī)模已是2012年的35億

元的10倍。預(yù)計(jì)2020年，我國大數(shù)據(jù)市場規(guī)模將達(dá)到731億元。

—我國大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模一同比增長

800100.0%

70090.0%

80.0%

600

70.0%

50060.0%

40050.0%

30040.0%

30.0%

200

20.0%

10010.0%

00.0%

6

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

隨著科技的進(jìn)步，大數(shù)據(jù)從科學(xué)前沿逐漸深入到各行業(yè)。隨著大數(shù)據(jù)技術(shù)的不斷完

善，各行企業(yè)也越來越感受到大數(shù)據(jù)帶來的便利。大數(shù)據(jù)行業(yè)的市場規(guī)模也在不斷上升。

下面是對(duì)大數(shù)據(jù)行業(yè)整體市場規(guī)模及預(yù)測。

■市場規(guī)橫—埔速

整體來看，中國大數(shù)據(jù)行業(yè)的發(fā)展依然呈穩(wěn)步上升趨勢，市場規(guī)模達(dá)到了234億元，

和去年相比增速超過39%。隨著政策的支持和資本的加入，未來幾年中國大數(shù)據(jù)規(guī)模還將

繼續(xù)增長，但增速可能會(huì)趨于平穩(wěn)。

目前大數(shù)據(jù)也在各個(gè)行業(yè)得到應(yīng)用，以下是2017年統(tǒng)計(jì)的大數(shù)據(jù)行業(yè)應(yīng)用。

根據(jù)大數(shù)據(jù)分析結(jié)果，將近一半的企業(yè)將大數(shù)據(jù)運(yùn)用在企業(yè)工商信息管理方面，此

外，在社會(huì)保障、勞動(dòng)就業(yè)、市政管理、教育科研方面分別占據(jù)33.9%,32.7%,29.4%,

7

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

29%。整體來看，目前大數(shù)據(jù)的應(yīng)用范圍越來越廣泛，整個(gè)市場對(duì)大數(shù)據(jù)的需求越來越緊

迫。

2.2人才需求分析

相關(guān)企業(yè)預(yù)計(jì)，2018年將是云計(jì)算的爆發(fā)年,到2020年全球云計(jì)算的規(guī)模預(yù)計(jì)將升

至3900億美元，年復(fù)合增長率(CAGR)達(dá)到17%.當(dāng)云計(jì)算、大數(shù)據(jù)技術(shù)逐漸開始成為主

流選擇的時(shí)候，人才缺口必然會(huì)越來越大?？v觀人才需求趨勢，2017年，大數(shù)據(jù)從概念走

向落地；2018年，中低端IT工程師將加快向大數(shù)據(jù)的過渡。2019年，大數(shù)據(jù)產(chǎn)業(yè)從業(yè)人

員46萬人，人才缺口高達(dá)150萬人，企業(yè)爭奪大數(shù)據(jù)人才直接進(jìn)入白熱化階段。

數(shù)據(jù)的趨勢已逐步從概念走向落地，而在IT人跟隨大數(shù)據(jù)xxx的轉(zhuǎn)型中，各大企業(yè)對(duì)

大數(shù)據(jù)高端人才的需求也越來越緊迫。這一趨勢，也給想要從事大數(shù)據(jù)方面工作的人員提

供了難得的職業(yè)機(jī)遇。大數(shù)據(jù)主要的三大就業(yè)方向：大數(shù)據(jù)系統(tǒng)研發(fā)類人才和大數(shù)據(jù)分析

類和大數(shù)據(jù)運(yùn)維人才。大數(shù)據(jù)崗位分為大數(shù)據(jù)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師、大數(shù)

據(jù)分析師、數(shù)據(jù)可視化工程師、大數(shù)據(jù)運(yùn)維工程師、數(shù)據(jù)安全研發(fā)人才等等，下表為調(diào)研

的三大就業(yè)方向的人員技術(shù)要求：

就業(yè)方向技能要求

8

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

1.熟練掌握java語言，Scala和python至少掌握一種,熟練使用linux,強(qiáng)悍的編

碼和troubleshooting能力；

2.熟悉大數(shù)據(jù)開源棧spark/hadoopHive、Hbasc、ElasticSearchxkafka、

redis,strom/spark-streaming/flink；

大數(shù)據(jù)開發(fā)類

3.有SparkStreaming的實(shí)時(shí)統(tǒng)計(jì)或?qū)崟r(shí)規(guī)則引擎整體架構(gòu)開發(fā)經(jīng)驗(yàn)優(yōu)先；有

SparkML開發(fā)經(jīng)驗(yàn)優(yōu)先；

4.對(duì)數(shù)據(jù)敏感，認(rèn)真細(xì)致，善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn)；

5.善于溝通，具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力；

1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的搭建、維護(hù)、監(jiān)控并具備排錯(cuò)能力

2.熟悉Hadoop、Hbase、Hive、Impala、Flume、Zookeeper,kafka、Spark、ELK等

開源項(xiàng)目

大數(shù)據(jù)運(yùn)維類3.有云平臺(tái)使用和管理相關(guān)的經(jīng)驗(yàn)

4.精通Linux操作系統(tǒng)的配置、管理及優(yōu)化，shell編程，能夠獨(dú)立排查及解決操

作系統(tǒng)層面的問題

5.熟練大數(shù)據(jù)平臺(tái)下API編寫

1.應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)等專業(yè)

2.具備常用數(shù)據(jù)挖掘，數(shù)學(xué)建模分析相關(guān)知識(shí)，會(huì)用各種統(tǒng)計(jì)分析工具如SPSS、

MiniTab或者M(jìn)atlab等

3.具備一種或多種開發(fā)語言（如Scala/Python/java/Matlab等）的程序和算法開發(fā)

大數(shù)據(jù)分析類

能力，掌握常用數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)挖掘算法

4.具備視頻、地圖、文本、社交等大數(shù)據(jù)分析能力

5.具備Kafka,Hadoop,Spark.Hive,Hbase等分布式大數(shù)據(jù)處理技術(shù)和工業(yè)數(shù)據(jù)分析

工作經(jīng)驗(yàn)者優(yōu)先

調(diào)研了十種與大數(shù)據(jù)相關(guān)的熱門工作崗位，主要調(diào)研結(jié)果如下：

一、ETL研發(fā)

企業(yè)數(shù)據(jù)種類與來源的不斷增加，對(duì)數(shù)據(jù)進(jìn)行整合與處理變得越來越困難，企業(yè)迫切

需要一種有數(shù)據(jù)整合能力的人才。ETL開發(fā)者這是在此需求基礎(chǔ)下而誕生的一個(gè)職業(yè)崗

位。

二、Hadoop開發(fā)

隨著數(shù)據(jù)規(guī)模不斷增大，傳統(tǒng)BI的數(shù)據(jù)處理成本過高企業(yè)負(fù)擔(dān)加重。而Hadoop廉價(jià)

的數(shù)據(jù)處理能力被重新挖掘，企業(yè)需求持續(xù)增長。并成為大數(shù)據(jù)人才必須掌握的一種技

術(shù)。

三、可視化工具開發(fā)

9

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

可視化開發(fā)就是在可視化工具提供的圖形用戶界面上，通過操作界面元素，有可視化

開發(fā)工具自動(dòng)生成相關(guān)應(yīng)用軟件，輕松跨越多個(gè)資源和層次連接所有數(shù)據(jù)。

過去，數(shù)據(jù)可視化屬于商業(yè)智能開發(fā)者類別，但是隨著Hadoop的崛起，數(shù)據(jù)可視化

已經(jīng)成了一項(xiàng)獨(dú)立的專業(yè)技能和崗位。

四、信息架構(gòu)開發(fā)

大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專

業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進(jìn)行數(shù)據(jù)

管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。

五、數(shù)據(jù)倉庫研究

為方便企業(yè)決策，出于分析性報(bào)告和決策支持的目的而創(chuàng)建的數(shù)據(jù)倉庫研究崗位是一

種所有類型數(shù)據(jù)的戰(zhàn)略集合。為企業(yè)提供業(yè)務(wù)智能服務(wù)，指導(dǎo)業(yè)務(wù)流程改進(jìn)和監(jiān)視時(shí)間、

成本、質(zhì)量控制。

六、OLAP開發(fā)

OLAP在線聯(lián)機(jī)分析開發(fā)者，負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來建立

模型，然后創(chuàng)建數(shù)據(jù)訪問的用戶界面，提供高性能的預(yù)定義查詢功能。

七、數(shù)據(jù)科學(xué)研究

數(shù)據(jù)科學(xué)家是一個(gè)全新的工種，能夠?qū)⑵髽I(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為企業(yè)的商業(yè)價(jià)值。隨

著數(shù)據(jù)學(xué)的進(jìn)展，越來越多的實(shí)際工作將會(huì)直接針對(duì)數(shù)據(jù)進(jìn)行，這將使人類認(rèn)識(shí)數(shù)據(jù)，從

而認(rèn)識(shí)自然和行為。

八、數(shù)據(jù)預(yù)測分析

10

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

營銷部門經(jīng)常使用預(yù)測分析預(yù)測用戶行為或鎖定目標(biāo)用戶。預(yù)測分析開發(fā)者有些場景

看上有有些類似數(shù)據(jù)科學(xué)家，即在企業(yè)歷史數(shù)據(jù)的基礎(chǔ)上通過假設(shè)來測試閾值并預(yù)測未來

的表現(xiàn)。

九、企業(yè)數(shù)據(jù)管理

企業(yè)顆高數(shù)據(jù)質(zhì)量必須考慮進(jìn)行數(shù)據(jù)管理，并需要為此設(shè)立數(shù)據(jù)管家職位，這一職

位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周圍的大量數(shù)據(jù)，并將數(shù)據(jù)清洗和規(guī)范化,

將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫中，成為一個(gè)可用的版本。

十、數(shù)據(jù)安全研究

數(shù)據(jù)安全這一職位，主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲(chǔ)、數(shù)據(jù)安全管理工作，并對(duì)

網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施。

經(jīng)過上述描述，無論是企業(yè)單位也好，還是事業(yè)單位也好，或者說是政府單位還是國

家國防單位，對(duì)其重視度都達(dá)到了前所未有的程度。但是有一個(gè)不得不面對(duì)的問題就是人

才問題。

3建設(shè)思路

3.1建設(shè)背景

培養(yǎng)社會(huì)需求的人才，首要是了解目前的教學(xué)中存在的問題，從這些問題著手進(jìn)行分

析得出結(jié)論，并有針對(duì)性的進(jìn)行教學(xué)改革，當(dāng)前，教學(xué)中大體有如下幾個(gè)問題急需解決：

1.目前教學(xué)內(nèi)容無法滿足"零距離"上崗的要求，很多學(xué)生在院校學(xué)習(xí)了IT相關(guān)的

基礎(chǔ)課程，但進(jìn)入工作崗位后仍需要到專門的培訓(xùn)機(jī)構(gòu)進(jìn)行培訓(xùn)后方可上崗。

2.教材內(nèi)容與所學(xué)專業(yè)脫節(jié)，教材中的知識(shí)已經(jīng)滿足不了當(dāng)前行業(yè)的需求。如果更

換教材，那么院校需要重新進(jìn)行課程建設(shè)，而且還牽扯到課程體系建設(shè)，課程研發(fā)的問

題，此類方式受各方面原因的影響很難實(shí)施。

11

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

3.師資力量不均衡，當(dāng)前院校進(jìn)行教學(xué)規(guī)劃時(shí)，有時(shí)候老師無法在短時(shí)間里了解并掌

握最新技術(shù)。產(chǎn)業(yè)技術(shù)發(fā)展迅速，學(xué)校師資無法快速響應(yīng)產(chǎn)業(yè)變化。

4.實(shí)踐環(huán)節(jié)重視不夠，學(xué)生動(dòng)手能力明顯不足，大數(shù)據(jù)專業(yè)是典型的理論與實(shí)踐結(jié)合

的專業(yè)，學(xué)生光學(xué)不練，無法滿足用人單位的需求。

新型實(shí)訓(xùn)室的建立，將會(huì)涉及相關(guān)課程教學(xué)方法與模式的改革，以及云計(jì)算和大數(shù)據(jù)

等前沿技術(shù)的研究與開發(fā)，有力推進(jìn)教學(xué)研究和教學(xué)改革工作的開展，先進(jìn)的實(shí)驗(yàn)環(huán)境也

為學(xué)生提供了良好的科技創(chuàng)新和學(xué)科競賽的環(huán)境與氛圍。

3.2建設(shè)理念

為解決大數(shù)據(jù)教學(xué)中所面臨的問題，我司在自主研發(fā)的大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)設(shè)計(jì)上采

用以下理念：

1.理論與實(shí)踐相結(jié)合

理論與實(shí)踐相結(jié)合是高校教育在不同歷史階段發(fā)展的必然要求。高校是理論產(chǎn)生和傳

播的主體，積累并傳承專業(yè)方向理論知識(shí)，指導(dǎo)學(xué)習(xí)者的實(shí)踐活動(dòng)與生產(chǎn)技能訓(xùn)練是高校

教育發(fā)展的重心，尤其是當(dāng)前提倡產(chǎn)教融合，如何把產(chǎn)業(yè)的實(shí)踐應(yīng)用推廣到高校教學(xué)上去

是目前教育改革的重點(diǎn)。對(duì)于我國起步較晚的大數(shù)據(jù)學(xué)科方向建設(shè)發(fā)展，該專業(yè)應(yīng)在理論

與實(shí)踐相結(jié)合的基礎(chǔ)上側(cè)重于實(shí)踐，才能厚積薄發(fā)、趕超國際水準(zhǔn)。

2.適應(yīng)社會(huì)人才需求

高端大數(shù)據(jù)人才培養(yǎng)是大數(shù)據(jù)教學(xué)建設(shè)的重要目標(biāo)。當(dāng)前各地院校在人才培養(yǎng)過程中

必須以社會(huì)崗位的實(shí)際需求作為根本出發(fā)點(diǎn)，深入了解眾多行業(yè)機(jī)構(gòu)對(duì)大數(shù)據(jù)學(xué)科高端人

才的需求。

3.業(yè)界主流標(biāo)準(zhǔn)

12

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

大數(shù)據(jù)屬于一門新興專業(yè)。得力于國外對(duì)大數(shù)據(jù)認(rèn)識(shí)較早的先天優(yōu)勢，該專業(yè)教育在

歐美迅速發(fā)展，并在教育領(lǐng)域建立了國際性話語權(quán)。我國大數(shù)據(jù)學(xué)科方向建設(shè)的天然優(yōu)勢

就是國內(nèi)大數(shù)據(jù)的不斷革新與發(fā)展，以及移動(dòng)互聯(lián)網(wǎng)發(fā)展沉淀的海量數(shù)據(jù)資源。基于此優(yōu)

勢，國內(nèi)高教必須參與到該專業(yè)方向建設(shè)的國際標(biāo)準(zhǔn)的制定和大數(shù)據(jù)人才培養(yǎng)的模式上。

4.堅(jiān)持創(chuàng)新

創(chuàng)新必須是與時(shí)俱進(jìn)，國內(nèi)信息技術(shù)的發(fā)展為大數(shù)據(jù)的創(chuàng)新提供了沃土，但這些遠(yuǎn)遠(yuǎn)

不夠。大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)為樹立創(chuàng)新機(jī)制、鼓勵(lì)創(chuàng)新人才提供了必要的基礎(chǔ)條件。各類

院校都可以選擇一條適合自己創(chuàng)新理念和模式，有利于促進(jìn)院?？缭绞桨l(fā)展與品牌影響力

提升。

5.專業(yè)深度與廣度

專業(yè)的深度與廣度并重是加強(qiáng)大數(shù)據(jù)教學(xué)建設(shè)與創(chuàng)新的基本條件，也是大數(shù)據(jù)產(chǎn)業(yè)發(fā)

展的必然目標(biāo)導(dǎo)向。不斷縱向深入大數(shù)據(jù)的研究和創(chuàng)新大數(shù)據(jù)新的專業(yè)方向交叉點(diǎn)是推動(dòng)

新理論、新技術(shù)、新產(chǎn)品的必要條件。深度建設(shè)有利于大數(shù)據(jù)解決更為深層次性的大數(shù)據(jù)

問題及工具方法創(chuàng)新；廣度可以使大數(shù)據(jù)與更多專業(yè)相結(jié)合，發(fā)展更多前沿方向與分支研

究領(lǐng)域。

6.產(chǎn)學(xué)研一體化

堅(jiān)持產(chǎn)學(xué)研一體化建設(shè)是科教興國戰(zhàn)略中必然的制度安排。在科教興國戰(zhàn)略體系中，

教學(xué)、科研、生產(chǎn)相結(jié)合是一項(xiàng)重要的戰(zhàn)略措施，國家出臺(tái)了一系列政策法規(guī)支持高等學(xué)

校推行教育、科研、生產(chǎn)相結(jié)合。當(dāng)前國內(nèi)，一方面產(chǎn)學(xué)研合作沒有形成很好的發(fā)展模

式，另一方面部分院校對(duì)大數(shù)據(jù)方向定位及建設(shè)理念不恰當(dāng)，造成國內(nèi)大數(shù)據(jù)的學(xué)術(shù)和理

論研究不能結(jié)合產(chǎn)業(yè)實(shí)際，因而培育的學(xué)生也無法滿足企業(yè)對(duì)大數(shù)據(jù)人才的需求。

7.院校特色定位

13

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

在借鑒國際經(jīng)驗(yàn)和標(biāo)準(zhǔn)基礎(chǔ)上,各類院校在建設(shè)大數(shù)據(jù)教學(xué)的過程中，應(yīng)該按照各自

的總體發(fā)展目標(biāo)為核心，依據(jù)自身區(qū)域、師資力量、專業(yè)方向優(yōu)勢定位，采取不同模式的

專業(yè)方向建設(shè)來確定自身的發(fā)展特色定位。我國經(jīng)濟(jì)發(fā)展各區(qū)各省都呈現(xiàn)不均衡狀態(tài)，各

行各業(yè)改革發(fā)展深度不一致，為院校大數(shù)據(jù)學(xué)科方向建設(shè)的特色定位提供了發(fā)展空間。

3.3建設(shè)目標(biāo)

高校發(fā)展大數(shù)據(jù)教學(xué)，首先是引進(jìn)入國內(nèi)外高校先進(jìn)的教學(xué)理念、方案以及管理和教

學(xué)內(nèi)容，共享高校以及XXX教育方面師資、課件等資源。其次是導(dǎo)入產(chǎn)業(yè)資源，使教學(xué)和

生產(chǎn)融為一體，讓教育學(xué)以致用，真正做到所學(xué)即所用。

大數(shù)據(jù)教學(xué)建設(shè)總體目標(biāo)分別從人才培養(yǎng)模、專業(yè)實(shí)驗(yàn)課程設(shè)置、專業(yè)師資培訓(xùn)I、教

學(xué)科研能力提升等方面進(jìn)行總體目標(biāo)設(shè)計(jì)與規(guī)劃。

1.人才培養(yǎng)模式

要做到專業(yè)方向建設(shè)的革新與不斷發(fā)展，就要從教育本質(zhì)和目的著手。人才培養(yǎng)模式

思路的轉(zhuǎn)變，必須從傳統(tǒng)的重理論輕實(shí)踐轉(zhuǎn)變到理論和實(shí)踐并舉的新階段。院校在人才培

養(yǎng)過程中必須以社會(huì)實(shí)際需求作為根本出發(fā)點(diǎn)，以滿足眾多行業(yè)機(jī)構(gòu)對(duì)高端人才的需求。

這樣的大數(shù)據(jù)人才要求精通數(shù)據(jù)挖掘，數(shù)據(jù)分析，數(shù)據(jù)可視化等專業(yè)技術(shù)，擁有很強(qiáng)的實(shí)

踐創(chuàng)新能力，這就必然要求強(qiáng)化實(shí)踐能力方面的培養(yǎng)與創(chuàng)新。

2.專業(yè)實(shí)驗(yàn)課程設(shè)置

大數(shù)據(jù)方向是一門交叉專業(yè)方向，與不同專業(yè)相結(jié)合可以發(fā)展成特定方向的專業(yè)或研

究領(lǐng)域。經(jīng)濟(jì)金融、應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等傳統(tǒng)專業(yè)方向與大數(shù)據(jù)學(xué)科方向相

結(jié)合表現(xiàn)出多樣化的差異特征，包括專業(yè)研究方向與社會(huì)需求崗位在內(nèi)。這就要求院校在

大數(shù)據(jù)相關(guān)專業(yè)方向建設(shè)方面針對(duì)既定的院校戰(zhàn)略而設(shè)置較為精細(xì)化的專業(yè)實(shí)驗(yàn)課程。

3.專業(yè)師資培訓(xùn)

14

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

大數(shù)據(jù)在國內(nèi)屬于新興專業(yè)方向，該專業(yè)國內(nèi)各大院校發(fā)展水平和層次參差不齊，其

主要原因之一是缺少系統(tǒng)化的指導(dǎo)方針。完善的大數(shù)據(jù)師資團(tuán)隊(duì)需要涵蓋國內(nèi)經(jīng)濟(jì)金融、

統(tǒng)計(jì)、數(shù)學(xué)、計(jì)算機(jī)、管理學(xué)、物力、生物等各領(lǐng)域、還需要包括各行業(yè)機(jī)構(gòu)方向的實(shí)踐

專家和高級(jí)工程師。

4.教學(xué)科研能力提升

教學(xué)和科研能力是考察高校綜合實(shí)力的關(guān)鍵因素，目前高校在提升教學(xué)科研方面手段

單一，競爭白熱化,如何全方面升教學(xué)科研能力是高校的核心訴求，大數(shù)據(jù)時(shí)代給教學(xué)

科研能力的提升帶來新的思維和手段，借助大數(shù)據(jù)工具有效整合數(shù)據(jù)資源，并分析挖掘數(shù)

據(jù)資源寶庫，是提升教學(xué)科研能力的有效方式。

3.4建設(shè)原則

3.4.1遵循主流技術(shù)體系

遵循國際主要的云計(jì)算和大數(shù)據(jù)相關(guān)技術(shù)標(biāo)準(zhǔn)和事實(shí)標(biāo)準(zhǔn)，并采用當(dāng)前主流的技術(shù)架

構(gòu)體系，與關(guān)鍵技術(shù)的長期發(fā)展方向保持一致性。通過統(tǒng)一的平臺(tái)建設(shè)，提供接口式、可

視化的能力，降低使用門檻，加速新技術(shù)的落地。

&4.2以共享為中心

建設(shè)一個(gè)統(tǒng)一的大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，減少大數(shù)據(jù)基礎(chǔ)環(huán)境的重復(fù)建設(shè)，降低成

本，實(shí)現(xiàn)資源的高效利用，通過資源和數(shù)據(jù)的共享，激發(fā)更多的數(shù)據(jù)創(chuàng)新能力。

關(guān)注安全與隱私

平臺(tái)提供安全、可靠的數(shù)據(jù)支撐能力，實(shí)現(xiàn)不同用戶間的資源隔離，確保數(shù)據(jù)在平臺(tái)

中的安全與權(quán)限可控的使用。

15

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

3.4.4一體化交付模式

由于大數(shù)據(jù)平臺(tái)建設(shè)過程比較復(fù)雜，涉及的軟硬件技術(shù)眾多，平臺(tái)建設(shè)過程要盡量采

用業(yè)界成熟的產(chǎn)品和方案，通過一體化交付模式，將眾多的技術(shù)和組件在交付之前都進(jìn)行

預(yù)集成、預(yù)測試、預(yù)優(yōu)化，縮短建設(shè)周期，提升建設(shè)效率。

3.5技術(shù)路線

大數(shù)據(jù)平臺(tái)的建設(shè)，需要遵循國內(nèi)外主要的云計(jì)算和大數(shù)據(jù)相關(guān)技術(shù)標(biāo)準(zhǔn)或事實(shí)標(biāo)

準(zhǔn)，并采用當(dāng)前主流的技術(shù)架構(gòu)體系，與關(guān)鍵技術(shù)的長期發(fā)展方向保持一致性，確保技術(shù)

實(shí)用性和先進(jìn)性。

分布式架構(gòu)是為高并發(fā)和大數(shù)據(jù)處理的需求而設(shè)計(jì)，為各種應(yīng)用提供分布式計(jì)算、分

布式存儲(chǔ)、大數(shù)據(jù)分析、統(tǒng)一消息引擎、統(tǒng)一資源管理等基礎(chǔ)支撐服務(wù)能力。

4建設(shè)方案

4.1系統(tǒng)架構(gòu)

我司通過行業(yè)積累和對(duì)教育教學(xué)規(guī)律的深度理解，為大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)提供整體解決

方案。平臺(tái)支撐教師授課、學(xué)生學(xué)習(xí)、實(shí)驗(yàn)實(shí)訓(xùn)I、課堂練習(xí)、考試測評(píng)、項(xiàng)目演練、智能

分析全流程。教師和學(xué)生都可以通過該平臺(tái)，對(duì)大數(shù)據(jù)技術(shù)進(jìn)行應(yīng)用和創(chuàng)新。上層資源層

則是為學(xué)校提供源源不斷的新資源，使各個(gè)學(xué)校之間資源可共享。平臺(tái)定位于教育數(shù)據(jù)化

運(yùn)營，用數(shù)據(jù)力量提高教學(xué)質(zhì)量、完善教學(xué)過程、提升就業(yè)水平。

在高校已有的服務(wù)器之上安裝部署實(shí)驗(yàn)環(huán)境和大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)。將課程資源、案例資

源、試題資源等上傳至大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)，為學(xué)校提供私有化部署的線上教學(xué)實(shí)訓(xùn)平

臺(tái)。平臺(tái)支撐老師授課、學(xué)生學(xué)習(xí)、實(shí)驗(yàn)實(shí)訓(xùn)I、課堂練習(xí)、考試測評(píng)、項(xiàng)目演練、智能分

析全流程。老師和學(xué)生都可以通過該平臺(tái)，對(duì)大數(shù)據(jù)技術(shù)進(jìn)行應(yīng)用和創(chuàng)新。上層資源層則

是為學(xué)校提供源源不斷的新資源，使各個(gè)學(xué)校之間資源可共享。

16

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

1械11產(chǎn)品匯1?…?…1.1

課程中心案例中心平臺(tái)管理資源市場考試中心

?支持酶、文檔、實(shí)?項(xiàng)目向?qū)絼?chuàng)建?內(nèi)存監(jiān)控?微課、數(shù)據(jù)、產(chǎn)品三?多樣化試題類型

驗(yàn)多種學(xué)習(xí)模式?案例儒自定義配置?組織架構(gòu)及用戶管理類資源類型支持?自^^^

?靈活穩(wěn)定的實(shí)驗(yàn)環(huán)境?行業(yè)真實(shí)數(shù)據(jù)?自定義虛擬及鏡像?本地資源與云端資源?試卷試題隨機(jī)排序、

?聊天室、操作筆記、?支持分組協(xié)助?平臺(tái)資源甑交互答案隨機(jī)排序

桌面共享?云端資麗取?多簸考情分析

?自動(dòng)監(jiān)測實(shí)驗(yàn)成果

頭險(xiǎn)煉境,：.型匕同。/電。Snor火

Docker

|硬件支持|室服務(wù)器圖口PC機(jī)

1）硬件支持層

硬件設(shè)施方面，可充分利用前期投入的設(shè)備，采用業(yè)界主流的虛擬化操作系統(tǒng)，將基

礎(chǔ)設(shè)施資源進(jìn)行相應(yīng)的云化，使其滿足廣大師生對(duì)大數(shù)據(jù)基礎(chǔ)環(huán)境和使用人數(shù)的要求。

2）實(shí)驗(yàn)環(huán)境層

主要支持教師和學(xué)生實(shí)驗(yàn)實(shí)訓(xùn)I。平臺(tái)為所有使用者提供穩(wěn)定、安全的大數(shù)據(jù)實(shí)驗(yàn)環(huán)

境，避免使用者個(gè)人去搭建實(shí)驗(yàn)環(huán)境以及不同使用者間的資源爭搶問題。實(shí)驗(yàn)環(huán)境具有支

持?jǐn)?shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析處理及數(shù)據(jù)可視化的所有能力。實(shí)驗(yàn)層提供

完善的實(shí)驗(yàn)指導(dǎo)手冊(cè)配合實(shí)驗(yàn)環(huán)境可協(xié),助使用者掌握大數(shù)據(jù)技術(shù)，學(xué)習(xí)大數(shù)據(jù)生態(tài)全棧技

術(shù)包括Hadoop、HDFS、MapReduce、Spark、Hive、Hbase等，前期對(duì)技術(shù)點(diǎn)學(xué)習(xí)和實(shí)

訓(xùn)，后期結(jié)合項(xiàng)目教學(xué)化的真實(shí)案例，綜合性練習(xí)大數(shù)據(jù)技術(shù)并了解各個(gè)行業(yè)的業(yè)務(wù)情

況。

3）教學(xué)實(shí)訓(xùn)平臺(tái)層

平臺(tái)內(nèi)置內(nèi)容資源和數(shù)據(jù)資源為師生教學(xué)過木野是供資源支撐。平臺(tái)全方位記錄師生的

教學(xué)過程數(shù)據(jù)，包括：登錄、上課、作業(yè)結(jié)果、測評(píng)數(shù)據(jù)、視頻學(xué)習(xí)數(shù)據(jù)、實(shí)驗(yàn)完成情

17

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

況、主動(dòng)學(xué)習(xí)情況等數(shù)據(jù)。以數(shù)據(jù)不斷促進(jìn)教學(xué)。建立人才需求模型，促進(jìn)專業(yè)良性發(fā)

展。

平臺(tái)提供完善的在線教學(xué)實(shí)訓(xùn)功能，學(xué)生路徑為學(xué)生在某項(xiàng)技能學(xué)習(xí)中提供明確的學(xué)

習(xí)路徑指導(dǎo)。課程中心為教學(xué)業(yè)務(wù)中師生在線教學(xué)與實(shí)訓(xùn)提供服務(wù)，師生可以秒級(jí)啟動(dòng)實(shí)

驗(yàn)環(huán)境，并且支持每步驟實(shí)時(shí)監(jiān)測學(xué)生實(shí)驗(yàn)結(jié)果是否正確。學(xué)生在學(xué)習(xí)完技術(shù)課程的學(xué)習(xí)

后，通過案例中心，練習(xí)大數(shù)據(jù)技術(shù)在各個(gè)行業(yè)中的應(yīng)用及技術(shù)綜合練習(xí)。案例中心支持

分組模式，模擬團(tuán)隊(duì)形式，多人共同完成一個(gè)項(xiàng)目?？荚囍行膬?nèi)置大數(shù)據(jù)試題，老師也可

自定義所有類型試題，自動(dòng)評(píng)卷。平臺(tái)管理為平臺(tái)中的業(yè)務(wù)功能提供服務(wù)，可自定義配置

學(xué)科分類、組織架構(gòu)。

4）云端資源層

云端資源主要目標(biāo)為搭建學(xué)校與學(xué)校之間、學(xué)校與企業(yè)之間的資源對(duì)接橋梁。資源來

源多元化、打破學(xué)校間的資源不均衡壁壘，使資源獲得更便利。本地資源市場和云端資源

市場用戶打通，用戶在本地平臺(tái)上即可實(shí)時(shí)獲取其他學(xué)校最新資源。資源市場提供多維度

海量數(shù)據(jù)和微課。教育資源池共享共建。

云端資源層主要是提供更多的數(shù)據(jù)源，目前的數(shù)據(jù)源主要是來自資源市場、組織數(shù)

據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)，其中資源市場是大數(shù)據(jù)平臺(tái)獨(dú)具的功能。該模塊通過打通云端市場和本

地資源模塊，實(shí)現(xiàn)高校之間、高校和企業(yè)之間的數(shù)據(jù)共享。

4.2網(wǎng)絡(luò)建設(shè)拓?fù)?/p>

18

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

4.3大數(shù)據(jù)課程建設(shè)

4.3.1大數(shù)據(jù)課程體系

新工科背景下，課程體系采用基于OBE（基于學(xué)習(xí)產(chǎn)出的教育模式Outcomes-based

Education）模式的培養(yǎng)思路，大數(shù)據(jù)相關(guān)專業(yè)的培養(yǎng)目標(biāo)是培養(yǎng)具有扎實(shí)的大數(shù)據(jù)理論基

礎(chǔ)和專業(yè)知識(shí)、良好的科學(xué)素養(yǎng)和創(chuàng)新意識(shí)、較強(qiáng)的工程實(shí)踐與協(xié)作能力，具備計(jì)算機(jī)、

數(shù)學(xué)、統(tǒng)計(jì)學(xué)等多學(xué)科知識(shí)和技能，具有利用大數(shù)據(jù)思維分析現(xiàn)代復(fù)雜工程問題、解決問

題、自主學(xué)習(xí)以及創(chuàng)新應(yīng)用能力，適應(yīng)國際化競爭環(huán)境的高素質(zhì)人才。畢業(yè)幾年后能夠成

為大數(shù)據(jù)有關(guān)開發(fā)、應(yīng)用、科研領(lǐng)域的大數(shù)據(jù)工程師或數(shù)據(jù)科學(xué)家。

大數(shù)據(jù)人才需求與專業(yè)定位：

19

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

根據(jù)大數(shù)據(jù)專業(yè)定位，緊密結(jié)合新一代信息技術(shù)發(fā)展趨勢和大數(shù)據(jù)領(lǐng)域新興技術(shù)應(yīng)用

現(xiàn)狀，設(shè)計(jì)開發(fā)了內(nèi)容豐富、銜接緊密的大數(shù)據(jù)課程體系，特點(diǎn)：

1.采用以學(xué)生為本的教學(xué)理念，為學(xué)生最后的學(xué)習(xí)產(chǎn)出即學(xué)生能力達(dá)成進(jìn)行課程的

設(shè)計(jì)；

2.課程資源豐富，涵蓋了數(shù)據(jù)采集、大數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)可視化、搜索引

擎技術(shù)等大數(shù)據(jù)技術(shù)領(lǐng)域課程資源；

3.實(shí)訓(xùn)資源豐富，每一門課程都配備了豐富的實(shí)驗(yàn)和完整的實(shí)驗(yàn)手冊(cè)，提供企業(yè)真

實(shí)脫敏數(shù)據(jù)，結(jié)合行業(yè)屬性，提供綜合性實(shí)操案例；

4.豐富的視頻資源，手把手教會(huì)學(xué)生大數(shù)據(jù)技術(shù)；

5.基于云平臺(tái)的大數(shù)據(jù)實(shí)驗(yàn)實(shí)訓(xùn)系統(tǒng)，為學(xué)生提供獨(dú)立自主學(xué)習(xí)的環(huán)境，豐富了學(xué)

生的學(xué)習(xí)資源，使得更多學(xué)生汲取到更多更優(yōu)質(zhì)的高深知識(shí)與研究成果，提高學(xué)

生創(chuàng)新應(yīng)用能力；

6.助力教學(xué)模式改革：實(shí)體空間教學(xué)模式和虛擬空間教學(xué)模式優(yōu)勢互補(bǔ)的一種先學(xué)

后教教學(xué)模式，實(shí)現(xiàn)從以教為中心向以學(xué)為中心轉(zhuǎn)變、以課堂教學(xué)為主向課堂內(nèi)

外相結(jié)合轉(zhuǎn)變、以結(jié)果評(píng)價(jià)為主向過程、結(jié)果評(píng)價(jià)相結(jié)合轉(zhuǎn)變。

20

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

4.12大數(shù)據(jù)核心課程及內(nèi)容

課程主要包含數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等數(shù)據(jù)全流程

課程。通過原理驗(yàn)證、實(shí)訓(xùn)應(yīng)用、綜合分析及自主設(shè)計(jì)等多層次的實(shí)3稼作。為大數(shù)據(jù)教

學(xué)及科研提供一個(gè)完整的、一體化的實(shí)驗(yàn)教學(xué)體系。大數(shù)據(jù)課程體系根據(jù)不同學(xué)歷和職業(yè)

方向設(shè)置不同的課程學(xué)習(xí)路線。為大數(shù)據(jù)教學(xué)提供一個(gè)完整的一體化的實(shí)驗(yàn)教學(xué)體系，快

速提升實(shí)操技能，最終培養(yǎng)高素質(zhì)、應(yīng)用復(fù)合型大數(shù)據(jù)人才。

大數(shù)據(jù)基礎(chǔ)大數(shù)據(jù)概述大數(shù)據(jù)基礎(chǔ)及演練

分布式數(shù)據(jù)采集Python2實(shí)戰(zhàn)爬蟲開發(fā)

數(shù)據(jù)導(dǎo)入導(dǎo)出工具sqoop分布式消息系統(tǒng)Kafka

大數(shù)據(jù)分布式文件系統(tǒng)HDFS原理與應(yīng)用分碼販庫HBASE

數(shù)據(jù)倉庫Hive原理與應(yīng)用內(nèi)存數(shù)據(jù)庫redis原理與應(yīng)用

大數(shù)據(jù)分布式離線處理框架大數(shù)據(jù)處理技術(shù)Sparksql

大數(shù)據(jù)處理技術(shù)Sparkstreaming大數(shù)據(jù)流式計(jì)算框架Storm

Solr搜索引擎技術(shù)Elasticsearch搜索引繁技術(shù)

大數(shù)據(jù)分析SparkMllib大數(shù)據(jù)處理技術(shù)SparkGraphX

任務(wù)調(diào)度。。zie

分耐協(xié)調(diào)服務(wù)ZooKeeper

21

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

針對(duì)每門課程提供教學(xué)實(shí)驗(yàn)指導(dǎo)手冊(cè)、操作視頻、實(shí)驗(yàn)資源包、實(shí)驗(yàn)示例代碼等，讓

學(xué)生學(xué)以致用、用以促學(xué)；不僅學(xué)習(xí)大數(shù)據(jù)技術(shù)的基本理論和原理，還學(xué)習(xí)大數(shù)據(jù)平臺(tái)架

構(gòu)的技術(shù)實(shí)現(xiàn)及其在行業(yè)內(nèi)的典型的應(yīng)用領(lǐng)域。

1）大數(shù)據(jù)基礎(chǔ)課程

課程一：大數(shù)據(jù)平臺(tái)Hadoop基礎(chǔ)與演練

1）大數(shù)據(jù)概述

2）Hadoop來源與作用

內(nèi)容

3）Hado叩偽分布式搭建

4）Hadoop完全分布式集群搭建

課程二：分布式協(xié)調(diào)服務(wù)ZooKeeper

1)Zookeeper的原理與架構(gòu)

內(nèi)容2)ZooKeeper集群的搭建

3)Zookeeper的shell操作

課程三：任務(wù)調(diào)度Oozie

1）Oozie的簡介

內(nèi)容

2）Oozie的配置使用

2）數(shù)據(jù)采集課程

課程一：分布式日志米集Flume

1）Flume的原理與體系架構(gòu)

2）Flume的安裝部署

3）數(shù)據(jù)源收集

4）目錄監(jiān)控實(shí)現(xiàn)日志批量收集

5）實(shí)時(shí)日志收集

內(nèi)容

6）生成事件序列

7）Flume使用AvroSource和AvroClient

8）數(shù)據(jù)寫入hdfs文件系統(tǒng)

9）數(shù)據(jù)寫入hbase數(shù)據(jù)庫

10）Filechannel的配置與應(yīng)用

課程二：Python實(shí)戰(zhàn)爬蟲開發(fā)

1）環(huán)境搭建

2）爬蟲實(shí)戰(zhàn)LHTTP協(xié)議和curl工具使用

內(nèi)容3）python第三方庫的安裝

4）爬蟲輔助工具使用

5）模擬登錄

22

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)方案

課程三：數(shù)據(jù)導(dǎo)入導(dǎo)出工具sqo叩

I)Sqoop的原理與體系架構(gòu)

2)Sqoop的安裝部署

3)Sqoop實(shí)現(xiàn)數(shù)據(jù)的導(dǎo)入導(dǎo)出

內(nèi)容

4)Sqoop實(shí)現(xiàn)數(shù)據(jù)的增量導(dǎo)入

5)Sqoop實(shí)現(xiàn)Msyql數(shù)據(jù)導(dǎo)入

6)Sqoop實(shí)現(xiàn)Hive數(shù)據(jù)導(dǎo)出

課程四：分布式消息系統(tǒng)KaRa

1)Kafka原理與體系架構(gòu)

2)Kafka的安裝部署

3)Kafka的控制臺(tái)生產(chǎn)者消費(fèi)者應(yīng)用

內(nèi)容4)應(yīng)用JavaAPI實(shí)現(xiàn)Kafka的生產(chǎn)者

5)應(yīng)用JavaAPI實(shí)現(xiàn)Kaflca的消費(fèi)者

6)flume集成Kafka-1(KafkaSink)

7)flume集成Kafka-2(KafkaSource)

3)數(shù)據(jù)存儲(chǔ)課程

課程一：大數(shù)據(jù)分布式文件系統(tǒng)HDFS原理與應(yīng)用

1)HDFS原理與體系架構(gòu)

2)HDFS的shell操作命令格式及文件操作