大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)項(xiàng)目解決方案大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)方案

1、大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)項(xiàng)目 解決方案 目錄 1.1. 大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)背景 4 4 1.11.1 中國大數(shù)據(jù)產(chǎn)業(yè)空間高速增長 4 4 1.21.2 大數(shù)據(jù)人才緊缺 5 5 1.31.3 教學(xué)中存在的問題 7 7 1.41.4 大數(shù)據(jù)人才就業(yè)方向 8 8 2.2. H3cH3c 大數(shù)據(jù)解決方案簡介 1414 3.3. H3cH3c 大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)目標(biāo) 1818 4.4. H3cH3c 大數(shù)據(jù)實(shí)訓(xùn)室總體設(shè)計(jì) 1919 4.14.1 培養(yǎng)方向及目標(biāo) 1919 4.24.2 實(shí)訓(xùn)室方案設(shè)計(jì) 2020 4.34.3 大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)思路 2222 4.44.4 實(shí)驗(yàn)平臺(tái)建設(shè)原則 2323 4.54.5 實(shí)驗(yàn)

2、平臺(tái)教材大綱 2626 4.64.6 實(shí)訓(xùn)室課程目標(biāo) 2828 4.74.7 學(xué)員能力要求 2828 5.5. 實(shí)訓(xùn)室室的相關(guān)服務(wù) 2929 5.15.1 *培訓(xùn)中心介紹 2929 5.25.2 師資培訓(xùn) 3131 5.35.3 新技術(shù)、新應(yīng)用定期交流 3333 5.45.4 實(shí)驗(yàn)室設(shè)備維護(hù)服務(wù) 3434 . .大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)背景 中國大數(shù)據(jù)產(chǎn)業(yè)空間高速增長 20152015 年 9 9 月 5 5 日，國務(wù)院印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要。 綱要首次從國家層面認(rèn)定數(shù)據(jù)是國家基礎(chǔ)性戰(zhàn)略資源，將大數(shù)據(jù) 行業(yè)定位到國家戰(zhàn)略層面，大數(shù)據(jù)成為推動(dòng)經(jīng)濟(jì)轉(zhuǎn)型發(fā)展的新動(dòng)力， 成為重塑國家競(jìng)爭優(yōu)勢(shì)的新機(jī)遇，成為

3、提升政府治理能力的新途徑。 大數(shù)據(jù)發(fā)展，打破信息孤島是關(guān)鍵。綱要指出，要加強(qiáng)頂層 設(shè)計(jì)和統(tǒng)籌規(guī)劃， 形成公共數(shù)據(jù)資源合理適度開放共享的法規(guī)制度和政策體系。 20182018年底前，建成國家政府?dāng)?shù)據(jù)統(tǒng)一開放平臺(tái)。20202020 年底前，逐步實(shí)現(xiàn)信用、交通、醫(yī)療等領(lǐng)域的政府?dāng)?shù)據(jù)集向社會(huì)開放。 目前，信息孤島問題依然是阻礙大數(shù)據(jù)前行的關(guān)鍵要素。目前，60%60% 的主管部門認(rèn)為數(shù)據(jù)分布和共享存在難題，這源于不同部門間數(shù)據(jù)開放標(biāo)準(zhǔn)的不統(tǒng)一，以及在早期建設(shè)中各自獨(dú)立進(jìn)行和外包導(dǎo)致數(shù)據(jù)格式標(biāo)準(zhǔn)等的不同。因而建立數(shù)據(jù)統(tǒng)一平臺(tái)的前提就是打破信息孤島，實(shí)現(xiàn)數(shù)據(jù)共享，這對(duì)于行業(yè)發(fā)展至關(guān)重要 大數(shù)據(jù)行業(yè)空間將逐步

4、釋放。綱要提出，到 20202020 年，我國將形成一批具有國際競(jìng)爭力的大數(shù)據(jù)處理、分析、可視化軟件和硬件支撐平臺(tái)等產(chǎn)品；并且培育1010 家國際領(lǐng)先的大數(shù)據(jù)核心龍頭企業(yè)，500500 家大數(shù)據(jù)應(yīng)用、服務(wù)和產(chǎn)品制造企業(yè)。相關(guān)內(nèi)容以及時(shí)間節(jié)點(diǎn)表明大數(shù)據(jù)產(chǎn)業(yè)行業(yè)空間將逐步加速釋放。 20142014 年全球大數(shù)據(jù)產(chǎn)業(yè)對(duì) GDPGDP 貢獻(xiàn)約 270270 億美元，行業(yè)尚處于幼稚階段。我國20142014 年大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)約 8080 億 RMBRMB 這一數(shù)據(jù)正以接近年 30%30%的速度增長。 大數(shù)據(jù)人才緊缺 當(dāng)下，大數(shù)據(jù)的趨勢(shì)已逐步從概念走向落地，而在 ITIT 人跟隨大數(shù)據(jù)浪潮的轉(zhuǎn)型中，各大

5、企業(yè)對(duì)大數(shù)據(jù)高端人才的需求也越來越緊迫。這一趨勢(shì)，也給想要從事大數(shù)據(jù)方面工作的人員提供了難得的職業(yè)機(jī)遇。伴隨移動(dòng)互聯(lián)網(wǎng)、智能終端、云計(jì)算、物聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長，大數(shù)據(jù)時(shí)代正向我們逐步展開一場(chǎng)意義深遠(yuǎn)的數(shù)據(jù) 革命，對(duì)全球整合經(jīng)濟(jì)時(shí)代的業(yè)務(wù)和服務(wù)產(chǎn)生深遠(yuǎn)的影響 經(jīng)不再局限于技術(shù)領(lǐng)域，而是已經(jīng)成為組織機(jī)構(gòu)一項(xiàng)優(yōu)先考慮的技術(shù)創(chuàng)新，因?yàn)樗四軌驊?yīng)對(duì)長期存在的業(yè)務(wù)挑戰(zhàn)之外，大數(shù)據(jù)還為流程、組織、整個(gè)行業(yè)、甚至大數(shù)據(jù)已 社會(huì)本身的轉(zhuǎn)型激發(fā)了許多新的方式。國內(nèi)各行業(yè)也都在積極投身到大數(shù)據(jù)應(yīng)用的浪潮中，迎接“互聯(lián)網(wǎng)+”+” 帶給我們的機(jī)遇和挑戰(zhàn)。在大數(shù)據(jù)時(shí)代，企業(yè)之間正在為了吸引并留住大數(shù)據(jù)專

6、業(yè)人才而展開競(jìng)爭，不論是拓展大數(shù)據(jù)業(yè)務(wù)的百度、阿里、奇虎 360360 等互聯(lián)網(wǎng)公司，還是專業(yè)提供數(shù)據(jù)服務(wù)的大數(shù)據(jù)服務(wù)商，以 及擁有大量數(shù)據(jù)的傳統(tǒng)行業(yè)，對(duì)專業(yè)大數(shù)據(jù)人才都有著迫切的需求。 據(jù)專業(yè)機(jī)構(gòu)的調(diào)查預(yù)測(cè)，中國未來 3 3- -5 5 年內(nèi)的大數(shù)據(jù)人才需求總量將 達(dá)到 180180 萬人，目前的人才缺口現(xiàn)狀至少有 150150 萬人。 在國家中長期教育改革和發(fā)展規(guī)劃綱要中，教育信息化首次被納入國家信息化發(fā)展整體戰(zhàn)略，它的重要意義被提升到前所未有的高度。教育信息化已經(jīng)開始為支撐學(xué)校的整體發(fā)展戰(zhàn)略提供保障，并 成為提升高校核心競(jìng)爭力的重要手段。 教學(xué)中存在的問題 “知己知彼，百戰(zhàn)百勝“，培養(yǎng)社

7、會(huì)需求的人才，首要是了解目前的教學(xué)中存在的問題，從這些問題著手進(jìn)行分析，得出結(jié)論，并有針對(duì)性的進(jìn)行教學(xué)改革，當(dāng)前，教學(xué)中大體有如下 5 5 個(gè)問題急需解決： . .院校教學(xué)目標(biāo)界定不清，無法滿足“零距離”上崗的要求，很多學(xué)生在院校學(xué)習(xí)了 ITIT 相關(guān)的基礎(chǔ)課程，但進(jìn)入工作崗位后仍需要到專門的培訓(xùn)機(jī)構(gòu)進(jìn)行培訓(xùn)后方可上崗。 . .教材內(nèi)容嚴(yán)重與所學(xué)專業(yè)脫節(jié)，教材中的知識(shí)已經(jīng)滿足不了當(dāng)前行業(yè)的需求。如果更換教材，那么院校需要重新進(jìn)行課程建設(shè)，而且還牽扯到課程體系建設(shè)，課程研發(fā)的問題，此類方式受各方面原因的影響無法實(shí)施。 . .師資力量薄弱，當(dāng)前院校進(jìn)行教學(xué)規(guī)劃時(shí)，被一個(gè)硬指標(biāo)制約著一一師資水平。但

8、是，網(wǎng)絡(luò)技術(shù)行業(yè)發(fā)展十分迅速，院校教師又無法及時(shí)的了解到當(dāng)前最前沿的網(wǎng)絡(luò)技術(shù)。 . .實(shí)踐環(huán)節(jié)重視不夠，學(xué)生動(dòng)手能力明顯不足，網(wǎng)絡(luò)技術(shù)專業(yè)是 典型的理論與實(shí)踐結(jié)合的專業(yè)，學(xué)生光學(xué)不練，無法滿足用人單位的需求。 5,5,校企合作力度不足， 院校培養(yǎng)的畢業(yè)生最終要實(shí)現(xiàn)就業(yè)， 接口單位就是用人公司。那么用人公司是最有權(quán)威提供其就業(yè)條件的機(jī)構(gòu)，校企合作是提升人才培養(yǎng)效果的最佳實(shí)踐。 新型實(shí)訓(xùn)室的建立，將會(huì)涉及相關(guān)課程教學(xué)方法與模式的改革，以及虛擬化、云計(jì)算和大數(shù)據(jù)等前沿技術(shù)的研究與開發(fā)， 有力推進(jìn)教學(xué)研究和教學(xué)改革工作的開展，促進(jìn)校企合作、教學(xué)研究論文的發(fā)表與專利的申請(qǐng)。先進(jìn)的實(shí)驗(yàn)環(huán)境也為學(xué)生提供了良

9、好的科技創(chuàng)新和學(xué)科競(jìng)賽的環(huán)境與氛圍。 1.41.4 大數(shù)據(jù)人才就業(yè)方向 在“互聯(lián)網(wǎng)+”戰(zhàn)略之下，互聯(lián)網(wǎng)行業(yè)高速發(fā)展，百度、新浪、阿里、騰訊等大型互聯(lián)網(wǎng)公司以及大眾創(chuàng)業(yè)，萬眾創(chuàng)新的創(chuàng)業(yè)型公司都在部署各自的大數(shù)據(jù)戰(zhàn)略，大數(shù)據(jù)相關(guān)人才十分亟需，同時(shí)互聯(lián)網(wǎng)、政府、金融、電力等各企事業(yè)單位信息化部署都在向大數(shù)據(jù)全面轉(zhuǎn)型,大數(shù)據(jù)行業(yè)畢業(yè)生作為服務(wù)區(qū)域經(jīng)濟(jì) ITIT 行業(yè)和企事業(yè)單位發(fā)展的重要力量 大數(shù)據(jù)需要以下六類人才： . .大數(shù)據(jù)系統(tǒng)研發(fā)工程師。 這一專業(yè)人才負(fù)責(zé)大數(shù)據(jù)系統(tǒng)研發(fā)， 包括大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)模型構(gòu)建、 大數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)庫構(gòu)設(shè)、優(yōu)化數(shù)據(jù)庫構(gòu)架、解決數(shù)據(jù)庫中心設(shè)計(jì)等，同時(shí)，還要負(fù)責(zé)數(shù)據(jù)集群

10、的日常運(yùn)作和系統(tǒng)的監(jiān)測(cè)等，這一類人才是任何構(gòu)設(shè)大數(shù)據(jù)系統(tǒng)的機(jī)構(gòu)都必須的。 . .大數(shù)據(jù)應(yīng)用開發(fā)工程師。 此類人才負(fù)責(zé)搭建大數(shù)據(jù)應(yīng)用平臺(tái)以及開發(fā)分析應(yīng)用程序，他們必須熟悉工具或算法、編程、優(yōu)化以及部署不同的 MapReduceMapReduce 他們研發(fā)各種基于大數(shù)據(jù)技術(shù)的應(yīng)用程序及行業(yè)解決方案。其中，ETLETL 開發(fā)者是很搶手的人才，他們所做的是從不同的源頭抽取數(shù)據(jù)，轉(zhuǎn)換并導(dǎo)入數(shù)據(jù)倉庫以滿足企業(yè)的需要，將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)，為提取各類型的需要數(shù)據(jù)創(chuàng)造條件。 . .大數(shù)

11、據(jù)分析師。 此類人才主要從事數(shù)據(jù)挖掘工作，運(yùn)用算法來解決和分析問題，讓數(shù)據(jù)顯露出真相，同時(shí)，他們還推動(dòng)數(shù)據(jù)解決方案的不斷更新。隨著數(shù)據(jù)集規(guī)模不斷增大，企業(yè)對(duì)HadoopHadoop及相關(guān)的廉價(jià)數(shù)據(jù)處理技術(shù)如HiveHive、HBaseMapReducePigHBaseMapReducePig 等的需求將持續(xù)增長，具備 HadoopHadoop 框架經(jīng)驗(yàn)的技術(shù)人員是最搶手的大數(shù)據(jù)人才，他們所從事的是熱門的分析師工作。 . .數(shù)據(jù)可視化工程師。 此類人才負(fù)責(zé)在收集到的高質(zhì)量數(shù)據(jù)中，利用圖形化的工具及手段的應(yīng)用，清楚地揭示數(shù)據(jù)中的復(fù)雜信息，幫助用戶更好地進(jìn)行大數(shù)據(jù)應(yīng)用開發(fā)，如果能使用新型數(shù)據(jù)可視化工

12、具如 SpotifreSpotifre, ,QlikviewQlikview 和 TableauTableau, ,那么， 就成為很受歡迎的人才。 . .數(shù)據(jù)安全研發(fā)人才。 此類人才主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、 存儲(chǔ)、 數(shù)據(jù)安全管理工作， 并對(duì)網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施，而對(duì)于數(shù)據(jù)安全方面的具體技術(shù)的人才就更需要了，如果數(shù)據(jù)安全技術(shù)，同時(shí)又具有較強(qiáng)的管理經(jīng)驗(yàn)，能有效地保證大數(shù)據(jù)構(gòu)設(shè)和應(yīng)用單位的數(shù)據(jù)安全，那就是搶手的人才。 . .數(shù)據(jù)科學(xué)研究人才。 數(shù)據(jù)科學(xué)研究是一個(gè)全新的工作，夠?qū)挝?、企業(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為有用的商業(yè)價(jià)值，隨著大數(shù)據(jù)時(shí)代的到來，越來越多的工作、事務(wù)直接涉及或針對(duì)數(shù)

13、據(jù)，這就需要有數(shù)據(jù)科學(xué)方面的研究專家來進(jìn)行研究，通過研究，他們能將數(shù)據(jù)分析結(jié)果解釋給 ITIT 部門和業(yè)務(wù)部門管理者聽， 數(shù)據(jù)科學(xué)專家是聯(lián)通海量數(shù)據(jù)和管理者之間的橋梁，需 要有數(shù)據(jù)專業(yè)、分析師能力和管理者的知識(shí)，這也是搶手的人才。 專業(yè)服務(wù)的職業(yè)崗位及典型工作任務(wù)如下表。 崗位 典型工作任務(wù) 運(yùn)維 大數(shù)據(jù)初 級(jí)工程師 了解 storm/cassandra/hbase/spark/hadoopstorm/cassandra/hbase/spark/hadoop 等人數(shù) 據(jù)相關(guān)技術(shù)，至少精通一種處理和一種存儲(chǔ)技術(shù)。 熟悉 ApacheHadoopApacheHadoop 的部署、性能調(diào)優(yōu)； Lin

14、uxLinux 系統(tǒng)管理工作經(jīng)驗(yàn)，精通一種或多種 LinuxShellLinuxShell 語言； 大數(shù)據(jù)運(yùn) 維工程師 1 1、負(fù)責(zé)大數(shù)據(jù)（HadoopHadoop 的運(yùn)維和優(yōu)化工作； 2 2、熟悉 RDBMSRDBMS 比如 MySQLMySQL 的開發(fā)，熟悉 SQLSQL 語 言； 3 3、精通 java/c+/pythonjava/c+/python 之一 開發(fā) 大數(shù)據(jù)架 構(gòu)師 對(duì) HadoopHadoop 框架后較深的源代碼研究 大數(shù)據(jù)分析與數(shù)據(jù)倉庫設(shè)計(jì)及開發(fā)經(jīng)驗(yàn) 有良好的數(shù)據(jù)分析及數(shù)據(jù)挖掘能力，可根據(jù) 需求定制數(shù)據(jù)處理策略 分布式存 1 1、精通 JavaJava, ,對(duì)數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計(jì)有較為深 儲(chǔ)系統(tǒng)軟 刻的理解，具有良好的分析問題和解決問題的能 件開發(fā)工 力 程師 2