大數(shù)據(jù)實訓室建設項目解決方案大數(shù)據(jù)實訓室建設方案

1、大數(shù)據(jù)實訓室建設項目 解決方案 目錄 1.1. 大數(shù)據(jù)實訓室建設背景 4 4 1.11.1 中國大數(shù)據(jù)產(chǎn)業(yè)空間高速增長 4 4 1.21.2 大數(shù)據(jù)人才緊缺 5 5 1.31.3 教學中存在的問題 7 7 1.41.4 大數(shù)據(jù)人才就業(yè)方向 8 8 2.2. H3cH3c 大數(shù)據(jù)解決方案簡介 1414 3.3. H3cH3c 大數(shù)據(jù)實訓室建設目標 1818 4.4. H3cH3c 大數(shù)據(jù)實訓室總體設計 1919 4.14.1 培養(yǎng)方向及目標 1919 4.24.2 實訓室方案設計 2020 4.34.3 大數(shù)據(jù)實訓室建設思路 2222 4.44.4 實驗平臺建設原則 2323 4.54.5 實驗

2、平臺教材大綱 2626 4.64.6 實訓室課程目標 2828 4.74.7 學員能力要求 2828 5.5. 實訓室室的相關服務 2929 5.15.1 *培訓中心介紹 2929 5.25.2 師資培訓 3131 5.35.3 新技術、新應用定期交流 3333 5.45.4 實驗室設備維護服務 3434 . .大數(shù)據(jù)實訓室建設背景 中國大數(shù)據(jù)產(chǎn)業(yè)空間高速增長 20152015 年 9 9 月 5 5 日，國務院印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要。 綱要首次從國家層面認定數(shù)據(jù)是國家基礎性戰(zhàn)略資源，將大數(shù)據(jù) 行業(yè)定位到國家戰(zhàn)略層面，大數(shù)據(jù)成為推動經(jīng)濟轉型發(fā)展的新動力， 成為重塑國家競爭優(yōu)勢的新機遇，成為

3、提升政府治理能力的新途徑。 大數(shù)據(jù)發(fā)展，打破信息孤島是關鍵。綱要指出，要加強頂層 設計和統(tǒng)籌規(guī)劃， 形成公共數(shù)據(jù)資源合理適度開放共享的法規(guī)制度和政策體系。 20182018年底前，建成國家政府數(shù)據(jù)統(tǒng)一開放平臺。20202020 年底前，逐步實現(xiàn)信用、交通、醫(yī)療等領域的政府數(shù)據(jù)集向社會開放。 目前，信息孤島問題依然是阻礙大數(shù)據(jù)前行的關鍵要素。目前，60%60% 的主管部門認為數(shù)據(jù)分布和共享存在難題，這源于不同部門間數(shù)據(jù)開放標準的不統(tǒng)一，以及在早期建設中各自獨立進行和外包導致數(shù)據(jù)格式標準等的不同。因而建立數(shù)據(jù)統(tǒng)一平臺的前提就是打破信息孤島，實現(xiàn)數(shù)據(jù)共享，這對于行業(yè)發(fā)展至關重要 大數(shù)據(jù)行業(yè)空間將逐步

4、釋放。綱要提出，到 20202020 年，我國將形成一批具有國際競爭力的大數(shù)據(jù)處理、分析、可視化軟件和硬件支撐平臺等產(chǎn)品；并且培育1010 家國際領先的大數(shù)據(jù)核心龍頭企業(yè)，500500 家大數(shù)據(jù)應用、服務和產(chǎn)品制造企業(yè)。相關內(nèi)容以及時間節(jié)點表明大數(shù)據(jù)產(chǎn)業(yè)行業(yè)空間將逐步加速釋放。 20142014 年全球大數(shù)據(jù)產(chǎn)業(yè)對 GDPGDP 貢獻約 270270 億美元，行業(yè)尚處于幼稚階段。我國20142014 年大數(shù)據(jù)產(chǎn)業(yè)市場約 8080 億 RMBRMB 這一數(shù)據(jù)正以接近年 30%30%的速度增長。 大數(shù)據(jù)人才緊缺 當下，大數(shù)據(jù)的趨勢已逐步從概念走向落地，而在 ITIT 人跟隨大數(shù)據(jù)浪潮的轉型中，各大

5、企業(yè)對大數(shù)據(jù)高端人才的需求也越來越緊迫。這一趨勢，也給想要從事大數(shù)據(jù)方面工作的人員提供了難得的職業(yè)機遇。伴隨移動互聯(lián)網(wǎng)、智能終端、云計算、物聯(lián)網(wǎng)技術的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長，大數(shù)據(jù)時代正向我們逐步展開一場意義深遠的數(shù)據(jù) 革命，對全球整合經(jīng)濟時代的業(yè)務和服務產(chǎn)生深遠的影響 經(jīng)不再局限于技術領域，而是已經(jīng)成為組織機構一項優(yōu)先考慮的技術創(chuàng)新，因為它除了能夠應對長期存在的業(yè)務挑戰(zhàn)之外，大數(shù)據(jù)還為流程、組織、整個行業(yè)、甚至大數(shù)據(jù)已 社會本身的轉型激發(fā)了許多新的方式。國內(nèi)各行業(yè)也都在積極投身到大數(shù)據(jù)應用的浪潮中，迎接“互聯(lián)網(wǎng)+”+” 帶給我們的機遇和挑戰(zhàn)。在大數(shù)據(jù)時代，企業(yè)之間正在為了吸引并留住大數(shù)據(jù)專

6、業(yè)人才而展開競爭，不論是拓展大數(shù)據(jù)業(yè)務的百度、阿里、奇虎 360360 等互聯(lián)網(wǎng)公司，還是專業(yè)提供數(shù)據(jù)服務的大數(shù)據(jù)服務商，以 及擁有大量數(shù)據(jù)的傳統(tǒng)行業(yè)，對專業(yè)大數(shù)據(jù)人才都有著迫切的需求。 據(jù)專業(yè)機構的調(diào)查預測，中國未來 3 3- -5 5 年內(nèi)的大數(shù)據(jù)人才需求總量將 達到 180180 萬人，目前的人才缺口現(xiàn)狀至少有 150150 萬人。 在國家中長期教育改革和發(fā)展規(guī)劃綱要中，教育信息化首次被納入國家信息化發(fā)展整體戰(zhàn)略，它的重要意義被提升到前所未有的高度。教育信息化已經(jīng)開始為支撐學校的整體發(fā)展戰(zhàn)略提供保障，并 成為提升高校核心競爭力的重要手段。 教學中存在的問題 “知己知彼，百戰(zhàn)百勝“，培養(yǎng)社

7、會需求的人才，首要是了解目前的教學中存在的問題，從這些問題著手進行分析，得出結論，并有針對性的進行教學改革，當前，教學中大體有如下 5 5 個問題急需解決： . .院校教學目標界定不清，無法滿足“零距離”上崗的要求，很多學生在院校學習了 ITIT 相關的基礎課程，但進入工作崗位后仍需要到專門的培訓機構進行培訓后方可上崗。 . .教材內(nèi)容嚴重與所學專業(yè)脫節(jié)，教材中的知識已經(jīng)滿足不了當前行業(yè)的需求。如果更換教材，那么院校需要重新進行課程建設，而且還牽扯到課程體系建設，課程研發(fā)的問題，此類方式受各方面原因的影響無法實施。 . .師資力量薄弱，當前院校進行教學規(guī)劃時，被一個硬指標制約著一一師資水平。但

8、是，網(wǎng)絡技術行業(yè)發(fā)展十分迅速，院校教師又無法及時的了解到當前最前沿的網(wǎng)絡技術。 . .實踐環(huán)節(jié)重視不夠，學生動手能力明顯不足，網(wǎng)絡技術專業(yè)是 典型的理論與實踐結合的專業(yè)，學生光學不練，無法滿足用人單位的需求。 5,5,校企合作力度不足， 院校培養(yǎng)的畢業(yè)生最終要實現(xiàn)就業(yè)， 接口單位就是用人公司。那么用人公司是最有權威提供其就業(yè)條件的機構，校企合作是提升人才培養(yǎng)效果的最佳實踐。 新型實訓室的建立，將會涉及相關課程教學方法與模式的改革，以及虛擬化、云計算和大數(shù)據(jù)等前沿技術的研究與開發(fā)， 有力推進教學研究和教學改革工作的開展，促進校企合作、教學研究論文的發(fā)表與專利的申請。先進的實驗環(huán)境也為學生提供了良

9、好的科技創(chuàng)新和學科競賽的環(huán)境與氛圍。 1.41.4 大數(shù)據(jù)人才就業(yè)方向 在“互聯(lián)網(wǎng)+”戰(zhàn)略之下，互聯(lián)網(wǎng)行業(yè)高速發(fā)展，百度、新浪、阿里、騰訊等大型互聯(lián)網(wǎng)公司以及大眾創(chuàng)業(yè)，萬眾創(chuàng)新的創(chuàng)業(yè)型公司都在部署各自的大數(shù)據(jù)戰(zhàn)略，大數(shù)據(jù)相關人才十分亟需，同時互聯(lián)網(wǎng)、政府、金融、電力等各企事業(yè)單位信息化部署都在向大數(shù)據(jù)全面轉型,大數(shù)據(jù)行業(yè)畢業(yè)生作為服務區(qū)域經(jīng)濟 ITIT 行業(yè)和企事業(yè)單位發(fā)展的重要力量 大數(shù)據(jù)需要以下六類人才： . .大數(shù)據(jù)系統(tǒng)研發(fā)工程師。 這一專業(yè)人才負責大數(shù)據(jù)系統(tǒng)研發(fā)， 包括大規(guī)模非結構化數(shù)據(jù)業(yè)務模型構建、 大數(shù)據(jù)存儲、數(shù)據(jù)庫構設、優(yōu)化數(shù)據(jù)庫構架、解決數(shù)據(jù)庫中心設計等，同時，還要負責數(shù)據(jù)集群

10、的日常運作和系統(tǒng)的監(jiān)測等，這一類人才是任何構設大數(shù)據(jù)系統(tǒng)的機構都必須的。 . .大數(shù)據(jù)應用開發(fā)工程師。 此類人才負責搭建大數(shù)據(jù)應用平臺以及開發(fā)分析應用程序，他們必須熟悉工具或算法、編程、優(yōu)化以及部署不同的 MapReduceMapReduce 他們研發(fā)各種基于大數(shù)據(jù)技術的應用程序及行業(yè)解決方案。其中，ETLETL 開發(fā)者是很搶手的人才，他們所做的是從不同的源頭抽取數(shù)據(jù)，轉換并導入數(shù)據(jù)倉庫以滿足企業(yè)的需要，將分散的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎，為提取各類型的需要數(shù)據(jù)創(chuàng)造條件。 . .大數(shù)

11、據(jù)分析師。 此類人才主要從事數(shù)據(jù)挖掘工作，運用算法來解決和分析問題，讓數(shù)據(jù)顯露出真相，同時，他們還推動數(shù)據(jù)解決方案的不斷更新。隨著數(shù)據(jù)集規(guī)模不斷增大，企業(yè)對HadoopHadoop及相關的廉價數(shù)據(jù)處理技術如HiveHive、HBaseMapReducePigHBaseMapReducePig 等的需求將持續(xù)增長，具備 HadoopHadoop 框架經(jīng)驗的技術人員是最搶手的大數(shù)據(jù)人才，他們所從事的是熱門的分析師工作。 . .數(shù)據(jù)可視化工程師。 此類人才負責在收集到的高質(zhì)量數(shù)據(jù)中，利用圖形化的工具及手段的應用，清楚地揭示數(shù)據(jù)中的復雜信息，幫助用戶更好地進行大數(shù)據(jù)應用開發(fā)，如果能使用新型數(shù)據(jù)可視化工

12、具如 SpotifreSpotifre, ,QlikviewQlikview 和 TableauTableau, ,那么， 就成為很受歡迎的人才。 . .數(shù)據(jù)安全研發(fā)人才。 此類人才主要負責企業(yè)內(nèi)部大型服務器、 存儲、 數(shù)據(jù)安全管理工作， 并對網(wǎng)絡、信息安全項目進行規(guī)劃、設計和實施，而對于數(shù)據(jù)安全方面的具體技術的人才就更需要了，如果數(shù)據(jù)安全技術，同時又具有較強的管理經(jīng)驗，能有效地保證大數(shù)據(jù)構設和應用單位的數(shù)據(jù)安全，那就是搶手的人才。 . .數(shù)據(jù)科學研究人才。 數(shù)據(jù)科學研究是一個全新的工作，夠將單位、企業(yè)的數(shù)據(jù)和技術轉化為有用的商業(yè)價值，隨著大數(shù)據(jù)時代的到來，越來越多的工作、事務直接涉及或針對數(shù)

13、據(jù)，這就需要有數(shù)據(jù)科學方面的研究專家來進行研究，通過研究，他們能將數(shù)據(jù)分析結果解釋給 ITIT 部門和業(yè)務部門管理者聽， 數(shù)據(jù)科學專家是聯(lián)通海量數(shù)據(jù)和管理者之間的橋梁，需 要有數(shù)據(jù)專業(yè)、分析師能力和管理者的知識，這也是搶手的人才。 專業(yè)服務的職業(yè)崗位及典型工作任務如下表。 崗位 典型工作任務 運維 大數(shù)據(jù)初 級工程師 了解 storm/cassandra/hbase/spark/hadoopstorm/cassandra/hbase/spark/hadoop 等人數(shù) 據(jù)相關技術，至少精通一種處理和一種存儲技術。 熟悉 ApacheHadoopApacheHadoop 的部署、性能調(diào)優(yōu)； Lin

14、uxLinux 系統(tǒng)管理工作經(jīng)驗，精通一種或多種 LinuxShellLinuxShell 語言； 大數(shù)據(jù)運 維工程師 1 1、負責大數(shù)據(jù)（HadoopHadoop 的運維和優(yōu)化工作； 2 2、熟悉 RDBMSRDBMS 比如 MySQLMySQL 的開發(fā)，熟悉 SQLSQL 語 言； 3 3、精通 java/c+/pythonjava/c+/python 之一 開發(fā) 大數(shù)據(jù)架 構師 對 HadoopHadoop 框架后較深的源代碼研究 大數(shù)據(jù)分析與數(shù)據(jù)倉庫設計及開發(fā)經(jīng)驗 有良好的數(shù)據(jù)分析及數(shù)據(jù)挖掘能力，可根據(jù) 需求定制數(shù)據(jù)處理策略 分布式存 1 1、精通 JavaJava, ,對數(shù)據(jù)結構和算法設計有較為深 儲系統(tǒng)軟 刻的理解，具有良好的分析問題和解決問題的能 件開發(fā)工 力 程師 2