高校大數(shù)據(jù)專業(yè)教學(xué)科研平臺建設(shè)方案

企聯(lián)合培養(yǎng)模式為手企業(yè)、行業(yè)深度參與人才培養(yǎng)過程，逐步學(xué)內(nèi)容、共同實施培養(yǎng)過提升學(xué)生的應(yīng)用實踐能力。該平臺以應(yīng)用型人才為目的的前提下，使培養(yǎng)的學(xué)生有更寬廣用性，有創(chuàng)新精神和綜合運用知識的能中創(chuàng)新的能力，讓學(xué)生真正學(xué)會一是平臺硬件，二是教學(xué)與實驗支撐系統(tǒng)(包括：芝諾數(shù)據(jù)綜合分析ZDM平臺、芝諾數(shù)據(jù)教學(xué)實訓(xùn)平臺)，三是產(chǎn)品服務(wù)體系。組成部分序號名稱型號規(guī)格與說明單位數(shù)量數(shù)據(jù)體平臺硬件1機臺每套教育大數(shù)據(jù)一體機能夠為40面向客戶的儲、多源異構(gòu)析與1臺臺套計算集群Slave節(jié)點24核心CPU/48G內(nèi)存/900GSAS硬盤24核心CPU/48G內(nèi)存/900GSAS硬盤42U千兆交換機臺2312析平臺，提工具，包括套及數(shù)戶可以在大數(shù)集、存儲、分1套13整的、一體化套大數(shù)據(jù)教學(xué)實訓(xùn),教師通過對學(xué)員學(xué)習(xí)各個班級況統(tǒng)包括大數(shù)據(jù)系統(tǒng)和大數(shù)據(jù)應(yīng)用2個方向共計60個實驗項目，每個項目實套實驗指導(dǎo)、實11/4145678提供免費師資培訓(xùn)機會(每套產(chǎn)品有2個免費名額)。不斷完年更新年年年年年111111)平臺的建設(shè)能讓高校大數(shù)據(jù)專業(yè)與實際應(yīng)用相結(jié)合，提高學(xué)生的學(xué)2)平臺的建設(shè)將支撐大數(shù)據(jù)去冗降噪、大數(shù)據(jù)融合、大數(shù)據(jù)可視化等關(guān)的教學(xué)和科研，有助于大數(shù)據(jù)方向發(fā)展和自主創(chuàng)究成果積累，有利于提升教師的教學(xué)和科3)平臺的建設(shè)搭建可以發(fā)揮學(xué)校的行業(yè)優(yōu)勢，體現(xiàn)學(xué)校辦學(xué)特色，推進(jìn)，開展項目合作研究和人才培4)平臺的建設(shè)有利于促進(jìn)學(xué)科交叉與融合。1)模塊一：平臺相關(guān)硬件建設(shè)一體機實訓(xùn)的集成環(huán)境，該平臺同步提供了配、配置、教材、實驗手冊等具體應(yīng)用提供414/41、課程上機實驗、實習(xí)實訓(xùn)、科程度上緩解大數(shù)據(jù)師資不足的問題。對于各大助其輕松開展大數(shù)據(jù)的2)模塊二：教學(xué)與實踐支撐系統(tǒng)M算法實現(xiàn)結(jié)合大數(shù)據(jù)分析的應(yīng)用場景而實現(xiàn)專業(yè)實驗教學(xué)的由點及面、理論到應(yīng)用、涵蓋原理驗證/綜合應(yīng)用/自主設(shè)計及創(chuàng)新的多層次實踐教學(xué)(1)芝諾數(shù)據(jù)綜合分析ZDM平臺芝諾數(shù)據(jù)綜合分析ZDM平臺是全面基于ApacheHadoop及ApacheSpark臺，提供一站式大數(shù)據(jù)開發(fā)環(huán)境和工具，包括據(jù)可視化的整套支持。用戶可以在大數(shù)ZDM平臺包含的Hadoop生態(tài)組件：1iZenoContainer構(gòu)化和非結(jié)構(gòu)支持海量數(shù)據(jù)存儲，支持高并發(fā)的快速查ii.ZenoMonitor服務(wù)器監(jiān)控套件：服務(wù)器監(jiān)控是利用Ganglia和Nagios對集群機器進(jìn)行資源監(jiān)控，包括CPU內(nèi)存，硬盤，網(wǎng)絡(luò)資源等進(jìn)行實時案例對學(xué)生進(jìn)行數(shù)據(jù)分析方面的綜合訓(xùn)練，從而實現(xiàn)專業(yè)實驗教學(xué)的由點及面、理論到應(yīng)用、涵蓋原理驗證/綜合應(yīng)用iii.ZenoMining數(shù)據(jù)挖掘套件：支持多種數(shù)據(jù)挖掘工具相結(jié)合，支持Mahout，MLlib自帶的并行化的高性能機器學(xué)習(xí)算法庫；同時也致辭基于R自iv.ZenoAnalysis數(shù)據(jù)分析套件：使用Sqoop和Flume支持?jǐn)?shù)據(jù)遷移和采集；采用多計算框架模型，可滿足不同數(shù)據(jù)的計算要求。及支持Hadoop離線大數(shù)據(jù)的計算，也支持Stream實時流式處理，還支持Spak內(nèi)存快速計算；支持多語言的數(shù)據(jù)分析工作，支持SQJava、Python、Scala等。v.ZenoCoop協(xié)作管理引擎：基于Zookeeper的協(xié)調(diào)服務(wù)機制，采用Yarn提供一站式大數(shù)據(jù)開發(fā)環(huán)境和工具，解決從數(shù)據(jù)源采集/清洗/存儲/分析m流處理引擎提供強大的流計算能力，可支持復(fù)雜的實時處理邏輯，滿足企業(yè)實Ⅲ性能保障計算速度比傳統(tǒng)關(guān)系型數(shù)據(jù)庫快50-100倍。例如，一個集群包括13個邏輯計算、結(jié)果展現(xiàn)。同時，系統(tǒng)可線性擴充存Ⅳ使用方便圖形化的數(shù)據(jù)分析和挖掘界面，令使用者不用理會Hadoop底層技術(shù)，只。不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)不能擴展到處理器，不符合企業(yè)的成本效益。許多公定分類，如果1些數(shù)據(jù)中產(chǎn)生價值，這意味著企業(yè)可以利用Hadoop的靈活性從社交媒體、電子Hadoop能夠在幾分鐘內(nèi)處理TB級的數(shù)據(jù)，而不是像以前都需要以小時為單個單獨理”和“角色管理”中，可以定義角色(管理員、操作員等)、添加用戶、修改用戶密碼等。此外，在“資源管理”在“組件安裝”界面中，具有以下功能：基礎(chǔ)信息配置(主機名映基礎(chǔ)信息配置，也即主機名映射，在初次安裝Hadoop集群前需要配置各服務(wù)器的IP地址與主機名的映射。點擊“配置”按鈕后，系統(tǒng)會在后臺完成以完成各服務(wù)器之間的SSH互信。完成各服務(wù)器javaJDK環(huán)境配置。在Hadoop基礎(chǔ)組件頁面，可以點擊各個Hadoop基礎(chǔ)組件的圖標(biāo)，完成此，如果某個組件的前序依賴在Spark基礎(chǔ)組件頁面，可以點擊Spark基礎(chǔ)組件的圖標(biāo)，完成Spark集群(包括，SparkSQL，SparkStreaming，MlLib，GraphX)的安裝及配置。ⅳ數(shù)據(jù)挖掘工具安裝以點擊各個數(shù)據(jù)挖掘工具的圖標(biāo)，完成相ⅴ集群監(jiān)控及HUE在集群監(jiān)控及HUE安裝頁面，可以點擊相應(yīng)的圖標(biāo)，完成Ganglia及Hadoop配置完成后，在基礎(chǔ)應(yīng)用模塊，可登陸后可以看到如下Rstudio的頁面。(用戶名：hadoop，密碼：(2)大數(shù)據(jù)教學(xué)實訓(xùn)平臺芝諾數(shù)據(jù)教學(xué)實訓(xùn)平臺包括大數(shù)據(jù)系統(tǒng)和大數(shù)據(jù)應(yīng)用2個方向共計60個的、一體化的實驗教學(xué)環(huán)A實驗數(shù)據(jù)B實驗指導(dǎo)C實驗原理D環(huán)境，因此，對于學(xué)員和教師這，并按照實驗指南完成大學(xué)員學(xué)習(xí)情況進(jìn)行管理，統(tǒng)計各。①大數(shù)據(jù)實訓(xùn)管理平臺--學(xué)生登陸C大數(shù)據(jù)挖掘工程師D0/411/41Ⅲ點擊“開始實驗”按鈕，即可進(jìn)入對應(yīng)實驗的實訓(xùn)界面2/41RRstudio登陸的用戶名和密碼與輸入實訓(xùn)平臺的用戶名和密碼，登陸RStudio，登陸后的界面如下。按照左側(cè)的實驗指南，在3/414/41按照左側(cè)的實驗指南，在5/41Ⅳ下載實驗資源資源，都可以點擊“下載資源”按鈕一鍵下載，下載的資源文件為壓縮的ZIP文件。如下圖所示。6/41驗作業(yè)，并點擊“實驗報該頁面中，可以“輸入內(nèi)Ⅵ查看實驗報告擊“我的實驗報告”，查還可以對已提交的實驗報告進(jìn)行編輯。示意圖②大數(shù)據(jù)實訓(xùn)管理平臺--教師登陸到上圖的管理界面。教師賬號主7/418/41。9/41。41ⅲ課程管理41Ⅲ批閱報告Ⅳ集群監(jiān)控41ia41(1)芝諾數(shù)據(jù)教學(xué)課程4141(2)實訓(xùn)平臺實驗教學(xué)大綱41(3)芝諾數(shù)據(jù)庫41部分學(xué)員作業(yè)(大數(shù)據(jù)應(yīng)用分析報告)展示4141于：(1)以科學(xué)、節(jié)約為原則，合理解決實驗室服務(wù)器的問題。(2)嚴(yán)格按照實驗室建設(shè)進(jìn)度安排執(zhí)行。/4140/41(3)硬件及相關(guān)支撐平臺以滿足基本要求即可，重點引入跟我們大數(shù)據(jù)專課程內(nèi)容及行業(yè)案例庫，通過專業(yè)的大數(shù)據(jù)課程(4)在整個實驗室項目建設(shè)的同時，著力加強大數(shù)據(jù)專業(yè)教師團隊的建據(jù)安全與隱私保護(hù)等關(guān)鍵技術(shù)研主的實踐教學(xué)體系，培養(yǎng)學(xué)生良好的科學(xué)素校承擔(dān)重大科研項目和實現(xiàn)自主創(chuàng)新的能息化進(jìn)程、信息化與工業(yè)化“兩化”融合和研平臺和教學(xué)實驗平臺體