大數(shù)據(jù)教學(xué)與科研方案建議書.doc

1、大數(shù)據(jù)教學(xué)與科研方案建議書大數(shù)據(jù)實驗室解決方案 1 、系統(tǒng)簡述 1.1 、系統(tǒng)構(gòu)成 大數(shù)據(jù)實驗實踐教學(xué)及科研平臺，主要由“實訓(xùn)系統(tǒng)”與“科研與實戰(zhàn)平臺”組成，平臺包括高清視頻課程、實驗任務(wù)、實訓(xùn)操作及項目實戰(zhàn)等模塊；提供數(shù)量大、覆蓋知識面廣的實驗任務(wù)，實現(xiàn)在線教學(xué)、實訓(xùn)操作、項目實戰(zhàn)完美結(jié)合； 平臺提供大數(shù)據(jù)集群管理功能，包含 Hadoop、Hive、HBase、Sqoop、Flume、Spark 等節(jié)點部屬及管理，提供實時監(jiān)控集群的 、內(nèi)存、硬盤等使用率及相關(guān)信息，可以對管理節(jié)點、計算節(jié)點進(jìn)行啟動、停止等操作管理。提供覆蓋多個行業(yè)的大數(shù)據(jù)實戰(zhàn)案例以及數(shù)據(jù)，通過對這些行業(yè)案例的深入剖析，快速提

2、升學(xué)生的大數(shù)據(jù)實戰(zhàn)能力。通過大數(shù)據(jù)平臺的構(gòu)建，幫助高校實現(xiàn)了內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)的快速融合，從而帶來極佳的數(shù)據(jù)計算和分析p 挖掘能力。通過基于 _86 架構(gòu)的大數(shù)據(jù)平臺構(gòu)建，在顯著降低系統(tǒng)建設(shè)成本的同時，可提供強大的橫向擴展能力。幫助高校建立了一套可靠可信的數(shù)據(jù)管控機制，提供元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全等功能。1.2 、技術(shù)特點 1.2.1 、基于云端實驗的教學(xué)平臺 1 1 ）基于容器技術(shù)的云實驗機 基于容器的輕量級虛擬化技術(shù)，相比傳統(tǒng) KVM 之類最明顯的特點就是啟動快，資占用小。因此對于構(gòu)建隔離的標(biāo)準(zhǔn)化的運行環(huán)境，輕量級的 PaaS(如 dokku), 構(gòu)建自動化測試和持

3、續(xù)集成環(huán)境，以及一切可以橫向擴展的應(yīng)用(尤其是需要快速啟停來應(yīng)對峰谷的 web 應(yīng)用)，具有巨大的優(yōu)勢。本技術(shù)可以在有限的物理資上創(chuàng)建多個虛擬化的實驗機環(huán)境，學(xué)生可以快速啟動專享的實驗機。2 2 ）基于 S B/S 的遠(yuǎn)程桌面交互技術(shù) Y Y- - Desk Y-Desk 是一種 HTML5 和 JS 的 Web 應(yīng)用程序，可使用遠(yuǎn)程桌面協(xié)議（如 VNC 或RDP）訪問桌面環(huán)境。同時提供了一個驅(qū)動它的 API。該 API 可用于為其他類似的應(yīng)用程序或服務(wù)提供服務(wù)。此 Web 應(yīng)用程序是提供協(xié)議無關(guān)的遠(yuǎn)程桌面網(wǎng)關(guān)的一部分。作為API，Y-Desk 提供了一種通過使用 或 WebSocket 的基

4、于 Script 的隧道流式傳輸文本數(shù)據(jù)的通用和有效的方法，以及支持 Y-Desk 協(xié)議的客戶端實現(xiàn)，并將遠(yuǎn)程顯示與 Y-Desk 協(xié)議流隧道。Y-Desk 使用 Script 及 HTML5 和其他標(biāo)準(zhǔn)，只需要一個主流的瀏覽器或啟用 Web 的設(shè)備，就可以訪問所提供的任何桌面。3 3 ）遠(yuǎn)程陪練技術(shù) 平臺可以在瀏覽器中實現(xiàn)桌面分享、共享的功能，助教可以遠(yuǎn)程通過桌面操作、文字和語音來協(xié)助、陪練生，猶如面對面、手把手地指導(dǎo)、學(xué)習(xí)。1.2 .2 、領(lǐng)先成熟的科研支撐平臺 1 1 ）全數(shù)據(jù)整合能力，快速匯聚各類數(shù)據(jù) 支持對多異構(gòu)數(shù)據(jù)的高效集成與關(guān)聯(lián)。包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)類型的在線存儲。

5、平臺集成的高性能 ETL 組件，覆蓋 50 余種主流數(shù)據(jù)庫，滿足企業(yè)在復(fù)雜業(yè)務(wù)場景下的各類數(shù)據(jù)整合要求。2 2 ）極簡可視化的數(shù)據(jù)開發(fā)套件，提升業(yè)務(wù)開發(fā)效率 平臺支持所見即所得的圖形化工作流開發(fā)模式。以一體化視圖的方式，實現(xiàn)了數(shù)據(jù)處理流程建模、流程表單建立、規(guī)則配置的一次性完成。任務(wù)生成和調(diào)度效率較傳統(tǒng)方式提升數(shù)倍。3 3 ）高性能數(shù)據(jù)存儲和計算平臺，快速處理與分析p 平臺集成了業(yè)界最先進(jìn)的批量、流式、實時計算技術(shù)，采用靈活、高擴展性的數(shù)據(jù)處理架構(gòu)，支持通用 _86 平臺，同時面向 _86 服務(wù)器進(jìn)行了深度集成與優(yōu)化，實現(xiàn)了超高性能的大數(shù)據(jù)分析p 技術(shù)平臺。4 4 ）度數(shù)據(jù)分析p 引擎，挖掘數(shù)

6、據(jù)價值 平臺內(nèi)置深度優(yōu)化的機器學(xué)習(xí)框架及算法庫，實現(xiàn)了算法的分布式并行化，同時支持 R、Python、Scala、C+等主流開發(fā)語言，大幅提升了海量數(shù)據(jù)的分析p 挖掘能力。2 、系統(tǒng)功能 2.1 、實訓(xùn)教學(xué)平臺 平臺從功能上可分為“管理與控制模塊”、“教學(xué)管理模塊”、“教學(xué)模塊”、“實驗?zāi)K”、“考試系統(tǒng)”、“教學(xué)資包”等部分組成，為學(xué)生提供多梯度、層次式的系列實驗，助力學(xué)生知識點掌握和基礎(chǔ)技能培養(yǎng)；為教師和學(xué)生提供畢業(yè)設(shè)計、課程設(shè)計以及科研的基礎(chǔ)支撐，為教師學(xué)生提供良好的大數(shù)據(jù)真正的生產(chǎn)環(huán)境。2.1.1 、平臺 構(gòu)成 2.11 .11 .1 、管理模塊 1.軟件為整個系統(tǒng)提供管理功能，管理系

7、統(tǒng)各軟件，可對各軟件進(jìn)行開關(guān)機，恢復(fù)實驗初始狀態(tài)等功能。1）圖形展示各軟件運行狀況：2）軟件系統(tǒng)的啟動與關(guān)閉：2.軟件提供云計算平臺配置功能，包括配置存儲限額、作業(yè)調(diào)度方式等。3.軟件提供云計算工具，包括 Hive、Spark、Pig 的配置功能，配置 Spark 的作業(yè)調(diào)度方式和內(nèi)存管理方式。4.軟件可以監(jiān)控整個云計算平臺的運行狀況，包括可用資和已用資、作業(yè)的排隊狀況、正常和異常的作業(yè)運行狀況，并提供干預(yù)功能，及時釋放異常占用資和終止異常作業(yè)。5.支持大數(shù)據(jù)查詢及分析p 功能，如聚集查詢、連接查詢、選擇操作、嵌套查詢、Like 查詢等功能。例 1 例 2 6.對執(zhí)行的工作任務(wù)運行狀況、進(jìn)度、

8、流程，進(jìn)行實時圖形展示，使得各項指標(biāo)一目了然：2.11 .12 .2 、教學(xué)管理模塊 提供學(xué)生的權(quán)限、課程計劃、學(xué)習(xí)記錄、學(xué)習(xí)成績、實驗報告等管理功能，主要功能如下：2.1.2.1 、專業(yè)管理 提供對專業(yè)信息的增加、刪除、修改、查詢功能。2.1.2.2 2 、班級管理 提供對專業(yè)下屬班級的增加、刪除、修改、查詢功能。2.1.2.3 3 、學(xué)生管理 提供對班級內(nèi)學(xué)生的管理，學(xué)生內(nèi)容包含姓名、學(xué)號、所屬班級、所屬專業(yè)、聯(lián)系手機、登錄次數(shù)等內(nèi)容。2.1.2.4 4 、交流日志查閱 對實驗機分享交流的內(nèi)容進(jìn)行查詢，包含交流 IP、相關(guān)學(xué)員、相關(guān)老師、實驗機編號、交流內(nèi)容等內(nèi)容。2.1.2.5 5 、成

9、績管理 對于學(xué)習(xí)中心在線學(xué)習(xí)的學(xué)習(xí)考核成績進(jìn)行管理，包含查詢及刪除等功能。2.1.2.6 6 、學(xué)習(xí)記錄 提供每個學(xué)生在學(xué)習(xí)中心平臺內(nèi)學(xué)習(xí)課程的學(xué)習(xí)記錄，包含日期、計劃、課程、章節(jié)、學(xué)習(xí) IP 等。2.1.2.7 7 、學(xué)習(xí)行為報表 對所有學(xué)生的課程學(xué)習(xí)記錄進(jìn)行統(tǒng)計，包含個體統(tǒng)計、班級統(tǒng)計、全體統(tǒng)計等。2.1.2.8 8 、課程管理 對學(xué)習(xí)課程進(jìn)行查詢、修改、刪除等操作。2.1.2.9 9 、開通課程計劃 對于學(xué)習(xí)開課計劃的字段內(nèi)容包含計劃名稱、授課講師、授課時間段、開通狀態(tài)、允許申請周期，允許申請人數(shù)等，功能提供綁定課程計劃相關(guān)實訓(xùn)平臺課程、授課助教、云實驗機綁定、實驗任務(wù)綁定等功能。2.1

10、.2.10 、課程測驗習(xí)題管理 提供對課程相關(guān)的習(xí)題管理，題型包含單選、多選、判斷題等類型，對習(xí)題進(jìn)行增、冊、改、查操作。2.1.2.11 、分級權(quán)限功能 系統(tǒng)分為總管理員、助教等二級管理角色，總管理員進(jìn)行管理所有的功能點，助教可以進(jìn)行班級管理、學(xué)生管理、開課計劃制作、實驗機遠(yuǎn)程協(xié)助等。2.1.2.12 、實訓(xùn)系統(tǒng)管理 提供學(xué)生根據(jù)姓名、學(xué)號、密碼登錄系統(tǒng)進(jìn)行實訓(xùn)操作，學(xué)生只需安裝瀏覽即可進(jìn)行實驗任務(wù)操作；提供實訓(xùn)課程在線學(xué)習(xí)功能、實驗機在線操作、實驗報告提交、實驗機界面截圖、記錄課程學(xué)習(xí)時長等。2.1.2.13 、實驗機桌面管理 可管理系統(tǒng)提供的實驗機桌面分享功能，如學(xué)生在學(xué)習(xí)、操作云實驗機

11、的過程中，有問題可以向老師發(fā)起協(xié)助請求，助教在收到請求時，可以遠(yuǎn)程訪問學(xué)生的實驗機，并指導(dǎo)如何操作 【教學(xué)管理系統(tǒng)界面】 2.11 .13 .3 、教學(xué)模塊 實訓(xùn)平臺是集教學(xué)管理、課程學(xué)習(xí)、在線實驗操作的一個綜合平臺，系統(tǒng)基于 B/S架構(gòu)，擴展性好，并發(fā)能力強，在很有限的硬件資下，輕松支持上千名學(xué)生同時學(xué)習(xí)、實驗。主要特點如下：2.1.3.1 、用戶 登錄 打開瀏覽器，在地址欄中輸入學(xué)生端網(wǎng)址，通過注冊帳號、學(xué)生學(xué)號等方式授權(quán)進(jìn)入實訓(xùn)系統(tǒng)主頁，如下圖所示：登錄成功，進(jìn)入實訓(xùn)系統(tǒng)學(xué)生界面，如下圖所示：2.1.3.2 、 申請學(xué)習(xí) 功能描述：學(xué)生通過本功能申請參加由主講老師計劃開通的某些課程。學(xué)生

12、點擊左邊的功能菜單“申請學(xué)習(xí)”，打開申請學(xué)習(xí)界面，功能界面如下圖：此界面列出了所有允許申請參加學(xué)習(xí)的開課計劃，在列表中可查看授課開始日期、授課結(jié)束日期，申請狀態(tài)等，選中需要參加課程開課計劃，點擊“查看詳細(xì)”鏈接，可以查看開課計劃的詳細(xì)介紹。2.1.3.3 、 我的課程 功能描述：學(xué)生通過本功能可以在線學(xué)習(xí)已經(jīng)開通的大數(shù)據(jù)實訓(xùn)課程。如圖示：主要功能：1） 效果切換：視頻播放效果提供標(biāo)清、高清以及超清三種，為不同的網(wǎng)絡(luò)帶寬服務(wù)。2） 章節(jié)目錄：列出本課程已經(jīng)開通的章節(jié)，可以根據(jù)學(xué)習(xí)進(jìn)度，選擇章節(jié)進(jìn)行學(xué)習(xí)。3） 學(xué)習(xí)記錄：可以查詢本課程每個章節(jié)的學(xué)習(xí)完成情況。4） 學(xué)習(xí)筆記：提供學(xué)生在學(xué)習(xí)過程中，在

13、線記錄學(xué)習(xí)筆記，筆記可以多次保存。5） 打開實驗機：學(xué)習(xí)在線視頻過程中直接打開與本課程配套的實驗機。2.1.3.4 、 實驗任務(wù) 功能描述：實驗任務(wù)操作界面，學(xué)生在此界面上完成大數(shù)據(jù)相關(guān)作業(yè)實驗。系統(tǒng)列出所有要求完成的實驗任務(wù)內(nèi)容及簡要介紹，功能如下圖所示：1、實驗任務(wù)的要求，包含實驗?zāi)康摹嶒灜h(huán)境、實驗內(nèi)容、實驗步驟等內(nèi)容。2、實驗任務(wù)配套的實驗機，實驗機提供本次實驗所需的所有環(huán)境。3、實驗報告編輯功能，如下圖所示：3、實驗過程載圖功能，如下圖所示：2.1.3.5 、 實驗訓(xùn)練 功能描述：學(xué)生通過實驗訓(xùn)練，可以直接進(jìn)入實驗機。如下圖所示：2.1.3.6 、 集群安裝 功能描述：學(xué)生通過本功能

14、及任務(wù)要求，完成大數(shù)據(jù)集群的搭建。集群安裝實訓(xùn)平臺提供三臺實驗機，一臺作為主節(jié)點，二臺作為從節(jié)點，按照實驗步驟將三臺實驗機安裝成為 Hadoop 完全分布式集群。功能如下圖所示：在完成主節(jié)點安裝任務(wù)后，依次完成二臺從節(jié)點的任務(wù)要求，最終達(dá)到集群安裝成功。2.1.3.7 、 學(xué)習(xí)記錄 功能描述：學(xué)生通過本功能，可以實時查詢自己所有課程學(xué)習(xí)情況。學(xué)習(xí)記錄功能，列出學(xué)生所有已經(jīng)開通的課程列表，可以查詢所有課程總學(xué)習(xí)時長、第一次學(xué)習(xí)時間、最后學(xué)習(xí)時間等，功能如下圖所示：還可根據(jù)需要，查詢某一課程詳細(xì)學(xué)習(xí)情況。2.1.3.8 、 選修課程 功能描述：學(xué)生通過本功能可以自學(xué)一些大數(shù)據(jù)相關(guān)的課程，提供視頻及

15、配套實驗環(huán)境。如下圖所示：2.1.3.9 、在線習(xí)題測驗 提供對課程相關(guān)的習(xí)題，題型包含單選、多選、判斷題等類型等，并根據(jù)課程進(jìn)度，可以進(jìn)行單元練習(xí)，完成課程后，系統(tǒng)會進(jìn)行綜合性的測驗。2.1.3.10 、 在線的 代碼 判 斷 系統(tǒng) （ OJ ） 學(xué)生可以在線提交程序多種程序代碼，系統(tǒng)對代碼進(jìn)行編譯和執(zhí)行，并通過預(yù)先設(shè)計的測試數(shù)據(jù)來檢驗程序代碼的正確性。支持 、Python 等語言。2.11 .14 .4 、實驗?zāi)K “大數(shù)據(jù)實驗實踐教學(xué)及科研平臺”完全滿足大數(shù)據(jù)實驗、科研、教學(xué)的平臺支撐需求。2.1.3.1 、實驗機 支撐 系統(tǒng) 1）、包含 HDFS、 Yarn、 Spark、 Hive、

16、 Hbase、 Zookeeper、 Storm、 Kafka、Solr 等常見的大數(shù)據(jù)生態(tài)組件。2）、采用新一代資管理框架，允許多個應(yīng)用同時高效地運行在一個物理集群上。3）、靈活的資管理和調(diào)度機制，支持可拔插式的資調(diào)度策略，調(diào)度策略支持 FIFO、 Capacity Scheduler、 Fair Scheduler 和 Label BasedScheduler 等多種策略 4）、系統(tǒng)架構(gòu)具備高度的彈性，可滿足實驗運行平臺所需要的高度擴展性，一旦有新的需求出現(xiàn)，即可向現(xiàn)有平臺上迅速加入新的服務(wù)對象。5）、分布式批處理框架，將輸入的數(shù)據(jù)集劃分為塊后并行處理、排序、再歸集，可處理 PB 級別的數(shù)

17、據(jù)。6）、系統(tǒng)中無單點故障，任何一個角色故障后都應(yīng)有備份機器承擔(dān)原失效節(jié)點工作，并在監(jiān)控頁面上對錯誤狀態(tài)進(jìn)行顯示標(biāo)識。7）、系統(tǒng)的存儲容量能夠動態(tài)不停機擴容，擴容時現(xiàn)有系統(tǒng)可以不間斷正常運行，不受擴容影響。擴容時無需遷移數(shù)據(jù)，無需要求用戶對數(shù)據(jù)進(jìn)行重新分區(qū),避免硬盤和數(shù)據(jù)損壞。8）、發(fā)生硬件故障時，系統(tǒng)能夠自動檢測錯誤并修復(fù)數(shù)據(jù)，無需人工干預(yù)，即使機器未修復(fù)，系統(tǒng)仍然能夠不間斷正常運行。9）、實驗初始化、關(guān)停、刪除等功能：2.1.3.2 、云實驗?zāi)K 1）基于 B/S 的 Web 實驗機可視化操作 基于 Docker 容器技術(shù)，實驗機界面采用 HTML5 顯示，操作終端無需安裝其它開發(fā)軟件即可

18、進(jìn)行實驗操作，同時將實驗任務(wù)指導(dǎo)書與實驗機進(jìn)行同步顯示，提供 Web 在線代碼復(fù)制粘貼功能。2）云實驗機集群管理功能 提供云實驗機集群管理，對實驗機所屬服務(wù)器進(jìn)行新增、刪除等操作，對云實驗機可以根據(jù)學(xué)生編號、實驗任務(wù)和環(huán)境要求自動創(chuàng)建，無需管理人員參與實驗機創(chuàng)建操作過程。管理平臺對云實驗機可以進(jìn)行停止、銷毀操作。3）云實驗機類型 包含: Hadoop 實驗機、Hive 實驗機、HBase 實驗機、R 語言實驗機、Scala 實驗機、Spark 實驗機、Kafka 實驗機、Sqoop 實驗機、Flume 實驗機、Storm 實驗機、SPSS 實驗機、可視化實驗機、Mongodb 等實驗機等。4）實驗任務(wù)指導(dǎo)書 提供類全面，數(shù)量龐大的實驗任務(wù)指導(dǎo)書，內(nèi)容需要包含：Hadoop