高校大數(shù)據(jù)實驗室建設解決方案

1、高校大數(shù)據(jù)實驗室建設方案一、 建設目標章魚大數(shù)據(jù)實驗室的建設目的是作為大數(shù)據(jù)教學實驗及科研平臺，包括數(shù)據(jù)挖掘與大數(shù)據(jù)分析平臺。實驗室的設計全面落實“產、學、研、用”一體化的思想和模式，從教學、實踐、科研和使用多方面注重專業(yè)人才和特色人才的培養(yǎng)。利用虛擬化教學資源，搭建教學系統(tǒng)和集群平臺，將理論學習、實踐教學和大數(shù)據(jù)項目實戰(zhàn)融為一體，由難而易、循序漸進，逐步提升學生的學習技能和實踐水平， 提高“學”的質量和成效。利用大數(shù)據(jù)分析主流軟件框架，搭建與業(yè)界主要用戶一致的實驗與科研環(huán)境，將理論課程中學到的數(shù)據(jù)挖掘算法運用到實際的數(shù)據(jù)分析過程中，提升學生的動手操作和項目實踐能力。使得學生所學與企業(yè)項目人才

2、需求無縫銜接，與教師的科研工作緊密配合。 通過專業(yè)的大數(shù)據(jù)分析計算資源搭建的開放式大數(shù)據(jù)分析平臺，可以充分的融合教師的科研需求，教師可以在開放的平臺環(huán)境下開展大數(shù)據(jù)科研工作，提升教師的科研創(chuàng)新能力，充分提高“研”的成效。二、 產品優(yōu)勢n 交互式學習模式提供體系完整、簡單易用的在線教學課堂；以基礎知識學習、在線視頻教學、習題、線上測試、評估等為主線的一系列方法，確保學生在短時間內掌握大數(shù)據(jù)虛擬仿真實驗、分析部署技能。n 真機實驗訓練實驗訓練體系設計成各模塊相對獨立的形式，各模塊交互式的實驗任務、大數(shù)據(jù)實驗機、實際項目上機操作，通過多方位的訓練，最終靈活的、漸進式地掌握大數(shù)據(jù)生態(tài)體系。n 大數(shù)據(jù)實

3、戰(zhàn)及案例分析提供實驗數(shù)據(jù)，包括網(wǎng)站流量數(shù)據(jù)、租房及二手房數(shù)據(jù)、電商商品交易數(shù)據(jù)、搜索引擎訪問等多種行業(yè)數(shù)據(jù)，數(shù)據(jù)內容超過20TB，同時周期更新數(shù)據(jù)內容。n 充分支撐科研工作提供行業(yè)數(shù)據(jù)及案例解剖用于基礎研究，提供數(shù)據(jù)分析方案及流程，提供數(shù)據(jù)更新接口，可以對行業(yè)數(shù)據(jù)進行分析統(tǒng)計，按需求生成數(shù)據(jù)報表，為科研工作提供數(shù)據(jù)支撐。例如某地區(qū)經濟數(shù)據(jù)分析、股市數(shù)據(jù)分析、全國地震數(shù)據(jù)分析、食品價格行業(yè)數(shù)據(jù)分析等。三、 建設規(guī)模按照60臺大數(shù)據(jù)實驗機容量進行同時在線使用進行建設為基礎，整體系統(tǒng)提供快速擴容升級服務。四、 硬件配置采用十六臺高性能品牌服務器作為大數(shù)據(jù)節(jié)點進行建設，采用企業(yè)級全千兆三層交換機進行網(wǎng)

4、絡數(shù)據(jù)交換。每臺節(jié)點的配置如下：處理器每節(jié)點支持2個英特爾 至強 處理器 E5-2650 CPU高速緩存15MBQPI總線速率7.2GT/s內存提供12個內存插槽，標配192G內存，支持高級內存糾錯，內存鏡像，內存熱備等高級功能磁盤標配4塊3TB SATA硬盤標配2塊120G SSD 硬盤300G 10000轉SAS系統(tǒng)盤網(wǎng)絡控制器集成1個高性能千兆以太網(wǎng)控制器（雙口），支持虛擬化加速，網(wǎng)絡加速，負載均衡，冗余等高級功能電源標配大功率高效白金級電源，1+1冗余虛擬化技術支持VMware vSphere、Docker、OpenStack等五、 軟件平臺介紹1、大數(shù)據(jù)教學管理系統(tǒng)1.1 專業(yè)管理提

5、供對專業(yè)信息的增加、刪除、修改、查詢功能。1.2 班級管理提供對專業(yè)下屬班級的增加、刪除、修改、查詢功能。1.3 學生管理提供對班級內學生的管理，學生內容包含姓名、學號、所屬班級、所屬專業(yè)、聯(lián)系手機、登錄次數(shù)等內容。1.4 交流日志查閱對實驗機分享交流的內容進行查詢，包含交流IP、相關學員、相關老師、實驗機編號、交流內容等內容。1.5 成績管理對于學習中心在線學習的學習考核成績進行管理，包含查詢及刪除等功能。1.6 學習記錄提供每個學生在學習中心平臺內學習課程的學習記錄，包含日期、計劃、課程、章節(jié)、學習IP等。1.7 學習行為報表對所有學生的課程學習記錄進行統(tǒng)計，包含個體統(tǒng)計、班級統(tǒng)計、全體統(tǒng)

6、計等。1.8 課程管理對學習課程進行查詢、修改、刪除等操作。1.9 開通課程計劃對于學習開課計劃的字段內容包含計劃名稱、授課講師、授課時間段、開通狀態(tài)、允許申請周期，允許申請人數(shù)等，功能提供綁定課程計劃相關實訓平臺課程、授課助教、云實驗機綁定、實驗任務綁定等功能。1.10 課程測驗習題管理提供對課程相關的習題管理，題型包含單選、多選、判斷題等類型，對習題進行增、冊、改、查操作。1.11 分級權限功能系統(tǒng)分為總管理員、助教等二級管理角色，總管理員進行管理所有的功能點，助教可以進行班級管理、學生管理、開課計劃制作、實驗機遠程協(xié)助等。1.12 學生實訓系統(tǒng)提供學生根據(jù)姓名、學號、密碼登錄系統(tǒng)進行實訓

7、操作，學生只需安裝瀏覽即可進行實驗任務操作；提供實訓課程在線學習功能、實驗機在線操作、實驗報告提交、實驗機界面截圖、記錄課程學習時長等。1.13 實驗機桌面分享提供實驗機桌面分享功能，如學生在學習、操作云實驗機的過程中，有問題可以向老師發(fā)起協(xié)助請求，助教在收到請求時，可以遠程訪問學生的實驗機，并指導如何操作。2、云實驗機及實驗任務22.1 云實驗機提供基于Web瀏覽器的實驗機可視化操作，操作終端無需安裝其它開發(fā)軟件即可進行實驗操作；云實驗機可以根據(jù)學生編號、實驗任務和環(huán)境要求自動創(chuàng)建，無需管理人員參與實驗機創(chuàng)建操作過程。管理平臺對云實驗機可以進行停止、銷毀操作。2.2 云實驗機集群管理功能提供

8、云實驗機集群管理，對實驗機所屬服務器進行新增、刪除等操作。2.3 云實驗機類型包含Hadoop實驗機、Hive實驗機、HBase實驗機、R語言實驗機、Scala實驗機、Spark實驗機、Kafka實驗機、Sqoop實驗機、Flume實驗機、數(shù)據(jù)可視化實驗機等。2.4 實驗機運行監(jiān)控系統(tǒng)系統(tǒng)提供對實驗集群運行的所有實驗機進行監(jiān)控，可以查詢編號、所屬服務器、創(chuàng)建時間、運行狀態(tài)、開放端口等內容。2.5 實驗任務管理提供對實驗任務內容的管理，包含任務課程、綁定實驗機、設定任務成績總分，排序值等，提供多種實驗任務內容，例如Hadoop實驗任務、Hive實驗任務、HBase實驗任務、Flume與kafka

9、實驗任務等。2.6 實驗報告審閱功能在實驗任務過程中學生上交的任務報告進行審閱評分，提供按照學生、實驗任務等字段進行檢索功能。2.7 云實驗機桌面分享系統(tǒng)提供實驗機桌面基于瀏覽器的分享功能，允許學生與學生、學生與老師同步操作實驗機桌面系統(tǒng)，提供基于瀏覽器的交流功能。3、大數(shù)據(jù)實戰(zhàn)平臺系統(tǒng)33.1 大數(shù)據(jù)集群管理系統(tǒng)基于分布式集群管理系統(tǒng)，提供大數(shù)據(jù)集群管理系統(tǒng)，功能包含Hadoop、Hive、HBase、Sqoop、Flume、Spark等節(jié)點部屬及管理，提供實時監(jiān)控集群的CPU、內存、硬盤等使用率及相關信息，可以對管理節(jié)點、計算節(jié)點進行啟動、停止等操作管理。3.2 大數(shù)據(jù)作業(yè)工作流系統(tǒng)提供大

10、數(shù)據(jù)相關作業(yè)的上傳、部屬、流程管理等功能，基于 Web 的任務調度、兼容Hadoop、Spark主流版本、失敗任務的、運行狀態(tài)監(jiān)控等。六、 大數(shù)據(jù)課程及行業(yè)案例實驗平臺提供100個課時的Hadoop、Spark等大數(shù)據(jù)主流課程，課程與大數(shù)據(jù)實驗機完美結合，學員在教學管理系統(tǒng)學習課程，隨時進行實訓操作，包含項目設計、數(shù)據(jù)采集、清洗、建模、技術實現(xiàn)等，快速提升實操技能，最終掌握大數(shù)據(jù)開發(fā)、數(shù)據(jù)分析與數(shù)據(jù)挖掘等大數(shù)據(jù)能力。部分案例圖片：【電商大數(shù)據(jù)分析案例】【電商大數(shù)據(jù)分析架構】【房產大數(shù)據(jù)分析架構】【房產大數(shù)據(jù)分析可視化】【搜索大數(shù)據(jù)分析架構】【網(wǎng)站日志大數(shù)據(jù)分析架構】課程實驗內容包含：課程名稱課

11、時課程內容介紹Hadoop基礎10講解Hadoop生態(tài)系統(tǒng)，包括操作與開發(fā)；詳細講解HDFS和Map-Reduce的功能及作用；了解MapReduce原理、運行流程、壓縮數(shù)據(jù)處理、作業(yè)調度、計算器等環(huán)節(jié)。HDFS程序開發(fā)6講解Hadoop文件系統(tǒng)HDFS JAVA API的使用。掌握如何使用HDFS Java API，讀寫文件、讀寫目錄、以及對文件進行壓縮處理等。MapReduce開發(fā)6本課程針對Hadoop MapReduce開發(fā)進行講解。課程以案例為基礎，重點介紹MapReduce程序結構，以及如何使用MapReduce進行數(shù)據(jù)統(tǒng)計，去重，排序，Map端Join，Reduce端Join等關

12、聯(lián)操作，掌握MapReduce處理過程。Hive數(shù)據(jù)倉庫24Hive是基于Hadoop構建的數(shù)據(jù)倉庫分析系統(tǒng)，通過學習掌握Hive的函數(shù)、Hive數(shù)據(jù)的加載、Hive的DDL操作、自定義函數(shù)（UDF）等內容，達到使用Hive進行查詢、匯總、分析數(shù)據(jù)的能力。分布式數(shù)據(jù)庫HBase6HBase是Hadoop生態(tài)系統(tǒng)中的重要一員，主要用于海量結構化數(shù)據(jù)存儲；通過學習對HBase表設計、表操作、數(shù)據(jù)操作、Java API等內容，掌握對HBase系統(tǒng)的開發(fā)及使用。數(shù)據(jù)遷移工具 Sqoop4Sqoop是關系型數(shù)據(jù)庫和Hadoop生態(tài)系統(tǒng)之間進行數(shù)據(jù)轉換的主要工具；通過學習將mysql中的數(shù)據(jù)導入到hdfs

13、中、將數(shù)據(jù)導入到HBase中、定義導入導出任務等，掌握對數(shù)據(jù)遷移的能力。分布式日志框架Flume4Flume對海量日志進行采集、聚合和傳輸?shù)闹髁鞔髷?shù)據(jù)工具；課程內容包含F(xiàn)lume應用場景、FlumeNG、FlumeOG、Flume的核心組件、Flume的架構、Flume的source、sink配置說明等。Kafka流式數(shù)據(jù)采集4Kafka是分布式的消息隊列，廣泛應用于實時數(shù)據(jù)處理。學習內容包含Kafka的體系結構、安裝模式及安裝部署、Topic、Producer、Consumer、發(fā)布訂閱消息以及Kafka JAVA開發(fā)等。Spark6Spark是一款高性能的分布式計算框架，比MapReduc

14、e計算快百倍；本課程內容全面涵蓋了Spark生態(tài)系統(tǒng)、Spark與Hadoop對比、開發(fā)環(huán)境搭建、RDD、編程模型、Web監(jiān)控等內容。Spark Streaming4Spark Streaming是用戶結合流式、批處理和交互式查詢應用的實時計算框架；本課程內容詳細講解原理與特點、適用場景、Dstream操作、容錯、性能優(yōu)化和內存優(yōu)化等。Spark SQL4Spark SQL的出現(xiàn)，使得SQL-on-Hadoop的性能相對于Hive有了顯著的提高。達到Spark兼容Hive的功能。本課程詳細講解特點、運行架構、數(shù)據(jù)源、數(shù)據(jù)緩存、DataFrame等。實戰(zhàn)案例搜索引擎日志數(shù)據(jù)統(tǒng)計分析6講解Hado

15、op系統(tǒng)架構設計以及項目分析流程；通過對用戶搜索記錄數(shù)據(jù)的清洗，分析指標內容，得出關鍵詞排行榜、用戶停留時間最高頁面等。實戰(zhàn)案例電子商務平臺大數(shù)據(jù)分析6講解Spark系統(tǒng)架構設計以及項目分析流程；本課程主要講解搭建電商的數(shù)據(jù)處理平臺、數(shù)據(jù)統(tǒng)計、分析及可視化技術的應用開發(fā)流程。七、 行業(yè)數(shù)據(jù)及案例提供大數(shù)據(jù)實戰(zhàn)案例以及行業(yè)數(shù)據(jù)，提供包含海量網(wǎng)站日志分析案例、租房及二手房大數(shù)據(jù)分析案例、電商商品交易大數(shù)據(jù)挖掘、搜索引擎關鍵詞分析算法案例、汽車銷售數(shù)據(jù)分析案例等案例講解及實戰(zhàn)作業(yè)工作流內容。數(shù)據(jù)名稱數(shù)據(jù)描述更新地區(qū)房產數(shù)據(jù)包含二手房在售數(shù)據(jù)、出租房屋數(shù)據(jù)、經紀人評價數(shù)據(jù)等。每周全國汽車數(shù)據(jù)包含國內不

16、同種類汽車詳細配置信息、汽車使用評論數(shù)據(jù)、汽車銷售數(shù)據(jù)以及二手車數(shù)據(jù)等。可用于汽車行業(yè)市場行情分析。每月法律咨詢數(shù)據(jù)包含國內所有法律咨詢服務機構數(shù)據(jù)、機構評論數(shù)據(jù)、有關法律咨詢話題的數(shù)據(jù)。可用于法律咨詢行業(yè)市場行情分析，社會治安情況分析。每周疾病問答數(shù)據(jù)包含國內不同種類疾病問題數(shù)據(jù)、醫(yī)生回復數(shù)據(jù)、有關疾病常識等話題的數(shù)據(jù)。每月股票基金交易數(shù)據(jù)包含國內、港股、美股等國內外股票行情及交易數(shù)據(jù)、按照時間段提供詳細數(shù)據(jù)；也包含證券投資基金、保險基金、信托投資基金等行情數(shù)據(jù)。每日天氣、氣象數(shù)據(jù)包含全國各個地區(qū)氣象數(shù)據(jù)（氣溫、降水量、風、氣壓等）、氣象觀測產品數(shù)據(jù)。可用于氣象業(yè)務、天氣預報、氣候預測以及氣象服務。每日人臉圖像數(shù)據(jù)包含國內多種年齡段的人臉圖像數(shù)據(jù)。用于臉部特征分析、人臉識別、人臉檢測等，每個人提供多個角度的圖片。每月電商評價數(shù)據(jù)包含上百萬條國內知名電商平臺產品評價數(shù)據(jù)。可用于用戶購買產品意愿分析、個性化推薦和精準營銷，進行商業(yè)輿情監(jiān)控和