大數(shù)據(jù)平臺(tái)運(yùn)維實(shí)訓(xùn)室

大數(shù)據(jù)平臺(tái)運(yùn)維實(shí)訓(xùn)室建設(shè)方案目錄TOC\o"1-3"\h\u15626大數(shù)據(jù)平臺(tái)運(yùn)維實(shí)訓(xùn)室建設(shè)方案 33666一、概況 3692二、大數(shù)據(jù)教學(xué)與實(shí)踐管理系統(tǒng) 369951、統(tǒng)一管理 394282、管理員首頁(yè)功能 3123213、教師首頁(yè)功能要求 3289204、學(xué)生首頁(yè)功能 4142515、課程管理功能 4295966、考試管理功能 4196107、教學(xué)統(tǒng)計(jì)功能 493128、實(shí)驗(yàn)預(yù)約功能 464679、資源中心功能 4631410、實(shí)驗(yàn)過程管理功能 51848211、實(shí)驗(yàn)輔助功能 5629312、教學(xué)輔助功能 5458613、系統(tǒng)管理功能 5412814、實(shí)驗(yàn)室管理功能 5661015、大數(shù)據(jù)資源包 62635216、大數(shù)據(jù)教學(xué)系統(tǒng)節(jié)點(diǎn)授權(quán) 6701817、數(shù)據(jù)集 623343三、《大數(shù)據(jù)平臺(tái)安裝與部署》課程資源包 612855（一）、課程資源 68263（二）、主要課程內(nèi)容 66669（三）、其他資源 718570四、《大數(shù)據(jù)平臺(tái)部署與管理》課程資源包 729337（一）、課程資源 730983（二）、主要課程內(nèi)容 710335（三）、其他資源 78475五、《大數(shù)據(jù)平臺(tái)規(guī)劃與設(shè)計(jì)》課程資源包 830346（一）、課程資源 831619（二）、主要課程內(nèi)容 820534（三）、其他資源要求 83318六、《航空數(shù)據(jù)分析》實(shí)訓(xùn)案例包 813602（一）、課程資源 813452（二）、主要課程內(nèi)容 821744（三）、其他資源 817547七、《籃球投籃數(shù)據(jù)分析》實(shí)訓(xùn)案例包 915705（一）、課程資源 93650（二）、主要課程內(nèi)容 929436（三）、其他資源 925119八、《大數(shù)據(jù)綜合項(xiàng)目實(shí)戰(zhàn)》實(shí)訓(xùn)案例包 94532（一）、課程資源 919753（二）、主要實(shí)驗(yàn) 914492（三）、其他項(xiàng)目 1026493九、大數(shù)據(jù)競(jìng)賽實(shí)訓(xùn)管理系統(tǒng) 1026404（一）、平臺(tái)設(shè)計(jì)方案 1025472（二）、訓(xùn)練內(nèi)容配置 1023528（三）、內(nèi)置內(nèi)容 1019432（四）、基礎(chǔ)功能 1119243十、《應(yīng)用系統(tǒng)負(fù)載及磁盤容量預(yù)測(cè)分析》實(shí)訓(xùn)案例包 113790（一）、課程資源 1112823（二）、主要課程內(nèi)容 119813（三）、其他資源 1130016十一、《大數(shù)據(jù)項(xiàng)目》實(shí)訓(xùn)案例包 1129629（一）、課程資源 1111258（二）、主要課程內(nèi)容 1218391（三）、實(shí)訓(xùn)綜合案例 1218293（四）、大數(shù)據(jù)綜合項(xiàng)目實(shí)戰(zhàn)平臺(tái)（教師版）： 1211307（五）、大數(shù)據(jù)人工智能在線學(xué)習(xí)平臺(tái)技術(shù)要求 13316891.輸入模塊功能 13231312.輸出模塊功能 13169833.路由模塊功能 13316154.基礎(chǔ)運(yùn)算模塊功能 13184665.邏輯運(yùn)算模塊功能 13224216.判斷模塊功能 14286937.字符串工具模塊功能 1474818.模擬器件模塊功能 1441759.圖像識(shí)別模塊功能 142770610.圖像處理模塊功能 14278911.內(nèi)容識(shí)別模塊功能 152503812.人臉識(shí)別模塊功能 15967213.語(yǔ)音識(shí)別模塊功能 15702414.語(yǔ)言識(shí)別模塊功能 152525215.語(yǔ)言處理模塊功能 153506十二、超融合管理平臺(tái) 1624312（一）、配置: 1613955（二）、管理平臺(tái)軟件: 1617852十三、超融合計(jì)算平臺(tái) 1611958十四、機(jī)柜 1726436十五、三層交換機(jī) 1731961十六、其余硬件設(shè)施 1729003十七、大數(shù)據(jù)平臺(tái)運(yùn)維實(shí)訓(xùn)室效果圖 18大數(shù)據(jù)平臺(tái)運(yùn)維實(shí)訓(xùn)室建設(shè)方案一、概況本實(shí)訓(xùn)室的主要目的是培養(yǎng)大數(shù)據(jù)平臺(tái)運(yùn)維項(xiàng)目的實(shí)踐能力,以數(shù)據(jù)計(jì)算、分析、挖掘和可視化的案例訓(xùn)練為輔助。同時(shí),實(shí)訓(xùn)室也承擔(dān)相關(guān)考評(píng)員與講師培訓(xùn)考試、學(xué)生認(rèn)證培訓(xùn)考試、社會(huì)人員認(rèn)證培訓(xùn)考試、大數(shù)據(jù)技能大賽訓(xùn)練、大數(shù)據(jù)專業(yè)課程改革等多項(xiàng)任務(wù)。實(shí)訓(xùn)室旨在培養(yǎng)德智體全面發(fā)展、遵紀(jì)守法、掌握大數(shù)據(jù)平臺(tái)運(yùn)維基本技能、具備大數(shù)據(jù)應(yīng)用、分析和系統(tǒng)管理與運(yùn)維能力的高素質(zhì)大數(shù)據(jù)技術(shù)人才。大數(shù)據(jù)教學(xué)與實(shí)踐管理系統(tǒng)1、統(tǒng)一管理1.為保證專業(yè)教學(xué)的穩(wěn)定性和對(duì)實(shí)驗(yàn)數(shù)據(jù)安全性的要求,管理節(jié)點(diǎn)服務(wù)器、計(jì)算節(jié)點(diǎn)服務(wù)器和教學(xué)軟件需統(tǒng)一管理。2、管理員首頁(yè)功能1.提供教學(xué)資源利用統(tǒng)計(jì),支持圖形化展示CPU、存儲(chǔ)、二級(jí)存儲(chǔ)、內(nèi)存等資源的使用情況;提供從上課、個(gè)人、實(shí)驗(yàn)室等維度查看虛擬機(jī)使用情況;提供從課時(shí)總數(shù)和虛擬機(jī)使用次數(shù)統(tǒng)計(jì)分析整體上課情況。2.支持一鍵分配教學(xué)場(chǎng)景和個(gè)人預(yù)約場(chǎng)景的資源比例;并可設(shè)置CPU、內(nèi)存、存儲(chǔ)的預(yù)警閾值。3.可記錄所有模板虛擬機(jī)操作日志及時(shí)間。3、教師首頁(yè)功能要求1.提供排課管理,查看課程表、發(fā)起排課,支持一鍵創(chuàng)建和釋放實(shí)驗(yàn)資源。2.提供今日課程、課程進(jìn)度、授課記錄、實(shí)驗(yàn)批閱等教學(xué)事務(wù)入口。3.提供個(gè)人中心,包括個(gè)人信息、密碼管理和遠(yuǎn)程協(xié)助信息。4、學(xué)生首頁(yè)功能1.提供課表、課程內(nèi)容、消息提醒、成績(jī)和練習(xí)查詢、筆記問答等功能入口。2.提供學(xué)習(xí)進(jìn)度查看,支持從成績(jī)和練習(xí)時(shí)長(zhǎng)分析課程進(jìn)度。3.提供個(gè)人中心,包括個(gè)人信息、密碼管理和遠(yuǎn)程協(xié)助信息。5、課程管理功能1.提供課程分類管理,自定義課程信息、適用對(duì)象、培養(yǎng)目標(biāo)等。2.提供專業(yè)課程實(shí)驗(yàn)管理,支持不同難度實(shí)驗(yàn)的教學(xué)內(nèi)容管理。3.提供實(shí)驗(yàn)報(bào)告管理,支持批閱和重做等功能。4.支持自定義設(shè)計(jì)實(shí)驗(yàn)內(nèi)容和方案。6、考試管理功能1.支持題庫(kù)管理,支持導(dǎo)入題目、一鍵上傳。2.提供考試功能,支持手動(dòng)和自動(dòng)組卷、發(fā)布考試、自動(dòng)評(píng)分等。7、教學(xué)統(tǒng)計(jì)功能1.提供按用途分類的課時(shí)和人次統(tǒng)計(jì)。8、實(shí)驗(yàn)預(yù)約功能1.提供個(gè)人實(shí)驗(yàn)預(yù)約功能,支持按模板預(yù)約實(shí)驗(yàn)資源。2.提供預(yù)約審核功能。9、資源中心功能1.提供資源中心,支持無(wú)密登錄和批量資料下發(fā)。2.支持自定義上傳和管理資源中心資料。10、實(shí)驗(yàn)過程管理功能1.支持自定義課程實(shí)驗(yàn)?zāi)０濉?.支持多操作系統(tǒng)和模式的虛擬機(jī)實(shí)驗(yàn)。3.支持資料上傳、過程截圖等功能。4.支持統(tǒng)計(jì)實(shí)驗(yàn)時(shí)長(zhǎng),提示異常操作。5.支持補(bǔ)做實(shí)驗(yàn)和實(shí)驗(yàn)報(bào)告管理。11、實(shí)驗(yàn)輔助功能1.支持記錄實(shí)驗(yàn)筆記和分享功能。2.提供問答和常見問題功能,支持問題收集和發(fā)布答案。3.提供遠(yuǎn)程協(xié)助功能。12、教學(xué)輔助功能1.提供自動(dòng)考勤功能。2.提供就業(yè)分析功能。3.提供知識(shí)路徑管理功能。13、系統(tǒng)管理功能1.提供教學(xué)時(shí)間管理等基礎(chǔ)數(shù)據(jù)功能。2.提供賬號(hào)、權(quán)限等用戶管理功能。3.支持課程和人員分配管理。14、實(shí)驗(yàn)室管理功能1.提供實(shí)驗(yàn)室管理和使用查詢功能。2.提供實(shí)驗(yàn)室開放日歷管理,支持直觀設(shè)置開放情況。3.產(chǎn)品通過云計(jì)算服務(wù)能力評(píng)估認(rèn)證。15、大數(shù)據(jù)資源包1.提供完整的大數(shù)據(jù)視頻課程,包含MySQL、Shell、Hadoop等技術(shù)課程。16、大數(shù)據(jù)教學(xué)系統(tǒng)節(jié)點(diǎn)授權(quán)1.系統(tǒng)完全自主知識(shí)產(chǎn)權(quán)。2.采用B/S架構(gòu),支持主流瀏覽器。3.并發(fā)訪問不少于49個(gè)。17、數(shù)據(jù)集可以實(shí)現(xiàn)就業(yè)分析數(shù)據(jù)(專業(yè)對(duì)口崗位的需求數(shù)量和薪資水平直接影響畢業(yè)生的就業(yè)情況和質(zhì)量。提供數(shù)據(jù)展示近兩年各專業(yè)對(duì)口崗位的需求、薪資和區(qū)域分布變化情況)?！洞髷?shù)據(jù)平臺(tái)安裝與部署》課程資源包（一）、課程資源1.提供18套教學(xué)PPT。2.提供1份教學(xué)大綱和教學(xué)進(jìn)度表。3.課程內(nèi)容64學(xué)時(shí),滿足實(shí)訓(xùn)教學(xué)需要。4.主要包含Linux系統(tǒng)、虛擬化、Hadoop安裝部署、大數(shù)據(jù)平臺(tái)實(shí)施監(jiān)控等內(nèi)容。5.滿足相關(guān)認(rèn)證考試需求。（二）、主要課程內(nèi)容1.Linux系統(tǒng)安裝和使用2.Hadoop平臺(tái)安裝3.基礎(chǔ)環(huán)境配置4.Hadoop文件參數(shù)配置5.Hadoop集群運(yùn)行6.Hbase、Hive、Zookeeper、Sqoop、Flume組件的安裝配置7.平臺(tái)監(jiān)控命令、界面、報(bào)表、日志8.大數(shù)據(jù)平臺(tái)及組件安裝部署9.大數(shù)據(jù)平臺(tái)運(yùn)行與應(yīng)用（三）、其他資源1.提供大數(shù)據(jù)云計(jì)算課程資源包,包含15課時(shí)的OpenStack云系統(tǒng)視頻課程,2課時(shí)的部署OpenStack系統(tǒng)視頻課程,12課時(shí)的OpenStack教程視頻課程?！洞髷?shù)據(jù)平臺(tái)部署與管理》課程資源包（一）、課程資源1.提供19套教學(xué)PPT。2.提供1份教學(xué)大綱和教學(xué)進(jìn)度表。3.課程內(nèi)容96學(xué)時(shí),滿足實(shí)訓(xùn)教學(xué)需求。4.主要包含大數(shù)據(jù)平臺(tái)高可用部署、組件維護(hù)、平臺(tái)優(yōu)化、診斷處理等內(nèi)容。（二）、主要課程內(nèi)容1.基礎(chǔ)環(huán)境配置2.HadoopHA集群配置和啟動(dòng)3.Hbase、Hive、Zookeeper、ETL、Spark組件維護(hù)4.平臺(tái)系統(tǒng)優(yōu)化5.HDFS、MapReduce、Spark配置優(yōu)化6.集群節(jié)點(diǎn)和組件故障診斷與處理7.大數(shù)據(jù)平臺(tái)項(xiàng)目綜合案例實(shí)訓(xùn)（三）、其他資源1.提供大數(shù)據(jù)云計(jì)算課程資源包,包含OpenStack、Docker等云技術(shù)課程。2.提供Java、Linux、MySQL訓(xùn)練資源包。3.提供實(shí)驗(yàn)指導(dǎo)手冊(cè)、鏡像模板。4.提供Java、Linux、MySQL課程PPT13套。5.提供Java、Linux、MySQL課程大綱和進(jìn)度表1份。6.提供Java、Linux、MySQL課程考試題庫(kù)1套。7.提供Java、Linux、MySQL課程操作錄屏27個(gè)。8.提供大數(shù)據(jù)Java基礎(chǔ)教學(xué)資源包,包含大量Java課件、語(yǔ)法講解視頻等。五、《大數(shù)據(jù)平臺(tái)規(guī)劃與設(shè)計(jì)》課程資源包（一）、課程資源1.提供6套教學(xué)PPT。2.提供1份教學(xué)大綱和教學(xué)進(jìn)度表。3.課程內(nèi)容32學(xué)時(shí),滿足實(shí)訓(xùn)教學(xué)需求。4.主要包含大數(shù)據(jù)平臺(tái)優(yōu)化和升級(jí)內(nèi)容。5.滿足大數(shù)據(jù)相關(guān)認(rèn)證考試需求。（二）、主要課程內(nèi)容1.Hadoop應(yīng)用程序優(yōu)化2.Hadoop組件性能優(yōu)化3.大數(shù)據(jù)平臺(tái)版本和組件升級(jí)4.大數(shù)據(jù)平臺(tái)項(xiàng)目綜合案例（三）、其他資源要求提供大數(shù)據(jù)云計(jì)算課程資源包,包含Docker、虛擬化技術(shù)、云計(jì)算等視頻課程,總計(jì)25課時(shí)。六、《航空數(shù)據(jù)分析》實(shí)訓(xùn)案例包（一）、課程資源1.提供1套案例教學(xué)課件。2.提供電子版實(shí)驗(yàn)指導(dǎo)手冊(cè),包括題目和詳細(xì)操作步驟。3.提供配套實(shí)驗(yàn)視頻和鏡像模板。（二）、主要課程內(nèi)容1.利用numpy、pandas、sklearn對(duì)航空公司客戶數(shù)據(jù)進(jìn)行分析處理。2.涵蓋數(shù)據(jù)讀取、處理、展示、建模等全流程。3.適合作為大數(shù)據(jù)課后綜合實(shí)踐訓(xùn)練。（三）、其他資源1.提供Hadoop大數(shù)據(jù)離線計(jì)算資源包,包含75個(gè)詳細(xì)講解視頻。2.提供電信電話大數(shù)據(jù)項(xiàng)目資源包,包含59個(gè)實(shí)戰(zhàn)講解視頻。七、《籃球投籃數(shù)據(jù)分析》實(shí)訓(xùn)案例包（一）、課程資源1.提供1套案例教學(xué)PPT講義。2.提供電子版實(shí)驗(yàn)指導(dǎo)手冊(cè),包含題目和詳細(xì)操作步驟。3.提供配套實(shí)驗(yàn)視頻和鏡像模板。（二）、主要課程內(nèi)容1.在Windows環(huán)境下,利用numpy、pandas、sklearn對(duì)籃球運(yùn)動(dòng)員數(shù)據(jù)進(jìn)行處理和分析。2.涉及數(shù)據(jù)讀取、處理、異常值處理、建模、編程和結(jié)果展示等。3.可作為大數(shù)據(jù)課后綜合實(shí)踐,運(yùn)用所學(xué)知識(shí)實(shí)現(xiàn)數(shù)據(jù)全流程操作。（三）、其他資源1.提供團(tuán)購(gòu)網(wǎng)站標(biāo)簽生成項(xiàng)目資源包,包含4個(gè)視頻講解。2.提供用戶畫像項(xiàng)目資源包,包含6個(gè)視頻講解。八、《大數(shù)據(jù)綜合項(xiàng)目實(shí)戰(zhàn)》實(shí)訓(xùn)案例包（一）、課程資源1.提供18個(gè)PPT。2.提供1份教學(xué)大綱和進(jìn)度表。3.提供A、B卷考試題目及答案各1套,每套包含選擇題20道、簡(jiǎn)答題5道、應(yīng)用題3道,重復(fù)率低于20%。4.提供18個(gè)課程錄屏視頻。5.課程學(xué)時(shí)96學(xué)時(shí),滿足實(shí)訓(xùn)需求。6.將真實(shí)大數(shù)據(jù)項(xiàng)目改編為可實(shí)施的教學(xué)課程,流程完整。適合大數(shù)據(jù)分析專業(yè)高年級(jí)項(xiàng)目課。（二）、主要實(shí)驗(yàn)1.項(xiàng)目需求分析、方案制訂2.環(huán)境安裝和配置3.數(shù)據(jù)采集和存儲(chǔ)4.數(shù)據(jù)清洗和轉(zhuǎn)換5.數(shù)據(jù)分析建模6.數(shù)據(jù)可視化展示7.系統(tǒng)運(yùn)維8.測(cè)試和總結(jié)（三）、其他項(xiàng)目1.提供友盟網(wǎng)大數(shù)據(jù)項(xiàng)目資源包含82個(gè)視頻。2.提供電商大數(shù)據(jù)項(xiàng)目資源包含51個(gè)視頻。九、大數(shù)據(jù)競(jìng)賽實(shí)訓(xùn)管理系統(tǒng)（一）、平臺(tái)設(shè)計(jì)方案1.基于自研Docker容器編排管理引擎,使用云原生和容器技術(shù)構(gòu)建訓(xùn)練環(huán)境,支持快速創(chuàng)建環(huán)境,實(shí)現(xiàn)環(huán)境隔離。方便教師組織訓(xùn)練,降低難度和成本。平臺(tái)運(yùn)行在Linux系統(tǒng)下,使用瀏覽器/服務(wù)器模式。2.支持管理員、教師、學(xué)生三種角色,分別負(fù)責(zé)系統(tǒng)配置、訓(xùn)練任務(wù)、參與訓(xùn)練。3.管理員可管理專業(yè)、班級(jí)、用戶、鏡像、環(huán)境、服務(wù)器、資源、日志、系統(tǒng)等。4.教師可管理訓(xùn)練模塊、小組、訓(xùn)練任務(wù),查看監(jiān)控、報(bào)告,個(gè)人實(shí)驗(yàn)環(huán)境等。5.學(xué)生可進(jìn)入環(huán)境訓(xùn)練,提交報(bào)告,查看自己訓(xùn)練記錄等。6.平臺(tái)技術(shù)可滿足相關(guān)競(jìng)賽訓(xùn)練和比賽需求。（二）、訓(xùn)練內(nèi)容配置1.平臺(tái)內(nèi)置兩套行業(yè)真實(shí)脫敏數(shù)據(jù),包含工業(yè)和電商場(chǎng)景。2.提供離線和實(shí)時(shí)數(shù)據(jù),涵蓋設(shè)備、用戶、訂單等信息。3.配套集群環(huán)境鏡像,用于大數(shù)據(jù)項(xiàng)目技能訓(xùn)練。4.技能覆蓋Docker、Linux、大數(shù)據(jù)組件等方面。（三）、內(nèi)置內(nèi)容1.包含安裝包的鏡像。2.組件預(yù)安裝鏡像。3.數(shù)據(jù)接口服務(wù)鏡像。4.50萬(wàn)條以上離線樣本數(shù)據(jù)。5.實(shí)時(shí)數(shù)據(jù)生成腳本。6.預(yù)置訓(xùn)練模塊和環(huán)境。7.配套服務(wù)器,處理器、內(nèi)存、硬盤符合要求。（四）、基礎(chǔ)功能1.查看Linux版本信息。2.創(chuàng)建Windows和Linux云主機(jī)。3.學(xué)生環(huán)境網(wǎng)絡(luò)結(jié)構(gòu)獨(dú)立隔離。4.支持在線Markdown編輯。5.支持掛起恢復(fù)任務(wù)。6.無(wú)需客戶端,僅瀏覽器訪問。十、《應(yīng)用系統(tǒng)負(fù)載及磁盤容量預(yù)測(cè)分析》實(shí)訓(xùn)案例包（一）、課程資源1.提供1套案例教學(xué)PPT講義。2.提供電子版實(shí)驗(yàn)指導(dǎo)手冊(cè),包含題目和詳細(xì)操作步驟。3.提供配套實(shí)驗(yàn)視頻和鏡像模板。（二）、主要課程內(nèi)容1.案例需實(shí)現(xiàn)數(shù)據(jù)讀取、探索、處理、建模、可視化等流程。2.使用Python開源工具numpy、pandas進(jìn)行數(shù)據(jù)處理,使用sklearn進(jìn)行模型調(diào)用,使用matplotlib進(jìn)行可視化。（三）、其他資源1.提供招聘網(wǎng)站數(shù)據(jù)分析項(xiàng)目包,包含數(shù)據(jù)爬取、清洗、可視化等內(nèi)容。2.提供電影推薦系統(tǒng)項(xiàng)目包,包含9個(gè)視頻。3.提供機(jī)器學(xué)習(xí)基礎(chǔ)與算法課件,包含11個(gè)視頻和3個(gè)PPT。4.提供微博大數(shù)據(jù)項(xiàng)目包,包含10個(gè)視頻。十一、《大數(shù)據(jù)項(xiàng)目》實(shí)訓(xùn)案例包（一）、課程資源1.要求配套案例教學(xué)PPT3個(gè)。2.要求提供配套課程實(shí)驗(yàn)操作錄屏3個(gè)。3.要求模塊教學(xué)內(nèi)容滿足實(shí)訓(xùn)教學(xué)課時(shí)數(shù)量24學(xué)時(shí)。（二）、主要課程內(nèi)容課程含5大綜合案例，均涉及數(shù)據(jù)的預(yù)處理、數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)查看、算法編寫、算法應(yīng)用和大數(shù)據(jù)結(jié)果展現(xiàn)等全流程所涉及的各種典型操作，涵蓋Linux、MySQL、Hadoop、Spark、SparkMlib、Idea等系統(tǒng)和軟件的安裝和使用方法。每個(gè)案例可以作為大數(shù)據(jù)入門級(jí)課程結(jié)束后的“大作業(yè)”。（三）、實(shí)訓(xùn)綜合案例案例1-1：分布式日志流處理-spark程序入門案例1-2：分布式日志流處理-redis數(shù)據(jù)庫(kù)訪問與數(shù)據(jù)可視化案例2-1：用戶行為分析-HDFS操作&spark實(shí)現(xiàn)案例2-2：用戶行為分析-web程序&數(shù)據(jù)可視化案例3-1：技術(shù)論壇日志分析-MapReduce程序?qū)崿F(xiàn)案例3-2：技術(shù)論壇日志分析-HBase程序?qū)崿F(xiàn)案例3-3：技術(shù)論壇日志分析-數(shù)據(jù)可視化案例4-1：基于SparkMLlib的電影推薦-數(shù)據(jù)預(yù)處理案例4-2：基于SparkMLlib的電影推薦-Spark程序案例4-3：基于SparkMLlib的電影推薦-協(xié)同過濾算法案例4-4：基于SparkMLlib的電影推薦-數(shù)據(jù)可視化案例5-1：互聯(lián)網(wǎng)廣告預(yù)測(cè)和分析案例-數(shù)據(jù)預(yù)處理案例5-2：互聯(lián)網(wǎng)廣告預(yù)測(cè)和分析案例-數(shù)據(jù)分析案例5-3：互聯(lián)網(wǎng)廣告預(yù)測(cè)和分析案例-數(shù)據(jù)可視化（四）、大數(shù)據(jù)綜合項(xiàng)目實(shí)戰(zhàn)平臺(tái)（教師版）：1.平臺(tái)配套綠色版客戶端APP應(yīng)用實(shí)訓(xùn)系統(tǒng)程序，硬盤配置500G固態(tài)硬盤，提供完整的虛擬化底層實(shí)訓(xùn)環(huán)境，提供課程實(shí)訓(xùn)入口，提供課程分類欄目，提供課程查找功能。2.實(shí)訓(xùn)系統(tǒng)內(nèi)集成實(shí)驗(yàn)指導(dǎo)書和Python實(shí)驗(yàn)環(huán)境，可同屏顯示。左邊可查看實(shí)驗(yàn)指導(dǎo)書，右邊編寫代碼。3.支持實(shí)訓(xùn)環(huán)境界面自適應(yīng)功能，支持將實(shí)訓(xùn)環(huán)境的文件導(dǎo)出至本地，支持將本地文件導(dǎo)入至實(shí)訓(xùn)環(huán)境進(jìn)行使用，支持從云端課堂導(dǎo)入新課程至本地實(shí)訓(xùn)環(huán)境。4.實(shí)訓(xùn)系統(tǒng)預(yù)裝Jupyter、Pycharm、Spyder等IDE工具及MySqL數(shù)據(jù)庫(kù)。要求實(shí)訓(xùn)系統(tǒng)Python的IDE環(huán)境預(yù)裝常用numPy、matplotlib、pandas、scikit-learn、opencv、TensorFlow等180個(gè)庫(kù)。5.提供配套教材兩本。6.提供云端課堂，支持觀看配套課程的教學(xué)視頻，下載數(shù)據(jù)、代碼等。7.提供7門基礎(chǔ)課程：《Python編程基礎(chǔ)》、《大數(shù)據(jù)數(shù)學(xué)基礎(chǔ)-Python實(shí)現(xiàn)》、《Python數(shù)據(jù)分析與應(yīng)用》、《大數(shù)據(jù)數(shù)據(jù)分析SQL基礎(chǔ)》、《大數(shù)據(jù)軟件環(huán)境Linux基礎(chǔ)》、《大數(shù)據(jù)開發(fā)編程語(yǔ)言Java基礎(chǔ)》、《Scala技術(shù)基礎(chǔ)》。8.提供12門進(jìn)階課程：《Python網(wǎng)絡(luò)爬蟲》、《機(jī)器學(xué)習(xí)算法Python實(shí)戰(zhàn)》、《TensorFlow實(shí)戰(zhàn)》、《文本挖掘?qū)崙?zhàn)》、《Hadoop大數(shù)據(jù)技術(shù)基礎(chǔ)》、《Spark大數(shù)據(jù)技術(shù)基礎(chǔ)》、《大數(shù)據(jù)分布式消息Zookeeper》、《大數(shù)據(jù)數(shù)據(jù)傳輸Flume》、《大數(shù)據(jù)數(shù)據(jù)傳輸Sqoop》、《大數(shù)據(jù)數(shù)據(jù)流處理Kafka》、《大數(shù)據(jù)HBase數(shù)據(jù)庫(kù)》、《大數(shù)據(jù)Hive數(shù)據(jù)倉(cāng)庫(kù)》。9.提供10個(gè)實(shí)戰(zhàn)案例：《中文文本word2vec實(shí)現(xiàn)》、《基于水色圖像的水質(zhì)識(shí)別》、《基于文本內(nèi)容的垃圾短信識(shí)別》、《航空公司客戶價(jià)值分析》、《市財(cái)政收入分析及預(yù)測(cè)》、《電力竊漏電用戶識(shí)別》、《城市公交站點(diǎn)設(shè)置的優(yōu)化分析》、《電商產(chǎn)品評(píng)論數(shù)據(jù)情感分析》、《Python爬蟲實(shí)踐:流浪地球-豆瓣影評(píng)分析》、《廣電大數(shù)據(jù)營(yíng)銷推薦項(xiàng)目實(shí)戰(zhàn)》。（五）、大數(shù)據(jù)人工智能在線學(xué)習(xí)平臺(tái)技術(shù)要求1.輸入模塊功能攝像頭輸入：從攝像頭獲取圖像，輸出一張圖片麥克風(fēng)輸入：從麥克風(fēng)獲取聲音，輸出一段音頻文本輸入框：輸入一段內(nèi)容作為輸出，可以手動(dòng)點(diǎn)擊按鈕觸發(fā)，也可以通過任意信號(hào)進(jìn)行輸入觸發(fā)數(shù)字輸入框：輸入一個(gè)數(shù)字作為輸出，可以手動(dòng)點(diǎn)擊按鈕觸發(fā)，也可以通過任意信號(hào)進(jìn)行輸入觸發(fā)自定義上傳：上傳一個(gè)圖片/文件/音頻作為輸入2.輸出模塊功能控制臺(tái)輸出：接收任意數(shù)據(jù)，在運(yùn)行日志窗口進(jìn)行輸出文字輸出：接收文字類數(shù)據(jù)進(jìn)行輸出圖片輸出：接收?qǐng)D片數(shù)據(jù)進(jìn)行輸出彈窗輸出：接收任意數(shù)據(jù)，以彈窗方式進(jìn)行輸出語(yǔ)音播報(bào)：接收文字類數(shù)據(jù)進(jìn)行人聲語(yǔ)音播報(bào)3.路由模塊功能隨機(jī)路由：數(shù)據(jù)將隨機(jī)由一端點(diǎn)進(jìn)行輸出一分二：數(shù)據(jù)流一轉(zhuǎn)二，拷貝兩份一分三：數(shù)據(jù)流一轉(zhuǎn)三，拷貝三份一分四：數(shù)據(jù)流一轉(zhuǎn)四，拷貝四份二合一：數(shù)據(jù)流二合一，合并路徑，不合并數(shù)據(jù)三合一：數(shù)據(jù)流三合一，合并路徑，不合并數(shù)據(jù)四合一：數(shù)據(jù)流四合一，合并路徑，不合并數(shù)據(jù)4.基礎(chǔ)運(yùn)算模塊功能加法運(yùn)算：輸入兩個(gè)數(shù)字量，進(jìn)行加法運(yùn)算減法運(yùn)算：輸入兩個(gè)數(shù)字量，進(jìn)行減法運(yùn)算除法運(yùn)算：輸入兩個(gè)數(shù)字量，進(jìn)行除法運(yùn)算乘法運(yùn)算：輸入兩個(gè)數(shù)字量，進(jìn)行乘法運(yùn)算累加運(yùn)算：輸入一個(gè)數(shù)字量，進(jìn)行累加計(jì)算，并輸出累加結(jié)果5.邏輯運(yùn)算模塊功能與運(yùn)算：與的邏輯運(yùn)算，輸入兩個(gè)開關(guān)量，當(dāng)都為真時(shí)，輸出真，否則為假或運(yùn)算：或的邏輯運(yùn)算，輸入兩個(gè)開關(guān)量，當(dāng)其中存在真時(shí)，輸出真，否則為假非運(yùn)算：與的邏輯運(yùn)算，輸入一個(gè)開關(guān)量，當(dāng)輸入真時(shí)輸出假，輸入假時(shí)輸出真邏輯分支判斷：根據(jù)輸入的開關(guān)量真假，選擇不同的分支推送數(shù)據(jù)流輸出真：接收任意數(shù)據(jù)，輸出邏輯真信號(hào)（可用于信號(hào)轉(zhuǎn)換）輸出假：接收任意數(shù)據(jù)，輸出邏輯假信號(hào)（可用于信號(hào)轉(zhuǎn)換）6.判斷模塊功能識(shí)別結(jié)果判斷：輸入一個(gè)識(shí)別結(jié)果，根據(jù)輸入識(shí)別結(jié)果是否符合進(jìn)行分支選擇，輸出原始數(shù)據(jù)數(shù)字大小判斷：輸入一個(gè)數(shù)字，根據(jù)數(shù)據(jù)中數(shù)字大小與輸入值進(jìn)行比較后選擇分支，輸出原始數(shù)據(jù)文字包含判斷：輸入一段文字內(nèi)容，根據(jù)數(shù)據(jù)中文字是否包含輸入文字進(jìn)行分支選擇，輸出原始數(shù)據(jù)文字相等判斷：輸入一段文字內(nèi)容，根據(jù)輸入文字進(jìn)行比對(duì)進(jìn)行分支選擇，輸出原始數(shù)據(jù)置信度判斷：輸入一個(gè)0~100范圍內(nèi)的數(shù)字作為閾值，根據(jù)輸入識(shí)別置信度大小于進(jìn)行分支選擇，輸出原始數(shù)據(jù)7.字符串工具模塊功能結(jié)果拆分：接收一個(gè)識(shí)別結(jié)果，分別輸出文字和置信率數(shù)字。開頭連接文字：輸入一段文字用作開頭，連接其他數(shù)據(jù)合并輸出新的一段文字。結(jié)尾連接文字：輸入一段文字用作結(jié)尾，連接其他數(shù)據(jù)合并輸出新的一段文字。首尾插入文字：在一段文字的開頭及結(jié)尾進(jìn)行內(nèi)容插入，合并輸出新的一段文字。文字連接：輸入兩個(gè)文字?jǐn)?shù)據(jù)，將其進(jìn)行連接合并后輸出8.模擬器件模塊功能電燈：輸入一個(gè)開關(guān)量，控制模擬電燈的開關(guān)，輸入真時(shí)開啟，輸入假關(guān)閉風(fēng)扇：輸入一個(gè)開關(guān)量，控制模擬風(fēng)扇的開關(guān)，輸入真時(shí)開啟，輸入假關(guān)閉道閘：輸入一個(gè)開關(guān)量，控制模擬道閘的開關(guān)，輸入真時(shí)開啟，輸入假關(guān)閉電子秤：輸入一個(gè)數(shù)字量，模擬電子秤器件進(jìn)行重量數(shù)字輸出智能貨架：模擬一個(gè)盛裝指定物品的貨架，僅接收完全匹配的文字?jǐn)?shù)據(jù)，并進(jìn)行貨物計(jì)數(shù)，對(duì)外輸出當(dāng)前貨物數(shù)量。9.圖像識(shí)別模塊功能圖片通用識(shí)別：接收?qǐng)D片，輸出圖片的主體信息圖片主體識(shí)別：接收?qǐng)D片，輸出圖片的主體位置信息商標(biāo)圖片識(shí)別：接收?qǐng)D片，輸出圖片的商標(biāo)（LOGO）信息、圖片中商標(biāo)所在矩形框坐標(biāo)動(dòng)物圖片識(shí)別：接收?qǐng)D片，輸出圖片中的動(dòng)物信息植物圖片識(shí)別：接收?qǐng)D片，輸出圖片中的植物信息果蔬圖片識(shí)別：接收?qǐng)D片，輸出圖片中的果蔬信息菜品圖片識(shí)別：接收?qǐng)D片，輸出圖片中的菜品信息單車輛檢測(cè)：接收?qǐng)D片，輸出圖片的單個(gè)車輛信息、圖片中車輛所在矩形框坐標(biāo)多車輛檢測(cè)：接收?qǐng)D片，輸出圖片的多個(gè)車輛信息、圖片中車輛所在矩形框坐標(biāo)10.圖像處理模塊功能圖片裁剪：接收?qǐng)D片、坐標(biāo)信息，對(duì)圖片數(shù)據(jù)進(jìn)行裁剪，并輸出圖片圖片標(biāo)注：接收?qǐng)D片、坐標(biāo)信息，對(duì)圖片數(shù)據(jù)進(jìn)行畫框標(biāo)注，并輸出圖片圖片去霧：對(duì)濃霧天氣下拍攝，導(dǎo)致細(xì)節(jié)無(wú)法辨認(rèn)的圖像進(jìn)行去霧處理，還原更清晰真實(shí)的圖像。輸入一張圖片，輸出一張圖片。對(duì)比度增強(qiáng)：調(diào)整過暗或者過亮圖像的對(duì)比度，使圖像更加鮮明。輸入一張圖片，輸出一張圖片。圖像無(wú)損放大：在盡量保持圖像質(zhì)量的條件下，將圖像在長(zhǎng)寬方向各放大兩倍，輸入一張圖片，輸出一張圖片。拉伸圖像恢復(fù)：自動(dòng)識(shí)別過度拉伸的圖像，將圖像內(nèi)容恢復(fù)成正常比例。輸入一張圖片，輸出一張圖片。清晰度增強(qiáng)：對(duì)壓縮后的模糊圖像實(shí)現(xiàn)智能快速去噪，優(yōu)化圖像紋理細(xì)節(jié)，使畫面更加自然清晰。輸入一張圖片，輸出一張圖片。人物動(dòng)漫化：結(jié)合人臉檢測(cè)、頭發(fā)分割、人像分割等技術(shù)，量身定制千人千面的二次元?jiǎng)勇蜗?。輸入一張圖片，輸出一張圖片。人物動(dòng)漫化-口罩：結(jié)合人臉檢測(cè)、頭發(fā)分割、人像分割等技術(shù)，量身定制千人千面的二次元?jiǎng)勇蜗?。（人物將佩戴口罩）輸入一張圖片，輸出一張圖片。11.內(nèi)容識(shí)別模塊功能文字識(shí)別：接收?qǐng)D片，輸出圖片中的文字信息，以及圖片中文字信息所在矩形框坐標(biāo)車牌識(shí)別：接收?qǐng)D片，輸出圖片的車輛的車牌文字信息條形碼識(shí)別：接收?qǐng)D片，輸出圖片中的條形碼信息二維碼識(shí)別：接收?qǐng)D片，輸出圖片中的二維碼信息數(shù)字識(shí)別：接收?qǐng)D片，輸出圖片中的一個(gè)數(shù)字信息12.人臉識(shí)別模塊功能人臉檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的人臉信息，輸出一個(gè)人臉I(yè)D和所在坐標(biāo)。人臉比對(duì)：接收?qǐng)D片，輸入兩張人像照片，對(duì)比后根據(jù)相似程度高低輸出一個(gè)0~100的數(shù)字。人臉活體檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉活體信息，輸出0~100的活體分?jǐn)?shù)值，數(shù)字越大越可能是活體人臉。人臉顏值檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉顏值信息，輸出0~100分的顏值數(shù)值，數(shù)字越大越漂亮。人臉年齡檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉年齡信息，輸出年齡數(shù)值。人臉笑容檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉笑容信息，輸出笑容類型，結(jié)果分不笑、微笑、大笑。人臉性別檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉性別信息，輸出男性/女性。人臉類型檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉類型信息，判斷是真實(shí)人臉還是卡通人臉，輸出類型。人臉合成檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉信息是否屬合成圖，輸出0~100的分?jǐn)?shù)值，數(shù)字越大越可能是合成圖而非真實(shí)照片。人臉眼鏡檢測(cè)：接收?qǐng)D片，檢測(cè)圖片中的一個(gè)人臉眼鏡信息，輸