大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)培養(yǎng)方案3689

大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)培養(yǎng)方案一、專業(yè)名稱及代碼專業(yè)名稱：大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)代碼：610201二、教育類型及學(xué)歷層次教育類型：高等職業(yè)教育學(xué)歷層次：大專三、招生對象及學(xué)制招生對象：普通高中畢業(yè)生或同等學(xué)歷者學(xué)制：三年四、就業(yè)范圍及主要崗位就業(yè)范圍：在各類企事業(yè)單位、政府機(jī)關(guān)以及IT行業(yè)從事大數(shù)據(jù)系統(tǒng)搭建、測試、管理、運(yùn)維和大數(shù)據(jù)分析等相關(guān)工作。主要崗位：1、大數(shù)據(jù)架構(gòu)工程師2、大數(shù)據(jù)開發(fā)工程師3、大數(shù)據(jù)分析工程師4、售前工程師5、銷售支持工程師6、運(yùn)維工程師7、售后技術(shù)工程師五、培養(yǎng)目標(biāo)及規(guī)格（一）人才培養(yǎng)目標(biāo)本專業(yè)以服務(wù)呂梁、山西省及周邊省市經(jīng)濟(jì)社會發(fā)展為宗旨，面向大數(shù)據(jù)行業(yè)，培養(yǎng)德智體美全面發(fā)展和身心健康，踐行社會主義核心價值觀，具備良好職業(yè)道德和誠信品質(zhì)，掌握計算機(jī)技術(shù)、Java開發(fā)、Mysql數(shù)據(jù)庫、Linux操作系統(tǒng)、數(shù)量統(tǒng)計等基礎(chǔ)知識、會部署和使用Hadoop及Spark身體系統(tǒng)的常用組件，會使用網(wǎng)絡(luò)信息采集和頁面數(shù)據(jù)抓取工具，會使用SPSS等數(shù)據(jù)分析軟件，具備對大數(shù)據(jù)下信息采集、預(yù)處理、儲存、處理、分析、可視化等技術(shù)。本專業(yè)畢業(yè)生能勝任政府、企事業(yè)單位、社會組織等部門的大數(shù)據(jù)系統(tǒng)測試、管理運(yùn)維、大數(shù)據(jù)分析、數(shù)據(jù)可視化等技術(shù)工作。（二人才培養(yǎng)規(guī)格1、工作崗位描述（見表1）2、能力結(jié)構(gòu)與要求（見表2）3、職業(yè)能力證書（見表3）表1大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)面向的工作崗位崗位類型工作崗位類型工作任務(wù)職業(yè)技能要求1、大數(shù)據(jù)核心產(chǎn)品設(shè)計規(guī)劃，包1、具有嚴(yán)密的數(shù)學(xué)思維、突出的分析歸括系統(tǒng)架構(gòu)、技術(shù)選型、關(guān)鍵技術(shù)納能力和數(shù)據(jù)分析能力；研發(fā)；2、精通Linux操作系統(tǒng)，至少熟練使用2、大數(shù)據(jù)新計算框架的選型，技Python、Scala、C++等語言中的一種編術(shù)難題攻關(guān)，系統(tǒng)重構(gòu)優(yōu)化，根據(jù)程；業(yè)務(wù)規(guī)劃及技術(shù)制定設(shè)計方案3、熟悉Hadoop、Hbase、Spark工作3、大數(shù)據(jù)監(jiān)控、運(yùn)維系統(tǒng)等的構(gòu)原理，熟悉分布式計算實施過程中的問大數(shù)據(jù)平大數(shù)據(jù)架構(gòu)架設(shè)計，詳細(xì)設(shè)計，核心功能代碼題；臺規(guī)則工程師編寫，如Hadoop、Maperduce、4、精通常見的數(shù)據(jù)存儲相關(guān)技術(shù)，包括Stirm等數(shù)據(jù)存儲架構(gòu)平臺、計算Hdfs、HBase、Hive、MySQL、Redis、Mongodb等；框架、數(shù)據(jù)展示系統(tǒng)設(shè)計與搭建5、負(fù)責(zé)大數(shù)據(jù)平臺的性能參數(shù)調(diào)整和優(yōu)化；6、根據(jù)業(yè)務(wù)需求，編制各類分析圖表、撰寫項目分析文檔和報告。1、基于MySQL、Redis、Kafka、1、熟悉Linux的Shell命令，靈活運(yùn)Hadoop、Hive搭建開發(fā)用Shell做文本處理和系統(tǒng)操作；大數(shù)據(jù)分析平臺的后臺服務(wù)，支持2、熟悉分布式計算各種范式，分布式算數(shù)據(jù)接入、統(tǒng)計、分析法實現(xiàn)，有較好的分布式架構(gòu)設(shè)計能力；業(yè)務(wù)；部大數(shù)據(jù)平臺3、能夠使用SQL操作復(fù)雜的數(shù)據(jù)模型并大數(shù)據(jù)有SQL優(yōu)化的經(jīng)驗；Spark/Storm的實時署開發(fā)工程師2、構(gòu)建基于數(shù)據(jù)處理平臺，支撐上層業(yè)務(wù)使4、熟練掌握Golang、Scala語言，至用，如：數(shù)據(jù)監(jiān)控、日報展現(xiàn)、統(tǒng)少精通Python、Perl、Bashshell計分析、業(yè)務(wù)方調(diào)用等；腳本語言中的一種，并具有海量數(shù)據(jù)ETL3、構(gòu)建基于Hive的即席查詢數(shù)加工處理經(jīng)驗，從事分布式數(shù)據(jù)存儲與計據(jù)統(tǒng)計分析平臺；算平臺應(yīng)用開發(fā)；4、負(fù)責(zé)數(shù)據(jù)平臺的設(shè)計、開發(fā)、5、熟練搭建Hadoop集群環(huán)境，熟悉維護(hù)與優(yōu)化。Hdfs文件系統(tǒng)，熟練編寫MapReduce程序；6、熟悉Hadoop、Hbase、Hive的原理，并能夠管理、配置、運(yùn)維。1、參與項目技術(shù)平臺安裝部署、1、具有較強(qiáng)的數(shù)據(jù)倉庫模型設(shè)計和ETL日常運(yùn)行維護(hù)與故障處理、大數(shù)據(jù)設(shè)計能力；組件補(bǔ)丁升級管理；2、熟悉Hadoop平臺的運(yùn)維、調(diào)優(yōu)，保2、平臺的自動化部署、運(yùn)維、監(jiān)障線上集群的穩(wěn)定可靠；控、告警處理，收集Hadoop3、熟練編寫Linux下的Shell腳本，大數(shù)據(jù)運(yùn)維工程師的各項metrics指標(biāo)，確保集群能開發(fā)相關(guān)安全管理工具；的正常運(yùn)行；4、能夠利用開源軟件搭建云服務(wù)，并進(jìn)3、針對Hadoop生態(tài)系統(tǒng)的批量行相關(guān)測試。部署場景進(jìn)行運(yùn)維調(diào)優(yōu)；4、負(fù)責(zé)任務(wù)調(diào)度平臺配置及運(yùn)維管理。1、實現(xiàn)數(shù)據(jù)挖掘算法，并結(jié)合核1、基于Hadoop、Spark的大數(shù)據(jù)分析心算法做程序開發(fā)；和處理；2、使用數(shù)據(jù)挖掘、統(tǒng)計分析工具，2、熟悉Python、Scala、Java中的一提供數(shù)據(jù)決策門以上開發(fā)語言，熟悉MySQL、Oralce數(shù)據(jù)庫，對主流分布式存儲和運(yùn)算有一定的了解；大數(shù)據(jù)分析工程師3、熟練使用SPSS、SAS或其它數(shù)據(jù)挖掘軟件，具備數(shù)據(jù)建模和數(shù)據(jù)分析理論知識，熟悉常用數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理算法。大數(shù)據(jù)分析處理1、負(fù)責(zé)大數(shù)據(jù)系統(tǒng)設(shè)計和開發(fā)工1、有較強(qiáng)編程能力，熟悉C/C++和作，如個性化推薦系統(tǒng)、Python，設(shè)計搭建大數(shù)據(jù)平臺；大數(shù)據(jù)可視精準(zhǔn)營銷、用戶畫像等數(shù)據(jù)產(chǎn)品的2、較強(qiáng)邏輯思維能力及軟件、算法實現(xiàn)化工程師設(shè)計和開發(fā)工作；能力，進(jìn)行抽取、清洗、加工等數(shù)據(jù)處理；2、配合需求人員，完成功能模塊，3、能夠設(shè)計基于云架構(gòu)的數(shù)據(jù)倉庫模型，支撐日常業(yè)務(wù)數(shù)據(jù)需求，負(fù)責(zé)系統(tǒng)基于大數(shù)據(jù)平臺進(jìn)行研發(fā)、運(yùn)維、管理等；優(yōu)化、問題跟進(jìn)并及時解決。4、熟悉數(shù)據(jù)庫、應(yīng)用服務(wù)器和相關(guān)開發(fā)語言。良好的數(shù)據(jù)庫設(shè)計能力和SQL編寫能力。表2大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)人才能力結(jié)構(gòu)與要求職業(yè)能力項目職業(yè)能力要求專業(yè)課程計算機(jī)基礎(chǔ)Windows操作系統(tǒng)、office辦公軟件應(yīng)用能力《計算機(jī)應(yīng)用基礎(chǔ)》操作能力計算機(jī)基本軟件應(yīng)用能力。理解網(wǎng)絡(luò)的原理及基本組成；掌握如何構(gòu)建計算機(jī)網(wǎng)絡(luò)簡單的網(wǎng)絡(luò)；《計算機(jī)網(wǎng)絡(luò)基礎(chǔ)》組建能力學(xué)會分析網(wǎng)絡(luò)地址；了解現(xiàn)實生活中使用的網(wǎng)絡(luò)設(shè)備。通識能力基礎(chǔ)程序掌握C語言的基本語法?！禖語言程序設(shè)計》《大數(shù)據(jù)基礎(chǔ)》語言設(shè)計能力了解大數(shù)據(jù)技術(shù)的理論知識、應(yīng)用前景和最新發(fā)展動態(tài)；大數(shù)據(jù)基礎(chǔ)能力了解業(yè)內(nèi)常用的大數(shù)據(jù)處理工具。掌握J(rèn)ava程序設(shè)計的基本語法、Java面向《Java程序設(shè)計》對《Java程序設(shè)計實訓(xùn)》面向?qū)ο缶幊棠芰ο缶幊趟枷?；運(yùn)用Java平臺開發(fā)Web應(yīng)用程《JavaWeb程序設(shè)計》序；熟悉JSP，Servlet，JavaBean，JDBC等《Javaweb應(yīng)用開發(fā)技術(shù)。實訓(xùn)》數(shù)據(jù)庫《MySQL數(shù)據(jù)庫原理及應(yīng)用》使用MySQL創(chuàng)建、查詢和管理數(shù)據(jù)庫大數(shù)據(jù)平臺綜合部署，包括業(yè)務(wù)需求分析、崗位能力管理能力《Linux操作系統(tǒng)》集群環(huán)境設(shè)置、框架選擇、服務(wù)器環(huán)境部署《云計算架構(gòu)技術(shù)與實大數(shù)據(jù)系統(tǒng)等能力、性能測試、Hadoop與其他系統(tǒng)的集踐》開發(fā)能力成等；《Hadoop與大數(shù)據(jù)挖掘》Spark的部署，進(jìn)行計算業(yè)務(wù)模塊的開發(fā)；大數(shù)據(jù)系統(tǒng)性能提升，包括數(shù)據(jù)讀寫優(yōu)化、《Spark大數(shù)據(jù)處理技并發(fā)處理優(yōu)化、數(shù)據(jù)存儲優(yōu)化、數(shù)據(jù)查詢優(yōu)術(shù)》化等，以及大數(shù)據(jù)系統(tǒng)安全維護(hù)。《大數(shù)據(jù)系統(tǒng)開發(fā)實訓(xùn)》掌握數(shù)據(jù)采集、清洗、處理的原理和技能；《Python網(wǎng)絡(luò)爬蟲實戰(zhàn)》大數(shù)據(jù)分析處理能力熟練使用數(shù)據(jù)統(tǒng)計分析軟件，進(jìn)行數(shù)據(jù)分析利用可視化工具建立數(shù)據(jù)可視化方案?！陡怕收撆c數(shù)理統(tǒng)計》《數(shù)據(jù)可視化技術(shù)》表3大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)職業(yè)能力證書考核安排序號1證書名稱備注選試選試選試全國計算機(jī)等級考試相關(guān)職業(yè)能力證書英語應(yīng)用能力考試23六、課程設(shè)置、時間分配、教學(xué)進(jìn)程及實踐性教學(xué)（見表4、表5、表6）本專業(yè)總課時為2840節(jié)，其中理論課時926節(jié)，占總課時的32.6%，實踐課時1914節(jié)，占總學(xué)時的67.4%。表4大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)教學(xué)計劃進(jìn)程表開課學(xué)期與課時總課時序課程類號別課程名稱學(xué)分第一學(xué)年第二學(xué)年第三學(xué)年合計理論實踐一二三四五六12思想道德修養(yǎng)與法律基礎(chǔ)34486432481616√√毛澤東思想和中國特色社會主義理論體系概論345高的數(shù)學(xué)大學(xué)英語體育3882211113466012412632388060√√√√√√√√√94301261616√√√√公共必6修課大學(xué)語文及應(yīng)用文寫作1622807大學(xué)生職業(yè)規(guī)劃與就業(yè)指導(dǎo)形勢與政策（講座形式）大學(xué)生心理健康教育安全教育√√8√√√√√√√√√√√√916161662090161011161638490健康教育236公共必修課小計計算機(jī)應(yīng)用基礎(chǔ)30√√√√√121314151617大數(shù)據(jù)基礎(chǔ)446446036366432322424323232計算機(jī)網(wǎng)絡(luò)基礎(chǔ)60專業(yè)基礎(chǔ)課C語言程序設(shè)計966464概率論與數(shù)理統(tǒng)計Linux操作系統(tǒng)√28634260174專業(yè)基礎(chǔ)課小計MySQL數(shù)據(jù)庫原理及應(yīng)用4643034√√√181920云計算架構(gòu)技術(shù)與實踐Java程序設(shè)計4646474392649664966411264624523038283828303458365836823637452專業(yè)核心課2122232425Python網(wǎng)絡(luò)爬蟲實踐JavaWeb程序設(shè)計Spark大數(shù)據(jù)處理技術(shù)Hadoop與大數(shù)據(jù)挖掘數(shù)據(jù)可視化技術(shù)√√√√√28250專業(yè)核心課小計2627282930大數(shù)據(jù)系統(tǒng)開發(fā)實例大數(shù)據(jù)分析挖掘?qū)嵱?xùn)大數(shù)據(jù)綜合項目實訓(xùn)Java程序設(shè)計實訓(xùn)11217226265226182522626522618252√專業(yè)技能實訓(xùn)√√JavaWeb應(yīng)用開發(fā)實例專業(yè)技能實例小計√31IT認(rèn)證IT認(rèn)證√25252軍事教育社會實踐頂崗實習(xí)畢業(yè)設(shè)計37878√32333435210752520182832325252018283216√√綜合實踐√√222綜合實踐小計拓展課一16√36素質(zhì)拓37展課程拓展課二226323296161632√38拓展課三素質(zhì)拓展課程小計合計√326413828409261914150578484538608182表5大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)全學(xué)程時間安排學(xué)年軍事教育教學(xué)頂崗實習(xí)復(fù)習(xí)考試社會實踐學(xué)期周數(shù)合計123456315181818182087222222020202020一二11三20總計32010假期進(jìn)行120表6大數(shù)據(jù)主要實訓(xùn)課程教學(xué)環(huán)節(jié)一覽表序號實訓(xùn)課程名稱主要內(nèi)容及要求本課程詳細(xì)講解了大數(shù)據(jù)生態(tài)體系的各個模塊的功能和開發(fā)技術(shù)。包括大數(shù)據(jù)系統(tǒng)開發(fā)Hadoop體系中的HDFS，Hbase進(jìn)行數(shù)據(jù)操作，MapReduce進(jìn)行數(shù)據(jù)開技術(shù)實訓(xùn)（上）發(fā)，YARN進(jìn)行資源配置，Hive完成數(shù)據(jù)倉庫，Pig進(jìn)行數(shù)據(jù)分析，理解其基本原理，并通過實驗掌握其操作和編程開發(fā)。12大數(shù)據(jù)系統(tǒng)開發(fā)本課程詳細(xì)講解了大數(shù)據(jù)生態(tài)體系的各個模塊的功能和開發(fā)技術(shù)。包括技術(shù)實訓(xùn)（下）Oozie完成工作流設(shè)計，Zookeeper完成分布式進(jìn)程協(xié)調(diào)，Sqoop完成數(shù)據(jù)傳輸，F(xiàn)lume完成日志收集等模塊，最后介紹Spark生態(tài)體系，及其Scala基礎(chǔ)和SparkSQL開發(fā)。理解其基本原理，并通過實驗掌握其操作和編程開發(fā)。課程包括網(wǎng)絡(luò)爬蟲基本理論知識的介紹，深入剖析網(wǎng)絡(luò)爬蟲進(jìn)行數(shù)據(jù)采集的過程和策略，如何抓取不同類型的數(shù)據(jù)和文檔內(nèi)容，以及爬取過程大數(shù)據(jù)采集實訓(xùn)3中的優(yōu)化。通過一種常見工具完成對指定任務(wù)的爬取，并存儲本地系統(tǒng)中。課程通過介紹數(shù)據(jù)ETL過程、數(shù)據(jù)匯總過程、關(guān)鍵績效指標(biāo)分析、報表與即席查詢、OLAP分析、數(shù)據(jù)挖掘等方法，使學(xué)員學(xué)到數(shù)據(jù)處理的數(shù)據(jù)倉庫實訓(xùn)4思路與能力方法；通過介紹數(shù)據(jù)質(zhì)量及元數(shù)據(jù)管理，使學(xué)員了解數(shù)據(jù)應(yīng)用的本質(zhì)，并將其有效運(yùn)用于數(shù)據(jù)集市及數(shù)據(jù)倉庫解決方案中。掌握分析推斷的統(tǒng)計技術(shù)，熟練使用數(shù)據(jù)軟件（Python）來分析數(shù)據(jù)，利用Excel制作分析圖表，具備良好的數(shù)據(jù)呈現(xiàn)技能。對數(shù)據(jù)分析報告的撰寫有一定程度的掌握，便于在工作中實際操作。數(shù)據(jù)統(tǒng)計及分析5本課程從數(shù)據(jù)可視化的發(fā)展，理解數(shù)據(jù)和可視化的作用入手，介紹可視化工具和設(shè)計的方法。具體結(jié)合Tableau和D3.js的工具，讓學(xué)生掌握可視化的組件，以及各種組合成為的可視化圖表。并結(jié)合不同類型的數(shù)據(jù)和場景，介紹各中設(shè)計方法和最佳實踐，學(xué)生如何產(chǎn)生的合適的可視化內(nèi)容。最后結(jié)合案例，理解可視化在各個領(lǐng)域的實際應(yīng)用。數(shù)據(jù)可視化6課程全面講解代表性大數(shù)據(jù)平臺的產(chǎn)品，包括大數(shù)據(jù)計算服務(wù)企業(yè)大數(shù)據(jù)技術(shù)MaxCompute，分析型數(shù)據(jù)庫AnalyticDB，表格存儲TableStore和大數(shù)據(jù)7實訓(xùn)開發(fā)平臺DataIDE，以及典型的大數(shù)據(jù)應(yīng)用產(chǎn)品。包括每個產(chǎn)品的使用場景，技術(shù)特點，以及實際操作實驗。提供電商大數(shù)據(jù)、通信大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、交通大數(shù)據(jù)、電力大數(shù)據(jù)、政務(wù)大數(shù)據(jù)、金融大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)等八個完整的項目案例。還會不斷更新引入新的實訓(xùn)案例。大數(shù)據(jù)綜合項目實訓(xùn)8七、課程主要內(nèi)容簡表課程課程名稱課程性質(zhì)主要內(nèi)容1/1、掌握計算機(jī)網(wǎng)絡(luò)概念，網(wǎng)絡(luò)四層結(jié)構(gòu)與協(xié)議、設(shè)備與操作系統(tǒng)計算機(jī)網(wǎng)絡(luò)技術(shù)C語言程序設(shè)計關(guān)系型數(shù)據(jù)庫概論數(shù)據(jù)結(jié)構(gòu)必修必修必修必修2/2、掌握局域網(wǎng)組網(wǎng)方法，互聯(lián)網(wǎng)法律法規(guī)應(yīng)用1、1、掌握C語言的和基本操作2、2、掌握C語言程序設(shè)計的基本方法和基本技能1、掌握關(guān)系型數(shù)據(jù)庫概論的和基本操作2、掌握關(guān)系型數(shù)據(jù)庫概論的基本方法和基本技能1、掌握常用的基本數(shù)據(jù)結(jié)構(gòu)2、了解數(shù)據(jù)結(jié)構(gòu)的邏輯思想和實現(xiàn)方法3、掌握程序設(shè)計方法、程序設(shè)計風(fēng)格1、掌握運(yùn)用Linux安裝、環(huán)境的配置2、掌握Linux系統(tǒng)管理，Linux網(wǎng)絡(luò)管理/1、掌握Web網(wǎng)站的基本知識Linux操作系統(tǒng)應(yīng)用必修必修必修網(wǎng)頁設(shè)計（HTML/CSS）22、掌握HTML/CSS的相關(guān)知識，并運(yùn)用1、1、掌握SQLServer2005的基本操作2/2、運(yùn)用SQL語言進(jìn)行程序設(shè)計1、掌握本課程主要