基于Hadoop的大數(shù)據(jù)分析”課程規(guī)劃與設(shè)計(jì)

1、“基于Hadoop的大數(shù)據(jù)分析”課程規(guī)劃與設(shè)計(jì)摘要：大數(shù)據(jù)時(shí)代社會(huì)各行業(yè)對(duì)大數(shù)據(jù)方向人才的需 求凸顯，為順應(yīng)產(chǎn)業(yè)發(fā)展需要，我校改革課程設(shè)置，建設(shè)以 開源分布式框架Hadoop為技術(shù)基礎(chǔ)的大數(shù)據(jù)分析課程。文 章從目標(biāo)內(nèi)容設(shè)置、師資團(tuán)隊(duì)建設(shè)、實(shí)踐中心配備、授課方 式特色，以及考核制度革新多個(gè)方面展開對(duì)課程規(guī)劃與設(shè)計(jì) 的詳細(xì)論述，藉此為國(guó)家和社會(huì)培養(yǎng)具有工程意識(shí)和創(chuàng)新思 維的高素質(zhì)精英人才，也為其他高校同類課程的開設(shè)提供一 定的借鑒和參考。關(guān)鍵詞：Hadoop；大數(shù)據(jù)；課程規(guī)劃；人才培養(yǎng)；授 課方式中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044 (2015) 07-0190-03A

2、bstract： In the era of big data, the dema nd for tale nts from all walks of life is increasing. In order to adapt to the need of industrial development, we are carrying out the curriculum reform by constructing a big data analysis course based on Hadoop. Several aspects of the course on the design a

3、nd planning are discussed in detail. They are the target andcon tent setti ngs, the construction of teachi ng team, the equipme nt of prac 廿 ce cen ter, the teachi ng methods specialties and the appraisal system inn ovations. Our work helps to cultivate talents with the awareness of engineering and

4、inno vative thin king, and also does good for other colleges offering similar courses.Key words： hadoop； big data； course planning； tale nt cultivati on； teachi ng method1引言當(dāng)前計(jì)算機(jī)技術(shù)全面融入人們的社會(huì)生活，移動(dòng)互聯(lián)、 社交網(wǎng)絡(luò)、電子商務(wù)等極大拓寬了互聯(lián)網(wǎng)的邊界和應(yīng)用領(lǐng) 域。大數(shù)據(jù)浪潮正洶涌來(lái)襲，并滲透到社會(huì)的方方面面。越 來(lái)越多的企業(yè)期望使用大數(shù)據(jù)和云計(jì)算的技術(shù)來(lái)對(duì)海量數(shù) 據(jù)進(jìn)行整合分析，以解決生產(chǎn)經(jīng)營(yíng)業(yè)務(wù)中的難題1-

5、3o而與 此大的發(fā)展趨勢(shì)不相協(xié)調(diào)的則是高校計(jì)算機(jī)專業(yè)畢業(yè)生在 大數(shù)據(jù)方向上基礎(chǔ)薄弱，真正掌握大數(shù)據(jù)管理、分析和產(chǎn)品 研發(fā)等相關(guān)技術(shù)的人才極度匱乏。高等院校需要以實(shí)際行動(dòng) 回應(yīng)社會(huì)對(duì)計(jì)算機(jī)專業(yè)人才培養(yǎng)的需求，以更為有力的方式 來(lái)承擔(dān)大學(xué)應(yīng)有的責(zé)任，培養(yǎng)出高水平人才以適應(yīng)產(chǎn)業(yè)發(fā)展 需要4-6o這也是我校建設(shè)大數(shù)據(jù)分析課程的初衷。經(jīng)過最近短短幾年的發(fā)展,Hadoop已經(jīng)成為架構(gòu)云計(jì)算 平臺(tái)進(jìn)行大數(shù)據(jù)存儲(chǔ)和計(jì)算分析的首選。Hadoop以HDFS和 MapReduce為核心，為開發(fā)者提供了系統(tǒng)底層細(xì)節(jié)透明的分 布式基礎(chǔ)架構(gòu)，從而輕松地組織計(jì)算資源，利用集群的能力 完成海量數(shù)據(jù)的處理，目前其已發(fā)展成為包含

6、很多開源框架 項(xiàng)目的生態(tài)系統(tǒng)78。因此該課程即以Hadoop為基礎(chǔ)來(lái)展 開對(duì)大數(shù)據(jù)分析的原理、技術(shù)和方法的講授。2明確目標(biāo)，落實(shí)人才培養(yǎng)2.1培養(yǎng)對(duì)彖大數(shù)據(jù)分析涉及到眾多學(xué)科內(nèi)容，如計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù) 庫(kù)原理、數(shù)據(jù)結(jié)構(gòu)、分布式系統(tǒng)、LINUX操作系統(tǒng)、云計(jì)算、 數(shù)據(jù)挖掘、算法設(shè)計(jì)與分析等基礎(chǔ)性課程等，本課程可作為 計(jì)算機(jī)學(xué)科研究生的專業(yè)課和本科高年級(jí)學(xué)生的專業(yè)選修 課。因?yàn)樘幱谠撾A段的學(xué)生有了足夠的知識(shí)儲(chǔ)備，并且對(duì)學(xué) 科方向有了清晰的認(rèn)識(shí)，對(duì)未來(lái)的就業(yè)前景也不再迷茫，有 更多學(xué)習(xí)上的主動(dòng)性和進(jìn)取心。此外，鼓勵(lì)學(xué)生拓展知識(shí)領(lǐng) 域，自覺閱讀國(guó)內(nèi)外文獻(xiàn)資料和網(wǎng)絡(luò)資源，為該門課程的學(xué) 習(xí)打下堅(jiān)實(shí)的基礎(chǔ)。

7、2.2培養(yǎng)目標(biāo)很多行業(yè)領(lǐng)域都為大數(shù)據(jù)方向的專業(yè)技術(shù)人才提供了施展才華的舞臺(tái)，如電子商務(wù)、金融證券、科研院所、互聯(lián) 網(wǎng)企業(yè)、大公司的數(shù)據(jù)中心，以及政府機(jī)關(guān)部門等。當(dāng)前大 數(shù)據(jù)方向的崗位需求大致分為三類，分別是：系統(tǒng)研發(fā)工程 師，負(fù)責(zé)海量數(shù)據(jù)業(yè)務(wù)模型構(gòu)建、分布式云存儲(chǔ)、NoSQL數(shù) 據(jù)庫(kù)架構(gòu)以及數(shù)據(jù)平臺(tái)優(yōu)化升級(jí)等；應(yīng)用開發(fā)工程師，負(fù)責(zé) 利用海量非結(jié)構(gòu)化數(shù)據(jù)研發(fā)基于大數(shù)據(jù)技術(shù)的應(yīng)用程序及 行業(yè)解決方案，為單位創(chuàng)造良好的經(jīng)濟(jì)效益或社會(huì)效益；大 數(shù)據(jù)分析師，負(fù)責(zé)從紛繁復(fù)雜的海量數(shù)據(jù)中找到數(shù)據(jù)間的潛 在關(guān)系，挖掘大數(shù)據(jù)蘊(yùn)藏的巨大利益并指導(dǎo)產(chǎn)品研發(fā)。課程即從系統(tǒng)框架搭建、應(yīng)用研發(fā)及數(shù)據(jù)分析三個(gè)主要 層面培養(yǎng)

8、具有扎實(shí)理論基礎(chǔ)和實(shí)戰(zhàn)經(jīng)驗(yàn)的高素質(zhì)、實(shí)用型大 數(shù)據(jù)人才。在授課過程中，注重學(xué)生工程意識(shí)和實(shí)踐創(chuàng)新能 力養(yǎng)成，指導(dǎo)學(xué)生密切結(jié)合自身對(duì)未來(lái)職業(yè)的發(fā)展規(guī)劃，在 通識(shí)整體的前提下選擇某一特定領(lǐng)域進(jìn)行深入鉆研。對(duì)于有 意繼續(xù)深造的學(xué)生，則引導(dǎo)其深入學(xué)科領(lǐng)域前沿，掌握最新 的原理方法，并大膽提岀自己的設(shè)想，小心地科研探索求證。2.3教學(xué)內(nèi)容課程內(nèi)容把基礎(chǔ)理論與工程實(shí)踐相結(jié)合，詳細(xì)講述大數(shù) 據(jù)分析的原理和關(guān)鍵技術(shù)，系統(tǒng)闡釋大數(shù)據(jù)平臺(tái)搭建、優(yōu)化 和數(shù)據(jù)分析方法，并深入探究當(dāng)今世界大數(shù)據(jù)分析的成功案例及典型應(yīng)用。在授課時(shí)不局限于Hadoop框架本身，而是 擴(kuò)展到其整個(gè)生態(tài)系統(tǒng)，如圖1所示，引導(dǎo)學(xué)生充分利用這 些

9、開源框架提供的便利，并在技術(shù)精深后為開源社區(qū)貢獻(xiàn)岀 自己的才智。本課程內(nèi)容分為三個(gè)部分，第一部分介紹Hadoop的發(fā)展史和技術(shù)特點(diǎn)，從而把握分布式計(jì)算框 架現(xiàn)狀及未來(lái)發(fā)展方向，為企業(yè)的技術(shù)選型和架構(gòu)設(shè)計(jì)提供 決策支持；第二部分全面掌握Hadoop的宏觀架構(gòu)和應(yīng)用場(chǎng) 景，并通過貫穿課程的服務(wù)器日志分析項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉， 從而熟練使用Hadoop進(jìn)行MapReduce程療;幵發(fā)，課程還涵 蓋分布式計(jì)算領(lǐng)域的常用算法，幫助學(xué)生拓寬視野，在利用 大數(shù)據(jù)方面取得積極進(jìn)展；第三部分將深入理解Hadoop技 術(shù)架構(gòu)的原理細(xì)節(jié)，對(duì)Hadoop運(yùn)作機(jī)制和管理優(yōu)化有清晰 全面的把握，可以獨(dú)立規(guī)劃和部署生產(chǎn)環(huán)境的H

10、adoop集群, 掌握Hadoop基本運(yùn)維思路和方法，對(duì)Hadoop集群進(jìn)行管理 和優(yōu)化。3多舉措并舉，打造課程精品3.1校企合作，建設(shè)優(yōu)秀的師資團(tuán)隊(duì)大數(shù)據(jù)分析是一門理論性和實(shí)踐性都很強(qiáng)的課程，對(duì)其 原理性和前沿性的理解高校中從事該學(xué)科教學(xué)和研究的教 師理解更為深刻，但對(duì)該產(chǎn)業(yè)應(yīng)用領(lǐng)域的理解沒人比在大企 業(yè)一線從事該方向的工程師更有發(fā)言權(quán)。因此，要充分結(jié)合 雙方的特長(zhǎng)，終結(jié)“一師”時(shí)代，開創(chuàng)師資團(tuán)隊(duì)組合授課模式，每位教師只在自己最擅長(zhǎng)的專業(yè)領(lǐng)域授課。通過校企合作，聘任企業(yè)中有大數(shù)據(jù)分析實(shí)踐工作經(jīng)驗(yàn) 的工程技術(shù)人員擔(dān)任實(shí)踐性內(nèi)容的主講教師。他們能把實(shí)際 工作中的項(xiàng)目案例和經(jīng)驗(yàn)技巧等引入到課堂教學(xué)

11、中，這些教 師充分理解企業(yè)需求，從而能增強(qiáng)教學(xué)的針對(duì)性和有效性， 激發(fā)學(xué)生的興趣，培養(yǎng)目標(biāo)感和方向性，切實(shí)提高教學(xué)和就 業(yè)質(zhì)量。在從企業(yè)聘任教師的同時(shí)，優(yōu)化高校內(nèi)部教師隊(duì)伍結(jié) 構(gòu)，選拔出有潛力的中青年教師，到合作企業(yè)中進(jìn)行培養(yǎng)鍛 煉，提高中青年教師的實(shí)踐水平，培養(yǎng)“雙師型”教師，為 應(yīng)用型本科院校的發(fā)展積蓄儲(chǔ)備力量。此外，還應(yīng)充分發(fā)揮 老教師的模范帶頭作用，用他們嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度來(lái)帶動(dòng)中青 年教師，形成良好的教風(fēng)和學(xué)風(fēng)。總之，通過一系列的措施和手段，打造一支理論上過硬, 實(shí)踐上夠強(qiáng)的師資隊(duì)伍。3.2完善設(shè)施，推進(jìn)實(shí)踐中心建設(shè)大數(shù)據(jù)的教學(xué)實(shí)踐需要一個(gè)良好的專業(yè)壞境。在硬件 上，進(jìn)行大數(shù)據(jù)集分析需要

12、使用分布式計(jì)算框架來(lái)向數(shù)十、 數(shù)百甚至數(shù)千的計(jì)算機(jī)集群分派工作，由此對(duì)服務(wù)器平臺(tái)有 很高的要求。但在課程構(gòu)建的初期，完全可以進(jìn)行小規(guī)模的 集群測(cè)試運(yùn)行，比如以每510臺(tái)計(jì)算機(jī)搭建一個(gè)集群，并建 立有保障的實(shí)驗(yàn)室高速傳輸網(wǎng)絡(luò)。軟件上，大數(shù)據(jù)實(shí)踐平臺(tái) 需要搭建開發(fā)和處理大規(guī)模數(shù)據(jù)的Hadoop系統(tǒng)平臺(tái)，實(shí)現(xiàn) 海量數(shù)據(jù)的計(jì)算與處理，進(jìn)而為大數(shù)據(jù)的挖掘、存儲(chǔ)和分析 提供支撐；學(xué)生可通過設(shè)計(jì)新的算法、開發(fā)新的應(yīng)用，為決 策服務(wù)提供更好的支持。在海量數(shù)據(jù)源的選擇上，大數(shù)據(jù)實(shí) 踐平臺(tái)可以部署多個(gè)企業(yè)級(jí)的數(shù)據(jù)源，其中包括社交網(wǎng)絡(luò)數(shù) 據(jù)、服務(wù)器日志記錄、氣象歷史數(shù)據(jù)等，學(xué)生可在平臺(tái)上展 開數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)

13、據(jù)統(tǒng)計(jì)等應(yīng)用，不斷提升運(yùn)用、 解釋及挖掘數(shù)據(jù)的能力。3.3變換形式，突出授課方式特色第一，基礎(chǔ)理論與項(xiàng)目實(shí)踐并重。大數(shù)據(jù)分析的基礎(chǔ)理 論具有指導(dǎo)和優(yōu)化項(xiàng)目實(shí)踐的功能，可以為實(shí)踐提供信息資 料、方法策略和目標(biāo)方向，如果不能深刻領(lǐng)會(huì)理論教學(xué)的內(nèi) 容，那項(xiàng)目實(shí)踐的意義就會(huì)大打折扣。項(xiàng)目實(shí)踐應(yīng)該與理論 緊密結(jié)合，讓學(xué)生從實(shí)踐中總結(jié)理論經(jīng)驗(yàn)，又可以從實(shí)踐中 獲得對(duì)理論理解的升華，從而真正掌握知識(shí)。第二，轉(zhuǎn)換傳統(tǒng)講授模式為研究性互動(dòng)式教學(xué)。在講解 一個(gè)全新的框架時(shí)，把學(xué)生預(yù)設(shè)為框架設(shè)計(jì)師的角色，教師 充當(dāng)課程的設(shè)計(jì)者、引導(dǎo)者和推進(jìn)者，由教師引導(dǎo)學(xué)生進(jìn)行 框架功能設(shè)計(jì)和架構(gòu)設(shè)計(jì)，集中精力進(jìn)行核心功能處理，之

14、 后完善設(shè)計(jì)應(yīng)對(duì)各種異常情形。在學(xué)生自主設(shè)計(jì)的框架版本 構(gòu)想完成（不需要具體實(shí)現(xiàn)）之后，與將要學(xué)習(xí)的框架作對(duì) 比，捕捉學(xué)生創(chuàng)意的閃光點(diǎn)，分析存在的不足，以此種方式 吸引學(xué)生的注意力，培養(yǎng)其創(chuàng)新能力，而不僅僅是知識(shí)的傳 授。第三，深入Hadoop等開源框架內(nèi)部進(jìn)行源碼分析與解 讀。首先學(xué)習(xí)并熟練應(yīng)用框架的核心功能，明晰框架的關(guān)鍵 運(yùn)行流程；之后按程序邏輯的執(zhí)行過程采用斷點(diǎn)調(diào)試的方法 一步步追蹤，搞清業(yè)務(wù)執(zhí)行背后的代碼邏輯，但不需要理清 每一個(gè)具體細(xì)節(jié)；最后在不修改其源碼的基礎(chǔ)上做一些擴(kuò)展 開發(fā)的工作。以后工作中可以在源碼的基礎(chǔ)上進(jìn)行修改并優(yōu) 化，做開源框架的二次開發(fā)。第四，進(jìn)行企業(yè)級(jí)案例分析和實(shí)

15、際項(xiàng)目演練。培養(yǎng)學(xué)生 處理復(fù)雜數(shù)據(jù)、整合異構(gòu)數(shù)據(jù)的能力，掌握和利用Hadoop 平臺(tái)技術(shù)進(jìn)行分析、處理、預(yù)測(cè)和優(yōu)化的工作技能，鼓勵(lì)學(xué) 生通過實(shí)習(xí)參與商業(yè)化大數(shù)據(jù)平臺(tái)建設(shè)。在實(shí)踐中獲得能力 和素質(zhì)的提升，快速汲取開發(fā)經(jīng)驗(yàn)，盡快領(lǐng)悟開發(fā)真諦，化 理論知識(shí)為實(shí)際項(xiàng)目經(jīng)驗(yàn)。3.4多項(xiàng)評(píng)價(jià)，改革課程考核制度課程的改革不僅體現(xiàn)在知識(shí)內(nèi)容的演進(jìn)、師資和硬件的 配備更新上，考核評(píng)定方式的革新也是非常重要的一個(gè)壞 節(jié)。傳統(tǒng)的期末卷面一次考試的評(píng)價(jià)方式暴露岀了如考核形 式單一、考核內(nèi)容片而、考核重結(jié)果輕過程等很多缺陷和短 板，并不能建立起對(duì)學(xué)生的合理評(píng)價(jià)，造成培養(yǎng)的學(xué)生實(shí)際 工程能力較弱，也制約了教學(xué)水平和教育質(zhì)

16、量的提高。為適 應(yīng)時(shí)代的發(fā)展，培養(yǎng)高素質(zhì)創(chuàng)新型的專業(yè)人才，結(jié)合本門課 程的性質(zhì)和特點(diǎn)，采用基于核心能力（包括崗位職業(yè)能力和 通用職業(yè)能力）的課程考核方式，加強(qiáng)平時(shí)考核在總成績(jī)中 的權(quán)重，將考核貫穿于課程教學(xué)的全過程，采取“平時(shí)成績(jī) +實(shí)驗(yàn)成績(jī)+項(xiàng)目成績(jī)+期末考試”的考評(píng)方式，并將重點(diǎn)放 在過程性考核上。每學(xué)完一個(gè)核心的框架，即組織一次針對(duì) 該框架的應(yīng)用和編程演練，以此激發(fā)學(xué)生學(xué)習(xí)的主動(dòng)性和積 極性，加強(qiáng)學(xué)生的實(shí)踐應(yīng)用能力、創(chuàng)新能力和團(tuán)隊(duì)合作能力。4結(jié)論大數(shù)據(jù)被譽(yù)為“21世紀(jì)的新石油”，在各個(gè)行業(yè)領(lǐng)域遍 地開花，產(chǎn)業(yè)前景光明。在大數(shù)據(jù)的背景之下，精通大數(shù)據(jù) 分析處理的專業(yè)人才成為眾多企業(yè)爭(zhēng)搶的對(duì)

17、象，人才缺口巨 大。基于Hadoop的大數(shù)據(jù)分析課程的設(shè)立就是在積極踐 行為國(guó)家戰(zhàn)略新興產(chǎn)業(yè)培育高水平、復(fù)合型精英人才，該課 程及相關(guān)課程的設(shè)立將拉近信息產(chǎn)業(yè)界與高校學(xué)生專業(yè)教 育的距離，讓學(xué)生在學(xué)校內(nèi)就可以在大數(shù)據(jù)環(huán)境中參與企業(yè) 項(xiàng)目實(shí)踐，把握未來(lái)企業(yè)需求，掌握好大數(shù)據(jù)的管理、分析、 挖掘以及產(chǎn)品研發(fā)等方面的核心技能，從而在走向工作崗位 后成為大數(shù)據(jù)業(yè)務(wù)領(lǐng)域的中流砥柱。參考文獻(xiàn)：1孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)卩 計(jì)算機(jī)研究與發(fā)展,2013, 50 (1)： 146-169.2馮芷艷，郭訓(xùn)華，曾大軍，等.大數(shù)據(jù)背景下商務(wù)管 理研究若干前沿課題卩管理科學(xué)學(xué)報(bào)，2013, 16 (1)： 1-9.3王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望J.計(jì)算機(jī)學(xué)報(bào)，2013, 36 (6)： 1125-1138.4曾明星，周清平，等.軟件