大數(shù)據(jù)專業(yè)實(shí)習(xí)報告

1、大 數(shù) 據(jù) 認(rèn) 知 實(shí) 習(xí) 報 告專 業(yè) 數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù) 班 級 學(xué) 號 姓 名 完成日期 2018-11-30 實(shí) 習(xí) 內(nèi) 容 與 要 求 內(nèi)容：1、 參觀大數(shù)據(jù)應(yīng)用協(xié)同創(chuàng)新中心和現(xiàn)教中心；2、參加大數(shù)據(jù)講座；3、參觀大數(shù)據(jù)相關(guān)的企業(yè)；4、學(xué)習(xí)大數(shù)據(jù)平臺并在該平臺上進(jìn)行實(shí)操訓(xùn)練。要求：1、 學(xué)生獨(dú)立撰寫實(shí)習(xí)報告2、 認(rèn)真總結(jié)本次實(shí)習(xí)的所有內(nèi)容。3、 字?jǐn)?shù)不少于2000字。指導(dǎo)教師：_ 年 月 日實(shí) 習(xí) 評 語 成績： 指導(dǎo)教師：_ 年 月 日在洛理的第13周，我們終于迎來了大數(shù)據(jù)的實(shí)習(xí)周。我的內(nèi)心滿懷喜悅，終于能對大數(shù)據(jù)有個更直觀的了解，也能更系統(tǒng)全面地認(rèn)識大數(shù)據(jù)并了解它的發(fā)展前景與行

2、業(yè)需求。在周一，我們參觀了學(xué)校的大數(shù)據(jù)實(shí)驗(yàn)室以及機(jī)房。在潘老師的講解下，通過幾個曙光大數(shù)據(jù)系統(tǒng)了解了大數(shù)據(jù)的具體作用，怎樣與產(chǎn)業(yè)結(jié)合以及怎樣運(yùn)作。首先農(nóng)業(yè)大數(shù)據(jù)，尤其是智能大棚，通過各種傳感器采集大棚內(nèi)的溫度以及濕度等，再將采集到的數(shù)據(jù)進(jìn)行可視化處理，使其更直觀地呈現(xiàn)出來，以次來檢測大棚內(nèi)的溫度和濕度是否達(dá)標(biāo)，從而對大棚進(jìn)行智能培養(yǎng)。其次為智能汽車監(jiān)控系統(tǒng)，它只要是通過大量的存儲數(shù)據(jù)來確定汽車的行車軌跡。這其中也用到了數(shù)據(jù)可視化處理技術(shù)來形成更直觀的軌跡路線，從而實(shí)現(xiàn)對一輛汽車的監(jiān)控。最后為反洗錢系統(tǒng)，它體現(xiàn)了大數(shù)據(jù)技術(shù)中數(shù)據(jù)挖掘和分析技術(shù)，系統(tǒng)先將你的歷史交易信息抽取出來，然后對它進(jìn)行分析，

3、以此來檢測你是否有高危交易信息。通過這三個實(shí)例了解了大數(shù)據(jù)在各行各業(yè)中的應(yīng)用并認(rèn)識到大數(shù)據(jù)的核心技術(shù)是數(shù)據(jù)可視化處理和數(shù)據(jù)的挖倔和分析。在中科曙光的19000大數(shù)據(jù)生態(tài)系統(tǒng)中分為三個模塊，數(shù)據(jù)集，數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)上傳，運(yùn)行這三個模塊需要大量的技術(shù)支持，主要有數(shù)據(jù)導(dǎo)入語預(yù)處理，分布式數(shù)據(jù)庫原理與應(yīng)用，數(shù)據(jù)分析于內(nèi)存計算，數(shù)據(jù)可視化技術(shù)，數(shù)據(jù)挖掘與應(yīng)用，Hadoop大數(shù)據(jù)技術(shù)等，這也是我們大學(xué)四年要掌握的技術(shù)與能力。這也讓我認(rèn)識到數(shù)據(jù)的魅力，數(shù)據(jù)的價值。而對于怎樣去高效地學(xué)習(xí)這些技術(shù)并提高學(xué)生的實(shí)踐能力，在“數(shù)據(jù)中國，百校工程”項(xiàng)目中具體列出了1個計劃，2個實(shí)體，3個職能和1個超級平臺。1個計劃是指

4、數(shù)據(jù)中國產(chǎn)教融合促進(jìn)計劃，即與百所高校聯(lián)合辦學(xué)培養(yǎng)大數(shù)據(jù)人才。不得不說，與企業(yè)聯(lián)合辦學(xué)益處多多，通過企業(yè)的工程是我們了解了大數(shù)據(jù)行業(yè)的最新技術(shù)和發(fā)展方向。2個實(shí)體為大數(shù)據(jù)學(xué)院，大數(shù)據(jù)應(yīng)用創(chuàng)新中心，3個職能為人才培養(yǎng)，科研創(chuàng)新，應(yīng)用服務(wù)，1個超級平臺為大數(shù)據(jù)應(yīng)用協(xié)同創(chuàng)新網(wǎng)絡(luò)，此超級平臺提供了600TB數(shù)據(jù)規(guī)模存儲，共100個計算節(jié)點(diǎn)，提供3000核心的并行能力，搭載GPU具備9984核流處理能力，看到這幾組數(shù)據(jù)真的感受到數(shù)據(jù)之大，之多。在這個萬物互聯(lián)的時代，人們從信息的被動接受者變成了主動創(chuàng)造者，網(wǎng)絡(luò)，電視，智能終端，社交軟件，辦公信息.，各種各樣的數(shù)據(jù)形成了海量數(shù)據(jù)，比如電子郵件：全球2.9百

5、萬封/秒=1個人1分鐘讀1篇不斷讀5.5年。然而我們能看到的只是冰山一角，還有大量的未視化數(shù)據(jù)。同時還了解到目前的大數(shù)據(jù)還存在著一些技術(shù)難題，儲存構(gòu)架：易scale-up(縱向擴(kuò)張) 難scale-out(橫向擴(kuò)張)，處理時間：time-to-value受限（數(shù)據(jù)量大，處理耗時），處理成本：cost-efficiency受限（數(shù)據(jù)價值密度低，非結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)缺乏等）。除了這些技術(shù)難題，大數(shù)據(jù)也有他自己的4V特征：大量，多樣，價值，高速。說到底大數(shù)據(jù)技術(shù)就是對數(shù)據(jù)進(jìn)行存儲，計算，管理，分析。其次在對大數(shù)據(jù)人才需求分析中發(fā)現(xiàn)，美國未來6年可能面臨缺乏具有深度分析數(shù)據(jù)能力的人才達(dá)14-19萬，并

6、缺乏大數(shù)據(jù)分析師和高級管理人才150萬，我國同樣也存在大數(shù)據(jù)人才匱乏現(xiàn)象，同時工資水平也在不斷增長，大數(shù)據(jù)行業(yè)人才需求的增長促使各大高校開設(shè)大數(shù)據(jù)專業(yè)與研究院。在了解了大數(shù)據(jù)到底是干什么，怎樣與行業(yè)結(jié)合，主要技術(shù)以及工作原理，就業(yè)前景分析之后，我們又參觀了學(xué)校的網(wǎng)絡(luò)信息處理中心，在機(jī)房了解了各種設(shè)備以及它的供電系統(tǒng)，還有軟件檢測系統(tǒng)。在所有的硬件設(shè)備中交換器最為重要。它是連接用戶與系統(tǒng)的樞紐，在我們的校園網(wǎng)中，通過它能保證信息的安全，校園外的人登錄校園內(nèi)的網(wǎng)站時會有相應(yīng)的權(quán)限設(shè)置，使其不能對信息做出竊取，校園內(nèi)的人登錄時有進(jìn)行實(shí)名認(rèn)證，這些都是通過我們強(qiáng)大的服務(wù)器實(shí)現(xiàn)的，當(dāng)然還有我們的虛擬專用

7、網(wǎng)絡(luò)VPN，通過它建立了一個臨時的，安全的連接幫助我們進(jìn)行遠(yuǎn)程連接與遠(yuǎn)程辦公，除了VPN，還有各種各樣的H3C交換機(jī)，在機(jī)房我們見到了7508,5540,8812，F(xiàn)5000等型號，它們的作用大同小異，其主要功能是物理編址，檢驗(yàn)是否出錯，以及控制幀序列，甚至有的還有防火墻的作用，說到底其實(shí)就是用來提高網(wǎng)速的。在網(wǎng)絡(luò)交換中心還有學(xué)校的天清Web應(yīng)用安全網(wǎng)關(guān)和機(jī)房的監(jiān)測系統(tǒng)，包括機(jī)密空調(diào)檢測系統(tǒng)，UPS檢測系統(tǒng)，漏水監(jiān)測系統(tǒng)等，以此來保證機(jī)房的設(shè)備長久運(yùn)作。在周三，我們?nèi)チ舜髷?shù)據(jù)研究院。了解了一些大數(shù)據(jù)核心人物，有3D人臉識別技術(shù)的領(lǐng)軍人物，物聯(lián)網(wǎng)與大數(shù)據(jù)分析專家等各類專家。通過老師的講解我更深的

8、了解了大數(shù)據(jù)在社會中的應(yīng)用，以及國家對大數(shù)據(jù)技術(shù)和人才的支持。首先在3D技術(shù)實(shí)驗(yàn)室了解到該項(xiàng)技術(shù)是基于多階微分幾何量統(tǒng)計特性并與機(jī)器學(xué)習(xí)相結(jié)合，分為三個關(guān)鍵點(diǎn)，3D人臉關(guān)鍵點(diǎn)檢測，關(guān)鍵點(diǎn)局部幾何形狀刻畫，關(guān)鍵點(diǎn)匹配。通過這三項(xiàng)技術(shù)能夠有效處理3D人臉表情，姿態(tài)以及遮擋等極具挑戰(zhàn)的問題。與原來的2D人臉識別技術(shù)相比，3D具有更高的安全性，并且識別技術(shù)更精準(zhǔn)，精準(zhǔn)度可以達(dá)到95.3%并且該技術(shù)在人臉雙胞胎辨認(rèn)國際競賽綜合排名第二。當(dāng)然他的背后主要是數(shù)據(jù)的采集以及面部法向量估計等。主要應(yīng)用于機(jī)場，海關(guān)，監(jiān)獄，銀行等場景。另一個就是DaaS平臺核心業(yè)務(wù)，基于創(chuàng)新的運(yùn)行時軟件體系結(jié)構(gòu)重建技術(shù)，快速生成系

9、統(tǒng)數(shù)據(jù)和功能接口，并遵守用戶指定標(biāo)準(zhǔn)格式以API形式提供服務(wù)，顛倒了傳統(tǒng)數(shù)據(jù)讀寫及系統(tǒng)整合方式，為多源數(shù)據(jù)實(shí)時匯集，異構(gòu)系統(tǒng)無縫融合，全量資源活化開放提供了強(qiáng)大的平臺支持。主要過程為學(xué)習(xí)，生成，不熟，巡行，管理。進(jìn)行數(shù)據(jù)融合，創(chuàng)造數(shù)據(jù)價值。其構(gòu)架為三個平臺，分別是生成平臺為開發(fā)者提供生成服務(wù)，運(yùn)行平臺用于為API服務(wù)提供運(yùn)行支撐環(huán)境；管理平臺用于對API服務(wù)進(jìn)行自動化部署，生命周期管理，狀態(tài)監(jiān)控監(jiān)測，并可以對用戶行為進(jìn)行審計監(jiān)控。還有以大數(shù)據(jù)算法為基礎(chǔ)的醫(yī)療影像技術(shù)，通過新CT設(shè)備將掃描結(jié)果生成數(shù)據(jù)傳輸?shù)椒植际接跋裰行模⒃诖诉M(jìn)行大數(shù)據(jù)分析和計算形成醫(yī)學(xué)影像。除此之外，還有工業(yè)大數(shù)據(jù)，市政大數(shù)據(jù)，大數(shù)據(jù)學(xué)院。總的來說，在公司實(shí)習(xí)學(xué)到很多，其中提到最多的是Linux系統(tǒng)，Java和python語言，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)。認(rèn)識到了學(xué)習(xí)的重點(diǎn)，尤其是最后有關(guān)職業(yè)規(guī)劃的講座，關(guān)于未來行業(yè)發(fā)展前景，職業(yè)規(guī)劃重點(diǎn)提出了職業(yè)規(guī)劃6部曲，具體為1：清楚自己是什么樣的人。2：定目標(biāo)，即學(xué)習(xí)目標(biāo)，職業(yè)怒表，收入目標(biāo)。3：正確認(rèn)識自己，清楚自己擅長什么。4：你的職業(yè)優(yōu)勢是什么，競爭力是什么。5：自己適合做什么。6：做好充分的準(zhǔn)備。在實(shí)習(xí)的最后一天，我們在實(shí)驗(yàn)室進(jìn)行了上機(jī)練習(xí)，主要了解和學(xué)習(xí)了python編程并利用python編程將數(shù)據(jù)可視化。在安裝python時所需要的IDE和庫。自我認(rèn)為此編程的確好