信息技術(shù) 課件 第10、11章 程序設計基礎(chǔ)、大數(shù)據(jù)

程序設計基礎(chǔ)信息技術(shù)內(nèi)容綱要010203程序設計入門

編程工具應用Python語言基礎(chǔ)04編寫應用程序程序設計入門01PARTONE程序設計入門當前人類社會生產(chǎn)、生活中的智慧工廠、網(wǎng)絡購物、外賣點餐、在線教育、線上辦公、遠程醫(yī)療、智慧出行、網(wǎng)絡社交、視頻分享等功能強大、豐富多彩的數(shù)字化形態(tài)，歸根結(jié)底都是由計算機程序驅(qū)動產(chǎn)生的。計算機程序（Computerprogram），簡稱程序（program），是一組指示計算機或其他信息技術(shù)設備執(zhí)行動作或做出判斷的指令，通常由某種程序設計語言編寫，并運行于某種信息技術(shù)設備的體系結(jié)構(gòu)之上。設計、編制和調(diào)試程序的方法與過程稱為程序設計，一般包含需求分析、架構(gòu)設計、編碼調(diào)試、測試發(fā)布等階段。什么是程序01PARTONE程序設計入門01PARTONE機器語言匯編語言高級語言程序設計語言0101001000111Helloworld程序設計入門01PARTONE兩種程序設計思想面向過程的結(jié)構(gòu)化程序設計結(jié)構(gòu)化編程的著眼點在于面向過程，從求解問題的功能入手，按照工程的標準和嚴格規(guī)范，將求解的問題分解為若干個功能模塊，求解問題是實現(xiàn)模塊功能的函數(shù)和過程的集合，其解決思路是自頂向下，逐層細化。面向?qū)ο蟮某绦蛟O計面向?qū)ο蟮某绦蛟O計（OOP）方法能更好地描述客觀事物及其相互聯(lián)系，追求對現(xiàn)實世界的直接模擬，強調(diào)萬事萬物一切事物皆是對象，每個對象都有自己的屬性和行為；對象之間的聯(lián)系通過消息來連接。程序設計入門01PARTONE高級程序語言分類與特征典型編程語言語言類別主要特征典型編程語言結(jié)構(gòu)化程序設計語言結(jié)構(gòu)化程序設計主要特點是將程序中的數(shù)據(jù)與處理數(shù)據(jù)的方法分離。以模塊化設計為中心，將待開發(fā)的軟件系統(tǒng)劃分為若干個相互獨立的模塊。其設計思想是自頂向下、逐步求精。Fortran、Basic、C面向?qū)ο蟪绦蛟O計語言面向?qū)ο蟪绦蛟O計語言的三個基本特征：封裝、繼承、多態(tài)。應用面向?qū)ο笳Z言進行程序設計具有維護簡單、可擴充性和代碼重用等優(yōu)點。Java、C#、Python、C++數(shù)據(jù)庫語言主要用于操作數(shù)據(jù)庫的非過程化編程語言，允許用戶在高層數(shù)據(jù)結(jié)構(gòu)上直接工作。SQL、QBE、NDL人工智能語言適應于人工智能和知識工程領(lǐng)域的、具有符號處理和邏輯推理能力的程序設計語言。LISP、Prolog、Smalltalk、Java、Python網(wǎng)頁編程語言用來編寫靜態(tài)或動態(tài)網(wǎng)頁的編程語言。網(wǎng)頁中還經(jīng)常嵌入腳本語言實現(xiàn)動態(tài)網(wǎng)頁功能。HTML、PHP、ASP、JSP程序設計入門01PARTONE程序設計流程程序設計時需要先把待解決的現(xiàn)實問題抽象（轉(zhuǎn)換）成數(shù)學問題（數(shù)學模型），然后利用程序設計語言編寫指令解決數(shù)學問題，從而實現(xiàn)應用程序解決實際問題。問題的提出明確解決步驟將問題抽象化運行程序編寫程序指令將A、B兩個杯子的溶液互換先將A杯中牛奶倒入空杯C中，再將B杯中可樂倒入A杯中，最后將C杯里的牛奶倒入B杯A=”牛奶”B=”可樂”C=”空杯”C=A;A=B;B=CA=”牛奶”B=”可樂”......應用程序解決實際問題如果問題復雜，則可以借助流程圖等工具，進一步理清思路，進行問題抽象。程序設計入門01PARTONE程序設計流程程序設計入門01PARTONE程序的解釋與編譯編譯使用編譯器將高級語言程序代碼轉(zhuǎn)換為目標代碼的過程稱為編譯。編譯器編譯源代碼后會生成二進制目標代碼，運行時計算機以機器語言方式運行，程序執(zhí)行速度快、效率高。解釋通過解釋器將高級語言程序代碼轉(zhuǎn)換為可執(zhí)行代碼并同時逐條執(zhí)行的過程稱為解釋。解釋器對源程序的翻譯與執(zhí)行是同時進行的。源代碼被一條一條的解釋成機器語言代碼，送給計算機來執(zhí)行，每次程序運行都要執(zhí)行這樣的翻譯過程，所以這樣的程序運行起來效率不是很高。應用高級語言編寫的程序，是不能直接在計算機中運行的，需要通過編譯或解釋，最終才能以二進制機器語言的形式在計算機中運行。編程工具應用02PARTTWO編程工具應用02PARTTWO使用通過cmd命令方式進入python，這種狀態(tài)下能夠輸入執(zhí)行單條命令，但不能完成程序文件編寫功能。使用python安裝時自帶的GUI環(huán)境IDLE。IDLE簡單輕便，界面十分清爽，可以進行簡單的python程序開發(fā)和交互式的命令輸入。應用其他支持python的集成開發(fā)環(huán)境。Python語言環(huán)境安裝獲取與安裝可以從官方網(wǎng)站下載獲得Python語言基本開發(fā)與運行環(huán)境。在Python的官網(wǎng)中有多個下載鏈接，分別對應著不同的操作系統(tǒng)。下載前要確定自己的操作系統(tǒng)位數(shù)，推薦選擇當前的穩(wěn)定版本。雙擊下載回來的壓縮包,開始安裝。安裝前要注意勾選”AddPython3.10toPATH”選項。驗證安裝完成后，按住win+R鍵打開Windows運行對話框，輸入cmd后回車，進入命令行工具。在提示符下輸入python并回車，如果出現(xiàn)Python的版本信息和命令提示符>>>，則表示安裝成功。點擊開始菜單，通過程序組找到新安裝的python項目，點擊“python3.10(64-bit)”同樣可以進入python的命令狀態(tài)02PARTTWO編程工具應用一站式項目構(gòu)建語法著色代碼自動補全函數(shù)封裝編譯調(diào)試集成開發(fā)環(huán)境IDEPython語言基礎(chǔ)03PARTTHREEPython語言基礎(chǔ)03PARTTHREE基本語法規(guī)范標識符通常用于命名變量、函數(shù)、類名稱、模塊名稱等。標識符由數(shù)字、字母（大、小寫）、以及下劃線組成。標識符一般以字母開頭，不能以數(shù)字開頭，不能與系統(tǒng)關(guān)鍵字重名，單、雙下劃線開頭的標識符一般具有特殊意義，通常不使用。不同層次的代碼縮進不同，層次相同的代碼縮進相同。首次縮進一般使用四個空格，不推薦使用制表符（Tab)。函數(shù)定義之間使用一個空行以示區(qū)分，類定義使用兩個空行分隔。如果一行代碼的長度超過80個字符，可以使用小括號、中括號、大括號等將這段代碼包圍，實現(xiàn)隱式的連接。推薦使用小括號，不推薦使用反斜線連接方式。注釋以#和一個空格開始。一條語句內(nèi)也可以使用注釋，但要求至少要有兩個空格與代碼分隔開，然后再輸入#和注釋內(nèi)容。Python語言基礎(chǔ)03PARTTHREEPython程序結(jié)構(gòu)Python程序由包、模塊（即一個Python文件）和函數(shù)組成。包是由一系列模塊組成的集合。模塊是處理某一類問題的函數(shù)和類的集合。Python語言基礎(chǔ)03PARTTHREE變量：變量是指在程序運行過程中其值可以發(fā)生變化的量。

Python中的變量比較特殊，采用引用值的方式建立與其他對象的聯(lián)系。變量本身沒有類型，隨著引用對象類型的不同，對外呈現(xiàn)的類型也不同，它是作為操作數(shù)據(jù)的手段或媒介而存在的，變量中實際保存的是對象的內(nèi)存地址。

變量stu

對象“張三”引用對象內(nèi)存地址⑴在內(nèi)存中創(chuàng)建了字符串對象“張三”；⑵創(chuàng)建了一個變量，名字為stu;⑶建立了stu和“張三”之間的引用關(guān)系，即stu中存放的是“張三”這個字符串的內(nèi)存地址，而通過內(nèi)存地址就是能訪問到“張三”這個字符串。Python中變量的命名通常采用小寫字母方式，且不能與系統(tǒng)的關(guān)鍵字重名。變量可以多次賦值，每次賦值的對象可以是不同類型的。Python語言基礎(chǔ)03PARTTHREE整型浮點型字符型布爾型列表元組字典集合……常用數(shù)據(jù)類型

Python中變量自身是沒有類型的，引用了誰，就是存儲誰的內(nèi)存地址，對外體現(xiàn)的就是被引用對象的類型。Python中任何一個對象，都具有不同id、類型和值。使用內(nèi)置的id()、type（）函數(shù)即可獲取到對象的id和類型。Python語言基礎(chǔ)03PARTTHREE算術(shù)運算符加（+）減（-）乘（*）除（/）乘方（**）書寫形式a+b、a*3-b、a/b、a**3關(guān)系運算符大于（>）大于等于（>=）小于（<）小于等于（<=）等于（==）不等于（!=）參與關(guān)系運算的對象類型必須相同邏輯運算符與運算（and）或運算（or）取反運算（not）邏輯運算的結(jié)果是布爾類型的值，即成立就是True，不成立就是False。賦值運算符“=”稱之為賦值符號，其表達的含義是將“=”右側(cè)的常、變量或表達式，賦值給其左側(cè)的變量。復合的賦值運算符：+=、-=、*=、/=…常用的各類運算符Python語言基礎(chǔ)03PARTTHREE順序結(jié)構(gòu)選擇結(jié)構(gòu)循環(huán)結(jié)構(gòu)

這三種基本的控制結(jié)構(gòu)可以進行各種組合，所有的程序從實質(zhì)上看都是三種控制結(jié)構(gòu)的組合。

掌控程序流程

Python程序由一條條的程序語句構(gòu)成，程序語句按控制方式歸納有三種結(jié)構(gòu)，分別是順序結(jié)構(gòu)、選擇結(jié)構(gòu)和循環(huán)結(jié)構(gòu)。Python語言基礎(chǔ)03PARTTHREE順序結(jié)構(gòu)是程序設計中最簡單的控制結(jié)構(gòu)，程序中的各條語句按照出現(xiàn)的先后順序依次執(zhí)行就構(gòu)成順序結(jié)構(gòu)。這種結(jié)構(gòu)的特點是：按代碼書寫順序，自上而下，依次執(zhí)行。所有程序從宏觀上看，都是按書寫順序來執(zhí)行的。順序結(jié)構(gòu)順序結(jié)構(gòu)

選擇結(jié)構(gòu)是最常用的控制結(jié)構(gòu)，也稱分支結(jié)構(gòu)。程序依據(jù)條件表達式的結(jié)果動態(tài)改變程序的走向，使得程序變得更加智慧、更加靈活。選擇結(jié)構(gòu)有單分支選擇、雙分支選擇、多分支選擇多種形式。Python語言基礎(chǔ)03PARTTHREE單分支選擇適用于較為簡單情況，滿足條件則執(zhí)行語句，不滿足就不執(zhí)行。雙分支選擇適用于二者選其一的情況，當滿足條件時執(zhí)行語句塊1，不滿足條件時執(zhí)行語句塊2。多分支選擇適用于具有多種選擇的復雜情況，這時需要對多個條件分別判斷。Python語言基礎(chǔ)03PARTTHREE單分支選擇結(jié)構(gòu)if<條件表達式>：

<語句塊>

語句塊是當條件滿足時需要執(zhí)行的語句序列行，可以是一句或多句。整個語句塊與上一行（if<表達式>)相比，要有相同的縮進，表示下面的語句均為if條件滿足時要執(zhí)行的內(nèi)容。一旦不再縮進，則表示整個分支結(jié)構(gòu)的語句序列已經(jīng)完成。語法格式條件表達式可以是任意的數(shù)值或其它表達式，當表達式的值為True表達條件成立，否則表達條件不成立。若表達式為數(shù)值，則0代表False，其余值均代表True。條件表達式Python語言基礎(chǔ)03PARTTHREE雙分支選擇結(jié)構(gòu)if<條件表達式>：

<語句塊1>

else:

<語句塊2>語法格式

在分支結(jié)構(gòu)中，每一個語句塊又可以是一個完整的分支結(jié)構(gòu)，書寫時務必注意，同一個層次分支結(jié)構(gòu)的縮進量應對齊或一致。

Python是根據(jù)縮進量來判斷層次結(jié)構(gòu)的。分支結(jié)構(gòu)嵌套Python語言基礎(chǔ)03PARTTHREE多分支選擇結(jié)構(gòu)

if<條件1>：<語句塊1>

elif<條件2>:<語句塊2>……

elif<條件n>:<語句塊n>

else:<語句塊n+1>語法格式Python語言基礎(chǔ)03PARTTHREE循環(huán)結(jié)構(gòu)循環(huán)結(jié)構(gòu)是程序中最能發(fā)揮計算機特長的控制結(jié)構(gòu)，可以根據(jù)控制條件來重復執(zhí)行某些語句。當有大量重復計算或類似語句需要反復執(zhí)行時，通常都要將其放入循環(huán)結(jié)構(gòu)中，配合分支結(jié)構(gòu)，使其在預設條件的控制下自動重復運行。實現(xiàn)循環(huán)結(jié)構(gòu)的語句就稱為循環(huán)語句，Python中的循環(huán)語句主要有for和while兩種。While循環(huán)結(jié)構(gòu)Python語言基礎(chǔ)03PARTTHREE

while<表達式>:

<語句塊1>[else:

<語句塊2>]當循環(huán)條件不成立時，會執(zhí)行方括號中的else子句。這個else子句不是必須項，可以根據(jù)實際問題的需要來取舍。語法格式for循環(huán)結(jié)構(gòu)Python語言基礎(chǔ)03PARTTHREE

for語句中的變量就是后面序列或可迭代對象中的每一個元素，當循環(huán)結(jié)構(gòu)遍歷了序列或可迭代對象的全部元素后就將結(jié)束當前循環(huán)結(jié)構(gòu)的運行。for<變量>in<序列或可迭代對象>:

<語句塊1>[else:

<語句塊2>]當循環(huán)條件不成立時，會執(zhí)行方括號中的else子句。這個else子句不是必須項，可以根據(jù)實際問題的需要來取舍語法格式break與continue

break和continue都會結(jié)束當前循環(huán)語句的執(zhí)行，二者在while和for語句中都可以使用。但二者還有明顯的功能區(qū)別:

break語句執(zhí)行后會徹底跳出當前的循環(huán)結(jié)構(gòu)，不再執(zhí)行循環(huán)了；

continue只是跳過當前循環(huán)中未執(zhí)行的部分語句，重又回到循環(huán)語句開頭部分，繼續(xù)進行循環(huán)。Python語言基礎(chǔ)03PARTTHREEPython語言基礎(chǔ)03PARTTHREE什么是函數(shù)

函數(shù)是將實現(xiàn)某一特定功能的相關(guān)程序代碼組織在一起形成的程序單元函數(shù)的分類Python中的函數(shù)分為三類：自定義函數(shù)、內(nèi)置函數(shù)以及庫函數(shù)。函數(shù)的定義def<函數(shù)名>(<形參列表>):<語句塊>[return變量]函數(shù)的調(diào)用調(diào)用函數(shù)時，只需要寫上函數(shù)的名字并攜帶規(guī)定的參數(shù)就可以了。函數(shù)設計Python語言基礎(chǔ)03PARTTHREE訪問磁盤文件打開文件，創(chuàng)建文件對象。fp=open(“test.txt”,r)#以只讀方式打開當前目錄下的test.txt文件fp=open(“test.txt”,w)#以寫方式打開當前目錄下的test.txt文件通過文件對象對文件內(nèi)容進行讀、寫、刪、改操作。fp.write(“I'maChinese！”)#向文件中寫入信息list=fp.readlines()#從文件中讀取每行的文本信息并存入列表中關(guān)閉并保存文件。fp.close()#關(guān)閉文件對象Python語言基礎(chǔ)03PARTTHREE

如果程序中出現(xiàn)了異常，沒有做任何處理，就會導致程序崩潰。Python提供了異常處理機制，通過這套處理機制，能夠捕獲到出現(xiàn)的異常，并給出相應的處理，使得程序在出現(xiàn)錯誤的情況下依然能給出友好提示，不致崩潰。異常處理結(jié)構(gòu)try:<運行時可能出現(xiàn)異常的語句序列>except[異常名稱]：#若不帶異常名稱則捕獲所有異常，

#否則只捕獲指定的異常<處理該異常的代碼>......[else:<沒有異常發(fā)生時執(zhí)行的代碼>][finally:<無論是否發(fā)生異常都要執(zhí)行的代碼>]Python語言基礎(chǔ)03PARTTHREE導入擴展庫在Python中庫（模塊）是可重復使用的Python程序文件，庫（模塊）內(nèi)部包含常量、變量、函數(shù)和類定義等。通過導入方式可以將庫（模塊）包含到自己編寫的程序當中，直接使用庫（模塊）內(nèi)提供的函數(shù)，增強程序功能，提高程序開發(fā)效率。標準庫OSMath......擴展庫RequestScrapy......①import庫（模塊）名[as別名]②from庫（模塊）名import對象名[as別名]③from庫（模塊）名import*庫的導入方法編寫應用程序04PARTFOUR編寫應用程序04PARTFOUR需求分析1規(guī)劃模塊2編寫代碼3調(diào)試程序4打包發(fā)布52020年爆發(fā)了新冠疫情，廣大醫(yī)務工作者，執(zhí)衣白甲，逆險而行，奮戰(zhàn)于抗疫一線，全國人民聽從黨的號喚，團結(jié)一心、奮勇抗擊，贏得了阻擊疫情的勝利，這其中涌現(xiàn)出了無數(shù)可歌可泣的感人事跡。當時作為防疫的一個重要措施，每天都要做好個人的體溫和疫情接觸信息登記。本項目的任務需求就是學以致用，使用Python開發(fā)程序，幫助同學完成疫情信息的登記管理，為校園防疫做出自己的貢獻！項目背景編寫應用程序04PARTFOUR一、需求分析逐人登記疫情信息按學號可查詢信息已登記信息可修改錯誤信息可刪除增查刪改編寫應用程序04PARTFOUR二、規(guī)劃模塊結(jié)構(gòu)規(guī)劃繪制系統(tǒng)的功能模塊圖存儲設計確定數(shù)據(jù)的存儲結(jié)構(gòu)交互設計確定系統(tǒng)的人機交互方式編寫應用程序04PARTFOUR1、結(jié)構(gòu)規(guī)劃

通過需求分析，已經(jīng)明確了開發(fā)任務。簡單地說整個需求就是通過人機交互界面，實現(xiàn)疫情信息的增、刪、改、查。按照這個思路規(guī)劃出整個系統(tǒng)的功能模塊圖。編寫應用程序04PARTFOUR

本項目中疫情信息的存儲考慮采用列表結(jié)構(gòu)。應用列表可以暫時儲存信息，操作十分簡單，易于實現(xiàn)。但關(guān)機后信息會消失，未來可進一步完善數(shù)據(jù)存儲功能，將保存的信息存儲為磁盤文件，或使用數(shù)據(jù)庫等應用系統(tǒng)進行管理。通過分析可知本例中信息的增、刪、改、查實質(zhì)就是對列表信息的存儲、查詢、修改和刪除操作。2、數(shù)據(jù)存儲設計系統(tǒng)提供了四個功能模塊，供用戶選擇使用?？赏ㄟ^簡單的菜單方式，實現(xiàn)系統(tǒng)功能選擇?？紤]使用字符串配合輸出、輸入函數(shù)方式，模擬菜單交互功能，實現(xiàn)疫情信息的管理。3、交互設計編寫應用程序04PARTFOUR三、編寫代碼模擬菜單字符串輸出函數(shù)功能選擇輸入函數(shù)分支選擇功能封裝實現(xiàn)功能函數(shù)封裝舉一反三實現(xiàn)查詢、修改實現(xiàn)刪除功能編寫應用程序04PARTFOUR四、調(diào)試程序編寫應用程序04PARTFOUR編寫應用程序04PARTFOUR打包發(fā)布1下載安裝pyinstaller2項目文件編譯3編寫應用幫助文檔4交付可執(zhí)行的exe文件項目操作說明程序運行環(huán)境Windows7/10應用程序名稱

epiRecord.py(打包后名為epiRecord.exe)登記學生疫情信息選擇菜單1，輸入姓名、學號、體溫、所在位置及接觸情況等內(nèi)容，可重復錄入，實現(xiàn)一次錄入多人。當姓名項輸入“@”時，結(jié)束錄入顯示所有登記情況選擇菜單2，以列表形式顯示所有已經(jīng)保存的登記信息刪除已報疫情信息選擇菜單3，按輸入的學號，找到并刪除對應信息，無對應學號返回菜單修改學生疫情信息選擇菜單4，按輸入的學號，找到并修改對應信息，無對應學號返回菜單退出系統(tǒng)選擇菜單0時，退出系統(tǒng)。1.編寫小游戲：猜年齡。要求用戶最多只能猜測3次，3次都沒猜對的話，直接退出；如果猜對了，則輸出恭喜信息并退出；每次猜測時會給出“大”或“小”的信息。2.應用循環(huán)語句打印輸出九九乘法表。實踐作業(yè)謝謝信息技術(shù)

高等教育出版社大數(shù)據(jù)信息技術(shù)010203大數(shù)據(jù)概述

大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)分析算法04大數(shù)據(jù)安全風險與安全挑戰(zhàn)內(nèi)容綱要01大數(shù)據(jù)概述PARTONE大數(shù)據(jù)概況大數(shù)據(jù)的概況大數(shù)據(jù)的發(fā)展歷程大數(shù)據(jù)的結(jié)構(gòu)類型大數(shù)據(jù)的主要數(shù)據(jù)來源大數(shù)據(jù)的主要數(shù)據(jù)來源01大數(shù)據(jù)概述01大數(shù)據(jù)概述2019年全球信息化資料量達到41ZB，中國的數(shù)據(jù)產(chǎn)生量約占23%，美國約為21%。2012年全球信息化資料量只有2.8ZB，美國約占全球數(shù)據(jù)量的32%，西歐占19%，中國只占13%。數(shù)據(jù)生產(chǎn)量衡量是國家綜合實力的一個重要指標大數(shù)據(jù)的發(fā)展歷程最早出現(xiàn)在1980年托夫勒所著《第三次浪潮》書中“大數(shù)據(jù)”術(shù)語首次使用在1997年由研究員邁克爾·考克斯和大衛(wèi)·埃爾斯沃斯使用的。大數(shù)據(jù)技術(shù)，起源于2004年前后發(fā)表的關(guān)于分布式文件系統(tǒng)的三篇論文。2008年9月，《自然》雜志推出了名為“大數(shù)據(jù)”的封面專欄2009年“大數(shù)據(jù)”在信息技術(shù)行業(yè)中興起。2013年被稱之為“大數(shù)據(jù)元年”01大數(shù)據(jù)概述大數(shù)據(jù)數(shù)據(jù)類型結(jié)構(gòu)化非結(jié)構(gòu)化半結(jié)構(gòu)化01大數(shù)據(jù)概述足夠的數(shù)據(jù)體量是大數(shù)據(jù)的基礎(chǔ)多樣的混雜數(shù)據(jù)是大數(shù)據(jù)的核心數(shù)據(jù)來源管理信息系統(tǒng)Web信息系統(tǒng)物理信息系統(tǒng)科學實驗系統(tǒng)01大數(shù)據(jù)概述數(shù)據(jù)庫及數(shù)據(jù)倉庫的應用場景數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫OLTP操作增刪改查“事務”型操作速度快、數(shù)據(jù)一致性高、數(shù)據(jù)量小數(shù)據(jù)倉庫OLAP操作面向主題經(jīng)過集成定期更新非易失性復雜的分析、查詢操作、多維度分析處理01大數(shù)據(jù)概述02大數(shù)據(jù)關(guān)鍵技術(shù)PARTTWO大數(shù)據(jù)關(guān)鍵技術(shù)取傳洗存管查算挖畫02大數(shù)據(jù)關(guān)鍵技術(shù)取數(shù)據(jù)爬蟲技術(shù)傳感器網(wǎng)絡融合技術(shù)Sqoop技術(shù)flume技術(shù)ELK技術(shù)02大數(shù)據(jù)關(guān)鍵技術(shù)傳數(shù)據(jù)kafkaInfiniBand02大數(shù)據(jù)關(guān)鍵技術(shù)洗數(shù)據(jù)數(shù)據(jù)清洗噪聲數(shù)據(jù)遺漏數(shù)據(jù)不一致數(shù)據(jù)ETL數(shù)據(jù)集成不同數(shù)據(jù)源模式匹配數(shù)據(jù)冗余數(shù)據(jù)沖突數(shù)據(jù)轉(zhuǎn)換格式變換維度變換數(shù)據(jù)離散化數(shù)據(jù)規(guī)范化數(shù)據(jù)規(guī)約數(shù)據(jù)方聚集維規(guī)約數(shù)值規(guī)約概念分層02大數(shù)據(jù)關(guān)鍵技術(shù)存數(shù)據(jù)1）基于MPP架構(gòu)的新型數(shù)據(jù)庫集群，通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術(shù)，重點面向行業(yè)大數(shù)據(jù)所展開的數(shù)據(jù)存儲方式。2）基于Hadoop的技術(shù)擴展和封裝，是利用Hadoop開源優(yōu)勢及相關(guān)特性，衍生出的相關(guān)大數(shù)據(jù)存儲技術(shù)。3）大數(shù)據(jù)一體機是專為大數(shù)據(jù)的分析處理而設計的軟、硬件結(jié)合的產(chǎn)品。02大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)存儲的主要類型02大數(shù)據(jù)關(guān)鍵技術(shù)Hadoop分布式平臺系統(tǒng)架構(gòu)管數(shù)據(jù)大數(shù)據(jù)管制大數(shù)據(jù)治理02大數(shù)據(jù)關(guān)鍵技術(shù)DAMA數(shù)據(jù)管理知識體系職能框架查數(shù)據(jù)1）基于HBase做預聚合如

Opentsdb,Kylin等，均需指定預聚合的指標，在數(shù)據(jù)接入的時候進行聚合運算，適合相對固定，維度較多的業(yè)務報表類需求。2）基于Parquet做列式存儲如

Presto,Drill，Impala

等，基本是完全基于內(nèi)存的并行計算，能降低存儲空間，提高IO效率。3）基于Lucene做外部索引如

ElasticSearch，Solr

等。02大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)查詢技術(shù)框架算數(shù)據(jù)批處理MapReduceHadoopSpark圖計算PregelGiraphTrinityGraphXPowerGraph流計算ScribeFlumeStormS4SparkStreaming迭代計算Twisterspark內(nèi)存計算S