Python數(shù)據(jù)分析與數(shù)據(jù)挖掘-

數(shù)據(jù)分析與數(shù)據(jù)挖掘認識是一種解釋型、面向?qū)ο?、動態(tài)數(shù)據(jù)類型的高級程序設(shè)計語言。由于年底發(fā)明，第一個公開發(fā)行版發(fā)行于年。是純粹的自由軟件，

源代碼和解釋器遵循

( )協(xié)議

具有豐富和強大的庫。它常被昵稱為膠水語言，能夠把用其他語言制作的各種模塊（尤其是）很輕松地聯(lián)結(jié)在一起。常見的一種應(yīng)用情形是，使用快速生成程序的原型，然后對其中有特別要求的部分，用更合適的語言改寫，比如游戲中的圖形渲染模塊，性能要求特別高，就可以用重寫，而后封裝為可以調(diào)用的擴展類庫。優(yōu)點有哪些是一種開源的、解析性的，面向?qū)ο蟮木幊陶Z言使用一種優(yōu)雅的語法，可讀性強具有豐富的庫，可以處理各種工作支持類和多層繼承等的面向?qū)ο缶幊碳夹g(shù)可運行在多種計算機平臺和操作系統(tǒng)中，如、、、、等等為什么選擇進行數(shù)據(jù)分析

在眾多解釋型語言中，最大的特點是擁有一個巨大而活躍的科學計算社區(qū)。進入世紀以來，在行業(yè)應(yīng)用和學術(shù)研究中采用進行科學計算的勢頭越來越

猛。

近年來，由于有不斷改良的庫（主要是），使其成為數(shù)據(jù)處理任務(wù)的一大代替方案，結(jié)合其在通用編程方面的強大實力，完全可以只是用這一種語言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。

作為一個科學計算平臺，的成功源于能夠輕松的集成、以及代碼。大部分現(xiàn)代計算機環(huán)境都利用了一些和庫來是西安線性代數(shù)、優(yōu)選、積分、快速傅里葉變換以及其他諸如此類的算法。課程內(nèi)容環(huán)境搭建版本選擇

安裝.基礎(chǔ)4.5.基礎(chǔ)語法函數(shù)數(shù)據(jù)類型模塊條件和循環(huán)文件.庫介紹庫介紹

庫介紹.數(shù)據(jù)處理與分析9.數(shù)據(jù)預(yù)處理數(shù)據(jù)探索挖掘建模10..實例分析環(huán)境搭建和

的版本，常被稱為，或簡稱。相對于的早期版本，這是一個較大的升級。

為了不帶入過多的累贅，在設(shè)計的時候沒有考慮向下相容，許多針對早期版本設(shè)計的程式都無法在上正常執(zhí)行。

大多數(shù)第三方庫都正在努力地相容版本。即使無法立即使用，也建議編寫相容版本的程式，然后使用,來執(zhí)行。:

,安裝平臺安裝打開瀏覽器訪問選擇適用于的源碼壓縮包。下載及解壓壓縮包。如果你需要自定義一些選項修改執(zhí)行腳本??平臺安裝打開瀏覽器訪問

在下載列表中選擇平臺安裝包，包格式為：文件，為你要安裝的版本號。

要使用安裝程序,系統(tǒng)必須支持搭配使用。只要保存安裝文件到本地計算機，然后運行它，看看你的機器支持。和更高版本已經(jīng)有，很多老機器也可以安裝。

下載后，雙擊下載包，進入安裝向?qū)?，安裝非常簡單，你只需要使用默認的設(shè)置一直點擊"下一步"直到安裝完成即可。集成開發(fā)環(huán)境選擇是由打造的一款，支持、、系統(tǒng)。

功能:調(diào)試、語法高亮、管理、代碼跳轉(zhuǎn)、智能提示、自動完成、單元測試、版本控制……下載地址:軟件界面編寫我的第一個程序程序簡單的計算器基本語法標識符在里，標識符由字母、數(shù)字、下劃線組成。

在中，所有標識符可以包括英文、數(shù)字以及下劃線()，但不能以數(shù)字開頭。中的標識符是區(qū)分大小寫的?？梢酝恍酗@示多條語句，方法是用分號;分開。

以下劃線開頭的標識符是有特殊意義的。以單下劃線開頭

的代表不能直接訪問的類屬性，需通過類提供的接口進行訪問，不能用 *

而導(dǎo)入

以雙下劃線開頭的代表類的私有成員；以雙下劃線開頭和結(jié)尾的代表里特殊方法專用的標識，如()代表類的構(gòu)造函數(shù)。保留字符

下面的列表顯示了在中的保留字。這些保留字不能用作常數(shù)或變數(shù)，或任何其他標識符名稱。所有的關(guān)鍵字只包含小寫字母。行和縮進學習與其他語言最大的區(qū)別就是，的代碼塊不使用大括號{}來控制類，函數(shù)以及其他邏輯判斷。最具特色的就是用縮進來寫模塊。縮進的空白數(shù)量是可變的，但是所有代碼塊語句必須包含相同的縮進空白數(shù)量，這個必須嚴格執(zhí)行。以下代碼會執(zhí)行錯誤：引號可以使用引號(")、雙引號(")、三引號("""或""")來表示字符串，引號的開始與結(jié)束必須的相同類型的。其中三引號可以由多行組成，編寫多行文本的快捷語法，常用于文檔字符串，在文件的特定地點，被當做注釋。注釋中單行注釋采用開頭中多行注釋使用三個單引號(""")或三個雙引號(""")。數(shù)據(jù)類型標準數(shù)據(jù)類型定義了一些標準類型，用于存儲各種類型的數(shù)據(jù)。有五個標準的數(shù)據(jù)類型：（數(shù)字）（字符串）（列表）（元組）（字典）數(shù)字

數(shù)字數(shù)據(jù)類型用于存儲數(shù)值。他們是不可改變的數(shù)據(jù)類型，這意味著改變數(shù)字數(shù)據(jù)類型會分配一個新的對象。當你指定一個值時，對象就會被創(chuàng)建。支持四種不同的數(shù)字類型：（有符號整型）（長整型[也可以代表八進制和十六進制]）可以通過,使用語句刪除單個或多個對象的引用。例如：字符串字符串或串()是由數(shù)字、字母、下劃線組成的一串字符。

"···"(>)的字串列表有種取值順序:從左到右索引默認開始的，最大范圍是字符串長度少從右到左索引默認開始的，最大范圍是字符串開頭

如果你要"‘實現(xiàn)從字符串中獲取一段子字符串的話，可以使用變量[頭下標:尾下標]，就可以截取相應(yīng)的字符串，其中下標是從開始算起，可以是正數(shù)或[]負的數(shù)結(jié)，果下是標。可以為空表示取到頭或尾。列表（列表）是中使用最頻繁的數(shù)據(jù)類型。

列表可以完成大多數(shù)集合類的數(shù)據(jù)結(jié)構(gòu)實現(xiàn)。它支持字符，數(shù)字，字符串甚至可以包含列表（即嵌套）。列表用[]標識，是最通用的復(fù)合數(shù)據(jù)類型。

列表中值的切割也可以用到變量[頭下標:尾下標]，就可以截取相應(yīng)的列表，從左到右索引默認開始，從右到左索引默認開始，下標可以為空表示取到頭或尾。加號是列表連接運算符，星號*是重復(fù)操作。如下實例：元組元組是另一個數(shù)據(jù)類型，類似于（列表）。

元組用"()"標識。內(nèi)部元素用逗號隔開。但是元組不能二次賦值，相當于只讀列表。字典

字典()是除列表以外之中最靈活的內(nèi)置數(shù)據(jù)結(jié)構(gòu)類型。列表是有序的對象結(jié)合，字典是無序的對象集合。

兩者之間的區(qū)別在于：字典當中的元素是通過鍵來存取的，而不是通過偏移存取。字典用"{}"標識。字典由索引()和它對應(yīng)的值組成。數(shù)據(jù)類型轉(zhuǎn)換函數(shù)

([])(

[]

)

()(

[])

()()()描述將轉(zhuǎn)換為一個整數(shù)將轉(zhuǎn)換為一個長整數(shù)將轉(zhuǎn)換到一個浮點數(shù)創(chuàng)建一個復(fù)數(shù)將對象轉(zhuǎn)換為字符串將對象轉(zhuǎn)換為表達式字符串用來計算在字符串中的有效表達式,并返回一個對象()()()()將序列轉(zhuǎn)換為一個元組將序列轉(zhuǎn)換為一個列表轉(zhuǎn)換為可變集合創(chuàng)建一個字典。必須是一個序列()元組。()()()()()轉(zhuǎn)換為不可變集合將一個整數(shù)轉(zhuǎn)換為一個字符將一個整數(shù)轉(zhuǎn)換為字符將一個字符轉(zhuǎn)換為它的整數(shù)值將一個整數(shù)轉(zhuǎn)換為一個十六進制字符串()將一個整數(shù)轉(zhuǎn)換為一個八進制字符串條件和循環(huán)條件語句

條件語句是通過一條或多條語句的執(zhí)行結(jié)果（或者）來決定執(zhí)行的代碼塊。程序語言指定任何非和非空（）值為，或者為。編程中語句用于控制程序的執(zhí)行，基本形式為循環(huán)語句循環(huán)語句允許我們執(zhí)行一個語句或語句組多次。提供了循環(huán)和循環(huán)（在中沒有循環(huán)）循環(huán)類型循環(huán)循環(huán)嵌套循環(huán)描述在給定的判斷條件為時執(zhí)行循環(huán)體，否則退出循環(huán)體。重復(fù)執(zhí)行語句你可以在循環(huán)體中嵌套循環(huán)演示

語句執(zhí)行過程函數(shù)函數(shù)是組織好的，可重復(fù)使用的，用來實現(xiàn)單一，或相關(guān)聯(lián)功能的代碼段。定義函數(shù)遵循的相關(guān)規(guī)則函數(shù)代碼塊以關(guān)鍵詞開頭，后接函數(shù)標識符名稱和圓括號()。任何傳入?yún)?shù)和自變量必須放在圓括號中間。圓括號之間可以用于定義參數(shù)。函數(shù)的第一行語句可以選擇性地使用文檔字符串—用于存放函數(shù)說明。函數(shù)內(nèi)容以冒號起始，并且縮進。[表達式]結(jié)束函數(shù)，選擇性地返回一個值給調(diào)用方。不帶表達式的相當于返回。函數(shù)語法實例定義模塊好處模塊讓你能夠有邏輯地組織你的代碼段。把相關(guān)的代碼分配到一個模塊里能讓你的代碼更好用，更易懂。模塊能定義函數(shù)，類和變量，模塊里也能包含可執(zhí)行的代碼。模塊模塊()，是一個文件，以結(jié)尾，包含了對象定義和語句。來引入。在調(diào)用模模塊的引入模塊定義好后，我們可以使用語句來引入模塊，語法如下： [,[,...]

比如要引用模塊，就可以在文件最開始的地方用塊中模的塊函名數(shù).時函，數(shù)必名須這樣引用：文件打印到屏幕

最簡單的輸出方法是用語句，你可以給它傳遞零個或多個用逗號隔開的表達式。此函數(shù)把你傳遞的表達式轉(zhuǎn)換成一個字符串表達式，并將結(jié)果寫到標準輸出如下：讀取鍵盤輸入提供了兩個內(nèi)置函數(shù)從標準輸入讀入一行文本，默認的標準輸入是鍵盤。二者區(qū)別會提示你輸入任意字符串，然后在屏幕上顯示相同的字符串。

函數(shù)和函數(shù)基本類似，但是可以接收一個表達式作為輸入，并將運算結(jié)果返回。打開和關(guān)閉文件：變量是一個包含了你要訪問的文件名稱的字符串值。

:如果的值被設(shè)為，就不會有寄存。如果的值取，訪問文件時會寄存行。如果將的值設(shè)為大于的整數(shù)，表明了這就是的寄存區(qū)的緩沖大小。如果取負值，寄存區(qū)的緩沖大小則為系統(tǒng)默認。：決定了打開文件的模式：只讀，寫入，追加等。所有可取值見如下的提供了必要的函數(shù)和方法進行默認情況下的文件基本操作。你可以用對象做大部分的文件操作。函數(shù)

你必須先用內(nèi)置的()函數(shù)打開一個文件，創(chuàng)建一個對象，相關(guān)的方法才可以調(diào)用它進行讀寫。語法：(

[,

][,

])()方法

對象的（）方法刷新緩沖區(qū)里任何還沒寫入的信息，并關(guān)閉該文件，這之后便不能再進行寫入。當一個文件對象的引用被重新指定給另一個文件時，會關(guān)閉之前的文件。語法：();()方法

()方法可將任何字符串寫入一個打開的文件。需要重點注意的是，字符串可以是二進制數(shù)據(jù)，而不是僅僅是文字。()方法不會在字符串的結(jié)尾添加換行符("\")。語法：();()方法

（）方法從一個打開的文件中讀取一個字符串。需要重點注意的是，字符串可以是二進制數(shù)據(jù)，而不是僅僅是文字。語法：([]);(文件)方法序號方法及描述()

關(guān)閉文件。關(guān)閉后文件不能再進行讀寫操作。()

刷新文件內(nèi)部緩沖，直接把內(nèi)部緩沖區(qū)的數(shù)據(jù)立刻寫入文件,

而不是被動的等待輸出緩沖區(qū)寫入。()

返回一個整型的文件描述符(

整型),

可以用在如模塊的方法等一些底層操作上。

()

如果文件連接到一個終端設(shè)備返回

，否則返回

。()

返回文件下一行。([])

從文件讀取指定的字節(jié)數(shù)，如果未給定或為負則讀取所有。

([])

讀取整行，包括

"\"

字符。([])

讀取所有行并返回列表，若給定>，返回總和大約為字節(jié)的行,

實際讀取值可能比較大,

因為需要填充緩

沖區(qū)。([,

])

設(shè)置文件當前位置

()

返回文件當前位置。([])

截取文件，截取的字節(jié)通過指定，默認為當前文件位置。

()

將字符串寫入文件，沒有返回值。()

向文件寫入一個序列字符串列表，如果需要換行則要自己加入每行的換行符?！獛炖眠M行數(shù)據(jù)分析工具重要的庫：（的簡稱）是科學計算的基礎(chǔ)包?？焖俑咝У亩嗑S數(shù)組對象用于對數(shù)組執(zhí)行元素級計算以及直接對數(shù)組執(zhí)行數(shù)學運算的函數(shù)用于讀寫硬盤上基于數(shù)組的數(shù)據(jù)集的工具線性代數(shù)運算、傅里葉變換、以及隨機數(shù)生成用于將、、代碼集成到的工具

除了為提供快速的數(shù)組處理能力，在數(shù)據(jù)分析方面還作為在算法之間傳遞數(shù)據(jù)的容器：提供了使我們能夠快速便捷地處理結(jié)構(gòu)化數(shù)據(jù)的大量數(shù)據(jù)結(jié)構(gòu)和函數(shù)

兼具高性能的數(shù)據(jù)計算功能以及電子表格和關(guān)系型數(shù)據(jù)庫（如）靈活的數(shù)據(jù)處理功能。提供了復(fù)雜精細的索引功能、一邊更為便捷地完成重塑、切片和切塊、聚合以及選取數(shù)據(jù)子集等操作。提供了大量適用于金融數(shù)據(jù)的高性能時間序列功能和工具其他的庫：是最流行的用于繪制數(shù)據(jù)圖標的庫，實現(xiàn)數(shù)據(jù)可視化。

：是科學計算標準工具集的組成部分，它將其他所有的東西聯(lián)系到了一起，為交互是和探索式計算提供了一個強健而高效的環(huán)境。：是一組專門解決科學計算中各種標準問題域的包的集合，包括：數(shù)值積分例程和韋恩方程式求解器：擴展了由提供的線性代數(shù)例程和矩陣分解功能：函數(shù)優(yōu)化器（最小化器）以及根查找算法：信號處理工具：稀疏矩陣和系數(shù)線性系統(tǒng)求解器：（這是一個實現(xiàn)了許多常用數(shù)學函數(shù)（如伽馬函數(shù)）的庫）的包裝器常用第三方庫安裝和導(dǎo)入安裝下載并安裝，它附帶了預(yù)安裝的庫。

是完全免費、跨平臺、企業(yè)級的發(fā)行大規(guī)模數(shù)據(jù)處理、預(yù)測分析和科學計算工具。已經(jīng)集成、、等常用庫。導(dǎo)入??

,庫介紹是高性能科學計算和數(shù)據(jù)分析的基礎(chǔ)包。部分功能如下：,具有矢量算術(shù)運算和復(fù)雜廣播能力的快速且節(jié)省空間的多維數(shù)組。用于對整組數(shù)據(jù)進行快速運算的標準數(shù)學函數(shù)（無需編寫循環(huán)）。用于讀寫磁盤數(shù)據(jù)的工具以及用于操作內(nèi)存映射文件的工具。線性代數(shù)、隨機數(shù)生成以及傅里葉變換功能。用于集成、、等語言編寫的代碼的工具。首先要導(dǎo)入庫：生成函數(shù)(

)(

,

)(

)作用將輸入數(shù)據(jù)轉(zhuǎn)化為一個將輸入數(shù)據(jù)轉(zhuǎn)化為一個類型為的將輸入數(shù)據(jù)轉(zhuǎn)化為一個新的（）(

)(

,

)(

)(

)(

,

)()(

)(

,

)()生成一個長度的一維全一生成一個長度類型是的一維全一生成一個形狀與參數(shù)相同的全一生成一個長度的一維全零生成一個長度類型位的一維全零類似()生成一個長度的未初始化一維生成一個長度類型是的未初始化一維類似()(

)(

)創(chuàng)建一個*的單位矩陣（對角線為，其余為）(

)(

,

)(

,

,

)生成一個從到步數(shù)為的一維

生成一個從到步數(shù)為的一維

生成一個從到的步數(shù)為的一維(,

[,...])檢查中的元素是否等于[,...]中的一個，返回數(shù)組矩陣函數(shù)說明(

)(

[,...])以一維數(shù)組的形式返回方陣的對角線（或非對角線）元素將一維數(shù)組轉(zhuǎn)化為方陣（非對角線元素為）(,

)矩陣乘法(

)計算對角線元素的和排序函數(shù)說明(

)排序，返回副本()返回中的元素，排除重復(fù)元素之后，并進行排序(

,

)(

,

)(

,

)(

,

)返回二者的交集并排序。返回二者的并集并排序。返回二者的差。返回二者的對稱差一元計算函數(shù)()()()()()()、、、說明計算絕對值計算絕對值（非復(fù)數(shù)）求平均值計算^計算^計算^計算自然對數(shù)、底為的、底為的、底為()的()計算正負號：（正）、（）、（負）()()()計算大于等于改值的最小整數(shù)計算小于等于該值的最大整數(shù)四舍五入到最近的整數(shù)，保留()將數(shù)組的小數(shù)和整數(shù)部分以兩個獨立的數(shù)組方式返回()返回一個判斷是否是的型數(shù)組()()返回一個判斷是否是有窮（非，非）的型數(shù)組返回一個判斷是否是無窮的型數(shù)組、、、、、普通型和雙曲型三角函數(shù)、、、、、反三角函數(shù)和雙曲型反三角函數(shù)()計算各元素的真值，相當于多元計算函數(shù)說明相加相減乘法除法圓整除法（丟棄余數(shù)）次方求模求最大值求最大值（忽略）求最小值求最小值（忽略）將參數(shù)中的符號賦予參數(shù)>><<(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(,

)(

,

)([],...)^計算兩個的矩陣內(nèi)積生成一個索引器，用于(花式索引)文件讀寫說明(,

)將保存到文件名為[]的文件中（無壓縮）(,

,

,

...)將所有的壓縮保存到文件名為[]的文件中(,

,

,

"\")將寫入文件，格式為()讀取文件名的文件內(nèi)容并轉(zhuǎn)化為對象（或字典對象）(,

)讀取文件名的文件內(nèi)容，以為分隔符轉(zhuǎn)化為庫介紹

是基于的一種工具，該工具是為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的。納入了大量庫和一些標準的數(shù)據(jù)模型，提供了高效地操作大型數(shù)據(jù)集所需的工具。提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法。使用方法?

,?常用函數(shù)函數(shù)說明([,...])({"","",...},

)生成一個()復(fù)制一個([,...],

)([,...],

)([,...])重返回一個適應(yīng)新索引的新對象，將缺失值填充為返回適應(yīng)新索引的新對象，填充方式為對列進行重新索引()丟棄指定項()應(yīng)用元素級函數(shù)排序函數(shù)說明()根據(jù)索引返回已排序的新對象()根據(jù)值返回已排序的對象，值在末尾("",

,

)為各組分配一個平均排名()()返回含有最大值的索引位置返回含有最小值的索引位置常用函數(shù)函數(shù)說明(,

,

[])(二維)(由數(shù)組、列表或元組組成的字典)

(的結(jié)構(gòu)化記錄數(shù)組)(由組成的字典)(由字典組成的字典)

(字典或的列表)(由列表或元組組成的列表)()(的)構(gòu)建數(shù)據(jù)矩陣，還可以傳入行標和列標每個序列會變成的一列。所有序列的長度必須相同類似于“由數(shù)組組成的字典”每個會成為一列。如果沒有顯式制定索引，則各的索引會被合并成結(jié)果的行索引各內(nèi)層字典會成為一列。鍵會被合并成結(jié)果的行索引。各項將會成為的一行。索引的并集會成為的列標。類似于二維沿用類似于二維，但掩碼結(jié)果會變成缺失值([,...],

,

)([,...],

)([,...],

[,...])返回一個適應(yīng)新索引的新對象，將缺失值填充為，最大填充量為返回適應(yīng)新索引的新對象，填充方式為同時對行和列進行重新索引，默認復(fù)制新對象。(,

)丟棄指定軸上的指定項。匯總統(tǒng)計函數(shù)()()()()(,

)(,

)()說明非的數(shù)量一次性產(chǎn)生多個匯總統(tǒng)計最小值最大值返回含有最大值的的返回含有最小值的的計算樣本的分位數(shù)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)(,

,

)()()返回一個含有求和小計的返回一個含有平均值的返回一個含有算術(shù)中位數(shù)的返回一個根據(jù)平均值計算平均絕對離差的返回一個方差的返回一個標準差的返回樣本值的偏度（三階距）返回樣本值的峰度（四階距）返回樣本的累計和返回樣本的累計最大值返回樣本的累計最小值返回樣本的累計積返回樣本的一階差分返回樣本的百分比數(shù)變化排序函數(shù)說明(,

)([,...])根據(jù)索引排序計算函數(shù)說明(,

,

)(,

,

)(,

,

)(,

,

)元素級相加，對齊時找不到元素默認用元素級相減，對齊時找不到元素默認用元素級相除，對齊時找不到元素默認用元素級相乘，對齊時找不到元素默認用(,

)將函數(shù)應(yīng)用到由各行各列所形成的一維數(shù)組上()將函數(shù)應(yīng)用到各個元素上(,

)累加，返回累加后的分析步驟定義數(shù)據(jù)分析目標：明確挖掘數(shù)據(jù)的目標和達到的效果。

數(shù)據(jù)取樣：采集目標相關(guān)樣本數(shù)據(jù)子集，確保數(shù)據(jù)的相關(guān)性、可靠性、有效性。數(shù)據(jù)探索：對樣本數(shù)據(jù)探索、審核、加工處理，保證樣本數(shù)據(jù)的質(zhì)量。

數(shù)據(jù)預(yù)處理：改善數(shù)據(jù)質(zhì)量，包括數(shù)據(jù)篩選、數(shù)據(jù)變量轉(zhuǎn)換、缺失值數(shù)據(jù)處理等。

挖掘建模：確定分析問題類型（分類，聚類、關(guān)聯(lián)等），選擇相應(yīng)算法構(gòu)建模型。模型評價：從建立模型中找到一個最好的模型，并應(yīng)用到實際業(yè)務(wù)中。利用進行數(shù)據(jù)分析數(shù)據(jù)探索數(shù)據(jù)質(zhì)量分析主要任務(wù)是檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)，即不符合要求，不能直接處理的數(shù)據(jù)，包括缺失值分析、異常值分析、一致性分析。數(shù)據(jù)特征分析分布分析：揭示數(shù)據(jù)的分布特征和分布類型，通過繪制頻率分布表、莖葉圖等直觀分析對比分析：把兩個相互聯(lián)系的指標進行比較，從數(shù)量上展示和說明研究對象規(guī)模的大小， 水平的高低，速度的快慢，以及各種關(guān)系是否協(xié)調(diào)。統(tǒng)計量分析：用統(tǒng)計量指標對定量數(shù)據(jù)進行統(tǒng)計描述，常從集中趨勢和離中趨勢兩個方面 進行分析。數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗

刪除原始數(shù)據(jù)集中的無關(guān)數(shù)據(jù)、重復(fù)數(shù)據(jù)、平滑噪聲數(shù)據(jù)、無關(guān)數(shù)據(jù)，處理缺失值和異常值。數(shù)據(jù)集成將多個數(shù)據(jù)源合并存放在一個一致的數(shù)據(jù)存儲（如數(shù)據(jù)倉庫）中的過程。數(shù)據(jù)變換

主要是對數(shù)據(jù)進行規(guī)范化處理，將數(shù)據(jù)轉(zhuǎn)換成適當?shù)男问剑赃m用于挖掘任務(wù)和算法的需要。數(shù)據(jù)規(guī)約產(chǎn)生更小但保持數(shù)據(jù)完整性的新數(shù)據(jù)集，在規(guī)約后的數(shù)據(jù)集上進行分析主要數(shù)據(jù)預(yù)處理函數(shù)函數(shù)名所屬擴展庫函數(shù)功能一維、高維數(shù)據(jù)插值去除數(shù)據(jù)中重復(fù)元素，得到單值元素列表判斷是否是空值判斷是否非空值對指標變量矩陣進行主成分分析生成隨機矩陣挖掘建模分類與預(yù)測

分類：構(gòu)造一個分類模型，輸入樣本的屬性值，輸出對應(yīng)的類別，將每個樣本映射到預(yù)先定義好的類別

預(yù)測：建立兩種或兩種以上變量間相互依賴的函數(shù)模型，然后進行預(yù)測和控制實現(xiàn)過程

學習步，通過歸納分析訓練樣本集來建立分類模型得到分類規(guī)則

分類步，先用一直的測試樣本集評估分類規(guī)則的準確率，如果準確率是可以接受的，則使用該模型對未知類標號的待測樣本常用的分類與預(yù)測算法算法分析回歸分析決策樹人工神經(jīng)網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)支持向量機算法描述回歸分析是確定去測屬性（數(shù)值型）與其他變量間相互依賴的定量關(guān)系最常用的統(tǒng)計學方法。包括線性回歸、非線性回歸、回歸、嶺回歸、主成分回歸、偏最小二乘回歸等模型決策樹采用自頂向下的遞歸方式，在內(nèi)部節(jié)點進行屬性值的比較，并根據(jù)不同的屬性值從該節(jié)點向下分支，最終得到的葉節(jié)點是學習劃分的類人工神經(jīng)神經(jīng)網(wǎng)絡(luò)是一種模仿大腦神經(jīng)網(wǎng)絡(luò)和功能而建立的信息處理系統(tǒng)，表示神經(jīng)網(wǎng)絡(luò)的輸入與輸出變量之間關(guān)系的模型貝葉斯網(wǎng)絡(luò)又稱信度網(wǎng)絡(luò)，是方法的擴展，是目前不確定知識表達和推理領(lǐng)域最有效的理論模型之一支持向量機是一種通過魔種非線性映射，把低緯的非線性可分轉(zhuǎn)化為高維的線性可分，在高維空間進行線性分析的算法主要回歸模型分類回歸模型名稱線性回歸算法描述對一個或多個自變量和因變量之間的線性關(guān)系進行建?？捎米钚《朔ㄇ蠼饽Ｐ拖禂?shù)非線性回歸試用條件因變量與自變量是線性關(guān)系因變量與自變量之間不都是線性關(guān)系對一個或多個自變量和因變量之間的非線性關(guān)系進行建模。如果非線性關(guān)系可以通過簡單的函數(shù)變換轉(zhuǎn)化成線性關(guān)系，用線性回歸的思想求解；如果不能轉(zhuǎn)化，用非線性最小二乘法方法求解是廣義線性回歸模型的特例，利用函數(shù)將因變量的取值范圍控制在和之間，表示取值為的概率嶺回歸是一種改進最小二乘估計的方法主成分回歸因變量一般有和兩種取值參與建模的自變量之間具有多重共線性參與建模的自變量之間具有多重共線性主成分回歸是根據(jù)主成分分析的思想提出來，是對最小二乘法的一種改進，它是參數(shù)估計的一種有偏估計?？梢韵宰兞恐g的多重共線性對某銀行在降低貸款拖欠率的數(shù)據(jù)進行邏輯回歸建模，數(shù)據(jù)示例如下表應(yīng)用舉例一代碼運行結(jié)果結(jié)果分析

隨機邏輯回歸剔除變量，分別剔除了、、、，最終構(gòu)建模型包含的變量為常量、、、。在建立邏輯回歸模型時，使用了默認的閾值。聚類分析在沒有給定劃分類別的情況下，根據(jù)數(shù)據(jù)相似度進行樣本分組的一種方法。包括的主要算法常用類聚別類方法劃分方法算法、算法、算法層次分析法算法、算法、算法基于密度的方法算法、算法、算法基于網(wǎng)格的方法算法、算法、——算法基于模型的方法統(tǒng)計學方法、神經(jīng)網(wǎng)絡(luò)方法常用聚類分析算法算法名稱中心點系統(tǒng)聚類算法描述均值聚類也稱為快速聚類法，在最小化誤差函數(shù)的基