信息安全案例教程：技術(shù)與應(yīng)用 第2版 課件 第8章 數(shù)據(jù)分析基礎(chǔ)

第8章數(shù)據(jù)分析基礎(chǔ)信息學(xué)院2024引言8.1案例：蘋果公司股票價(jià)格數(shù)據(jù)的典型技術(shù)指標(biāo)分析8.2科學(xué)計(jì)算包Numpy8.3數(shù)據(jù)處理包Pandas8.4編程實(shí)踐8.5本章小結(jié)8.6習(xí)題8.1案例：蘋果公司股票價(jià)格數(shù)據(jù)的典型技術(shù)指標(biāo)分析通過(guò)對(duì)證券市場(chǎng)的歷史數(shù)據(jù)進(jìn)行梳理，應(yīng)用數(shù)學(xué)和邏輯方法，歸納總結(jié)出典型的行為，從而預(yù)測(cè)未來(lái)的變化趨勢(shì)，是數(shù)據(jù)分析的典型應(yīng)用，不同技術(shù)指標(biāo)都可以從其特定的角度對(duì)市場(chǎng)進(jìn)行觀察,反映了市場(chǎng)某一方面深層的內(nèi)涵。本案例主要選擇KDJ隨機(jī)指標(biāo)、RSI相對(duì)強(qiáng)弱指數(shù)指標(biāo)等。NumPy是Python用于科學(xué)計(jì)算的基礎(chǔ)包，也是大量Python數(shù)學(xué)和科學(xué)計(jì)算包的基礎(chǔ)，許多數(shù)據(jù)處理及分析包都是在NumPy基礎(chǔ)上開發(fā)的，如后面介紹的Pandas包等。NumPy的核心基礎(chǔ)是ndarray（N-dimensionalarray，N維數(shù)組），即由數(shù)據(jù)類型相同的元素組成的N維數(shù)組。本節(jié)主要介紹有關(guān)數(shù)組的創(chuàng)建、運(yùn)算、切片、連接、數(shù)據(jù)存取、矩陣運(yùn)算及線性代數(shù)運(yùn)算等內(nèi)容。8.2科學(xué)計(jì)算包Numpy8.2.1數(shù)組導(dǎo)入與創(chuàng)建NumPy中提供的loadtxt()函數(shù)可以從數(shù)據(jù)文件中導(dǎo)入數(shù)據(jù)，函數(shù)及主要參數(shù)如下：numpy.loadtxt(fname,dtype=<class'float'>,comments='#',delimiter=None,converters=None,skiprows=0,usecols=None,unpack=False,ndmin=0,encoding='bytes',max_rows=None,*,like=None)fname:被讀取的文件名（文件的相對(duì)地址或者絕對(duì)地址）dtype:指定讀取后數(shù)據(jù)的數(shù)據(jù)類型delimiter:指定讀取文件中數(shù)據(jù)的分割符skiprows:選擇跳過(guò)的行數(shù)usecols:指定需要讀取的列8.2.1數(shù)組導(dǎo)入與創(chuàng)建8.2.1數(shù)組導(dǎo)入與創(chuàng)建array()函數(shù)可以將列表、元組、嵌套列表、嵌套元組等給定的數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)化為數(shù)組。array()函數(shù)的語(yǔ)法格式為：numpy.array(object,dtype=None,copy=True,order=None,ndmin=0)object：表示數(shù)組序列dtype：可選參數(shù)，表示數(shù)組的數(shù)據(jù)類型copy：可選參數(shù)，表示數(shù)組能否被復(fù)制，默認(rèn)為Trueorder：用來(lái)定義以何種內(nèi)存布局創(chuàng)建數(shù)組ndmin：用于指定數(shù)組的維度8.2.1數(shù)組導(dǎo)入與創(chuàng)建8.2.2數(shù)組屬性屬性說(shuō)明ndim數(shù)組維度數(shù)shape數(shù)組的形狀，即幾行幾列size數(shù)組元素的個(gè)數(shù)，相當(dāng)于shape中行列數(shù)的乘積dtype數(shù)組元素的數(shù)據(jù)類型itemsize數(shù)組中每個(gè)數(shù)組元素的大小，以字節(jié)為單位8.2.3數(shù)組訪問(wèn)在NumPy中，如果想要訪問(wèn)或修改數(shù)組中的元素，可以采用索引或切片的方式，例如，使用從0開始的索引依次訪問(wèn)數(shù)組中的元素或者按照規(guī)則切取原數(shù)組中的部分?jǐn)?shù)據(jù)等，與列表操作相同。8.2.3數(shù)組訪問(wèn)數(shù)組變換數(shù)組排序數(shù)組條件篩選8.2.4數(shù)組操作8.2.5數(shù)組運(yùn)算數(shù)組和標(biāo)量之間的運(yùn)算8.2.5數(shù)組運(yùn)算數(shù)組和數(shù)組之間的運(yùn)算8.2.5數(shù)組運(yùn)算數(shù)組統(tǒng)計(jì)函數(shù)8.3數(shù)據(jù)處理包Pandas8.3.1數(shù)據(jù)導(dǎo)入Pandas提供了較多的文件讀取函數(shù)，讀取csv文件常使用read_csv()函數(shù)，由于其參數(shù)較多，以下僅介紹常用的參數(shù)：filepath_or_buffer：用來(lái)指定數(shù)據(jù)輸入的路徑，可以是文件路徑，也可以是一個(gè)鏈接，讀取csv文件，默認(rèn)讀取第一個(gè)sheet的內(nèi)容sep：用來(lái)指定讀取csv文件時(shí)的分隔符，默認(rèn)為逗號(hào)。特別需要注意，csv文件本身分隔符和讀取csv文件時(shí)指定的分隔符需要保持一致header和name：用來(lái)指定導(dǎo)入數(shù)據(jù)后列標(biāo)題，當(dāng)names沒(méi)被賦值時(shí)，header也沒(méi)有被賦值時(shí)，選取數(shù)據(jù)文件的第一行作為列標(biāo)題；當(dāng)names被賦值，header沒(méi)被賦值時(shí)，那么header會(huì)變成None；如果都賦值，就會(huì)實(shí)現(xiàn)兩個(gè)參數(shù)的組合功能index_col：用來(lái)指定列索引，默認(rèn)是0、1、2、……8.3.1數(shù)據(jù)導(dǎo)入8.3.2數(shù)據(jù)創(chuàng)建通過(guò)DataFrame()函數(shù)，創(chuàng)建新的數(shù)據(jù)框?qū)ο?，其語(yǔ)法格式為：pd.DataFrame(data,index,columns,dtype,copy)主要的參數(shù)包括：data：指定數(shù)據(jù)來(lái)源對(duì)象，可以是ndarray、list或者dict等index：指定列索引，與來(lái)源數(shù)據(jù)的長(zhǎng)度相同，默認(rèn)值為np.arange(n)，n代表data中元素個(gè)數(shù)columns：指定列標(biāo)簽，默認(rèn)值np.arange(n)dtype：指定數(shù)據(jù)類型，如果沒(méi)有定義，Python會(huì)根據(jù)輸入進(jìn)行判斷copy：是否復(fù)制數(shù)據(jù)，默認(rèn)為falseSeries作為特殊的數(shù)據(jù)框，由索引index和對(duì)應(yīng)的值構(gòu)成。Pandas中提供了可以直接創(chuàng)建序列對(duì)象的Series()函數(shù)，其語(yǔ)法格式為：pandas.Series(data,index,dtype,copy)8.3.2數(shù)據(jù)創(chuàng)建8.3.3數(shù)據(jù)預(yù)覽數(shù)據(jù)框和序列主要屬性屬性名主要功能描述axes返回行軸標(biāo)簽列表dtypes返回序列數(shù)據(jù)類型empty如果系列為空，則返回Truendim返回序列維數(shù)size返回序列元素個(gè)數(shù)values將序列作為數(shù)組返回index將索引作為數(shù)組返回8.3.4數(shù)據(jù)訪問(wèn)在對(duì)有關(guān)數(shù)據(jù)進(jìn)行操作之前，需要先將滿足條件的數(shù)據(jù)查找出來(lái)，數(shù)據(jù)訪問(wèn)可以借助loc屬性或者iloc屬性來(lái)完成。loc屬性可以指定需待查找數(shù)據(jù)的列標(biāo)簽和行標(biāo)簽，iloc屬性則需要指定待查找數(shù)據(jù)的行索引和列索引，此外，loc屬性和iloc屬性均支持通過(guò)切片和布爾索引的方式來(lái)選擇數(shù)據(jù)。8.3.4數(shù)據(jù)訪問(wèn)8.3.5數(shù)據(jù)操作新增數(shù)據(jù)刪除數(shù)據(jù)修改數(shù)據(jù)8.3.6時(shí)間序列處理

利用道瓊斯股票交易數(shù)據(jù)，進(jìn)行時(shí)間序列分析，計(jì)算蘋果股價(jià)的對(duì)數(shù)變化率。在金融領(lǐng)域，通常假定股票的對(duì)數(shù)變化率服從正態(tài)分布，這里的對(duì)數(shù)變化率指的是當(dāng)前股價(jià)和之前的股價(jià)對(duì)比的對(duì)數(shù)。在Pandas中沒(méi)有直接的公式進(jìn)行計(jì)算，需要通過(guò)shift方法來(lái)進(jìn)行間接計(jì)算。8.3.7本章案例實(shí)現(xiàn)KDJ隨機(jī)指標(biāo)RSI相對(duì)強(qiáng)弱指數(shù)指標(biāo)8.4編程實(shí)踐根據(jù)數(shù)據(jù)文件online_con_2022.xlsx，利用本章所講授的有關(guān)內(nèi)容，進(jìn)行數(shù)據(jù)分析。8.5本章小結(jié)本章主要圍繞數(shù)據(jù)分析基礎(chǔ)，重點(diǎn)介紹了常用的NumPy和Pandas兩個(gè)數(shù)據(jù)處理工具包，通過(guò)相關(guān)例題，對(duì)數(shù)據(jù)導(dǎo)入、數(shù)據(jù)創(chuàng)建、數(shù)據(jù)操作、數(shù)據(jù)訪問(wèn)以及時(shí)間序列處理能內(nèi)容進(jìn)行了有針對(duì)性的講解，在本章的案例部分，以蘋果公司股價(jià)數(shù)據(jù)為分析對(duì)象，討論了有關(guān)指標(biāo)的創(chuàng)建，在編程實(shí)踐部分，展示了如何利用本章內(nèi)容，對(duì)在線醫(yī)療社區(qū)的服務(wù)交易數(shù)據(jù)進(jìn)行分析與處理。1.簡(jiǎn)答題1)請(qǐng)簡(jiǎn)單描述本章所介紹的Pandas的數(shù)據(jù)