信息安全案例教程：技術(shù)與應(yīng)用 第2版 課件 第8章 數(shù)據(jù)分析基礎(chǔ)

第8章數(shù)據(jù)分析基礎(chǔ)信息學(xué)院2024引言8.1案例：蘋果公司股票價格數(shù)據(jù)的典型技術(shù)指標(biāo)分析8.2科學(xué)計算包Numpy8.3數(shù)據(jù)處理包Pandas8.4編程實踐8.5本章小結(jié)8.6習(xí)題8.1案例：蘋果公司股票價格數(shù)據(jù)的典型技術(shù)指標(biāo)分析通過對證券市場的歷史數(shù)據(jù)進(jìn)行梳理，應(yīng)用數(shù)學(xué)和邏輯方法，歸納總結(jié)出典型的行為，從而預(yù)測未來的變化趨勢，是數(shù)據(jù)分析的典型應(yīng)用，不同技術(shù)指標(biāo)都可以從其特定的角度對市場進(jìn)行觀察,反映了市場某一方面深層的內(nèi)涵。本案例主要選擇KDJ隨機(jī)指標(biāo)、RSI相對強(qiáng)弱指數(shù)指標(biāo)等。NumPy是Python用于科學(xué)計算的基礎(chǔ)包，也是大量Python數(shù)學(xué)和科學(xué)計算包的基礎(chǔ)，許多數(shù)據(jù)處理及分析包都是在NumPy基礎(chǔ)上開發(fā)的，如后面介紹的Pandas包等。NumPy的核心基礎(chǔ)是ndarray（N-dimensionalarray，N維數(shù)組），即由數(shù)據(jù)類型相同的元素組成的N維數(shù)組。本節(jié)主要介紹有關(guān)數(shù)組的創(chuàng)建、運(yùn)算、切片、連接、數(shù)據(jù)存取、矩陣運(yùn)算及線性代數(shù)運(yùn)算等內(nèi)容。8.2科學(xué)計算包Numpy8.2.1數(shù)組導(dǎo)入與創(chuàng)建NumPy中提供的loadtxt()函數(shù)可以從數(shù)據(jù)文件中導(dǎo)入數(shù)據(jù)，函數(shù)及主要參數(shù)如下：numpy.loadtxt(fname,dtype=<class'float'>,comments='#',delimiter=None,converters=None,skiprows=0,usecols=None,unpack=False,ndmin=0,encoding='bytes',max_rows=None,*,like=None)fname:被讀取的文件名（文件的相對地址或者絕對地址）dtype:指定讀取后數(shù)據(jù)的數(shù)據(jù)類型delimiter:指定讀取文件中數(shù)據(jù)的分割符skiprows:選擇跳過的行數(shù)usecols:指定需要讀取的列8.2.1數(shù)組導(dǎo)入與創(chuàng)建8.2.1數(shù)組導(dǎo)入與創(chuàng)建array()函數(shù)可以將列表、元組、嵌套列表、嵌套元組等給定的數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)化為數(shù)組。array()函數(shù)的語法格式為：numpy.array(object,dtype=None,copy=True,order=None,ndmin=0)object：表示數(shù)組序列dtype：可選參數(shù)，表示數(shù)組的數(shù)據(jù)類型copy：可選參數(shù)，表示數(shù)組能否被復(fù)制，默認(rèn)為Trueorder：用來定義以何種內(nèi)存布局創(chuàng)建數(shù)組ndmin：用于指定數(shù)組的維度8.2.1數(shù)組導(dǎo)入與創(chuàng)建8.2.2數(shù)組屬性屬性說明ndim數(shù)組維度數(shù)shape數(shù)組的形狀，即幾行幾列size數(shù)組元素的個數(shù)，相當(dāng)于shape中行列數(shù)的乘積dtype數(shù)組元素的數(shù)據(jù)類型itemsize數(shù)組中每個數(shù)組元素的大小，以字節(jié)為單位8.2.3數(shù)組訪問在NumPy中，如果想要訪問或修改數(shù)組中的元素，可以采用索引或切片的方式，例如，使用從0開始的索引依次訪問數(shù)組中的元素或者按照規(guī)則切取原數(shù)組中的部分?jǐn)?shù)據(jù)等，與列表操作相同。8.2.3數(shù)組訪問數(shù)組變換數(shù)組排序數(shù)組條件篩選8.2.4數(shù)組操作8.2.5數(shù)組運(yùn)算數(shù)組和標(biāo)量之間的運(yùn)算8.2.5數(shù)組運(yùn)算數(shù)組和數(shù)組之間的運(yùn)算8.2.5數(shù)組運(yùn)算數(shù)組統(tǒng)計函數(shù)8.3數(shù)據(jù)處理包Pandas8.3.1數(shù)據(jù)導(dǎo)入Pandas提供了較多的文件讀取函數(shù)，讀取csv文件常使用read_csv()函數(shù)，由于其參數(shù)較多，以下僅介紹常用的參數(shù)：filepath_or_buffer：用來指定數(shù)據(jù)輸入的路徑，可以是文件路徑，也可以是一個鏈接，讀取csv文件，默認(rèn)讀取第一個sheet的內(nèi)容sep：用來指定讀取csv文件時的分隔符，默認(rèn)為逗號。特別需要注意，csv文件本身分隔符和讀取csv文件時指定的分隔符需要保持一致header和name：用來指定導(dǎo)入數(shù)據(jù)后列標(biāo)題，當(dāng)names沒被賦值時，header也沒有被賦值時，選取數(shù)據(jù)文件的第一行作為列標(biāo)題；當(dāng)names被賦值，header沒被賦值時，那么header會變成None；如果都賦值，就會實現(xiàn)兩個參數(shù)的組合功能index_col：用來指定列索引，默認(rèn)是0、1、2、……8.3.1數(shù)據(jù)導(dǎo)入8.3.2數(shù)據(jù)創(chuàng)建通過DataFrame()函數(shù)，創(chuàng)建新的數(shù)據(jù)框?qū)ο螅湔Z法格式為：pd.DataFrame(data,index,columns,dtype,copy)主要的參數(shù)包括：data：指定數(shù)據(jù)來源對象，可以是ndarray、list或者dict等index：指定列索引，與來源數(shù)據(jù)的長度相同，默認(rèn)值為np.arange(n)，n代表data中元素個數(shù)columns：指定列標(biāo)簽，默認(rèn)值np.arange(n)dtype：指定數(shù)據(jù)類型，如果沒有定義，Python會根據(jù)輸入進(jìn)行判斷copy：是否復(fù)制數(shù)據(jù)，默認(rèn)為falseSeries作為特殊的數(shù)據(jù)框，由索引index和對應(yīng)的值構(gòu)成。Pandas中提供了可以直接創(chuàng)建序列對象的Series()函數(shù)，其語法格式為：pandas.Series(data,index,dtype,copy)8.3.2數(shù)據(jù)創(chuàng)建8.3.3數(shù)據(jù)預(yù)覽數(shù)據(jù)框和序列主要屬性屬性名主要功能描述axes返回行軸標(biāo)簽列表dtypes返回序列數(shù)據(jù)類型empty如果系列為空，則返回Truendim返回序列維數(shù)size返回序列元素個數(shù)values將序列作為數(shù)組返回index將索引作為數(shù)組返回8.3.4數(shù)據(jù)訪問在對有關(guān)數(shù)據(jù)進(jìn)行操作之前，需要先將滿足條件的數(shù)據(jù)查找出來，數(shù)據(jù)訪問可以借助loc屬性或者iloc屬性來完成。loc屬性可以指定需待查找數(shù)據(jù)的列標(biāo)簽和行標(biāo)簽，iloc屬性則需要指定待查找數(shù)據(jù)的行索引和列索引，此外，loc屬性和iloc屬性均支持通過切片和布爾索引的方式來選擇數(shù)據(jù)。8.3.4數(shù)據(jù)訪問8.3.5數(shù)據(jù)操作新增數(shù)據(jù)刪除數(shù)據(jù)修改數(shù)據(jù)8.3.6時間序列處理

利用道瓊斯股票交易數(shù)據(jù)，進(jìn)行時間序列分析，計算蘋果股價的對數(shù)變化率。在金融領(lǐng)域，通常假定股票的對數(shù)變化率服從正態(tài)分布，這里的對數(shù)變化率指的是當(dāng)前股價和之前的股價對比的對數(shù)。在Pandas中沒有直接的公式進(jìn)行計算，需要通過shift方法來進(jìn)行間接計算。8.3.7本章案例實現(xiàn)KDJ隨機(jī)指標(biāo)RSI相對強(qiáng)弱指數(shù)指標(biāo)8.4編程實踐根據(jù)數(shù)據(jù)文件online_con_2022.xlsx，利用本章所講授的有關(guān)內(nèi)容，進(jìn)行數(shù)據(jù)分析。8.5本章小結(jié)本章主要圍繞數(shù)據(jù)分析基礎(chǔ)，重點(diǎn)介紹了常用的NumPy和Pandas兩個數(shù)據(jù)處理工具包，通過相關(guān)例題，對數(shù)據(jù)導(dǎo)入、數(shù)據(jù)創(chuàng)建、數(shù)據(jù)操作、數(shù)據(jù)訪問以及時間序列處理能內(nèi)容進(jìn)行了有針對性的講解，在本章的案例部分，以蘋果公司股價數(shù)據(jù)為分析對象，討論了有關(guān)指標(biāo)的創(chuàng)建，在編程實踐部分，展示了如何利用本章內(nèi)容，對在線醫(yī)療社區(qū)的服務(wù)交易數(shù)據(jù)進(jìn)行分析與處理。1.簡答題1)請簡單描述本章所介紹的Pandas的數(shù)據(jù)