Python數據分析-數據檢查

數據加載和檢查Python數據分析-數據檢查全文共15頁，當前為第1頁。本章主要內容數據獲取

數據加載

屬性檢查內容查看Python數據分析-數據檢查全文共15頁，當前為第2頁。數據獲取數據產生主體：如各類管理機構、公司、研究所等。數據中心社區(qū)：如Kaggle、和鯨社區(qū)、CSDN等個人收集：如私人博客、私人網站、私人收藏等無論哪一種方式，都需要注意合法合規(guī)以及數據隱私問題Python數據分析-數據檢查全文共15頁，當前為第3頁。教學數據集介紹記錄了1995-2020年世界上主要城市的日均氣溫讀數。數據包括8列：Region、Country、State、City、Month、Day、Year、AvgTemperature記錄條數：2906327Python數據分析-數據檢查全文共15頁，當前為第4頁。數據加載常見的數據集格式：文本文件、Excel文件、CSV文件CSV文件通常采取分號（；）作為字段分隔符，簡單易用有些CSV文件會采用其他分隔符，如空格、逗號、制表符等Pandas提供read_csv()方法加載CSV文件Python數據分析-數據檢查全文共15頁，當前為第5頁。數據加載read_csv()在加載數據集時，可能會報錯或者給出警告信息下面代碼的警告信息是因為第4列(State)數據包括空值解決方法：data=pd.read_csv('d:/dataset/city_temperature.csv',dtype={'State':object})Python數據分析-數據檢查全文共15頁，當前為第6頁。數據加載常見加載異常及解決方法異常解決方法（修改對應的read_csv()參數）分隔符非默認的分號通過sep或delimiter參數指定分隔符，如sep=';’讀入內容顯示亂碼通過encoding參數指定文件編碼，中文常用編碼包括utf-8、gbk（Windows系統(tǒng)常見）、gb2312等無標題行設定參數header=None數據解析出錯設定參數engine='Python'Python數據分析-數據檢查全文共15頁，當前為第7頁。屬性檢查查看數據集大?。篸ata.shape查看列名：data.columns查看索引：data.index查看各列數據類型：data.dtypes查看頭（尾）數據內容：data.head()、data.tail()Python數據分析-數據檢查全文共15頁，當前為第8頁。Pandas核心數據結構介紹

Series和DataFramePython數據分析-數據檢查全文共15頁，當前為第9頁。Pandas核心數據結構DataFrame=Series1+Series2+Series3+…Series:帶索引的一維數組DataFrame：帶索引的二維數組Python數據分析-數據檢查全文共15頁，當前為第10頁。Pandas核心數據結構Python數據分析-數據檢查全文共15頁，當前為第11頁。索引與下標索引：行、列的別名行索引：每一行的別名，如右圖中的’A’、‘B’、‘C’、‘D’列索引：每一列的別名，如右圖中的’C1’、’C2’索引可以隨意指定，允許重復的索引下標：行、列的位置通俗的說：第幾行，第幾列下標為從0開始的連續(xù)自然數，如右圖中0、1、2、3不存在重復的下標Python數據分析-數據檢查全文共15頁，當前為第12頁。查看數據Python數據分析-數據檢查全文共15頁，當前為第13頁。內容查詢基于索引的方式基于單值或者一維列表：選擇列查詢某一列：data[‘City’] 查詢多列：data[[‘Country’,’City’]]基于切片索引的方式：選擇行（基于下標)下標從5到14：data[5:15]基于.loc和.iloc的方式以索引為基礎的行、列查詢：data.loc[行索引，列索引]以下標為基礎的行、列查詢：data.iloc[行位置，列位置]以布爾型數組為基礎的查詢：data以條件為基礎的查詢：data.query(“查詢條件”)Python數據分析-數據檢查全文共15頁，當前為第14頁。內容查詢使用方法參數作用索引方式:DataFrame[參數]單個字符串顯示對應的列字符串列表顯示列表里面的所有列整數切片顯示滿足切片的行布爾型數組顯示數組元素為True對應的行表達式查詢方式：DataFrame.query(參數)查詢條件顯示滿足查詢條件的所有行.iloc方式:DataFrame.iloc[行參數,列參數]單個整數顯示對應的行（或列）整數切片顯示滿足切片要求的行（或列）整數列表顯示列表里面出現的行（或列）布爾型列表顯示True值對應的行或列callable方