Python文件和數(shù)據(jù)格式化全面掌握

匯報(bào)人：XX2024-01-11Python文件和數(shù)據(jù)格式化全面掌握目錄文件基本操作與讀寫(xiě)數(shù)據(jù)類型與格式化輸出文件內(nèi)容格式化處理數(shù)據(jù)清洗與整理技巧實(shí)戰(zhàn)案例：Python在數(shù)據(jù)處理中的應(yīng)用01文件基本操作與讀寫(xiě)使用`open()`函數(shù)打開(kāi)文件，指定文件名和打開(kāi)模式（如讀取模式"r"、寫(xiě)入模式"w"、追加模式"a"等）。打開(kāi)文件使用`close()`方法關(guān)閉文件，釋放資源。關(guān)閉文件打開(kāi)與關(guān)閉文件使用`read()`方法一次性讀取整個(gè)文件內(nèi)容。讀取整個(gè)文件逐行讀取讀取指定字符使用`readlines()`方法或循環(huán)遍歷文件對(duì)象逐行讀取。使用`read(size)`方法讀取指定數(shù)量的字符。030201讀取文件內(nèi)容寫(xiě)入文件內(nèi)容寫(xiě)入字符串使用`write()`方法將字符串寫(xiě)入文件。寫(xiě)入多行使用`writelines()`方法將字符串列表寫(xiě)入文件，實(shí)現(xiàn)多行寫(xiě)入。123使用`os.getcwd()`獲取當(dāng)前工作目錄路徑。獲取當(dāng)前路徑使用`os.path.join()`將目錄和文件名拼接成完整路徑。拼接路徑使用`os.path.split()`將完整路徑分割為目錄和文件名。分割路徑文件路徑處理02數(shù)據(jù)類型與格式化輸出數(shù)字類型包括整數(shù)（int）、浮點(diǎn)數(shù)（float）、復(fù)數(shù)（complex）等。字符串類型由零個(gè)或多個(gè)字符組成的有序字符序列，用單引號(hào)、雙引號(hào)或三引號(hào)表示。列表類型可以包含任意類型的對(duì)象，是有序的集合，可以隨時(shí)添加和刪除其中的元素。元組類型與列表類似，但元組的元素不能修改。字典類型由鍵和值組成的數(shù)據(jù)項(xiàng)構(gòu)成的集合，是無(wú)序的。集合類型不包含重復(fù)元素的無(wú)序集合。Python基本數(shù)據(jù)類型格式化輸出方法010203使用`%`操作符進(jìn)行格式化輸出：通過(guò)在字符串中插入格式占位符，然后使用`%`操作符將值填充到占位符中。使用`str.format()`方法進(jìn)行格式化輸出：通過(guò)調(diào)用字符串的`format()`方法，并在其中使用花括號(hào)`{}`作為占位符，然后將值填充到占位符中。使用f-string進(jìn)行格式化輸出：在Python3.6及更高版本中，可以使用f-string（格式化字符串字面值）進(jìn)行格式化輸出。通過(guò)在字符串前加上`f`或`F`，然后在字符串中使用花括號(hào)`{}`作為占位符，并將變量或表達(dá)式放在占位符中。%%表示百分號(hào)本身。%x或%X表示十六進(jìn)制數(shù)，用于將整數(shù)轉(zhuǎn)換為十六進(jìn)制字符串。%f表示浮點(diǎn)數(shù)，用于將浮點(diǎn)數(shù)轉(zhuǎn)換為字符串。%s表示字符串，用于將對(duì)象轉(zhuǎn)換為字符串。%d表示十進(jìn)制整數(shù)，用于將整數(shù)轉(zhuǎn)換為字符串。字符串格式化操作符格式化輸出示例使用%操作符進(jìn)行格式化輸出示例```pythonname="Alice"格式化輸出示例age=25print("Mynameis%sandI'm%dyearsold."%(name,age))格式化輸出示例格式化輸出示例```使用`str.format()`方法進(jìn)行格式化輸出示例```pythonname="Bob"格式化輸出示例VSage=30print("Mynameis{}andI'm{}yearsold.".format(name,age))格式化輸出示例```使用f-string進(jìn)行格式化輸出示例格式化輸出示例```pythonname="Charlie"格式化輸出示例格式化輸出示例01age=3502print(f"Mynameis{name}andI'm{age}yearsold.")```0303文件內(nèi)容格式化處理讀取特定格式文件內(nèi)容使用Python內(nèi)置函數(shù)`open()`打開(kāi)文本文件，通過(guò)指定文件名和模式（如讀取模式"r"）進(jìn)行讀取，使用`read()`或`readlines()`方法讀取文件內(nèi)容。讀取CSV文件使用Python標(biāo)準(zhǔn)庫(kù)中的`csv`模塊，通過(guò)創(chuàng)建`csv.reader`對(duì)象來(lái)讀取CSV文件內(nèi)容，按行或按列進(jìn)行數(shù)據(jù)處理。讀取JSON文件使用Python標(biāo)準(zhǔn)庫(kù)中的`json`模塊，通過(guò)`json.load()`函數(shù)讀取JSON文件內(nèi)容，將JSON數(shù)據(jù)轉(zhuǎn)換為Python對(duì)象（如列表或字典）進(jìn)行處理。讀取文本文件寫(xiě)入文本文件使用Python內(nèi)置函數(shù)`open()`打開(kāi)或創(chuàng)建文本文件，通過(guò)指定文件名和模式（如寫(xiě)入模式"w"）進(jìn)行寫(xiě)入，使用`write()`方法將數(shù)據(jù)寫(xiě)入文件。寫(xiě)入CSV文件使用Python標(biāo)準(zhǔn)庫(kù)中的`csv`模塊，通過(guò)創(chuàng)建`csv.writer`對(duì)象來(lái)將數(shù)據(jù)按CSV格式寫(xiě)入文件，可以設(shè)置列名、分隔符等參數(shù)。寫(xiě)入JSON文件使用Python標(biāo)準(zhǔn)庫(kù)中的`json`模塊，通過(guò)`json.dump()`函數(shù)將數(shù)據(jù)轉(zhuǎn)換為JSON格式并寫(xiě)入文件，可以設(shè)置縮進(jìn)、排序等參數(shù)。將數(shù)據(jù)按指定格式寫(xiě)入文件使用Python標(biāo)準(zhǔn)庫(kù)中的`os`模塊，通過(guò)`os.walk()`或`os.listdir()`函數(shù)遍歷指定目錄下的所有文件，獲取文件名列表。遍歷目錄根據(jù)文件名、擴(kuò)展名或其他條件對(duì)文件進(jìn)行過(guò)濾，選擇需要處理的文件。文件過(guò)濾對(duì)選定的多個(gè)文件執(zhí)行相同的讀寫(xiě)操作，如批量讀取數(shù)據(jù)、批量寫(xiě)入數(shù)據(jù)等。批量讀寫(xiě)批量處理多個(gè)文件調(diào)整縮進(jìn)和空格根據(jù)代碼規(guī)范或排版要求，調(diào)整代碼行的縮進(jìn)和空格，使代碼結(jié)構(gòu)更清晰易讀。代碼高亮顯示將代碼中的關(guān)鍵字、變量名、字符串等不同類型的文本設(shè)置為不同的顏色或樣式，提高代碼的可讀性。刪除空白行和注釋通過(guò)正則表達(dá)式匹配空白行和注釋行，將其從文件內(nèi)容中刪除，優(yōu)化文件排版。文件內(nèi)容排版優(yōu)化04數(shù)據(jù)清洗與整理技巧識(shí)別缺失值通過(guò)Pandas庫(kù)中的isnull()和notnull()函數(shù)識(shí)別數(shù)據(jù)中的缺失值。刪除缺失值使用dropna()函數(shù)刪除含有缺失值的行或列。填充缺失值使用fillna()函數(shù)對(duì)缺失值進(jìn)行填充，可以指定填充的值或使用均值、中位數(shù)等統(tǒng)計(jì)量進(jìn)行填充。缺失值處理利用箱線圖（BoxPlot）識(shí)別數(shù)據(jù)中的異常值，箱線圖通過(guò)四分位數(shù)（Q1、Q2、Q3）和IQR（內(nèi)四分位距）來(lái)確定異常值的范圍。箱線圖識(shí)別異常值通過(guò)計(jì)算數(shù)據(jù)的Z-Score（標(biāo)準(zhǔn)分?jǐn)?shù)），將Z-Score大于3或小于-3的數(shù)據(jù)視為異常值。Z-Score識(shí)別異常值對(duì)于識(shí)別出的異常值，可以選擇刪除、替換為特定值或使用插值等方法進(jìn)行處理。處理異常值異常值識(shí)別與處理數(shù)據(jù)類型查看使用dtypes屬性查看DataFrame中各列的數(shù)據(jù)類型。數(shù)據(jù)類型轉(zhuǎn)換使用astype()函數(shù)將數(shù)據(jù)轉(zhuǎn)換為指定類型，如int、float、str等。日期類型轉(zhuǎn)換使用to_datetime()函數(shù)將日期字符串轉(zhuǎn)換為Pandas的datetime類型，方便進(jìn)行日期相關(guān)的操作。數(shù)據(jù)類型轉(zhuǎn)換數(shù)據(jù)排序與分組使用sort_values()函數(shù)對(duì)數(shù)據(jù)進(jìn)行排序，可以指定排序的列和排序方式（升序或降序）。數(shù)據(jù)排序使用groupby()函數(shù)對(duì)數(shù)據(jù)進(jìn)行分組，可以按照一個(gè)或多個(gè)列進(jìn)行分組，并對(duì)分組后的數(shù)據(jù)進(jìn)行聚合操作，如求和、均值、計(jì)數(shù)等。數(shù)據(jù)分組05實(shí)戰(zhàn)案例：Python在數(shù)據(jù)處理中的應(yīng)用讀取CSV文件使用Python內(nèi)置的csv模塊，可以輕松讀取CSV文件中的數(shù)據(jù)。通過(guò)指定文件路徑和分隔符，可以將CSV文件中的數(shù)據(jù)讀取為Python中的數(shù)據(jù)結(jié)構(gòu)，如列表或字典。數(shù)據(jù)清洗和處理讀取數(shù)據(jù)后，可以使用Python中的數(shù)據(jù)處理技巧，如列表推導(dǎo)式、字典操作和Pandas庫(kù)等，對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和計(jì)算。例如，可以篩選特定條件的數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)類型、計(jì)算數(shù)據(jù)的統(tǒng)計(jì)指標(biāo)等。數(shù)據(jù)可視化處理后的數(shù)據(jù)可以使用Matplotlib、Seaborn等可視化庫(kù)進(jìn)行可視化展示，幫助更好地理解和分析數(shù)據(jù)。案例一：從CSV文件中讀取并處理數(shù)據(jù)案例二使用Pandas提供的to_excel()方法，可以將DataFrame對(duì)象保存為Excel文件?？梢栽O(shè)置文件的保存路徑、工作表名稱、索引是否保存等參數(shù)。保存為Excel文件使用Python中的數(shù)據(jù)庫(kù)連接庫(kù)（如pymysql、psycopg2等）連接到相應(yīng)的數(shù)據(jù)庫(kù)，并執(zhí)行查詢語(yǔ)句獲取數(shù)據(jù)。連接數(shù)據(jù)庫(kù)將查詢結(jié)果轉(zhuǎn)換為Pandas的DataFrame對(duì)象，以便進(jìn)行后續(xù)的數(shù)據(jù)處理和分析。數(shù)據(jù)轉(zhuǎn)換案例三：批量修改圖片文件名并按規(guī)則排序修改文件名根據(jù)特定的命名規(guī)則，使用Python的字符串操作和正則表達(dá)式等功能，可以批量修改圖片文件的文件名。例如，可以按照日期、編號(hào)等規(guī)則對(duì)文件名進(jìn)行排序和重命名。遍歷圖片文件使用Python的os模塊，可以遍歷指定目錄下的所有圖片文件，并獲取它們的文件名和路徑。文件排序修改文件名后，可以使用Python的sorted()函數(shù)對(duì)文件進(jìn)行排序，以便更好地管理和查看圖片文件。定義函數(shù)根據(jù)特定的文本格式要求，可以自定義一個(gè)函數(shù)來(lái)實(shí)現(xiàn)特定格式的文本輸出。例如，可以定義一個(gè)函