3.7 使用NumPy讀寫文件

Python數(shù)據(jù)分析基礎與應用模塊3數(shù)據(jù)分析應用NumPy3.7使用NumPy讀寫文件1．認知CSV文件格式CSV是一種通用的、相對簡單的文件格式，在商業(yè)和科學領域廣泛應用。CSV（Comma-SeparatedValues，CSV，即逗號分隔值。有時也稱為字符分隔值，因為分隔字符也可以不是逗號）是一種非常流行的表格存儲文件格式，這種格式適合儲存中型或小型數(shù)據(jù)規(guī)模的數(shù)據(jù)。CSV格式文件以純文本形式存儲表格數(shù)據(jù)（數(shù)字和文本），純文本意味著該文件是一個字符序列。CSV文件通常使用半角逗號分割列，如果數(shù)據(jù)中含有逗號，就要用雙引號將整個數(shù)據(jù)塊包括起來。使用文本文件、Excel都可以打開CSV文件。3.7.1常見的數(shù)據(jù)文件格式3.7.1常見的數(shù)據(jù)文件格式2．認知npy和npz文件格式npy和npz文件實質(zhì)上是二進制格式文件。npy文件可以保存任意維度的numpy數(shù)組，不限于一維和二維；npy保存了numpy數(shù)組的結(jié)構(gòu)，保存的時候是什么shape和dtype，取出來時就是什么樣的shape和dtype。3.7.1常見的數(shù)據(jù)文件格式3．認知HDF5文件格式HDF（HierarchicalDataFormat）是一種為存儲和處理大容量科學數(shù)據(jù)設計的文件格式，當前流行的版本是HDF5。HDF5擁有一系列的優(yōu)異特性，使其特別適合進行大量科學數(shù)據(jù)的存儲和操作，例如它支持非常多的數(shù)據(jù)類型、靈活、通用、跨平臺、可擴展、高效的I/O性能、支持幾乎無限量（高達EB）的單文件存儲等。3.7.2使用loadtxt()和savetxt()函數(shù)讀寫txt或csv文件在NumPy中，可以使用loadtxt()函數(shù)讀取txt文件和csv文件，從文本文件中加載數(shù)據(jù)，要求txt文件中每行必須具備相同的元素個數(shù)。使用savetxt()函數(shù)將數(shù)組寫入txt文件和csv文件，savetxt()函數(shù)只能保存一維和二維numpy數(shù)組，當numpy數(shù)組array有多維時，需要將其使用array.reshape((a.shape[0],-1))函數(shù)變換后才能用這種方式保存。savetxt()函數(shù)不能追加保存數(shù)據(jù)，即每次np.savetxt()都會覆蓋之前的內(nèi)容。loadtxt()函數(shù)的語法格式如下：numpy.loadtxt(fname,dtype=<class‘float’>,comments=’#’,delimiter=None,converters=None,skiprows=0,usecols=None,unpack=False,ndmin=0,encoding=‘bytes’)3.7.3使用load()和save()函數(shù)讀寫npy或npz文件在NumPy中，load()和save()函數(shù)專門用于讀寫二進制格式文件，它們具有自動處理數(shù)組元素類型和形狀的功能。在NumPy中，可以使用load()函數(shù)讀取npy或npz文件，使用save()函數(shù)和savez()函數(shù)將數(shù)組寫入npy或npz文件。save()函數(shù)用于將一個數(shù)組以.npy格式保存為二進制文件，save()函數(shù)保存之后的擴展名為.npy，npy保存了numpy數(shù)組的結(jié)構(gòu)。但只能保存一個numpy數(shù)組，每次保存會覆蓋之前文件中存在的內(nèi)容（如果有的話）。3.7.3使用load()和save()函數(shù)讀寫npy或npz文件savez()函數(shù)用于將多個數(shù)組保存到一個非壓縮的.npz格式的文件中，savez()函數(shù)保存之后的擴展名為.npz。使用解壓程序打開npz文件可以看到里面是若干個以“數(shù)組名稱”命名的npy格式的文件，數(shù)組名稱默認為“arr_數(shù)字”的形式，在savez()函數(shù)中可以通過指明函數(shù)的參數(shù)名稱來命名數(shù)組。3.7.4使用h5py讀寫hdf5文件使用h5py讀寫hdf5文件不限制numpy數(shù)組維度，可以保持numpy數(shù)組結(jié)構(gòu)和數(shù)據(jù)類型，適合numpy數(shù)組很大的情況，文件占用空間小；可以通過key來訪問dataset（可以理解為numpy.array），讀取的時候很方便，不會混亂。可以不覆蓋原文件中含有的內(nèi)容?？梢允褂肍ile方法讀寫hdf5文件，寫文件時設置參數(shù)為w，讀文件時設置參數(shù)為r。3.7.5使用NumPy的genfromtxt()函數(shù)從文本文件中讀取數(shù)據(jù)NumPy的genfromtxt()函數(shù)用于從一個文本