Python大數(shù)據(jù)分析 習題答案 吳道君 第1-6章習題

151第章數(shù)據(jù)分析概述numpy，選中搜索結果中的NumPyInstallPakageNumPy1-11所示。其他第三方庫可以通過類似操作進行安裝。151第章數(shù)據(jù)分析概述圖1-11 PyCharm安裝第三方庫界面小小結本章首先介紹了數(shù)據(jù)分析的概念、流程以及應用，然后舉例說明了數(shù)據(jù)分析的常用工具，并重點介紹了Python數(shù)據(jù)分析的第三方類庫；最后介紹了Python數(shù)據(jù)分析環(huán)境搭建，主要是第三方庫的安裝，特別是JupyterNotebook開發(fā)工具的使用。習習題一、選擇題1．數(shù)據(jù)分析第三方庫包括（ 。A．NumPy B．Matplotlib2．下列不是數(shù)據(jù)分析常用工具的是（。C．PandasD．PygameA．Python B．JavaC．MATLABD．R二、填空題1．數(shù)據(jù)分析流程包括 等環(huán)節(jié)。2．廣義的數(shù)據(jù)分析包括 、 兩部分。16三、簡答題161．簡述Python數(shù)據(jù)分析的優(yōu)勢。實驗大數(shù)據(jù)分析2．思考Python數(shù)據(jù)分析環(huán)境搭建方法。實驗大數(shù)據(jù)分析一、實驗目的①掌握Python數(shù)據(jù)分析環(huán)境的搭建。②掌握JupyterNotebook的基本使用。二、實驗內(nèi)容①搭建Python數(shù)據(jù)分析環(huán)境。②使用JupyterNotebook開發(fā)工具。三、實驗過程1．安裝數(shù)據(jù)分析庫使用如下命令安裝數(shù)據(jù)分析需要的第三方Python庫。pip3installnumpypip3installscipypip3installnumpypip3installscipypip3installmatplotlibpip3installsklearnpip3installjupyterpip3installxlrdpip3installopenpyxlpip3installseaborn打開命令窗口，在其中輸入上述命令。以NumPy安裝為例，如圖1-12所示。注意：pip3命令需要計算機與互聯(lián)網(wǎng)相連，因為需要下載。圖1-12 安裝NumPy操作2．安裝JupyterNotebook開發(fā)工具在命令窗口中，輸入pip3installjupyter命令后按【EnterJupyterNotebook，1-13所示。3．啟動JupyterNotebook①在Windows中打開命令窗口（CMD，如圖1-14所示。2nwalks=500nsteps=1000draws=np.random.randint(0,2,size=(nwalks,nsteps))steps=np.where(draws>0,1,-1)walks=steps.cumsum(1)print(walks)2nwalks=500nsteps=1000draws=np.random.randint(0,2,size=(nwalks,nsteps))steps=np.where(draws>0,1,-1)walks=steps.cumsum(1)print(walks)第章數(shù)值計算輸出結果：章數(shù)值計算[[-1-2-3...525150][-10 1...-22-23-24][-10-1...-16-17-18]...[10-1...-36-35-36][-10-1... 0-1 0][12 1...444342]]小小結本章介紹了NumPy數(shù)組的創(chuàng)建、對象屬性和數(shù)據(jù)類型，數(shù)組形狀修改、翻轉(zhuǎn)、連接、分割等操作，介紹了數(shù)組的索引和切片、數(shù)組的運算以及線性代數(shù)求解，最后介紹了數(shù)組的存取。習題習題一、單選題1．下列不是創(chuàng)建NumPy數(shù)組的函數(shù)是（ 。A．a(chǎn)rray() B．ones_like() C．eye() D．reshape()2．下列能夠產(chǎn)生正態(tài)分布樣本值的函數(shù)是（ 。A．rand() B．randint() C．randn() D．seed()3．求數(shù)組轉(zhuǎn)置除了使用transpose()函數(shù)外，還可以使用數(shù)據(jù)的（ ）屬性。A．T B．shape C．size D．dtype二、填空題1．分割數(shù)組的函數(shù)有 、 、 。2．求數(shù)組的標準差函數(shù)是 ，方差函數(shù)是 。3．求矩陣特征值和特征向量的函數(shù)是 、 。三、簡答題1．簡述函數(shù)unique()的參數(shù)。2．簡述數(shù)組可以廣播的條件。3．簡述sort()函數(shù)的排序算法。四、讀程序1．以下程序的執(zhí)行結果是 。importnumpyasnpa=np.arange(12).reshape(2,6)importnumpyasnpa=np.arange(12).reshape(2,6)c=a.ravel()c[0]=100c=a.ravel()c[0]=100print(a)58大數(shù)據(jù)分析2．以下程序的執(zhí)行結果是 。58大數(shù)據(jù)分析importnumpyasnpa=np.arange(9)b=np.split(a,3)print(b)importnumpyasnpa=np.arange(9)b=np.split(a,3)print(b)importnumpyasnpa=np.array([[1,2,3],[4,5,6]])print(np.append(a,[7,8,9]))print(np.append(a,[[7,8,9]],axis=0))print(np.append(a,[[5,5,5],[7,8,9]],axis=1))3．以下程序的執(zhí)行結果importnumpyasnpa=np.array([[1,2,3],[4,5,6]])print(np.append(a,[7,8,9]))print(np.append(a,[[7,8,9]],axis=0))print(np.append(a,[[5,5,5],[7,8,9]],axis=1))4．以下程序的執(zhí)行結果是 。importnumpyasnpa=np.array([5,2,6,2,7,5,6,8,2,9])importnumpyasnpa=np.array([5,2,6,2,7,5,6,8,2,9])u=np.unique(a)u,indices=np.unique(a,return_index=True)print(indices)u,indices=np.unique(a,return_inverse=True)print(u)print(indices)print(u[indices])u,indices=np.unique(a,return_counts=True)print(u)print(indices)5．以下程序的執(zhí)行結果是 。importnumpyasnpa=np.array([10,100,1000])print(np.power(a,2))b=np.array([1,2,3])print(np.power(a,b))importnumpyasnpa=np.array([10,100,1000])print(np.power(a,2))b=np.array([1,2,3])print(np.power(a,b))6．以下程序的執(zhí)行結果是 。importnumpyasnpa=np.array([[3,7],[9,1]])print(np.sort(a))print(np.sort(a,axis=0))importnumpyasnpa=np.array([[3,7],[9,1]])print(np.sort(a))print(np.sort(a,axis=0))dt=np.dtype([('name','S10'),('age',int)])print(np.sort(a,order='name'))7．以下程序的執(zhí)行結果是 。importnumpyasnpx=np.arange(100).reshape(10,10)condition=np.mod(x,2)==0print(np.extract(condition,x))importnumpyasnpx=np.arange(100).reshape(10,10)condition=np.mod(x,2)==0print(np.extract(condition,x))2五、計算題 592第1．計算下列行列式。第章101章35 004 15202100080050

數(shù)值計算310數(shù)值計算00（1）

（2）A2 11 3

142 23．求下列線性方程組。41

2

13（1）設A22 1，B2 2，求X使AX=B。 311 31 x1x2x3x4x57（2）xx2xx3x231 2 3 4 52xx2x6x23 2 3 4 54．求矩陣的特征值和特征向量。

21A21 實實驗一、實驗目的①掌握NumPy數(shù)組的創(chuàng)建、操作。②掌握NumPy數(shù)組的索引和切片。③掌握NumPy數(shù)組的運算。④掌握NumPy數(shù)組的線性代數(shù)運算。二、實驗內(nèi)容①創(chuàng)建矩陣。②索引與切片。③數(shù)組操作。④數(shù)組運算。⑤線性代數(shù)運算。三、實驗過程①啟動JupyterNotebook。②創(chuàng)建Notebook的Python腳本文件。96#填充顏色#繪制輪廓線#顯示等高線的標簽#x軸刻度#y軸刻度#X96#填充顏色#繪制輪廓線#顯示等高線的標簽#x軸刻度#y軸刻度#XY映射函數(shù)Z=(1-X/2+X**5+Y**3)*np.exp(-X**2-Y**2)#繪制圖形plt.contourf(X,Y,Z,10,cmap='hot',alpha=0.75)C=plt.contour(X,Y,Z,10,colors='k')plt.clabel(C,inline=True,fontsize=8)plt.xticks(())plt.yticks(())plt.show()大數(shù)據(jù)分析圖3-29 二維等高線小小結本章介紹了利用Matplotlib繪制常用數(shù)據(jù)圖表，如折線圖、散點圖、柱狀圖、條形圖、餅圖、直方圖和箱形圖；還介紹了使用Matplotlib設置坐標系，比如坐標網(wǎng)格、坐標軸和分區(qū)；最后介紹了Matplotlib三維圖像的繪制。習題除了Matplotlib外，還有一些其他可視化工具，比如Seaborn、Pyecharts和pygal等，有習題一、選擇題1．折線圖中設置線寬的函數(shù)是（ 。A．color() B．linestyle() C．linewidth() D．marker()2．顯示一個數(shù)據(jù)系列中各項的大小與各項總和的比例的圖形是（ 。A．餅圖 B．直方圖 C.柱形圖 D．散點圖3．圖例位置upperleft對應的編號是（ 。A．0 B．1 C．2 D．33二、填空題 973第1．繪制餅圖的函數(shù)是 。第章2．pyplot設置x坐標取值范圍的函數(shù)是 。3．pyplot使用rcParams設置字體的屬性是 。三、簡答題章1．簡述創(chuàng)建子圖的函數(shù)。2．簡述Matplotlib能夠繪制哪些二維圖形？繪制這些二維圖形時用到了哪些函數(shù)？實驗數(shù)據(jù)可視化3實驗數(shù)據(jù)可視化一、實驗目的①掌握Matplotlib圖形的繪制，包括折線圖、散點圖、柱形圖、條形圖、餅圖、直方圖和箱線圖。②掌握繪圖中的設置，包括圖例設置、坐標網(wǎng)格設置、畫布設置、樣式設置、創(chuàng)建子圖、子圖坐標系設置。二、實驗要求2023年二手房交易信息表（表格類型為csv3-19。根據(jù)交易信息表，通過NumPy3-303-32所示圖形繪制。①繪制各區(qū)二手房均價柱形圖。②繪制各區(qū)房子數(shù)量占比餅圖。③在一個畫布中繪制全市二手房裝修程度柱形圖和占比餅圖。表3-19某市二手房交易信息小區(qū)名字總價/萬元戶型建筑面積/m單價/(元/m)朝向樓層裝修區(qū)域龍首壹號院2904室2廳3衛(wèi)28010357南北中層豪華裝修新城華潤橡府4002室2廳2衛(wèi)20919139南北低層毛坯新城華潤凱旋門1202室2廳1衛(wèi)9113187南北低層精裝修高新金橋花園1152室2廳1衛(wèi)128.638940南北中層精裝修新城金穗花園1193室2廳2衛(wèi)130.459122南北高層豪華裝修英西中天北灣新城892室2廳1衛(wèi)8910000南北低層毛坯高新樺林苑99.83室2廳1衛(wèi)1436979南北中層毛坯英西嘉柏灣321室1廳1衛(wèi)43.37390南高層精裝修經(jīng)開三、實驗過程1．實驗實現(xiàn)代碼請參考素材代碼：教材代碼-第3章Matplotlib數(shù)據(jù)可視化-3.6課后實驗。2．實驗繪制圖形結果如圖3-30至圖3-32所示。4小結4小結第章本章學習了Pandas的常用數(shù)據(jù)結構：Series和DataFrameDataFrame數(shù)據(jù)對象的創(chuàng)建和使用是本章的重點，包括DataFrame的基本功能，讀取外部數(shù)據(jù)生成DataFrameDataFrame行列操作、重建索引、更換索引和層次化索引以及DataFrame的數(shù)據(jù)運算和統(tǒng)計函數(shù)，第章習題數(shù)據(jù)分析DataFrameDataFrame數(shù)據(jù)制作透視表和交叉表。本章內(nèi)容較多，知識點瑣碎，需要多加練習才能較好地掌握。習題數(shù)據(jù)分析一、選擇題1．函數(shù)應用與映射函數(shù)作用于DataFrame的列的是（ 。A．pipe() B．a(chǎn)pply() C．a(chǎn)pplymap() D．map()2．重建索引函數(shù)是（ 。A．rename() B．set_index() C．reset_index() D．reindex()3．求協(xié)方差的函數(shù)是（ 。A．pct_change() B．corr() C．rank() D．cov()二、填空題1．DataFrame數(shù)據(jù)對象的head()函數(shù)的作用是 。2．read_csv()函數(shù)的參數(shù)sep的作用是指定 。3．DataFrame數(shù)據(jù)對象選取行的函數(shù)主要是loc()函數(shù)和 函數(shù)。4．透視表和交叉表的函數(shù)是 和 。三、簡答題1．Pandas有哪些數(shù)據(jù)結構？2．Pandas的統(tǒng)計函數(shù)有哪些？實驗3實驗一、實驗目的①掌握DataFrame數(shù)據(jù)結構的創(chuàng)建和基本使用方法。②掌握外部數(shù)據(jù)的讀取方法。③掌握DataFrame的高級索引函數(shù)。④掌握Pandas的數(shù)據(jù)運算，包括算術運算、函數(shù)映射、排序、迭代等運算，以及統(tǒng)計函數(shù)。⑤掌握DataFrame的分組與聚合。⑥掌握透視表、交叉表方法的使用。df=pd.DataFrame(data)sampler=np.random.permutation(len(df))print(df)df=pd.DataFrame(data)sampler=np.random.permutation(len(df))print(df)print(df.sample(n=3))print(df.sample(frac=0.5))01234001234012340012341567892101112131431516171819420212223245252627282963031323334735363738398404142434494546474849012341567892101112131400123401234001234525262728291567892101112131484041424344170大數(shù)據(jù)分析小小結本章討論了缺失值、重復值和異常值的檢測和處理；數(shù)據(jù)的合并連接與重塑；數(shù)據(jù)變換的方法，包括虛擬變量、函數(shù)變換、連續(xù)屬性離散化、數(shù)據(jù)規(guī)范化和隨機采樣等。習題習題一、選擇題1．刪除重復值的函數(shù)是（ 。A．drop_duplicates() B．duplicated() C．isnull() D．notnull()2．下列不是數(shù)據(jù)規(guī)范化方法的是（ 。A．離差規(guī)范化 B．標準差規(guī)范化C．小數(shù)定標規(guī)范化 D．平均值規(guī)范化3．數(shù)據(jù)重塑方法有函數(shù)（ 。A．dropna() B．fillna() C．stack() D．concat()二、填空題1．數(shù)據(jù)清洗解決數(shù)據(jù)問題有 、 、 。17152．虛擬變量的函數(shù)名稱是 1715第3．插值法包括 、 、 。第4．merge()函數(shù)的參數(shù)how取值有 、 、 和 。章三、簡答題章數(shù)據(jù)預處理1．簡述缺失值處理方法。數(shù)據(jù)預處理2．簡述數(shù)據(jù)合并連接與重塑的函數(shù)。實驗3實驗一、實驗目的①掌握重復值、缺失值和異常值的檢測與處理方法，能夠?qū)Υ罅繑?shù)據(jù)進行清洗。②掌握數(shù)據(jù)的合并、連接和重塑，能夠根據(jù)計算、分析需要對數(shù)據(jù)結構進行處理。③掌握常用數(shù)據(jù)變換的方法，能夠根據(jù)分析需要和數(shù)據(jù)特點對數(shù)據(jù)進行變換。二、實驗內(nèi)容①數(shù)據(jù)清洗：重復值清洗、缺失值清洗、檢測異常值。②數(shù)據(jù)合并連接和重塑。③數(shù)據(jù)變換：虛擬變量、連續(xù)屬性離散化、規(guī)范化。④數(shù)據(jù)的隨機排列和隨機采樣。三、實驗過程1．重復值清洗（1）檢測重復值importpandasaspddata={'state':[1,1,2,2],'pop':['a','b','c','d']}df=pd.DataFrame(data)IsDuplicated=df.duplicated()importpandasaspddata={'state':[1,1,2,2],'pop':['a','b','c','d']}df=pd.DataFrame(data)IsDuplicated=df.duplicated()print(df)print('是否重復：')print(IsDuplicated)print('state重復：')print(df.drop_duplicates(['state']))IsDuplicated=df.duplicated(['state'])print('刪除后是否重復：')print(IsDuplicated)print(df.drop_duplicates(['state']))（2）刪除重復值importpandasaspdimportnumpyasnpimportpandasaspdimportnumpyasnpdf=pd.DataFrame({'key1':['a','a','b','b','a','a'],plt.subplot(313)plt.subplot(313)plt.scatter(X[:,0],X[:,1],c=y_pred)plt.show()210大數(shù)據(jù)分析輸出圖形如圖6-13所示。210大數(shù)據(jù)分析圖6-13 DBSCAN輸出圖形小小結習題本章介紹了機器學習的有關概念，如Sklearn的數(shù)據(jù)集，模型選擇、訓練、評價、保存等；習題一、選擇題1．監(jiān)督學習包括（ 。A．降維 B．回歸 C．分類 D．聚類2．鳶尾花數(shù)據(jù)集屬于（ 。A．load數(shù)據(jù)集 B．make數(shù)據(jù)集C．可在線下載的數(shù)據(jù)集 D．svmlight/libsvm格式的數(shù)據(jù)集數(shù)據(jù)集拆分為訓練集和測試集的函數(shù)是（ 。A．cross_val_score() B．PCA()C．score() D．train_test_split()支持向量機用來回歸分析的算法是（ ）。A．SVM B．SVC C．SVR D．SVN二、填空題機器學習可以分為監(jiān)督學習和 。數(shù)據(jù)預處理的模塊是 。實驗2116第章函數(shù)sklearn.decomposition.PCA(n_components='mle',whiten=False,svd_solver='auto')中參數(shù)n_components取值'mle'用MLE算法根據(jù)特征的 選擇一定數(shù)量的主成分特征來降實驗2116第章一、實驗目的機器學習①掌握降維、回歸、分類和聚類算法。機器學習②掌握Sklearn的機器學習過程及其數(shù)據(jù)預處理、模型選擇、訓練和評價。二、實驗內(nèi)容①降維。②回歸。③分類。④聚類。⑤模型評估。三、實驗過程1．降維程序代碼（一）：fromsklearn.datasetsimportloadfromsklearn.datasetsimportload_winefromsklearnimportdecompositionimportmatplotlib.pyplotaspltwine=load_wine()pca=decomposition.PCA(n_components=2)pca.fit(wine.data)reduced_X=pca.transform(wine.data)print(wine.data.shape)print(reduced_X.shape)程序代碼（二）：importnumpyasnpimportnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportdecompositionfrommpl_toolkits.mplot3dimportAxes3D%matplotlibinlinefromsklearn.datasets.samples_generatorimportmake_blobsX,y=make_blobs(n_samples=10000,n_features=3,centers=[[3,3,3],[0,0,0],[1,1,1],[2,2,2]],cluster_std=[0.2,0.1,0.2,0.2],random_state=9)fig=plt.figure()ax=Axes3D(fig,rect=[0,0,1,1],elev=30,azim=20)plt.scatter(X[:,0],X[:,1],X[:,2],marker='o')pca=decomposition.PCA(n_components=2)pca.fit(X)X_new=pca.transform(X)plt.figure()plt.figure()plt.scatter(X_new[:,0],X_new[:,1],marker='o')plt.show()fromsklearn.datasets.samples_generatorimportmake_classificationfromsklearn.discriminant_analysisimportLinearDiscriminantAnalysisfromsklearnimportdecompositionimportmatplotlib.pyplotaspltfromsklearn.datasets.samples_generatorimportmake_classificationfromsklearn.discriminant_analysisimportLinearDiscriminantAnalysisfromsklearnimportdecompositionimportmatplotlib.pyplotaspltn_informative=10,random_state=1,n_clusters_per_class=2)print('原始維度：',X.shape)pca=decomposition.PCA(n_components=2)pca.fit(X)reduced_X=pca.transform(X)print('降維后維度：',reduced_X.shape)plt.scatter(reduced_X[:,0],reduced_X[:,1])lda=LinearDiscriminantAnalysis(n_components=2)reduced_X2=lda.fit_transform(X,labels)print(reduced_X2.shape)plt.scatter(reduced_X2[:,0],reduced_X2[:,1])212大數(shù)據(jù)分析2．回歸%matplotlibinline%matplotlibinlinefromsklearnimportdatasetsfromsklearn.linear_modelimportLinearRegression,LogisticRegressionfromsklearn.model_selectionimporttrain_test_splitimportmatplotlib.pyplotaspltboston=datasets.load_boston()linear=LinearRegression()logistic=LinearRegression();linear.fit(X_train,y_train)pred_linear=linear.predict(X_test)logistic.fit(X_train,y_train)pred_logistic=logistic.predict(X_test)plt.plot(range(y_test.shape[0]),y_test,color='red')plt.figure()plt.plot(range(y_test.shape[0]),y_test,color='red')3．分類程序代碼（一）：%matplotlibinline%matplotlibinlinefromsklearnimportdatasetsfromsklearnimportnaive_bayesfromsklearnimportpreprocessing6fromsklearn.model_selectionimporttrain_6fromsklearn.model_selectionimporttrain_test_splitcancer=datasets.load_breast_cancer()scaler=preprocessing.MinMaxScaler(feature_range=(0,1))scaler.fit(cancer.data)X=scaler.transform(cancer.data)X_train,X_test,y_train,y_test=train_test_split(X,cancer.target)gaussian=naive_bayes.GaussianNB()gaussian.fit(X_train,y_train)predict_y=gaussian.predict(X_test)print(gaussian.score(X_test,y_test))print(y_test,'\n',predict_y)第章機器學習程序代碼（二）：機器學習%matplotlibinline%matplotlibinlinefromsklearnimportdatasetsfromsklearnimporttreefromsklearnimportpreprocessingfromsklearn.model_selectionimporttrain_test_splitcancer=datasets.load_breast_cancer()scaler=preprocessing.MinMaxScaler(feature_range=(0,1))scaler.fit(cancer.data)X=scaler.transform(cancer.data)X_train,X_test,y_train,y_test=train_test_split(X,cancer.target)dtc=tree.DecisionTreeClassifier()dtc.fit(X_train,y_train)predict_y=dtc.predict(X_test)print(dtc.score(X_test,y_test))i=0whilei<len(predict_y):if(predict_y[i]!=y_test[i]):print('第',i,'個值預測錯誤')i=i+14．聚類程序代碼（一）：#k-meansIrisimportpandasas#k-meansIrisimportpandasaspdimportmatplotlib.pyplotaspltfromsklearn.datasetsimportload_irisfromsklearn.preprocessingimportMinMaxScalerfromsklearn.clusterimportKMeansfromsklearn.manifoldimportTSNE%matplotlibinlineiris=load_iris()iris_data=iris['data']iris_target=iris['target']iris_names=iris['feature_names']scale=MinMaxScaler().fit(iris_data)214iris_dataScale=scale.transform(iris_214iris_dataScale=scale.transform(iris_data)kmeans=KMeans(n_clusters=3,random_state=123).fit(iris_dataScale)print('構建的K-means模型為：\n',kmeans)result=kmeans.predict([[1.5,1.5,1.5,1.5]])print('1.5的鳶尾花預測類別為：',result[0])df=pd.DataFrame(tsne.embedding_)df['labels']=kmeans.labels_df1=df[df['labels']==0]df2=df[df['labels']==1]df3=df[df['labels']==2]plt.plot(df1[0],df1[1],'bo',df2[0],df2[1],'r*',df3[0],df3[1],'gD')plt.show()大數(shù)據(jù)分析importnumpyasnpimportnumpyasnpfromsklearnimportdatasetsfromsklearn.model_selectionimportKFoldfromsklearn.model_selectionimporttrain_test_splitfromsklearn.neighborsimportKNeighborsClassifieriris=datasets.load_iris()iris_X=iris.datairis_Y=iris.targetknn=KNeighborsClassifier()knn.fit(X_train,Y_train)print(Y_test)y_predict=knn.predict(X_test)count=0fory1,y2inzip(y_predict,Y_test):if(y1==y2):count=count+1print(count/len(y_predict))程序代碼（三）：%matplotlibinlineimportpandasaspd%matplotlibinlineimportpandasaspdfromsklearn.manifoldimportTSNEimportmatplotlib.pyplotaspltimportsklearn.datasetsasdatasetsiris=datasets.load_iris