Python網(wǎng)絡爬蟲 課件 項目1：Python基礎知識

項目一

Python基礎知識任務1Python概述任務2Python命令的組成 任務3程序結(jié)構(gòu)任務1Python概述 任務引入上大學后，為了促進學生的全面發(fā)展，培養(yǎng)教育現(xiàn)代化學生，學校鼓勵學生學習一門編程語言。為此，很多老師、學長組建了不同編程語言的學習小組。小白牢牢抓住這個機遇，加入Python學習小組，學習Python。Python是獲取網(wǎng)絡數(shù)據(jù)的快捷方法之一，其中涉及的知識更是日后學習進階課程不可或缺的基石。但首先要明白，什么是Python，如何安裝Python？知識準備Python是一個高層次的結(jié)合了解釋性、編譯性、互動性和面向?qū)ο蟮哪_本語言。他的設計具有很強的可讀性，相比其他語言經(jīng)常使用英文關(guān)鍵字，其他語言的一些標點符號，它具有比其他語言更有特色語法結(jié)構(gòu)。一、Python簡介Python是一門簡單易學且功能強大的編程語言。它擁有高效的高級數(shù)據(jù)結(jié)構(gòu)，并且能夠用簡單而又高效的方式進行面向?qū)ο缶幊?。Python是一種解釋型語言：開發(fā)過程中沒有了編譯這個環(huán)節(jié)，類似于PHP和Perl語言。Python是交互式語言：可以在一個Python提示符>>>>后直接執(zhí)行代碼。Python是面向?qū)ο笳Z言:Python支持面向?qū)ο蟮娘L格或代碼封裝在對象的編程技術(shù)。Python是初學者的語言：Python對初級程序員而言，是一種偉大的語言，它支持廣泛的應用程序開發(fā)，從簡單的文字處理到WWW瀏覽器再到游戲。二、安裝PythonPython是一門解釋性腳本語言，因此要想讓編寫的代碼得以運行，需要先安裝Python解釋器。1．Python下載打開Python官方下載頁面/downloads/，如圖所示，向下滑動頁面，如圖所示。官網(wǎng)下載界面選擇不同的python版本2．軟件安裝（1）雙擊安裝文件python-3.10.0-amd64.exe，彈出Python3.10.0(64-bit)Setup對話框中的安裝界面InstallPython3.10.0(64-bit)，下面介紹該界面中的選項。InstallNow：默認安裝且默認安裝路徑不能更改（一般默認安裝在C盤）。Customizeinstallation:自定義安裝。Installlauncherforallusers(recommended)：默認勾選該復選框，為所有用戶安裝啟動器。AddPython3.10toPATH:勾選該復選框，將Python自動加到環(huán)境變量中，默認未勾選該復選框。（2）在該界面中勾選“AddPython3.10toPATH”復選框，如圖所示。安裝界面安裝錯誤信息（3）單擊Next（下一步）按鈕，彈出Python3.10.0(64-bit)Setup對話框中的選項設置界面OptionalFeatures，選擇默認參數(shù)設置，如圖所示。（4）單擊“Next（下一步）”按鈕，進入下一個高級設置畫面AdvancedOptions，在“Customizeinstalllocation”文本框更改安裝地址（不建議安裝C盤），其余選擇默認設置，設置完畢后如圖所示。（5）確定好安裝路徑后，單擊Next（下一步）按鈕，此時對話框內(nèi)會顯示安裝進度，如圖所示。（6）安裝結(jié)束后，會出現(xiàn)一個Setupwassuccessful（安裝成功）對話框，如圖所示。單擊Close（關(guān)閉）按鈕，即可完成Python3.10.0的安裝工作。3．安裝檢查Python安裝結(jié)束后，需要檢查安裝是否成功。（1）安裝結(jié)束后，在電腦“開始”界面輸入“cmd”打開命令提示符，輸入Python，單擊回車鍵，出現(xiàn)如圖所示的運行結(jié)果，表示Python安裝成功。三、安裝PyCharm1．下載軟件登陸Pycharm的官網(wǎng)下載地址：/pycharm/download/#section=windows，下載時有兩個版本可以選擇：Professional(專業(yè)版，收費)Community(社區(qū)版，免費)2．安裝PyCharm雙擊pycharm-community-2021.3.exe文件，彈出AltiumDesigner17的安裝界面，如圖所示。Pycharm官網(wǎng)下載地址安裝界面

安裝路徑對話框

安裝選項設置對話框選擇安裝菜單文件

安裝過程

“Finish”對話框3．配置Pycharm雙擊運行桌面上的Pycharm圖標，進入用戶協(xié)議界面，勾選“IconfirmthatIhavereadandacceptthetermsofthisUserAgreement”復選框，同意用戶使用協(xié)議，如圖所示。單擊“Continue（繼續(xù)）”按鈕，彈出數(shù)據(jù)共享界面DATASHARING，如圖1-18所示，確定是否需要進行數(shù)據(jù)共享，選擇“Don'tsend”按鈕，激活Pycharm啟動界面，如圖1-19所示。數(shù)據(jù)共享界面啟動界面

編輯界面“Customize（自定義）”選項卡IntelliJLight主題四、Python語法規(guī)范編程需要保持良好的編碼習慣，下面從編碼、縮進/空格/空行、命名、注釋等幾個方面來介紹Python語言常見的基本的書寫規(guī)范。1.行寬：每行代碼盡量不超過80個字符，但不是嚴格要求80字符以內(nèi)，可略微查過。2.空行：空行與代碼縮進不同，空行并不是Python語法的一部分。模塊級函數(shù)和定義類之間空兩行類成員函數(shù)之間空一行函數(shù)中可以使用空行分隔出邏輯相關(guān)的代碼)3.空格符號（1）在二元運算符兩邊各空一格[=,-,+=,==,>,in,isnot,and]。（2）函數(shù)的參數(shù)列表中，,，#，;之后要有空格。（3）函數(shù)的參數(shù)列表中，默認值等號兩邊不要添加空格。（4）左括號之后，右括號之前不要加多余的空格。4.換行：Python支持括號內(nèi)的換行。這時有5種情況，如下：（1）第二行縮進到括號的起始處（2）第二行縮進4個空格，適用于起始括號就換行的情況（3）使用反斜杠\換行。二元運算符+、.等應出現(xiàn)在行末；長字符串也可以用此法換行（4）禁止復合語句。即一行中包含多個語句：（5）if/for/while要換行。5.縮進：縮進的空白數(shù)量是可變的，但是所有代碼塊語句必須包含相同的縮進空白數(shù)量，這個必須嚴格執(zhí)行。統(tǒng)一使用4個空格進行縮進。通常使用1個Tab鍵，但Tab鍵不一定是4個空格鍵，所以有時候因此出錯。任務2Python命令的組成 任務引入小白完成Python及其編輯器的安裝，需要進入該軟件進行編程。使用要想使用python軟件進行編程，必須先了解編程語言的命令與規(guī)則。那么，Python程序中的基本命令有哪些？各有什么作用？知識準備計算機編程語言和我們?nèi)粘Ｊ褂玫淖匀徽Z言有所不同，自然語言在不同的語境下有不同的理解，而計算機要根據(jù)編程語言執(zhí)行任務，就必須保證編程語言寫出的程序決不能有歧義，所以，任何一種編程語言都有自己的一套語法。一、基本符號Python語言是基于最為流行的C++語言基礎上的，因此語法特征與C++語言極為相似，而且更加簡單，更加符合科技人員對數(shù)學表達式的書寫格式。使之更利于非計算機專業(yè)的科技人員使用。而且這種語言可移植性好、可拓展性極強。Python中不同的數(shù)字、字符、符號代表不同的含義，組成豐富的表達式，能滿足用戶的各種應用。本節(jié)將按照命令不同的生成方法簡要介紹各種符號的功能。1.命令提示符指令行“頭首”的“>>>>”是“指令輸入提示符”，它是自動生成的，如圖所示。在腳本文件中運行的指令前是沒有提示符的，如圖所示。為使本書簡潔，本書在此后的輸入指令前將不再帶提示符“>>>>”。下面介紹幾種常見的命令輸入過程中常見的錯誤及顯示的警告與錯誤信息。（1）輸入的括號為中文格式（2）函數(shù)使用格式錯誤（3）缺少步驟，未定義變量（4）正確格式2.常用指令在使用Python語言編制程序時，掌握常用的操作命令或技巧，可以起到事半功倍的效果。Python語言編制程序時，常用命令如表所示。命令行窗口

腳本文件Python語言中，還包括一些標點符號被賦予特殊的意義，下面介紹常用的幾種鍵盤按鍵與符號，見表。3.功能語句在Pｙｔｈｏｎ中，還包括一些能實現(xiàn)指定的功能語句。鍵盤操作技巧表

標點表二、常量與變量常量和變量都是用于存儲數(shù)據(jù)的容器，在定義時都需要指明數(shù)據(jù)類型，它們唯一的區(qū)別是：常量中存放的值不允許更改，而變量中所存放的值是允許更改的。常量可以看作是一種特殊的變量，只不過這種變量在定義時必須被賦值，且之后不能重新賦值或更改。以常量作為研究對象的數(shù)學稱為常量數(shù)學或稱初等數(shù)學，它主要包括算術(shù)、初等代數(shù)、幾何等學科。常量數(shù)學主要是在形式邏輯的范圍內(nèi)活動的，它雖然適應了一定生產(chǎn)力發(fā)展的需要，但又有一定的局限性。變量的引進以及它成為數(shù)學的研究對象，加速了變量數(shù)學的主要部分即微積分的產(chǎn)生。1．常量常量是程序運行中值不改變的量，比如身份證號、出生年月等數(shù)值固定不變的為常量。2．變量變量是任何程序設計語言的基本元素之一，Python語言當然也不例外。在Python中變量的命名應遵循如下規(guī)則：變量名必須以字母開頭，之后可以是任意的字母、數(shù)字或下劃線。變量名區(qū)分字母的大小寫。應選擇有意義的單詞作為變量名。變量名不超過31個字符，第31個字符以后的字符將被忽略。不能把變量賦值給變量，只能把常量賦值給變量，例如：a=b是錯誤表達。3.變量的輸入輸出函數(shù)（1）input函數(shù)input函數(shù)是用來提示用戶從鍵盤輸入數(shù)據(jù)、字符串或者表達式，并接收輸入值。案例——input演示（2）print函數(shù)print函數(shù)是用來用于打印輸出。案例——print演示變量輸入輸出時，可以自定義其格式，Python的格式化符號見表。案例——設置變量格式4.數(shù)據(jù)迭代輸出迭代是Python最強大的功能之一，是訪問集合元素的一種方式。從集合的第一個元素開始訪問，直到所有的元素被訪問完結(jié)束。數(shù)據(jù)迭代函數(shù)及其調(diào)用格式見表。案例——輸出迭代元素三、數(shù)據(jù)類型按照數(shù)據(jù)的結(jié)構(gòu)進行分類，Python中的數(shù)據(jù)主要包括：Number（數(shù)值）、String（字符串）、list（列表）、tuple（元組）、sets（集合）、dictionary（字典）。Python中常見的數(shù)據(jù)結(jié)構(gòu)可以統(tǒng)稱為容器（container）。序列（如列表和元組）、映射（如字典）以及集合（set）是三類主要的容器。選擇合適的數(shù)據(jù)結(jié)構(gòu)來存儲和使用，對爬蟲的效率和性能會有極大的提升。1．數(shù)值這里的數(shù)值指單個的由阿拉伯數(shù)字及一些特殊字符組成的數(shù)值，而不是由一組組的數(shù)值組成的對象。2．字符串字符主要由26個英文字母及空格等一些特殊符號組成，根據(jù)儲存格式不同，分為字符常量與字符串常量。其中，所有的空格和制表符都照原樣保留。（1）字符常量是用一對單引號括起來的單個字符。如‘a(chǎn)’。（2）字符串常量是用一對雙引號引起來的零個或者多個字符序列。如“Whoareyou”。（3）字符串常量是用一對三引號括起來的零個或者多個字符序列。如“what’syourname？”。python的字符串列表有2種取值順序:從左到右索引默認0開始的，最大范圍是字符串長度少1從右到左索引默認-1開始的，最大范圍是字符串開頭3．列表Python列表是任意對象的有序集合，列表通常由中括號[]里創(chuàng)建，元素之間用逗號隔開。這里的任意對象，既可以是列表嵌套列表，也可以是字符串案例——創(chuàng)建列表并輸出奇數(shù)位和偶數(shù)位4．區(qū)間range（區(qū)間）類似于一個整數(shù)列表，是一個可迭代對象（類型是對象），range也是一種數(shù)據(jù)結(jié)構(gòu)5．元組元組（tuple）與列表類似，不同之處在于元組的元素不能修改。元組變量通過小括號（）創(chuàng)建，元素之間則用逗號隔開。6．集合集合（set）是一個無序不重復元素的序列，可以使用大括號{}或者set()函數(shù)創(chuàng)建集合。7．字典字典是一種可變?nèi)萜髂Ｐ?，且可存儲任意類型對象，通常由“{}”創(chuàng)建。字典(dictionary)是除列表以外python之中最靈活的內(nèi)置數(shù)據(jù)結(jié)構(gòu)類型。8．數(shù)據(jù)類型轉(zhuǎn)換一般而言，在Python中數(shù)據(jù)的存儲與計算都是以雙精度進行的，但有多種顯示形式。以下幾個內(nèi)置的函數(shù)可以執(zhí)行數(shù)據(jù)類型之間的轉(zhuǎn)換，見表。案例——元組創(chuàng)建演示四、功能符號除了命令輸入必須的符號外，Python為了解決命令輸入過于繁瑣、復雜的問題，采取er了注釋符號、續(xù)行符號、賦值符號等方法。1.注釋符號注釋（Comments）用來向用戶提示或解釋某些代碼的作用和功能，它可以出現(xiàn)在代碼中的任何位置。Python解釋器在執(zhí)行代碼時會忽略注釋，不做任何處理，就好像它不存在一樣。在調(diào)試程序的過程中，注釋還可以用來臨時移除無用的代碼。注釋的最大作用是提高程序的可讀性。Python支持兩種類型的注釋，分別是單行注釋和多行注釋。（1）Python單行注釋2．續(xù)行號Python語句中一般以新行作為語句的結(jié)束符。多行輸入3.賦值符號Python中用=號來給變量賦值，例如，>>>named_price=100上面的程序表示，named_price變量的值是100。4.比較符號新手經(jīng)常犯的錯誤是將復制符號認錯為兩個等號==，該符號是比較符號，它表示的是比較兩個值是否相等，如果相等返回True，如果不相等返回False5.占位符無論是變量還是常量，在創(chuàng)建時都會在內(nèi)存中開辟一塊空間，用于保存它的值。占位符中的“-”符號，調(diào)用內(nèi)存中最近保存的值。任務3程序結(jié)構(gòu)任務引入小白參加第一次學習小組開會，大家互相傳閱檢查對方的編程程序，發(fā)現(xiàn)很多繁冗實例，被學長稱為“小學生作業(yè)”。為了解決這種問題，Python引入程序結(jié)構(gòu)這個概念。那么，Python的程序結(jié)構(gòu)有哪些？分別能實現(xiàn)什么功能？知識準備程序結(jié)構(gòu)，就是程序的流程控制結(jié)構(gòu)。對于一般的程序設計語言來說，程序結(jié)構(gòu)大致可分為圖所示的順序結(jié)構(gòu)、循環(huán)結(jié)構(gòu)與分支結(jié)構(gòu)三種，Python程序設計語言也不例外。一、表達式語句在Python程序中，廣泛使用表達式與表達式語句。用戶還可以通過交互式指令協(xié)調(diào)Python程序的執(zhí)行，通過使用不同的交互式指令不同程度地響應程序運行過程中出現(xiàn)的各種提示。1．表達式對于Python的數(shù)值運算，數(shù)字表達式是由常量、數(shù)值變量、數(shù)值函數(shù)或數(shù)值矩陣用運算符連接而成的數(shù)學關(guān)系式。案例——計算表達式的值2．表達式語句單個表達式就是表達式語句。一行可以只有一個語句，也可以由多個語句。3．邏輯表達式邏輯表達式的一般形式為：表達式邏輯運算符表達式4．賦值語句將表達式的值賦值給變量構(gòu)成賦值表達式。5．人機交互語句input命令是用來提示用戶從鍵盤輸入數(shù)據(jù)、字符串或者表達式，并接收輸入值。二、順序結(jié)構(gòu)順序結(jié)構(gòu)是最簡單最易學的一種程序結(jié)構(gòu)，它由多個Python語句順序構(gòu)成，各語句之間用分號“；”隔開，若不加分號，則必須分行編寫，程序執(zhí)行時也是由上至下順序進行的。案例——定義客戶信息本案例分別定義字符串類型、整型、浮點型和布爾型變量初始化客戶信息，最后輸出客戶信息。三、選擇結(jié)構(gòu)這種程序結(jié)構(gòu)也叫分支結(jié)構(gòu)，即根據(jù)表達式值的情況來選擇執(zhí)行哪些語句。在編寫較復雜的算法的時候一般都會用到此結(jié)構(gòu)。其中較常用的是if-else結(jié)構(gòu)，if-else結(jié)構(gòu)也是復雜結(jié)構(gòu)中最常用的一種分支結(jié)構(gòu)，python分支結(jié)構(gòu)分為單分支結(jié)構(gòu)、二分支結(jié)構(gòu)、多分支結(jié)構(gòu)，它有以下三種形式：（1）單分支結(jié)構(gòu)：根據(jù)判斷條件結(jié)果判斷而選擇不同向前運行路徑的運行方式，如圖所示。（2）二分支結(jié)構(gòu)：根據(jù)判斷條件結(jié)果選擇不同向前路徑的運行方式，如圖所示。單分支結(jié)構(gòu)執(zhí)行過程

二分支結(jié)構(gòu)執(zhí)行過程案例——輸入一個非空字符串，翻轉(zhuǎn)該字符串。（3）多分支結(jié)構(gòu)：對不同分支分級處理的問題，需要注意條件間的包含關(guān)系，如圖所示。案例——輸入年、月，輸出本月有多少天。四、循環(huán)結(jié)構(gòu)在利用Python進行數(shù)值實驗或工程計算時，用得最多的便是循環(huán)結(jié)構(gòu)了。在循環(huán)結(jié)構(gòu)中，被重復執(zhí)行的語句組稱為循環(huán)體，常用的循環(huán)結(jié)構(gòu)有兩種：for循環(huán)與while循環(huán)。下面分別簡要介紹相應的用法。1．for循環(huán)在for循環(huán)中，循環(huán)次數(shù)一般情況下是已知的，除非用其他語句提前終止循環(huán)。這種循環(huán)以for開頭循環(huán)次數(shù)<sequence>可以遍歷任何可迭代對象，如一個列表或者一個字符串。（1）如果需要遍歷數(shù)字序列，可以使用range函數(shù)，生成數(shù)字數(shù)列，作為有限的循環(huán)次數(shù)。（2）如果迭代對象是列表或者字典，直接用列表或者字典