大數(shù)據(jù)采集與預處理課件：模擬登錄和數(shù)據(jù)采集綜合案例 -1

網站模擬登錄和數(shù)據(jù)采集案例 本章學習目標●分析業(yè)務網站人才招聘的網頁結構和內容●使用selenium和chromedriver實現(xiàn)網站的模擬登錄●使用selenium和chromedriver實現(xiàn)編寫爬蟲代碼獲取指定的靜態(tài)和動態(tài)數(shù)據(jù)●使用pymysql庫實現(xiàn)數(shù)據(jù)的持久化8.1任務描述本綜合案例通過CHROME瀏覽器綜合分析業(yè)務網站的網頁結構和內容，找到該網站的登錄入口，在提前注冊的前提下，使用selenium和chromedriver實現(xiàn)網站的可視化模擬登錄操作。然后，通過進一步地分析登錄之后的用戶主頁，使用requests庫和lxml庫編寫和解析自定義的爬蟲代碼獲取字段為：公司名稱(comname)、地址(address)、行業(yè)名稱(industry_name)、工資(salary)、崗位名稱(post_name)的靜態(tài)和動態(tài)數(shù)據(jù)。最后，使用pymysql庫在MYSQL數(shù)據(jù)庫管理系統(tǒng)中創(chuàng)建指定的數(shù)據(jù)庫test和數(shù)據(jù)表zhitong和zhitong1，實現(xiàn)數(shù)據(jù)的持久化存儲。8.2頁面分析該爬蟲綜合案例第一次使用的URL將是這個擁有“求職者登錄/注冊”的頁面。這里不僅是任務中要求的模擬登錄的起點，也是爬蟲開始爬取該網站的起點和入口。案件一：某航空公司數(shù)據(jù)被境外間諜情報機關網絡攻擊竊取案2020年1月，某航空公司向國家安全機關報告，該公司信息系統(tǒng)出現(xiàn)異常，懷疑遭到網絡攻擊。國家安全機關立即進行技術檢查，確認相關信息系統(tǒng)遭到網絡武器攻擊，多臺重要服務器和網絡設備被植入特種木馬程序，部分乘客出行記錄等數(shù)據(jù)被竊取。使用鼠標右鍵單擊“登錄”控件之后，將出現(xiàn)如下菜單選項，如圖所示。通過使用鼠標左鍵單擊該菜單選項中的“檢查”選項，Chrome瀏覽器呈現(xiàn)自帶的“開發(fā)者工具”，并將焦點指向該“求職者登錄/注冊”控件所在的具體的HTML頁面結構當中。這里的目的是為了獲取該“求職者登錄/注冊”控件所屬的標簽在頁面內容中的class屬性值“l(fā)ogin-per-dialog”，使用鼠標右鍵單擊“登錄”控件之后，將出現(xiàn)如下菜單選項，如圖所示。通過使用鼠標左鍵單擊該菜單選項中的“檢查”選項，Chrome瀏覽器呈現(xiàn)自帶的“開發(fā)者工具”，并將焦點指向該“求職者登錄/注冊”控件所在的具體的HTML頁面結構當中。這里的目的是為了獲取該“求職者登錄/注冊”控件所屬的標簽在頁面內容中的class屬性值“l(fā)ogin-per-dialog”，使用CHROME瀏覽器的“開發(fā)者工具”可以看到該登錄頁面位于一個form表單當中在該表單控件中，使用密碼登錄的方式，可以選擇“密碼登錄”控件，標簽為<div>，類class=“change-login-type-itemactive”或者XPATH路徑為：//*[@id="commonLoginBox"]/div[2]/form/div[1]/div[2]在該表單控件中，可以進一步地觀察到其中包含的多個控件，包括一個type為text，id為login_box_account的<input>標簽和一個type為password，id為login_box_password的<input>標簽。這兩個標簽分別用于獲取用戶輸入的用戶名和密碼在該表單控件中，可以進一步地觀察到其中包含的多個控件，包括一個type為text，id為login_box_account的<input>標簽和一個type為password，id為login_box_password的<input>標簽。這兩個標簽分別用于獲取用戶輸入的用戶名和密碼在該表單控件中還包含一個class為btn-submit的<p>標簽。