《數(shù)據(jù)采集技術(shù)》課件-批量采集圖片數(shù)據(jù)

批量采集圖片數(shù)據(jù)Contents知識目標(biāo)技能目標(biāo)素養(yǎng)目標(biāo)掌握open()、write()和close()函數(shù)的使用提高批量采集圖片數(shù)據(jù)能力培養(yǎng)良好的信息素養(yǎng)和道德意識圖片與文本的區(qū)別文本圖片通常是二進(jìn)制數(shù)據(jù)圖片與文本的區(qū)別圖片是文件的一種表現(xiàn)形式文本在傳輸?shù)臅r(shí)候通過字符編碼將字符轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)進(jìn)行傳輸。文件以字符作為基礎(chǔ)文本文件通常情況下比文本更大，文件傳輸需要更長的時(shí)間和更大的帶寬。采集圖片數(shù)據(jù)，最關(guān)鍵的點(diǎn)在于找到這個(gè)文件的地址。批量采集圖片數(shù)據(jù)分為以下五個(gè)步驟打開開發(fā)者工具，查看頁面結(jié)構(gòu)批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)保存圖片提取圖片的url獲取網(wǎng)站源代碼分為以下五個(gè)步驟打開開發(fā)者工具，查看頁面結(jié)構(gòu)批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)保存圖片提取圖片的url獲取網(wǎng)站源代碼批量采集圖片數(shù)據(jù)獲取網(wǎng)站源代碼批量采集圖片數(shù)據(jù)獲取網(wǎng)站源代碼urlheadersparams要訪問的網(wǎng)頁的URL包含HTTP請求頭，用于模擬瀏覽器請求用于傳遞請求參數(shù)批量采集圖片數(shù)據(jù)獲取網(wǎng)站源代碼獲取目標(biāo)網(wǎng)站的源代碼response批量采集圖片數(shù)據(jù)獲取網(wǎng)站源代碼防止出現(xiàn)亂碼批量采集圖片數(shù)據(jù)獲取網(wǎng)站源代碼http響應(yīng)內(nèi)容的字符串形式分為以下五個(gè)步驟打開開發(fā)者工具，查看頁面結(jié)構(gòu)批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)保存圖片提取圖片的url獲取網(wǎng)站源代碼分為以下五個(gè)步驟打開開發(fā)者工具，查看頁面結(jié)構(gòu)批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)保存圖片提取圖片的url獲取網(wǎng)站源代碼批量采集圖片數(shù)據(jù)打開開發(fā)者工具，查看頁面結(jié)構(gòu)右鍵檢查批量采集圖片數(shù)據(jù)打開開發(fā)者工具，查看頁面結(jié)構(gòu)url地址是圖片地址嗎批量采集圖片數(shù)據(jù)提取圖片的url批量采集圖片數(shù)據(jù)提取圖片的url網(wǎng)頁的源代碼批量采集圖片數(shù)據(jù)提取圖片的url可以從幾種解析技術(shù)中選擇一種來解析圖片urlparse_page函數(shù)批量采集圖片數(shù)據(jù)提取圖片的url將字符串轉(zhuǎn)變成為HTML文檔按照xpath路徑表達(dá)式提取img標(biāo)簽的data-imgurl屬性批量采集圖片數(shù)據(jù)提取圖片的url頁面中所有圖片的URL地址批量采集圖片數(shù)據(jù)提取圖片的url返回值批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)表示圖片地址批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)獲取響應(yīng)內(nèi)容responseresponse.content沒有經(jīng)過任何解碼的bytes類型批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)response.content沒有經(jīng)過任何解碼的bytes類型返回值批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)response.contentresponse.text沒有經(jīng)過任何解碼的bytes類型將response.content進(jìn)行解碼的字符串分為以下五個(gè)步驟打開開發(fā)者工具，查看頁面結(jié)構(gòu)批量采集圖片數(shù)據(jù)請求圖片字節(jié)數(shù)據(jù)保存圖片提取圖片的url獲取網(wǎng)站源代碼把字節(jié)數(shù)據(jù)寫入到本地文件批量采集圖片數(shù)據(jù)保存圖片open()write()close()保存文件open()函數(shù)用于打開一個(gè)文件，并返回文件對象批量采集圖片數(shù)據(jù)保存圖片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)文件名模式常用的模式：w打開一個(gè)文件只用于寫入文件已存在則打開文件，并從開頭開始編輯原有內(nèi)容會(huì)被刪除文件不存在創(chuàng)建新文件批量采集圖片數(shù)據(jù)保存圖片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打開一個(gè)文件只用于寫入b二進(jìn)制模式（wb：以二進(jìn)制格式打開一個(gè)文件只用于寫入）a打開一個(gè)文件用于追加文件指針將會(huì)放在文件的結(jié)尾批量采集圖片數(shù)據(jù)保存圖片open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打開一個(gè)文件只用于寫入b二進(jìn)制模式（wb：以二進(jìn)制格式打開一個(gè)文件只用于寫入）a打開一個(gè)文件用于追加r以只讀方式打開文件文件的指針將會(huì)放在文件的開頭批量采集圖片數(shù)據(jù)保存圖片fileObject.write(str)fileObject.write(bytes)write()用于向文件中寫入數(shù)據(jù)寫入字符串寫入字節(jié)流（保存圖片）批量采集圖片數(shù)據(jù)保存圖片fileObject.write(str)fileObject.write(bytes)write()用于向文件中寫入數(shù)據(jù)寫入字符串寫入字節(jié)流（保存圖片）批量采集圖片數(shù)據(jù)保存圖片fileObject.close()close()用于關(guān)閉一個(gè)已打開的文件關(guān)閉后的文件不能再進(jìn)行讀寫操作需要注意使用open()函數(shù)打開文件后，一定要調(diào)用close()關(guān)閉文件對象。批量采集圖片數(shù)據(jù)保存圖片批量采集圖片數(shù)據(jù)保存圖片批量采集圖片數(shù)據(jù)保存圖片批量采集圖片數(shù)據(jù)保存圖片批量采集圖片數(shù)據(jù)保存圖片剛獲取到的圖片的字節(jié)數(shù)據(jù)批量采集圖片數(shù)據(jù)保存圖片要保存成的圖片名稱以二進(jìn)制格式打開一個(gè)文件只用于寫