版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
使用WEBAPI采集數(shù)據(jù)——爬取業(yè)務(wù)網(wǎng)站D 本章學(xué)習(xí)目標(biāo)了解業(yè)務(wù)網(wǎng)站D的基本含義及使用方法了解WEBAPI的基本概念掌握業(yè)務(wù)網(wǎng)站D開放API的數(shù)據(jù)特點(diǎn)了解業(yè)務(wù)網(wǎng)站D的API進(jìn)行數(shù)據(jù)采集和清洗以及持久化存儲(chǔ)13)通過導(dǎo)入pymysql庫的connect方法返回pymysql的數(shù)據(jù)庫連接對(duì)象db,在該方法中傳入?yún)?shù),host表示MySQL數(shù)據(jù)庫管理系統(tǒng)所在的主機(jī)名,user表示MySQL數(shù)據(jù)庫管理系統(tǒng)的登錄名,password表示登錄MySQL數(shù)據(jù)庫管理系統(tǒng)的密碼,port表示MySQL數(shù)據(jù)庫管理系統(tǒng)的端口號(hào)。然后,通過db對(duì)象的cursor方法獲得操作數(shù)據(jù)庫管理系統(tǒng)的cursor游標(biāo),并使用execute方法執(zhí)行具體的SQL語句。該SQL語句表示創(chuàng)建一個(gè)名為WEPAPI4的數(shù)據(jù)庫,默認(rèn)字符集設(shè)置為utf8mb4。最后,使用db對(duì)象的close方法關(guān)閉數(shù)據(jù)庫連接。db=pymysql.connect(host='localhost',user='root',password='密碼',port=3306)cursor=db.cursor()cursor.execute("CREATEDATABASEWEBAPI4DEFAULTCHARACTERSETutf8mb4")db.close()14)通過導(dǎo)入pymysql庫的connect方法返回pymysql的數(shù)據(jù)庫連接對(duì)象db2,在該方法中傳入?yún)?shù),從左往右分別表示:主機(jī)名,數(shù)據(jù)庫管理系統(tǒng)登錄名,登錄密碼,數(shù)據(jù)庫名,端口號(hào)。然后,通過db2對(duì)象的cursor方法獲得操作數(shù)據(jù)庫管理系統(tǒng)的cursor2游標(biāo),并使用execute方法執(zhí)行具體的SQL語句。該SQL語句表示在數(shù)據(jù)庫WEBAPI3中,如果已經(jīng)存在一個(gè)名為webapi4的表的話,就現(xiàn)將其刪除。接著,將變量sql1賦值SQL語句用于創(chuàng)建表名為webapi4的表。其中包含兩個(gè)字段:id,full_name,id為主鍵,默認(rèn)字符集為utf8mb4。使用execute方法執(zhí)行sql1語句,如果沒有報(bào)錯(cuò),則輸出“CreatedtableSuccessfull.”。db2=pymysql.connect("localhost","root","密碼","WEBAPI4",3306)cursor2=db2.cursor()cursor2.execute("DROPTABLEIFEXISTSwebapi4")sql1="""CREATETABLE`webapi4`(`id`int(10)NOTNULLAUTO_INCREMENT,`full_name`char(20)NOTNULL,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;"""cursor2.execute(sql1)print("CreatedtableSuccessfull.")15)使用for循環(huán)sorted_names,其中,enmuerate方法將sorted_names中每一個(gè)name按順序匹配一個(gè)索引號(hào)index。并打印輸出index,name的值。然后,將變量sql2賦值SQL語句用于向數(shù)據(jù)表webapi4中插入新的數(shù)據(jù)。在這里,我們使用tryexcept語句檢測(cè)cursor2的execute方法和commit方法是否成功執(zhí)行,如果失敗,則執(zhí)行rollback方法實(shí)現(xiàn)回滾。最后,關(guān)閉db2的數(shù)據(jù)庫連接。forindex,nameinenumerate(sorted_names):print('項(xiàng)目索引號(hào):',index,'項(xiàng)目名稱:',name)sql2='INSERTINTOwebapi4(id,full_name)VALUES(%s,%s)'try:cursor2.execute(sql2,(index,name))db2mit()except:db2.rollback()db2.close()16)MySQL中的運(yùn)行結(jié)果如圖4-10所示。圖4-10API數(shù)據(jù)存入MySQL數(shù)據(jù)庫完整代碼如下所示。importrequests
importpymysql
api_url='api.github/search/repositories?q=spider'
req=requests.get(api_url)
print('狀態(tài)碼:',req.status_code)
req_dic=req.json()
print('與spider有關(guān)的庫總數(shù):',req_dic['total_count'])
print('本次請(qǐng)求是否完整:',req_dic['incomplete_results'])
req_dic_items=req_dic['items']
print('當(dāng)前頁面返回的項(xiàng)目數(shù)量:',len(req_dic_items))
names=[]forkeyinreq_dic_items:
names.append(key['name'])
sorted_names=sorted(names)
db=pymysql.connect(host='localhost',user='root',password='密碼',port=3306)
cursor=db.cursor()
cursor.execute("CREATEDATABASEWEBAPI4DEFAULTCHARACTERSETutf8mb4")
db.close()
db2=pymysql.connect("localhost","root","密碼","WEBAPI4",3306)
cursor2=db2.cursor()
cursor2.execute("DROPTABLEIFEXISTSwebapi4")
sql1="""CREATETABLE`webapi4`(
`id`int(10)NOTNULLAUTO_INCREMENT,
`full_name`char(20)NOTNULL,
PRIMARYKEY(`id`)
)ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;"""cursor2.execute(sql1)
print("CreatedtableSuccessfull.")
forindex,nameinenumerate(sorted_names):
print('項(xiàng)目索引號(hào):',index,'項(xiàng)目名稱:',name)
sql2='INSERTINTOwebapi4(id,full_name)VALUES(%s,%s)'
try:
cursor2.execute(sql2,(index,name))
db2mit()except:db2.rollback()db2.close()在此,本節(jié)就實(shí)現(xiàn)了針對(duì)GitHub的API進(jìn)行數(shù)據(jù)的采集,清洗和持久化存儲(chǔ)。
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 河北省保定市(2024年-2025年小學(xué)四年級(jí)語文)人教版階段練習(xí)(上學(xué)期)試卷及答案
- 2025年九省聯(lián)考新高考 物理試卷(含答案解析)
- 鋼結(jié)構(gòu)裝配式住宅工程內(nèi)裝系統(tǒng)
- 福建省福州市(2024年-2025年小學(xué)四年級(jí)語文)統(tǒng)編版小升初真題(下學(xué)期)試卷及答案
- 職業(yè)健康安全目標(biāo)、指標(biāo)及管理方案
- 2023年儋州市招聘公辦幼兒園員額人員考試真題
- 2024年異丙安替比林項(xiàng)目建議書
- 2024年鍋爐-汽機(jī)協(xié)調(diào)控制系統(tǒng)項(xiàng)目發(fā)展計(jì)劃
- 2024年增韌劑項(xiàng)目建議書
- 2024年太陽能組件生產(chǎn)裝備項(xiàng)目建議書
- 道格拉斯麥克阿瑟簡(jiǎn)介生平事跡主要成就PPT
- 農(nóng)村建筑工匠培訓(xùn)資料文本課件
- 超星爾雅學(xué)習(xí)通《數(shù)據(jù)時(shí)代的推斷陷阱》章節(jié)測(cè)試含答案
- 政治學(xué)基礎(chǔ)課件全部終稿
- 采購項(xiàng)目質(zhì)量保證措施方案
- 山茶油營(yíng)銷大賽課件
- 管理溝通--傾聽技巧課件
- 公安機(jī)關(guān)理論考試題庫(1000題)
- 五年級(jí)上冊(cè)數(shù)學(xué)課件-8.1 用字母表示數(shù)丨蘇教版 (共24張PPT)
- 弘揚(yáng)中華傳統(tǒng)文化主題班會(huì)課件
- 藥劑科質(zhì)量與安全管理考核表正式版
評(píng)論
0/150
提交評(píng)論