大數(shù)據(jù)采集與預(yù)處理課件：requests技術(shù)應(yīng)用案例-業(yè)務(wù)網(wǎng)站D靜態(tài)數(shù)據(jù)采集-2

使用WEBAPI采集數(shù)據(jù)——爬取業(yè)務(wù)網(wǎng)站D 本章學(xué)習(xí)目標(biāo)了解業(yè)務(wù)網(wǎng)站D的基本含義及使用方法了解WEBAPI的基本概念掌握業(yè)務(wù)網(wǎng)站D開放API的數(shù)據(jù)特點(diǎn)了解業(yè)務(wù)網(wǎng)站D的API進(jìn)行數(shù)據(jù)采集和清洗以及持久化存儲(chǔ)13）通過導(dǎo)入pymysql庫(kù)的connect方法返回pymysql的數(shù)據(jù)庫(kù)連接對(duì)象db，在該方法中傳入?yún)?shù)，host表示MySQL數(shù)據(jù)庫(kù)管理系統(tǒng)所在的主機(jī)名，user表示MySQL數(shù)據(jù)庫(kù)管理系統(tǒng)的登錄名，password表示登錄MySQL數(shù)據(jù)庫(kù)管理系統(tǒng)的密碼，port表示MySQL數(shù)據(jù)庫(kù)管理系統(tǒng)的端口號(hào)。然后，通過db對(duì)象的cursor方法獲得操作數(shù)據(jù)庫(kù)管理系統(tǒng)的cursor游標(biāo)，并使用execute方法執(zhí)行具體的SQL語(yǔ)句。該SQL語(yǔ)句表示創(chuàng)建一個(gè)名為WEPAPI4的數(shù)據(jù)庫(kù)，默認(rèn)字符集設(shè)置為utf8mb4。最后，使用db對(duì)象的close方法關(guān)閉數(shù)據(jù)庫(kù)連接。db=pymysql.connect(host='localhost',user='root',password='密碼',port=3306)cursor=db.cursor()cursor.execute("CREATEDATABASEWEBAPI4DEFAULTCHARACTERSETutf8mb4")db.close()14）通過導(dǎo)入pymysql庫(kù)的connect方法返回pymysql的數(shù)據(jù)庫(kù)連接對(duì)象db2，在該方法中傳入?yún)?shù)，從左往右分別表示：主機(jī)名，數(shù)據(jù)庫(kù)管理系統(tǒng)登錄名，登錄密碼，數(shù)據(jù)庫(kù)名，端口號(hào)。然后，通過db2對(duì)象的cursor方法獲得操作數(shù)據(jù)庫(kù)管理系統(tǒng)的cursor2游標(biāo)，并使用execute方法執(zhí)行具體的SQL語(yǔ)句。該SQL語(yǔ)句表示在數(shù)據(jù)庫(kù)WEBAPI3中，如果已經(jīng)存在一個(gè)名為webapi4的表的話，就現(xiàn)將其刪除。接著，將變量sql1賦值SQL語(yǔ)句用于創(chuàng)建表名為webapi4的表。其中包含兩個(gè)字段：id，full_name，id為主鍵，默認(rèn)字符集為utf8mb4。使用execute方法執(zhí)行sql1語(yǔ)句，如果沒有報(bào)錯(cuò)，則輸出“CreatedtableSuccessfull.”。db2=pymysql.connect("localhost","root","密碼","WEBAPI4",3306)cursor2=db2.cursor()cursor2.execute("DROPTABLEIFEXISTSwebapi4")sql1="""CREATETABLE`webapi4`(`id`int(10)NOTNULLAUTO_INCREMENT,`full_name`char(20)NOTNULL,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;"""cursor2.execute(sql1)print("CreatedtableSuccessfull.")15）使用for循環(huán)sorted_names，其中，enmuerate方法將sorted_names中每一個(gè)name按順序匹配一個(gè)索引號(hào)index。并打印輸出index，name的值。然后，將變量sql2賦值SQL語(yǔ)句用于向數(shù)據(jù)表webapi4中插入新的數(shù)據(jù)。在這里，我們使用tryexcept語(yǔ)句檢測(cè)cursor2的execute方法和commit方法是否成功執(zhí)行，如果失敗，則執(zhí)行rollback方法實(shí)現(xiàn)回滾。最后，關(guān)閉db2的數(shù)據(jù)庫(kù)連接。forindex,nameinenumerate(sorted_names):print('項(xiàng)目索引號(hào)：',index,'項(xiàng)目名稱：',name)sql2='INSERTINTOwebapi4(id,full_name)VALUES(%s,%s)'try:cursor2.execute(sql2,(index,name))db2mit()except:db2.rollback()db2.close()16）MySQL中的運(yùn)行結(jié)果如圖4-10所示。圖4-10API數(shù)據(jù)存入MySQL數(shù)據(jù)庫(kù)完整代碼如下所示。importrequests

importpymysql

api_url='api.github/search/repositories?q=spider'

req=requests.get(api_url)

print('狀態(tài)碼：',req.status_code)

req_dic=req.json()

print('與spider有關(guān)的庫(kù)總數(shù)：',req_dic['total_count'])

print('本次請(qǐng)求是否完整:',req_dic['incomplete_results'])

req_dic_items=req_dic['items']

print('當(dāng)前頁(yè)面返回的項(xiàng)目數(shù)量：',len(req_dic_items))

names=[]forkeyinreq_dic_items:

names.append(key['name'])

sorted_names=sorted(names)

db=pymysql.connect(host='localhost',user='root',password='密碼',port=3306)

cursor=db.cursor()

cursor.execute("CREATEDATABASEWEBAPI4DEFAULTCHARACTERSETutf8mb4")

db.close()

db2=pymysql.connect("localhost","root","密碼","WEBAPI4",3306)

cursor2=db2.cursor()

cursor2.execute("DROPTABLEIFEXISTSwebapi4")

sql1="""CREATETABLE`webapi4`(

`id`int(10)NOTNULLAUTO_INCREMENT,

`full_name`char(20)NOTNULL,

PRIMARYKEY(`id`)

)ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;"""cursor2.execute(sql1)

print("CreatedtableSuccessfull.")

forindex,nameinenumerate(sorted_names):

print('項(xiàng)目索引號(hào)：',index,'項(xiàng)目名稱：',name)

sql2='INSERTINTOwebapi4(id,full_name)VALUES(%s,%s)'

try:

cursor2.execute(sql2,(index,name))

db2mit()except:db2.rollback()db2.close()在此，本節(jié)就實(shí)現(xiàn)了針對(duì)GitHub的API進(jìn)行數(shù)據(jù)的采集，清洗和持久化存儲(chǔ)。