《TypeScript入門與全棧式網(wǎng)站開(kāi)發(fā)實(shí)戰(zhàn)》 課件ch9使用Puppeteer框架爬取書(shū)籍信息、ch10書(shū)籍信息保存至MongoDB中

第9章Puppeteer爬取書(shū)籍信息TypeScript入門與全棧式網(wǎng)站開(kāi)發(fā)實(shí)戰(zhàn)TypeScriptProgramming9.1案例分析目錄/CONTENTS9.1.1需求分析9.2開(kāi)發(fā)環(huán)境安裝和配置用TypeScript調(diào)用Puppeteer框架API，對(duì)清華大學(xué)出版社網(wǎng)站“新書(shū)推薦”書(shū)籍信息進(jìn)行爬取。然后調(diào)用Node.js內(nèi)置模塊fs，保存信息到Json文件中。9.1.2技術(shù)分析9.3功能實(shí)現(xiàn)9.1.1分析9.1.2實(shí)現(xiàn)9.1PART案例分析9.1案例分析9.1.1需求分析可采用Node.js爬蟲(chóng)框架Puppeteer進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。用Node.js的內(nèi)置模塊fs進(jìn)行保存處置?！靶聲?shū)推薦”功能頁(yè)面。如圖9-1使用爬蟲(chóng)技術(shù)，抓取清華社“新書(shū)推薦”首頁(yè)列表中的書(shū)籍信息，并將之存放到Json文件中9.1.2技術(shù)分析9.2PART開(kāi)發(fā)環(huán)境安裝和配置9.2開(kāi)發(fā)環(huán)境安裝和配置安裝Node.js（16.15.1）環(huán)境mkdircrawlBookscdcrawlBooksnpminit-y//項(xiàng)目配置文件package.jsonnpmconfigsetregistrynpminstalltypescripttsc--init//tsconfig.json編譯規(guī)則npminstallpuppeteer/*若報(bào)錯(cuò)則執(zhí)行：npminstallpuppeteer-coreconstbrowser=awaitpuppeteer.launch(//啟動(dòng)時(shí)，需指定chrome路徑{executablePath:'C:/ProgramFiles/Google/Chrome/Application/chrome.exe'})*/npminstall@types/puppeteer

//類型聲明文件9.3PART功能實(shí)現(xiàn)9.3功能實(shí)現(xiàn)9.3.1分析（網(wǎng)頁(yè)源碼）“新書(shū)推薦”頁(yè)相關(guān)的源代碼

“.n_b_producttda”詳情鏈接…書(shū)籍詳細(xì)信息：“.ft_b_r_c”定位后，分別抓取到“作者”“定價(jià)”“ISBN號(hào)”“出版日期”等信息“.c_i_list_on>p”“內(nèi)容簡(jiǎn)介”9.3功能實(shí)現(xiàn)9.3.2實(shí)現(xiàn)1.創(chuàng)建目錄covers，用于存放下載的封面圖片文件2.crawlBookChart.ts功能代碼：3.編譯、運(yùn)行：tsc

node.\crawlBookChart.js9.3功能實(shí)現(xiàn)9.3.2實(shí)現(xiàn)2.crawlBookChart.ts功能代碼：3.編譯、運(yùn)行：tsc、node.\crawlBookChart.js第10章書(shū)籍信息保存至MongoDBTypeScript入門與全棧式網(wǎng)站開(kāi)發(fā)實(shí)戰(zhàn)TypeScriptProgramming10.1案例分析目錄/CONTENTS10.1.1需求分析10.2開(kāi)發(fā)環(huán)境安裝和配置將書(shū)籍信息保存至MongoDB中10.1.2技術(shù)分析10.3功能實(shí)現(xiàn)10.1.1分析10.1.2實(shí)現(xiàn)10.1PART案例分析10.1案例分析10.1.1需求分析Json格式的書(shū)籍信息，采用MongoDB數(shù)據(jù)庫(kù)產(chǎn)品進(jìn)行“面向集合文檔”存儲(chǔ)較為適合（文檔集合-表，文檔-記錄）。Mongoose是MongoDB的對(duì)象模型工具--通過(guò)API可對(duì)MongoDB中文檔數(shù)據(jù)進(jìn)行增、刪、改、查等操作?！靶聲?shū)推薦”列表中的書(shū)籍信息，已爬取并存放到Json文件，最好能存放到數(shù)據(jù)庫(kù)中，以便后期開(kāi)發(fā)應(yīng)用時(shí)使用。10.1.2技術(shù)分析Books.json10.2PART開(kāi)發(fā)環(huán)境安裝和配置10.2開(kāi)發(fā)環(huán)境安裝和配置安裝Node.js（16.15.1）環(huán)境1.安裝MongoDBNext、Complete完整安裝，其中MongoDBCompass管理工具默認(rèn)安裝。MongoDBCompass應(yīng)用：?jiǎn)螕鬋onnect，連接MongoDBServer服務(wù)2.創(chuàng)建項(xiàng)目目錄mkdirmongoBooks3.項(xiàng)目初始化cdmongoBooksnpminit–y4.安裝TypeScriptnpmconfigsetregistry（為npmtaobo新鏡像）npminstalltypescript5.初始化TypeScript項(xiàng)目開(kāi)發(fā)環(huán)境tsc–init6.安裝Mongoose模塊npminstallmongoose另外：npminstall@types/node否則代碼中無(wú)法辨識(shí)fs、path等module10.3PART功能實(shí)現(xiàn)10.3功能實(shí)現(xiàn)讀取Books.json文件中所有書(shū)籍信息，逐一寫(xiě)入MongoDB的books文檔集合中：1.復(fù)制Books.json文件到項(xiàng)目目錄mongoBooks中2.