網(wǎng)絡(luò)空間安全概論 實(shí)驗(yàn)7網(wǎng)絡(luò)爬蟲 針對知乎內(nèi)容的爬蟲程序

中國礦業(yè)大學(xué)計(jì)算機(jī)學(xué)院2018級本科生課程報(bào)告課程名稱信息內(nèi)容安全報(bào)告題目針對知乎內(nèi)容的爬蟲程序報(bào)告時(shí)間2021.7.6姓名周俊杰學(xué)號08182778任課教師曹天杰2020-2021(二)《信息內(nèi)容安全》課程報(bào)告評分表序號畢業(yè)要求課程教學(xué)目標(biāo)考查方式與考查點(diǎn)占比得分12.3目標(biāo)1:掌握信息內(nèi)容安全的基本概念、分類、原理和相關(guān)技術(shù)，能夠根據(jù)課程基本知識對信息內(nèi)容安全領(lǐng)域出現(xiàn)的問題進(jìn)行歸類、分析、并有初步分析和解決問題的能力。通過課堂講授和課堂研討掌握信息內(nèi)容安全概念和理論知識。40%3.2目標(biāo)2：掌握信息內(nèi)容安全處理相關(guān)的理論、技術(shù)以及健全的評價(jià)體系，能夠根據(jù)具體問題分析算法、設(shè)計(jì)算法、實(shí)現(xiàn)算法并能綜合評價(jià)算法。24.3目標(biāo)3：掌握信息內(nèi)容安全的基礎(chǔ)知識，針對具體問題和要求選擇正確的技術(shù)路線，通過在實(shí)驗(yàn)環(huán)境中進(jìn)行仿真實(shí)驗(yàn)并能根據(jù)算法特點(diǎn)進(jìn)行攻擊測試和綜合性能評價(jià)，得到具有參考價(jià)值的結(jié)論。課程報(bào)告；實(shí)現(xiàn)有關(guān)信息內(nèi)容安全的一個(gè)軟件系統(tǒng)。分析和對比各項(xiàng)技術(shù)，選擇相應(yīng)的技術(shù)進(jìn)行算法設(shè)計(jì)并在實(shí)驗(yàn)環(huán)境中進(jìn)行仿真實(shí)驗(yàn)和性能評價(jià)，得到有效結(jié)論。60%總分100%評閱人：2021年7月10日報(bào)告摘要知乎為中文互聯(lián)網(wǎng)高質(zhì)量的問答社區(qū)和創(chuàng)作者聚集的原創(chuàng)內(nèi)容平臺，其豐富多彩的內(nèi)容有許多參考價(jià)值。然而其內(nèi)容無法直接批量獲取和存儲。此系統(tǒng)采用python語句針對知乎，以問題、回答、用戶等不同類別為入口，批量爬取其所有內(nèi)容并存儲于本地，便于整體閱讀參考。關(guān)鍵詞：知乎；爬蟲；python;

報(bào)告正文1.1系統(tǒng)框架流程1.2目錄結(jié)構(gòu)目錄分為.idea文件腳本核心函數(shù)功能模塊zhihu腳本入口GrandConcourse.py詳細(xì)如圖所示：2.內(nèi)容摘要GrandConcourse.py這是腳本的啟動(dòng)入口.根據(jù)不同需求分為：特定用戶的回答，用戶的想法及文章，特定的文章，特定的回答，某一問題下的回答，某收藏夾內(nèi)容將目標(biāo)id填入相應(yīng)的位置，并把不需要的目標(biāo)id設(shè)為空（''）點(diǎn)擊運(yùn)行即可啟動(dòng)運(yùn)行腳本。腳本通過檢測相應(yīng)id是否為空，從而選擇運(yùn)行對應(yīng)的模塊，所以不需要的目標(biāo)id一定要設(shè)置為空。在這里可以設(shè)置文件保存的本地路徑zhihu是功能模塊，所有要實(shí)現(xiàn)的功能（爬取專欄、文章等）都在這個(gè)模塊下實(shí)現(xiàn)。實(shí)現(xiàn)的功能：article、collection、question、topic、user其中article實(shí)現(xiàn)了單篇文章或?qū)诘呐廊?，question實(shí)現(xiàn)了單個(gè)或所有回答的爬取，user實(shí)現(xiàn)了針對用戶的所有文章和所有回答的爬取。這些模塊之間并不是完全獨(dú)立的，比如collection既有問答又有文章，在實(shí)現(xiàn)時(shí)使用了article模塊的article和question模塊的answer。本文件實(shí)現(xiàn)了Controller和evaluate，前者用于爬取控制，控制程序的停止、爬取目標(biāo)的下一頁等，后者用于計(jì)算回答的評分，根據(jù)評分決定一個(gè)問題的某個(gè)回答是否收錄。評分由點(diǎn)贊數(shù)、回答日期、更新日期共同決定說明：這里實(shí)現(xiàn)了對單個(gè)回答或問題的所有回答的爬取，其中單個(gè)回答的爬取需要的是answer_id，而問題的所有回答需要的是question_id。通過相應(yīng)的id發(fā)起網(wǎng)絡(luò)請求，返回的json文件中包含的內(nèi)容的主體，通過解析json文件獲得文章的基本信息，生成一個(gè)msg對象，再將內(nèi)容主體解析成BeautifulSoup對象，連同msg一起交給document下的有關(guān)類解析生成markdown文件。說明：document模塊統(tǒng)一了文章、問答的markdown生成樣式，兩者的區(qū)別僅在于：文章類有背景大圖，問答類有點(diǎn)贊數(shù)。這兩個(gè)模塊接收內(nèi)容主體的基本信息和內(nèi)容主體，解析基本信息并編譯成文章頭。內(nèi)容主體由parse模塊下的Text類解析成markdown形式并返回給這里的調(diào)用者。最后模塊將文章頭和主體合成一篇markdown文檔，由外部提供保存路徑保存到本地硬盤。對于回答的內(nèi)容劃分為各種基本類，如文字、圖片、鏈接、視頻等圖示為視頻類相關(guān)代碼說明：Simple類是基類（接口），parse模塊下的所有類都直接或間接繼承了Simple類。凡是直接繼承了Simple類的類都是屬于基本元素類。既內(nèi)容單一，不能再細(xì)分的元素。如圖片類（figure）、視頻類（Video）、代碼類（Code），這些類都是可以直接解析成markdown元素的基本元素。Multilevel類是所用復(fù)合類型的基類，這個(gè)基類也繼承了Simple類。比如說一個(gè)p標(biāo)簽就是一個(gè)Paragraph類，p標(biāo)簽可以含有a標(biāo)簽、b標(biāo)簽等，這些都屬于是復(fù)合標(biāo)簽，也就是復(fù)合類型。理論上復(fù)合類型還可以相互嵌套，比較復(fù)雜，需要逐步向基本類型分解。根據(jù)基礎(chǔ)api返回個(gè)人信息json文件，樣例如下運(yùn)行示例如選取話題