定向網(wǎng)絡(luò)爬蟲開題報(bào)告

1、山東科技大學(xué)本科畢業(yè)設(shè)計(jì)論文開題報(bào)告題目網(wǎng)絡(luò)爬蟲定向爬??？腳本之家？文本信息學(xué)院名稱信息科學(xué)與工程學(xué)院專業(yè)班級(jí)計(jì)算機(jī)科學(xué)與技術(shù)2021級(jí)2班學(xué)生姓名包志英學(xué)號(hào) 202102150201指導(dǎo)教師趙中英填表時(shí)間：二0 六年三月二十八日設(shè)計(jì)論文 題目網(wǎng)絡(luò)爬蟲？定向爬取腳本之家文本信息設(shè)計(jì)論文 類型劃“/工程設(shè)計(jì)應(yīng)用研究開發(fā)研究根底研究其它一、本課題的研究目的和意義本課題的主要目的是設(shè)計(jì)面向主題的網(wǎng)絡(luò)爬蟲程序,同時(shí)需要滿足的是具有 一定的性能,要考慮到網(wǎng)絡(luò)爬蟲的各種需求.網(wǎng)絡(luò)爬蟲主體網(wǎng)站的特性.對url進(jìn)行構(gòu)造.網(wǎng)絡(luò)爬蟲使用scrapy實(shí)現(xiàn)多線 程,讓爬蟲具備更強(qiáng)大的抓取水平和靈活性. 網(wǎng)絡(luò)爬蟲要實(shí)現(xiàn)

2、對特定主題的爬取. 網(wǎng)絡(luò)爬蟲還要完成信息提取任務(wù),對于抓取回來的網(wǎng)頁提取出來：新聞、電子圖書、 行業(yè)信息等.對網(wǎng)絡(luò)爬蟲的連接網(wǎng)絡(luò)設(shè)置連接及讀取時(shí)間,防止無限制的等待. 研究網(wǎng)絡(luò)爬蟲的原理并實(shí)現(xiàn)爬蟲的相關(guān)功能.最終實(shí)現(xiàn)的網(wǎng)絡(luò)爬蟲應(yīng)該能根據(jù)設(shè)定的主題,從構(gòu)造的url進(jìn)行一定數(shù)據(jù)爬取,并最終得到需要的數(shù)據(jù)互聯(lián)網(wǎng)是一個(gè)龐大的非結(jié)構(gòu)化的數(shù)據(jù)庫,將數(shù)據(jù)有效的檢索并組織呈現(xiàn)出 來有著巨大的應(yīng)用前景.搜索引擎作為一個(gè)輔助人們檢索信息的工具.但是, 這些通用性搜索引擎也存在著一定的局限性.不同領(lǐng)域、不同背景的用戶往往 具有不同的檢索目的和需求,通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心 的網(wǎng)頁.為了解決這個(gè)冋題

3、,一個(gè)靈活的爬蟲有著無可替代的重要意義.本課題的主要研究內(nèi)容提綱本課題研究的內(nèi)容是如何使網(wǎng)絡(luò)爬蟲靈活高效1. 如何更具網(wǎng)站主體特性不同構(gòu)造 URL2. 如何具備更強(qiáng)的抓取水平.3. 如何分辨重復(fù)的網(wǎng)頁內(nèi)容.4. 如何確定主題相關(guān)性.5. 對于對線程并發(fā)的處理.6. 對于緩存和并發(fā)請求的處理7. 對反扒機(jī)制的應(yīng)對8. 對于網(wǎng)絡(luò)時(shí)延等的處理.9. 對于數(shù)據(jù)的存儲(chǔ)格式與形式三、文獻(xiàn)綜述國內(nèi)外研究情況及其開展對于網(wǎng)絡(luò)爬蟲的研究從上世紀(jì)九十年代就開始了,目前爬蟲技術(shù)已經(jīng)趨見成熟,網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成局部.網(wǎng)絡(luò)上比擬著名的開源爬蟲包括 Nutch,Larbin,Heritrix .網(wǎng)絡(luò)爬蟲最重要的

4、是網(wǎng)頁搜索策略廣度優(yōu)先和最正確 度優(yōu)先和網(wǎng)頁分析策略基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴ê突诰W(wǎng)頁內(nèi)容的網(wǎng)頁分析 算法.國內(nèi)外流行的爬蟲技術(shù)相當(dāng)多,很多人喜歡基于Python的,也有人喜歡用C#, 很多人由于系統(tǒng)集成開發(fā)和跨平臺(tái)的需要傾向于java,我跟喜歡用Python.就原理來說,爬蟲組件都是差不多的,無頭瀏覽器,最能夠說明爬蟲的特性, 它們被設(shè)計(jì)創(chuàng)造出來,大局部情況是用于自動(dòng)化測試的.基于socket的 client功能簡單,性能強(qiáng)大,特別是在高并發(fā)的情況下,而被大家所青睞,特別是搜索引擎中,如果抓取靜態(tài)頁面, client非常適合.當(dāng)遇到ajax加載的信息,就需要javascript 效果渲染的時(shí)候

5、, client 就不行了,htmlunit是基于 client 參加Rhino引擎實(shí)現(xiàn)js渲染的無頭瀏覽 器,當(dāng)然包含了 client的特性,然而,由于內(nèi)存泄露的問題,高并發(fā)的狀態(tài)下,并不能很穩(wěn)定的工作,內(nèi)存消耗隨著程序的運(yùn)行而不斷增大,直到到達(dá)jvm分配的上限而崩潰.很多時(shí)候,你只能做個(gè)權(quán)衡,每個(gè)webclient使用假設(shè)干次后就把它回收,然后重新啟動(dòng)一個(gè),這非常影響性能.Rhino對于javascript的支持并不好,實(shí)際使用中,會(huì)發(fā)現(xiàn)各種 Exception ,很多時(shí)候會(huì)導(dǎo)致無法渲染出想 要的結(jié)果,這個(gè)htmlunit的又一大缺陷.隨著版本的更新,能夠漸次解決一些問 題,但是好的程序員

6、,還是應(yīng)該自己讀源碼來嘗試解決冋題.Phantomjs相比于htmlunit,對于js的支持更接近真實(shí)的瀏覽器,但是并發(fā) 性能差,通過java的exec調(diào)用系統(tǒng)命令來啟動(dòng),更加降低了性能.此外主流的瀏覽器都提供了相應(yīng)的抓取支持,selenium可謂是一個(gè)集大成者, 包含了上述的所有組件,以 WebDriver的形式,適配各種爬蟲組件,你可以用它 操控瀏覽器自動(dòng)抓取,當(dāng)然,并發(fā)和性能的問題依然存在.爬蟲開發(fā)的主要問題是性能和反封鎖.很多時(shí)候,采用高并發(fā)高頻率抓取數(shù) 據(jù)是可行的,前提是目標(biāo)站點(diǎn)沒有采用任何反爬舉措訪問頻率限制、防火墻、 驗(yàn)證碼；更多時(shí)候,有價(jià)值的信息,一定伴隨著嚴(yán)格的反爬舉措,一旦

7、ip被封,什么組件都沒戲了.你不得不維護(hù)一個(gè)代理IP池來解決這個(gè)問題,當(dāng)然,這也帶來了代理ip穩(wěn)定性和速度的問題,這些問題都是無法回避的問題,我們需 要針對具體的情況,采用對應(yīng)的舉措,以最大限度的完成爬蟲爬取任務(wù).目前,爬蟲的需求呈爆炸式增長的趨勢,這是當(dāng)前各種互聯(lián)網(wǎng)創(chuàng)新和大數(shù)據(jù) 時(shí)代的新常態(tài).火車和八爪魚等團(tuán)隊(duì)看到了這一點(diǎn),并率先開發(fā)了相對完備的爬 蟲產(chǎn)品,很多用戶都在使用,但是更多的用戶希望直接把爬蟲抓取任務(wù)外包出去, 由于他們不懂技術(shù),工具的使用需要逾越技術(shù)的鴻溝,大局部用戶并沒有這個(gè)逾 越鴻溝的打算.我相信像豬八戒這樣的技術(shù)外包平臺(tái)會(huì)活的越來越好,我也相信 各個(gè)技術(shù)門類會(huì)不斷聚集,形成

8、相對獨(dú)立的社區(qū),P2P的社區(qū)平臺(tái)將提供爬蟲開發(fā)者和爬蟲需求者更加通暢的交流渠道.目前,淘寶等平臺(tái)上出現(xiàn)很多爬蟲效勞商,如 :/item.taobao /item.htm?spm=a230r.0ZOWj&i d=42659198536 &ns=1 &abbucket=6#detail ,這種定制開發(fā)的效勞,增加了效勞商的本錢,效勞往 往是一次性的,滿足了一個(gè)用戶的需求,然而具有相似需求的用戶,卻很難有機(jī) 會(huì)找到這個(gè)效勞商,這就是為什么我們需要爬蟲信息交流的平臺(tái).我有意建立這樣的平臺(tái),不管是微博、微信公眾號(hào)、文章,還是政府門戶的 信息公開,或者門戶網(wǎng)站、新聞

9、社區(qū)等媒體,或者其他領(lǐng)域如金融的數(shù)據(jù),都可 以在平臺(tái)上找到,也很容易實(shí)現(xiàn)供給和需求者的相互匹配.然而,對于這其中的法律問題,特別是知識(shí)產(chǎn)權(quán)問題,不甚明了,除了 robots 協(xié)議,很多數(shù)據(jù)網(wǎng)站都會(huì)另外聲明其數(shù)據(jù)使用標(biāo)準(zhǔn),同時(shí),如群眾點(diǎn)評(píng)等網(wǎng)站提 供的API很難滿足分析的需要,就形成了數(shù)據(jù)被獨(dú)占而其價(jià)值得不到有效開發(fā)的 不合理現(xiàn)象.大數(shù)據(jù)時(shí)代,對大數(shù)據(jù)的分析應(yīng)當(dāng)成為一個(gè)行業(yè),數(shù)據(jù)擁有者應(yīng)該開放數(shù)據(jù) 的分析接口,讓數(shù)據(jù)的價(jià)值釋放,而爬蟲開發(fā)者,很多時(shí)候是數(shù)據(jù)分析者最起 碼是個(gè)數(shù)據(jù)清洗和篩選者.他們蒙上了一層神秘面紗,帶著一絲黑客氣息,法 律應(yīng)當(dāng)給他們更大的生存空間,讓這個(gè)有價(jià)值的行業(yè)創(chuàng)造更大的價(jià)值

10、.四、擬解決的關(guān)鍵問題使網(wǎng)絡(luò)爬蟲高效靈活,在主題網(wǎng)站中盡量全面的爬取信息,并且 能夠自動(dòng)構(gòu)造URL遞歸調(diào)用自身,開啟多線程快速的爬取,準(zhǔn)確提取有效信息, 存儲(chǔ)到數(shù)據(jù)庫,對于網(wǎng)絡(luò)延遲的處理,并且能夠開啟 CHACH極大限度的提高爬取速度,偽造代理信息,表單等,讓目標(biāo)網(wǎng)站,認(rèn)為你是平安的,整合數(shù)據(jù) 信息,并以json格式存儲(chǔ)至Mongq方面各個(gè)平臺(tái)使用,通過腳本程序,遷移到 Mysql為依賴關(guān)系較強(qiáng)的工程使用,具備可視化顯示,以網(wǎng)頁的形式有好的顯示 數(shù)據(jù),并提供簡單的搜索功能,能將數(shù)據(jù)簡單分類,智能推薦.五、研究思路和方法參考網(wǎng)上開源的網(wǎng)絡(luò)爬蟲和各種網(wǎng)絡(luò)爬蟲相關(guān)的書籍、視屏等信息,學(xué)習(xí)了 解網(wǎng)絡(luò)爬

11、蟲運(yùn)行機(jī)制,根本原理,根據(jù)所爬取的目標(biāo)網(wǎng)站設(shè)計(jì)自己的爬蟲,習(xí) Python,Scrapy框架的搭建,Mongodb的簡單操作,Laravel ,bootstrap 框架學(xué) 習(xí)、編寫、調(diào)試.并與老師的屢次面談和郵件交流,解決了一些理論的疑點(diǎn)和實(shí) 踐上的難點(diǎn),指導(dǎo)了爬蟲的設(shè)計(jì)和利弊分析,提供了很多的幫助,設(shè)計(jì)和學(xué)習(xí)完 根底知識(shí)后,搭建了繁瑣的環(huán)境,在Win dows下進(jìn)行了爬蟲的開發(fā)、調(diào)試,最終成功的實(shí)現(xiàn)了信息的爬取與提取,將爬去下來的數(shù)據(jù),通過腳本程序進(jìn)行數(shù)據(jù)轉(zhuǎn) 換,利用網(wǎng)頁技術(shù)可視化顯示,并提供簡單的查詢接口.六、本課題的進(jìn)度安排2021.03.18 2021.03.31查閱資料完成任務(wù)書,完

12、成開題報(bào)告.2021.04.012021.04.14開題報(bào)告會(huì),學(xué)習(xí)網(wǎng)絡(luò)爬蟲根本機(jī)制,學(xué)習(xí)使用Mon god數(shù)據(jù)庫,學(xué)習(xí)Pytho n,搭建Scrapy環(huán)境,學(xué)習(xí)Laravel與Bootstrap框架.2021.04.15 2021.04.28查閱資料,進(jìn)行論文根本章節(jié)的寫作,與導(dǎo)師探討設(shè)計(jì)缺陷,并提出解決方案,完成初稿,并完成根底代碼編寫.2021.04.29 2021.05.12編寫設(shè)計(jì)好的爬蟲文件,并進(jìn)行系統(tǒng)穩(wěn)定性測試調(diào)試,修復(fù)bug.2021.05.13 2021.05.26 運(yùn)行爬蟲,提取有用信息,將其存儲(chǔ)至Mon god數(shù)據(jù)庫中,數(shù)據(jù)整合,通過腳本程序?qū)?shù)據(jù)遷移至 MySQL202

13、1.05.27 2021.06.10數(shù)據(jù)可視化,完成論文等相關(guān)文檔的編寫.七、參考文獻(xiàn)1 :/baike.baidu /li nk?url=EdHY1vcvYqlz32EfYu91TViHpf9vk nfEtjh wolHuHO nq54T1rXfBWHjKTJMGB2xm13RwGd_5P8dkjWPBjNh-ja2 :/ 360doc /co nten t/14/0325/22/9482_363730690.shtml3 :/baike.baidu /li nk?url=HEK-9IVNug8ccN9z8KE43SZTIIF5ojvWJ0c jG46TY5Yjf8h1t5Cu4LYoZ_r

14、ht5jfwj nFohp0xNPZaxMGIsGC7_.4 :/blog.jobbole /53961/. 羅剛 王振東.自己動(dòng)手寫網(wǎng)絡(luò)爬蟲M.北京：清華大學(xué)出版社,2021年10 月 李曉明,閆宏飛,王繼民.搜索引擎：原理、技術(shù)與系統(tǒng)一一華夏英才基金學(xué) 術(shù)文庫M.北京：科學(xué)出版社,2005年04月.7 J.I.HerlockerJA.Konstan,A.Borchers,andJ.Riedl,"An algorithmic forperform ing collaborative filteri ng," in Proceedi ngs of the Conferenc

15、e on ResearchandDevelopme ntinIn formatio nRetrieval(SiglR'99),pp.230-237,1999.8 R. Salakhutdi nov and A. Mn ih,Probabilistic Matrix Factorizatio n. InProceed ings of NIPS. 2007.9 R. Salakhutdi nov and A. Mni h,Bayesia n probabilistic matrix factorization usi ng Markov chain Monte Carlo.I n Proc

16、eed in gs of ICML. 2021, 880-887.10 Mohsen Jamali, Gholamreza Haffari, Martin Ester.Modeling thetemporal dyn amics of social rati ng n etworks using bidirectio nal effectsof social relatio ns and rating patterns. WWW 2021, 527-536.11 Tia njunF u,AhmedAbbasi,Hs inchun Che n. A focused crawler for Dar

17、k Web forumsJ. J. Am. Soc. Inf. Sci.,2021,6,16.12 Pu nam Bedi,Anjali Thukral,Hema Ba nati,Abhishek Behl,Varu nMen diratta. A Multi-Threaded Sema ntic Focused CrawlerJ. Jour nal ofComputer Scie nee and Tech no logy,2021,2,16.13 Winter .中文搜索引擎技術(shù)解密：網(wǎng)絡(luò)蜘蛛 M.北京：人民郵電出版社, 2004 年.指導(dǎo)教師意見指導(dǎo)教師簽名：年 月日所在系所意見負(fù)責(zé)人簽章

18、：年 月日下午 13 : 00 17 : 00上度.全體員工都必須自覺遵守工作時(shí)間,實(shí)行不定時(shí)工作制的員工不必打卡.3.122打卡次數(shù)：一日兩次,即早上上班打卡一次,下午下班打卡一次.3.123打卡時(shí)間：打卡時(shí)間為上班到崗時(shí)間和下班離崗時(shí)間；因公外出不能打卡：因公外出不能打卡應(yīng)填寫?外勤登記表?,注明外出日期、事由、外勤起止時(shí)間.因公外出需事先申請,如因特殊情況不能事先申請,應(yīng)在事畢到崗當(dāng)日完成申請、審批手續(xù),否那么按曠工處理.因停電、卡鐘工卡故障未打卡的員工,上班前、下班后要及時(shí)到部門考勤員處填寫?未打卡補(bǔ)簽申請表?,由直接主管簽字證實(shí)當(dāng)日的出勤狀況,報(bào)部門經(jīng)理、人力資源部批準(zhǔn)

19、后,月底由部門考勤員據(jù)此上報(bào)考勤.上述情況考勤由各部門或分公司和工程文員協(xié)助人力資源部進(jìn)行治理.手工考勤制度手工考勤制申請：由于工作性質(zhì),員工無法正常打卡如外圍人員、出差,可由各部門提出人員名單,經(jīng)主管副總批準(zhǔn)后,報(bào)人力資源部審批備案.參與手工考勤的員工,需由其主管部門的部門考勤員文員或部門指定人員進(jìn)行考勤治理,并于每月26日前向人力資源部遞交考勤報(bào)表.參與手工考勤的員工如有請假情況發(fā)生,應(yīng)遵守相關(guān)請、休假制度,如實(shí)填報(bào)相關(guān)表單.外派員工在外派工作期間的考勤,需在外派公司打卡記錄；如遇中途出差,持出差證實(shí),出差期間的考勤在出

20、差地所在公司打卡記錄；3.2加班治理3.2.1定義加班是指員工在節(jié)假日或公司規(guī)定的休息日仍照常工作的情況.A.現(xiàn)場治理人員和勞務(wù)人員的加班應(yīng)嚴(yán)格限制,各部門應(yīng)按月工時(shí)標(biāo)準(zhǔn),合理安排工作班次.部門經(jīng)理要嚴(yán)格審批員工排班表,保證員工有效工時(shí)到達(dá)要求.但凡到達(dá)月工時(shí)標(biāo)準(zhǔn)的,應(yīng)扣減員工本人的存休或工資；對超出月工時(shí)標(biāo)準(zhǔn)的,應(yīng)說明理由,報(bào)主管副總和人力資源部審批.B.因員工月薪工資中的補(bǔ)貼已包括延時(shí)工作補(bǔ)貼,所以延時(shí)工作在4小時(shí)不含以下的,不再另計(jì)加班工資.因工作需要,一般員工延時(shí)工作4小時(shí)至8小時(shí)可申報(bào)加班半天,超過 8小時(shí)可申報(bào)加班1天.對主管含以上治理人員,一般情況下延時(shí)工作不計(jì)加班,因特殊情況經(jīng)

21、總經(jīng)理以上領(lǐng)導(dǎo)批準(zhǔn)的延時(shí)工作,可按以上標(biāo)準(zhǔn)計(jì)加班.3.222 員工加班應(yīng)提前申請,事先填寫?加班申請表?,因無法確定加班工時(shí)的,應(yīng)在本次加班完成后3個(gè)工作日內(nèi)補(bǔ)填?加班申請表?.?加班申請表?經(jīng)部門經(jīng)理同意,主管副總經(jīng)理審核報(bào)總經(jīng)理批準(zhǔn)后有效.?加班申請表?必須事前當(dāng)月內(nèi)上報(bào)有效,如遇特殊情況,也必須在一周內(nèi)上報(bào)至總經(jīng)理批準(zhǔn).如未履行上述程序,視為乙方自愿加班.員工加班,也應(yīng)按規(guī)定打卡,沒有打卡記錄的加班,公司不予成認(rèn)；有打卡記錄但無公司總經(jīng)理批準(zhǔn)的加班,公司不予成認(rèn)加班.原那么上,參加公司組織的各種培訓(xùn)、集體活動(dòng)不計(jì)加班.力卩班工資的補(bǔ)償：員工在排班

22、休息日的加班,可以以倒休形式安排補(bǔ)休.原那么上,員工加班以倒休形式補(bǔ)休的,公司將根據(jù)工作需要統(tǒng)一安排在春節(jié)前后補(bǔ)休.加班可按1:1的比例沖抵病、事假.3.2.3加班的申請、審批、確認(rèn)流程?加班申請表?在各部門文員處領(lǐng)取,加班統(tǒng)計(jì)周期為上月26日至本月25日.員工加班也要按規(guī)定打卡,沒有打卡記錄的加班,公司不予成認(rèn).各部門的考勤員文員負(fù)責(zé)?加班申請表?的保管及加班申報(bào).員工加班應(yīng)提前申請,事先填寫?加班申請表?加班前到部門考勤員文員處領(lǐng)取?加班申請表?,?加班申請表?經(jīng)工程治理中央或部門經(jīng)理同意,主管副總審核,總經(jīng)理簽字批準(zhǔn)后有效.填寫并履行完審批手續(xù)后交由部門考勤員

23、文員保管.部門考勤員文員負(fù)責(zé)檢查、復(fù)核確認(rèn)考勤記錄的真實(shí)有效性并在每月27日匯總交人力資源部,逾期未交的加班記錄公司不予成認(rèn).想起了高中就想起了我的兄弟姐妹們,呵呵！還是那句不厭其煩的話“想你們了.每次夜深人靜,或者單獨(dú)一個(gè)人的時(shí)候,總是會(huì)思念我的那些小伙伴們.或許他們也有這樣的,相同的感已經(jīng)很久沒有寫日志了,最近有一種特別強(qiáng)烈的寫日志的想法！可是思緒一直都被各種測試,各種復(fù)習(xí)圍攻著,無法脫身.今天,我終于忍不住了！就算文章寫的再爛,再不堪入目我也要寫點(diǎn)東 西.或者說,阿里手賤,不寫點(diǎn)東西就過不好周末.哈哈！仔細(xì)想想,不知道寫什么,大概各位看到?有些人?這個(gè)題目都不懂什么意思吧！那就對了！你要是看懂了,我豈不是很沒面子,嘻嘻！不過,說實(shí)話吧！我也不知道是什么意思,只是覺得這三個(gè)字,我喜歡！率性而為,意識(shí)隨波逐流.就是我寫文章的習(xí)慣,改不了,也不會(huì)改.這也是為什么咱高中時(shí),作文從未被表揚(yáng)過的受吧！其實(shí),現(xiàn)在想想,有些人,我都想不起什么模樣,叫不知名字了.就像,有些人,從我們的生命中匆匆走過,我們卻從來不記