購物比價平臺的設(shè)計與實(shí)現(xiàn),軟件工程論文

購物比價平臺的設(shè)計與實(shí)現(xiàn),軟件工程論文摘要本文主要對當(dāng)下社會互聯(lián)網(wǎng)促生的網(wǎng)購現(xiàn)象和發(fā)展做了扼要的分析，對當(dāng)下電商平臺研究的意義做了分析，對電商平臺商品信息的抓取工具做了簡單介紹，并展示了使用python獲取不同購物平臺商品信息的研究，介紹了使用基于python的web抓取框架Scrapy來抓取并分析不同電商平臺的源碼技術(shù)，從源碼中獲取商品的信息，并借助于python開發(fā)的web框架Flask和mysql數(shù)據(jù)庫將獲取到的信展示給用戶的方式方法。然后對系統(tǒng)設(shè)計和實(shí)現(xiàn)做了介紹和分析，最后對系統(tǒng)的測試和結(jié)果做出了展示。系統(tǒng)以網(wǎng)站的形式展示不同平臺的商品信息，讓用戶得以愈加方便的使用和操作，做出愈加正確的選擇。本文關(guān)鍵詞語：商品信息抓取pythonScrapyFlask。ThedesignandimplementationoftheshoppingpriceplatformabstractThispapermakesabriefanalysisonthecurrentsocialphenomenonandpromoteInternetonlineshoppingdevelopment,thesignificanceoftheresearchonthecurrentbusinessplatformtodotheanalysis,businessplatformforcommodityinformationcapturetoolstodoasimpleintroduction,andshowstheresearchusingPythontoobtaindifferentshoppingplatformproductinformation,introducedtheuseofScrapywebcapturetheframeworkbasedonPythontocaptureandanalyzethedifferentbusinessplatformsourcetechnology,accesstoproductinformationfromthesourcecode,andwiththehelpofthepythondevelopmentframeworkofwebFlaskandMySQLdatabaseshowwillgettothelettertotheusermethod.Thenthedesignandimplementationofthesystemareintroducedandanalyzed.Finally,thetestandresultsofthesystemaredisplayed.ThesystemshowsthecommodityinformationofdifferentplatformsintheformofWebsite,sothatuserscanbemoreconvenienttouseandoperate,andmakemorecorrectchoices.KeyWords:Commodityinformation;Grab;Python;Scrapy;Flask。1.緒論1.1、背景和研究意義。隨著互聯(lián)網(wǎng)的不斷發(fā)展，快遞業(yè)不斷地優(yōu)勝略汰，和各大電商平臺功能日益完善，網(wǎng)購逐步變得越來越便捷安全，而且正在成為一種時髦。在當(dāng)今社會，時間無疑是人們最重要的資源，無論是工作，休息陪伴家人，大多數(shù)人都不會愿意把這種無價的資源浪費(fèi)在對著手機(jī)或者電腦屏幕選擇和比擬商品上面。因而，對于不同電商平臺，便捷、迅速的選擇比擬途徑被越來越多的人所青睞。1.2、論文研究主要內(nèi)容。本文主要對不同電商平臺商品數(shù)據(jù)的分析和抓取，以網(wǎng)站的形式展示給用戶，為網(wǎng)購用戶提供清楚明晰的商品信息比擬，以便于用戶在最短的時間內(nèi)，準(zhǔn)確的選擇性價比更高層次，愈加合適自個的商品。在接下來的文章為本科論文，如需全文請點(diǎn)擊底部下載全文鏈接】2.2、開發(fā)環(huán)境和軟件.2.3、關(guān)鍵技術(shù)介紹.2.3.1、網(wǎng)絡(luò)爬蟲2.3.2、python語言2.3.3、scrapy介紹2.3.4、防爬蟲屏蔽之閱讀器偽裝技術(shù)2.3.5、XPath表示出式2.3.6、scrapy-splash.2.3.7、正則表示出式2.3.8、flask介紹2.3.9、MVC設(shè)計形式2.3.10、基于python的模板引擎jinja3.系統(tǒng)設(shè)計3.1、功能模塊設(shè)計.3.2、數(shù)據(jù)庫設(shè)計.3.3、頁面設(shè)計.4.系統(tǒng)實(shí)現(xiàn)4.1、搭建開發(fā)環(huán)境.4.1.1、安裝python環(huán)境4.1.2、安裝集成開發(fā)環(huán)境PyCharm..4.1.3、安裝scrapy模塊4.1.4、安裝flask4.2、開創(chuàng)建立數(shù)據(jù)庫.4.2.1、安裝數(shù)據(jù)庫鏈接驅(qū)動4.2.2、連接數(shù)據(jù)庫:4.2.3、開創(chuàng)建立商品信息表.4.2.4、測試數(shù)據(jù)庫連接.4.3、數(shù)據(jù)獲取4.3.1、開創(chuàng)建立-一個scrapy項目.4.3.2、定義item文件4.3.3、編寫爬蟲文件4.3.4、數(shù)據(jù)處理文件4.4、存儲數(shù)據(jù).4.5、測試.5.結(jié)論在本課題的研究中，我們分了三個步驟，首先使用python的scrapy框架將各個電商平臺的商品數(shù)據(jù)進(jìn)行抓取，抓取之后，對下載下來的網(wǎng)頁進(jìn)行分析使用XPath表示出式和正則表示出式對我們所需要的商品信息獲取，我們最后要展示商品名稱、價格、店鋪、平臺以及購買鏈接等非構(gòu)造化信息構(gòu)造化為Scrapy內(nèi)置的item，然后在scrapy的pipaline.py中對構(gòu)造化的item進(jìn)行處理，添加到數(shù)據(jù)庫中，然后使用python的web框架搭建了一個用于顯示商品信息的網(wǎng)站，將數(shù)據(jù)庫中的信息進(jìn)行了展示。以下為參考文獻(xiàn)[1]舒德華.基于Scrapy爬取電商平臺數(shù)據(jù)及自動問答系統(tǒng)的構(gòu)建[D].華中師范大學(xué),2021.[2]王靜.基于Scrapy的電子商務(wù)網(wǎng)絡(luò)測量與網(wǎng)絡(luò)特征分析[D].北京交通大學(xué),2020.[3]李喬宇,尚明華,王富軍,劉淑云.基于Scrapy的農(nóng)業(yè)網(wǎng)絡(luò)數(shù)據(jù)爬取[J].山東農(nóng)業(yè)科學(xué),2021,50(01):142-147.[4]狄博,王曉丹.基于Python語言的面向?qū)ο蟪绦蛟O(shè)計課程教學(xué)[J].計算機(jī)工程與科學(xué),2020,36(S1):122-125.[5]朱贇.Python語言的Web開發(fā)應(yīng)用[J].電腦知識與技術(shù),2021,13(32):95-96.[6]彭小明.主題爬蟲的設(shè)計與實(shí)現(xiàn)[D].北京郵電大學(xué),2020.[7]郭一峰.分布式在線圖書爬蟲系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D].北京交通大學(xué),2021.[8]房瑾堂.基于網(wǎng)絡(luò)爬蟲的在線教育平臺設(shè)計與實(shí)現(xiàn)[D].北京交通大學(xué),2021.[9]王明軍.基于Web的空間數(shù)據(jù)爬取與度量研究[D].武漢大學(xué),2020.[10]吳桐.基于Flask框架的物資管理系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D].南京大學(xué),2021.[11]葉鋒.Python最新Web編程框架Flask研究[J].電腦編程技巧與維護(hù),2021(15):27-28.[12]雷亮輝,鄂旭,楊芳,周津,劉春曉.基于開源框架Flask的教務(wù)系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J].信息與電腦(理論版),2021(20):107-109.[13]李文龍.基于Docker集群的分布式爬蟲研究與設(shè)計[D].浙江理工大學(xué),2021.[14]賴英旭,劉增輝,李毛毛.MVC形式在B/S系統(tǒng)開發(fā)中的應(yīng)用研