《大數(shù)據(jù)導論》課件-3.3.3移動端APP的數(shù)據(jù)爬取

大數(shù)據(jù)導論數(shù)

據(jù)

采

集移動端APP的數(shù)據(jù)爬取目錄01需求分析及環(huán)境要求

02電腦端Fiddler代理設置

03安卓模擬器端設置04APP數(shù)據(jù)包分析

05抓取代碼實現(xiàn)

需求：采集網(wǎng)易新聞APP中的頭條新聞數(shù)據(jù)分析環(huán)境：Fiddler抓包調試工具+雷電安卓模擬器+網(wǎng)易新聞客戶端Fiddler抓包調試工具：HTTP協(xié)議包抓包并解析雷電安卓模擬器：實現(xiàn)在電腦端安裝安卓APP網(wǎng)易新聞客戶端：目標APP需求分析及環(huán)境要求1、安裝Fiddler抓包調試工具2、設置菜單tools-->options-->HTTPS，勾選“DecryptHTTPStraffic”3、點擊actions，選擇“ExportRootCertificatetoDesktop”4、雙擊桌面中的證書，將證書安裝到電腦中電腦端Fiddler代理設置5、Connections標簽頁下面勾選上“Allowremotecomputerstoconnect”電腦端Fiddler代理設置安卓模擬器端設置1、設置安卓模擬器網(wǎng)絡，將wifi網(wǎng)絡設置為通過電腦代理上網(wǎng)。2、在模擬器中安裝Fiddler導出在桌面的證書。APP數(shù)據(jù)包分析1、打開fiddler，等待抓包數(shù)據(jù)

2、打開網(wǎng)易新聞客戶端，點擊頭條新聞模塊3、選中json數(shù)據(jù)報，點擊Inspectors，選擇headers選項

4、在內(nèi)容解析模塊中，選擇JSON，即可看到解析后的JSON結構APP數(shù)據(jù)包分析1、查看請求報文2、獲取到Host、和請求地址，拼接成請求鏈接。3、復制出請求頭參數(shù)，供python程序設置headers參數(shù)GET/recommend/getSubDocPic?tid=T1348647909107&from=toutiao&offset=0&size=10&fn=3&LastStdTime=0&spestr=shortnews&prog=&passport=&devId=ftxGMynprA5efJeQQAZVNA%3D%3D&lat=cA34ftOajTcf8oiXnCnYSA%3D%3D&lon=hjgtNXtbGK4ek8fU60DW%2BQ%3D%3D&version=29.1&net=wifi&ts=1592493790&sign=K0u3LpRRaAyvwdOgB8g36fE63n9YoOmqopn8LLWUO4N48ErR02zJ6%2FKXOnxX046I&encryption=1&canal=360_news&mac=6WrupA9AJ%2Fa0004waqMD6oe1A3IUPLLdoCiqBVf2Go0%3D&open=&openpath=

HTTP/1.1data4-Sent-Millis:1592493790542Add-To-Queue-Millis:1592493790542User-D:ftxGMynprA5efJeQQAZVNA==User-L:49DH/sgjf1m26pXHWmtjB5o5IGoIr6qJgqlI+Ck7HyVoonbdvFa2PqECzZrEN4h8User-N:qqjk5Rf2eHuUjdbgPUrwPtFzNhofg+0ZZL1zci5OpgY=httpDNSIP:6User-C:5aS05p2hUser-Agent:NewsApp/29.1Android/5.1.1(nubia/NX629J)X-NR-Trace-Id:1592493790543_369738276_865166021987584Host:Connection:Keep-AliveAccept-Encoding:gzipAPP數(shù)據(jù)包分析1、提取響應報文中的JSON數(shù)據(jù)包，分析目標數(shù)據(jù)字段名，如：docid=FFE2TUB40530I1ON2、在APP中點擊該新聞，重新分析數(shù)據(jù)包，得到該新聞的請求報文和響應報文APP數(shù)據(jù)包分析分析請求報文和響應報文后發(fā)現(xiàn)：請求鏈接“/nc/article/FFE2TUB40530I1ON/full.html”中的“FFE2TUB40530I1ON”即是JSON數(shù)據(jù)包中的docid中的值。通過json數(shù)據(jù)包中的docid，不斷的變換請求數(shù)