Python爬取企業(yè)財(cái)務(wù)報(bào)表

Python爬取企業(yè)財(cái)務(wù)報(bào)表Contents目錄01網(wǎng)絡(luò)爬取上市公司財(cái)務(wù)報(bào)表02爬取網(wǎng)站觀察03爬蟲腳本設(shè)計(jì)網(wǎng)絡(luò)爬取上市公司財(cái)務(wù)報(bào)表PART01網(wǎng)絡(luò)爬取上市公司財(cái)務(wù)報(bào)表

網(wǎng)絡(luò)爬蟲可以進(jìn)行單企業(yè)數(shù)據(jù)采集、多企業(yè)數(shù)據(jù)采集、多行業(yè)多企業(yè)數(shù)據(jù)采集。例如我們從上交所網(wǎng)站爬取不同行業(yè)和企業(yè)、不同年度的資產(chǎn)負(fù)債表、利潤(rùn)表、現(xiàn)金流量表等年報(bào)和季報(bào)數(shù)據(jù)。爬取網(wǎng)站觀察PART02爬取網(wǎng)站觀察（1）使用chrome瀏覽器打開上交所網(wǎng)站/，隨意打開任意財(cái)報(bào)詳情頁。（2）按F12鍵調(diào)出開發(fā)者模式窗口；

（3）將開發(fā)模式窗口切換到Network標(biāo)簽頁，選擇XHR子標(biāo)簽；（4）點(diǎn)擊網(wǎng)頁中不同的報(bào)表，注意查看開發(fā)模式窗口中新出現(xiàn)的地址；

（5）點(diǎn)擊新出現(xiàn)的地址，選擇Preview標(biāo)簽，確認(rèn)里面的內(nèi)容是我們所需要采集的數(shù)據(jù)，確定的話就可以將這個(gè)地址填寫到python代碼里的URL內(nèi)。爬取網(wǎng)站觀察爬蟲腳本設(shè)計(jì)PART03爬蟲腳本設(shè)計(jì)查看示例代碼，找到python腳本所引入的庫；在code里修改代碼，定義要采集的單個(gè)企業(yè)，輸入該企業(yè)的信息（交易代碼、企業(yè)簡(jiǎn)稱、首字母），定義要采集的多家企業(yè)，參照示例代碼內(nèi)容，（）為一個(gè)企業(yè)，用英文逗號(hào)分隔；在year列表中修改采集的報(bào)表年份為2020；在report_period_id里定義要采集的報(bào)表季度（5000為年報(bào)）；點(diǎn)擊“運(yùn)行”按鈕；等待運(yùn)行日志提示數(shù)據(jù)采集完成后，查看數(shù)據(jù)內(nèi)容是否合適。爬蟲腳本設(shè)計(jì)根據(jù)本上市公司信息可以添加如下get參數(shù)值，/profit/showmap.do?catlog_type=lrb&report_year=2020&stock_id=600093&report_period_id=5000這個(gè)訪問后結(jié)果。爬蟲腳本設(shè)計(jì)varcatlog_type="jbxx"; varreport_year='2020'; varstock_id='600093'; $("input[name=sel]").val(stock_id); varcompanyName='*ST易見'; varstockIdName=stock_id.replace(".SS","")+'['+companyName+']'; varreport_period_id='5000';這樣利潤(rùn)表的結(jié)果表就出來了，4000是一季度報(bào)，4400三季度，1000是半年報(bào)。爬蟲腳本設(shè)計(jì)根據(jù)如上分析，就可以用PythonRequests和json包對(duì)返回的數(shù)據(jù)進(jìn)行分析獲取。爬蟲腳本設(shè)計(jì)

首先導(dǎo)入requests和json包，然后把返回的結(jié)果寫入文件，這樣方便以后繼續(xù)分析，再重新load進(jìn)來根據(jù)自己的需要獲取相應(yīng)的數(shù)據(jù)。爬蟲腳本設(shè)計(jì)

獲取多個(gè)企業(yè)就是用循環(huán)語句循環(huán)提交獲取寫入文件，這時(shí)候最好定義一個(gè)函數(shù)這樣就比較容易調(diào)用。爬蟲腳本設(shè)計(jì)

先定義一個(gè)函數(shù)，