金融數(shù)據(jù)統(tǒng)計(jì)分析 課件 項(xiàng)目1、2 認(rèn)識(shí)大數(shù)據(jù)時(shí)代的金融數(shù)據(jù)與數(shù)據(jù)分析、金融數(shù)據(jù)采集

金融數(shù)據(jù)統(tǒng)計(jì)分析項(xiàng)目一

認(rèn)識(shí)大數(shù)據(jù)時(shí)代的金融數(shù)據(jù)與數(shù)據(jù)分析01學(xué)習(xí)目標(biāo)目錄CONTENT二知識(shí)目標(biāo)（1）描述金融數(shù)據(jù)分析基礎(chǔ)的基本概念，說(shuō)明數(shù)據(jù)分析目的、一般流程以及數(shù)據(jù)分析常用方法。（2）理解統(tǒng)計(jì)是數(shù)據(jù)分析的基礎(chǔ)和核心，區(qū)別統(tǒng)計(jì)的幾個(gè)基本概念、統(tǒng)計(jì)指標(biāo)及其類型。（3）掌握金融數(shù)據(jù)的生產(chǎn)，金融數(shù)據(jù)不同角度的分類、金融數(shù)據(jù)的發(fā)布系統(tǒng)。（4）了解大數(shù)據(jù)的含義、特征和類型，了解大數(shù)據(jù)技術(shù)在金融行業(yè)的典型應(yīng)用場(chǎng)景。（5）了解我國(guó)關(guān)于數(shù)據(jù)采集、數(shù)據(jù)應(yīng)用方面的法律法規(guī)。一能力目標(biāo)（1）能夠辨別統(tǒng)計(jì)的基本概念，能夠區(qū)分不同的統(tǒng)計(jì)指標(biāo)類型并進(jìn)行指標(biāo)結(jié)果的計(jì)算。（2）能夠按不同角度區(qū)分金融數(shù)據(jù)的類型，并根據(jù)數(shù)據(jù)類型查找到相應(yīng)的金融數(shù)據(jù)。（3）能夠辨別大數(shù)據(jù)的特征和類型，列舉大數(shù)據(jù)在不同金融領(lǐng)域應(yīng)用的案例。（4）能夠合法合規(guī)的獲取數(shù)據(jù)、使用數(shù)據(jù)，不違反政策法律相關(guān)規(guī)定。二思政素養(yǎng)目標(biāo)（1）圍繞社會(huì)主義核心價(jià)值觀，培養(yǎng)學(xué)生樹立正確的價(jià)值觀念，尊重?cái)?shù)據(jù)，崇尚科學(xué)技術(shù)，激發(fā)學(xué)生愛(ài)國(guó)主義情感。（2）增強(qiáng)學(xué)生積極服務(wù)于數(shù)字化時(shí)代國(guó)家和社會(huì)發(fā)展的責(zé)任感與使命感。（3）提升學(xué)生法治意識(shí)，維護(hù)數(shù)據(jù)信息安全。02案例導(dǎo)讀目錄CONTENT閱讀案例，了解金融大數(shù)據(jù)在銀行營(yíng)銷策略中的應(yīng)用。03新課教學(xué)目錄CONTENT一、認(rèn)識(shí)數(shù)據(jù)分析與統(tǒng)計(jì)二、認(rèn)識(shí)金融數(shù)據(jù)與大數(shù)據(jù)三、了解數(shù)據(jù)相關(guān)法律法規(guī)任務(wù)一認(rèn)識(shí)數(shù)據(jù)分析與統(tǒng)計(jì)一、認(rèn)識(shí)金融數(shù)據(jù)分析1.金融數(shù)據(jù)分析基礎(chǔ)的定義金融數(shù)據(jù)分析基礎(chǔ)是運(yùn)用統(tǒng)計(jì)分析的基礎(chǔ)理論和方法對(duì)金融活動(dòng)數(shù)量進(jìn)行數(shù)據(jù)分析的方法。（一）金融數(shù)據(jù)分析基礎(chǔ)概述2.金融數(shù)據(jù)分析的目的金融數(shù)據(jù)分析的目的,實(shí)質(zhì)是利用數(shù)據(jù)分析的結(jié)果來(lái)解決現(xiàn)實(shí)的金融經(jīng)濟(jì)問(wèn)題,為決策提供可操作的數(shù)量化依據(jù)?，F(xiàn)狀分析原因探究未來(lái)預(yù)測(cè)一、認(rèn)識(shí)金融數(shù)據(jù)分析明確分析目的數(shù)據(jù)采集數(shù)據(jù)分析撰寫報(bào)告數(shù)據(jù)可視化數(shù)據(jù)處理3.金融數(shù)據(jù)分析的過(guò)程一、認(rèn)識(shí)金融數(shù)據(jù)分析1.描述性統(tǒng)計(jì)分析2.抽樣估計(jì)3.假設(shè)檢驗(yàn)與方差分析4.統(tǒng)計(jì)指數(shù)分析5.回歸分析6.時(shí)間序列分析4.金融數(shù)據(jù)分析常用的基礎(chǔ)方法一、認(rèn)識(shí)金融數(shù)據(jù)分析二、認(rèn)識(shí)統(tǒng)計(jì)統(tǒng)計(jì)學(xué)是傳統(tǒng)數(shù)據(jù)分析的核心和基礎(chǔ)，而大數(shù)據(jù)分析是傳統(tǒng)數(shù)據(jù)分析的進(jìn)化。總體指所要研究的客觀對(duì)象的全體，是由客觀存在的、具有某種共同性質(zhì)又存在差別的許多個(gè)別單位所構(gòu)成的整體。構(gòu)成總體的每一個(gè)事物或基本單位，叫做個(gè)體。1.總體、個(gè)體和樣本樣本，是從總體中抽取出來(lái)的一部分個(gè)體組成的整體，其作用是通過(guò)樣本特征來(lái)推斷總體特征，能夠簡(jiǎn)化數(shù)據(jù)統(tǒng)計(jì)分析的工作量。（一）統(tǒng)計(jì)學(xué)的幾個(gè)基本概念（二）認(rèn)識(shí)統(tǒng)計(jì)二、認(rèn)識(shí)統(tǒng)計(jì)表1-1某銀行客戶經(jīng)理銷售數(shù)據(jù)表：姓名性別年齡（歲）文化程度工齡（年）銷售額（萬(wàn)元）張三男35本科10560李四男31大專8528王曼女32研究生4385李麗女29大專5290劉明男28本科3350張琪女30本科5375該銀行全部18位客戶經(jīng)理就是總體，每一位客戶經(jīng)理就是個(gè)體，而表格中所列的6位客戶經(jīng)理就是樣本。二、認(rèn)識(shí)統(tǒng)計(jì)大量性是總體的量的規(guī)定性，即總體是由血多單位組成的，僅僅一個(gè)單位不能構(gòu)成總體。同質(zhì)性構(gòu)成總體的各個(gè)單位必須在某一方面具有相同的性質(zhì)變異性變異地指存在的差異，同一個(gè)總體在某一方面具有共同的性質(zhì)，但在另外一些方面又必須是有差異的。總體的特征：二、認(rèn)識(shí)統(tǒng)計(jì)標(biāo)志標(biāo)志表現(xiàn)通常，每個(gè)個(gè)體從不同的角度考慮，都具有許多屬性和特征。這些屬性和特征就叫做標(biāo)志。品質(zhì)標(biāo)志數(shù)量標(biāo)志標(biāo)志的屬性或數(shù)量在每個(gè)個(gè)體的具體表現(xiàn)，叫標(biāo)志表現(xiàn)。2.標(biāo)志和標(biāo)志表現(xiàn)（二）認(rèn)識(shí)統(tǒng)計(jì)二、認(rèn)識(shí)統(tǒng)計(jì)表1-1某銀行客戶經(jīng)理銷售數(shù)據(jù)表：姓名性別年齡（歲）文化程度工齡（年）銷售額（萬(wàn)元）張三男35本科10560李四男31大專8528王曼女32研究生4385李麗女29大專5290劉明男28本科3350張琪女30本科5375標(biāo)志標(biāo)志表現(xiàn)品質(zhì)標(biāo)志數(shù)量標(biāo)志二、認(rèn)識(shí)統(tǒng)計(jì)3.變量及其類型身高金融機(jī)構(gòu)的職工人數(shù)體重年齡狹義上看變量是指可變的數(shù)量標(biāo)志。廣義上看變量不僅指可變的數(shù)量標(biāo)志，也包括可變的品質(zhì)標(biāo)志。二、認(rèn)識(shí)統(tǒng)計(jì)變量取值是否連續(xù)所受因素影響的不同離散型變量連續(xù)型變量確定性變量隨機(jī)性變量例如學(xué)生人數(shù)、機(jī)器臺(tái)數(shù)、金融機(jī)構(gòu)數(shù)等。如身高、體重、總產(chǎn)值、資金和利潤(rùn)等。如增加施肥量，能使農(nóng)作物收獲量增多，是確定性因素的影響。如產(chǎn)品質(zhì)量檢驗(yàn)，在所控制的質(zhì)量數(shù)據(jù)范圍內(nèi)，由于受偶然因素，如溫度、電壓、車速等的影響，產(chǎn)品的質(zhì)量數(shù)據(jù)也不是絕對(duì)相同的二、認(rèn)識(shí)統(tǒng)計(jì)4.統(tǒng)計(jì)指標(biāo)統(tǒng)計(jì)指標(biāo)是反映總體的數(shù)量特征的概念和具體數(shù)值。指標(biāo)名稱指標(biāo)數(shù)值例如，中國(guó)2020年國(guó)內(nèi)生產(chǎn)總值（指標(biāo)名稱）1015986.2億元（指標(biāo)數(shù)值）。二、認(rèn)識(shí)統(tǒng)計(jì)統(tǒng)計(jì)指標(biāo)反映的數(shù)量特點(diǎn)和內(nèi)容劃分反映的容或數(shù)值表現(xiàn)形式劃分?jǐn)?shù)量指標(biāo)質(zhì)量指標(biāo)總量指標(biāo)相對(duì)指標(biāo)例如，銷售量、銷售額、人口總數(shù)、工業(yè)總產(chǎn)值等，都屬于數(shù)量指標(biāo)。。例如，商品價(jià)格、產(chǎn)品合格率、固定資產(chǎn)的利用程度、利潤(rùn)率、勞動(dòng)生產(chǎn)率等，都屬于質(zhì)量指標(biāo)。例如，2020年財(cái)政收入18.3億元，2020年中國(guó)外匯儲(chǔ)備為32165.22億美元，等等。例如，家庭人均消費(fèi)水平、企業(yè)職工平均工資等。（二）統(tǒng)計(jì)指標(biāo)的類型平均指標(biāo)例如，產(chǎn)品合格率、同比發(fā)展速度、經(jīng)濟(jì)增長(zhǎng)率等。二、認(rèn)識(shí)統(tǒng)計(jì)1.總量指標(biāo)

概念：總量指標(biāo)是指經(jīng)過(guò)統(tǒng)計(jì)匯總后得到的具有計(jì)量單位的統(tǒng)計(jì)指標(biāo)，反映研究總體在一定時(shí)期或時(shí)點(diǎn)的總規(guī)模、總水平或性質(zhì)相同的總體規(guī)模的數(shù)量差異。時(shí)期指標(biāo)時(shí)點(diǎn)指標(biāo)按總量指標(biāo)所反映的時(shí)間狀況來(lái)劃分人口出生數(shù)基金產(chǎn)品銷售額國(guó)內(nèi)生產(chǎn)總值基本建設(shè)投資額年末人口數(shù)儲(chǔ)蓄存款余額商品庫(kù)存數(shù)二、認(rèn)識(shí)統(tǒng)計(jì)（1）時(shí)期指標(biāo)與時(shí)點(diǎn)指標(biāo)的區(qū)別5區(qū)別性質(zhì)相同的時(shí)期指標(biāo)的數(shù)值可以相加，而時(shí)點(diǎn)指標(biāo)相加則無(wú)意義。同類時(shí)期指標(biāo)數(shù)值的大小與時(shí)期長(zhǎng)短有直接關(guān)系，而時(shí)點(diǎn)指標(biāo)則沒(méi)有這種關(guān)系。時(shí)期指標(biāo)數(shù)值是經(jīng)常登記取得，而時(shí)點(diǎn)指標(biāo)則不是。二、認(rèn)識(shí)統(tǒng)計(jì)標(biāo)志是用于描述個(gè)體的，指標(biāo)是用于描述總體的。標(biāo)志只是一個(gè)名稱，不含數(shù)值(標(biāo)志表現(xiàn))；指標(biāo)既含名稱又含數(shù)值。指標(biāo)與標(biāo)志的區(qū)別（2）指標(biāo)與標(biāo)志的區(qū)別與聯(lián)系對(duì)應(yīng)關(guān)系變幻關(guān)系指標(biāo)與標(biāo)志的聯(lián)系標(biāo)志與指標(biāo)名稱往往是同一概念隨著研究目的的變換，原有的總體轉(zhuǎn)變?yōu)閭€(gè)體，相應(yīng)的統(tǒng)計(jì)指標(biāo)名稱也就成為標(biāo)志；反之亦然。匯總關(guān)系統(tǒng)計(jì)指標(biāo)的數(shù)值由數(shù)量標(biāo)志的標(biāo)志表現(xiàn)匯總得來(lái)二、認(rèn)識(shí)統(tǒng)計(jì)2.相對(duì)指標(biāo)5相對(duì)指標(biāo)結(jié)構(gòu)相對(duì)指標(biāo)對(duì)比相對(duì)指標(biāo)完成程度相對(duì)指標(biāo)二、認(rèn)識(shí)統(tǒng)計(jì)（1）結(jié)構(gòu)相對(duì)指標(biāo)結(jié)構(gòu)相對(duì)指標(biāo)又稱結(jié)構(gòu)相對(duì)數(shù)或比重指標(biāo)，是在統(tǒng)計(jì)分組的基礎(chǔ)上，總體中某一組的數(shù)值與總體指標(biāo)數(shù)值的比值，以說(shuō)明總體內(nèi)部組成情況，一般用百分?jǐn)?shù)表示。結(jié)構(gòu)相對(duì)指標(biāo)=總體某部分的數(shù)值總體總量*100%結(jié)構(gòu)相對(duì)指標(biāo)具有如下特點(diǎn)：①分子分母不能互換。②指標(biāo)值＜1。③指標(biāo)值之和=1。常用的合格率、恩格爾系數(shù)都屬于結(jié)構(gòu)相對(duì)指標(biāo)。二、認(rèn)識(shí)統(tǒng)計(jì)（2）對(duì)比相對(duì)指標(biāo)①靜態(tài)相對(duì)指標(biāo)靜態(tài)相對(duì)指標(biāo)是指同一總體在相同時(shí)間下不同組(部門、單位、地區(qū))的數(shù)據(jù)對(duì)比通常用比值、倍數(shù)、系數(shù)或百分?jǐn)?shù)表示。靜態(tài)相對(duì)指標(biāo)=總體中某一組的指標(biāo)數(shù)值總體中另一組的指標(biāo)數(shù)值*100%靜態(tài)相對(duì)指標(biāo)有如下特點(diǎn)：①同一總體、同一指標(biāo)、同一時(shí)間、不同組的數(shù)值對(duì)比；②分子、分母可以互換。二、認(rèn)識(shí)統(tǒng)計(jì)②動(dòng)態(tài)相對(duì)指標(biāo)動(dòng)態(tài)相對(duì)指標(biāo)是指同一總體在不同時(shí)間下的兩個(gè)數(shù)值進(jìn)行動(dòng)態(tài)對(duì)比，以說(shuō)明總體在不同時(shí)間上的發(fā)展變化情況，所以也叫動(dòng)態(tài)相對(duì)數(shù)或發(fā)展速度，通常用百分?jǐn)?shù)表示。例如，2018年中國(guó)的GDP為919281億元，2019年為986515億元，如果把2018年選作基期，亦即將2018年國(guó)內(nèi)生產(chǎn)總值作為100，則2019的國(guó)內(nèi)生產(chǎn)總值與2018年的國(guó)內(nèi)生產(chǎn)總值對(duì)比，得出動(dòng)態(tài)相對(duì)數(shù)為107.3%，它說(shuō)明在2018年基礎(chǔ)上2019年國(guó)內(nèi)生產(chǎn)總值的發(fā)展速度。（2）對(duì)比相對(duì)指標(biāo)動(dòng)態(tài)相對(duì)指標(biāo)=某一現(xiàn)象報(bào)告期的數(shù)值同一現(xiàn)象基期的數(shù)值*100%二、認(rèn)識(shí)統(tǒng)計(jì)（3）計(jì)劃完成程度相對(duì)指標(biāo)

概念：計(jì)劃完成程度相對(duì)指標(biāo)是實(shí)際完成值與目標(biāo)計(jì)劃值進(jìn)行對(duì)比，通常用百分?jǐn)?shù)表示。完成程度相對(duì)指標(biāo)=實(shí)際完成指標(biāo)數(shù)值計(jì)劃指標(biāo)數(shù)值*100%例如，2015年某互聯(lián)網(wǎng)金融公司，產(chǎn)品銷售額計(jì)劃指標(biāo)為5000萬(wàn)元，當(dāng)年該公司實(shí)際銷售額為5600萬(wàn)元，則計(jì)劃完成程度相對(duì)指標(biāo)=5600/5000×100%=112%。任務(wù)二認(rèn)識(shí)金融數(shù)據(jù)與大數(shù)據(jù)一、認(rèn)識(shí)金融數(shù)據(jù)（一）金融數(shù)據(jù)的生產(chǎn)數(shù)據(jù)記錄數(shù)據(jù)生產(chǎn)數(shù)據(jù)發(fā)布金融經(jīng)濟(jì)數(shù)據(jù)是金融經(jīng)濟(jì)活動(dòng)信息和結(jié)果的表現(xiàn)形式，凡是有金融經(jīng)濟(jì)活動(dòng)的地方就有數(shù)據(jù)生產(chǎn)。一、認(rèn)識(shí)金融數(shù)據(jù)宏觀金融經(jīng)濟(jì)數(shù)據(jù)的生產(chǎn)微觀金融經(jīng)濟(jì)數(shù)據(jù)的生產(chǎn)機(jī)構(gòu)單位、工商企業(yè)、金融企業(yè)、居民個(gè)人等…一、認(rèn)識(shí)金融數(shù)據(jù)（二）金融數(shù)據(jù)的分類1.從宏觀金融與微觀金融角度宏觀金融數(shù)據(jù)微觀金融數(shù)據(jù)主要包括貨幣類數(shù)據(jù)、金融投資類數(shù)據(jù)、保險(xiǎn)經(jīng)營(yíng)類數(shù)據(jù)等。如上市公司的資產(chǎn)負(fù)債表，商業(yè)銀行的利潤(rùn)表等；部分項(xiàng)目的金融數(shù)據(jù)，如京滬高鐵、三峽水利等項(xiàng)目的融資數(shù)據(jù)；居民家庭金融數(shù)據(jù)等。一、認(rèn)識(shí)金融數(shù)據(jù)（6）互聯(lián)網(wǎng)金融機(jī)構(gòu)數(shù)據(jù)。包括第三方支付、移動(dòng)支付、網(wǎng)絡(luò)基金、網(wǎng)絡(luò)理財(cái)產(chǎn)品、網(wǎng)絡(luò)保險(xiǎn)等業(yè)務(wù)形成的統(tǒng)計(jì)數(shù)據(jù)。（1）銀行類機(jī)構(gòu)金融數(shù)據(jù)。包括存款性銀行和非存款性金融機(jī)構(gòu)的數(shù)據(jù)。（4）保險(xiǎn)類機(jī)構(gòu)金融數(shù)據(jù)。如保險(xiǎn)費(fèi)收入、賠付，基金投資組合、資產(chǎn)管理狀況等數(shù)據(jù)。（3）基金類機(jī)構(gòu)金融數(shù)據(jù)。風(fēng)險(xiǎn)投資基金、產(chǎn)業(yè)基金、資本市場(chǎng)基金、貨幣市場(chǎng)基金、社會(huì)保障類基金等業(yè)務(wù)運(yùn)作數(shù)據(jù)。（2）證券類機(jī)構(gòu)金融數(shù)據(jù)。證券類機(jī)構(gòu)的金融數(shù)據(jù)主要是證券公司、投資銀行的經(jīng)營(yíng)數(shù)據(jù)，包括經(jīng)紀(jì)業(yè)務(wù)、自營(yíng)業(yè)務(wù)、投資銀行業(yè)務(wù)等數(shù)據(jù)。（5）期貨類機(jī)構(gòu)金融數(shù)據(jù)。期貨類機(jī)構(gòu)的金融數(shù)據(jù)主要是期貨交易所、期貨經(jīng)紀(jì)公司、非經(jīng)紀(jì)類期貨交易機(jī)構(gòu)的有關(guān)期貨交易業(yè)務(wù)的統(tǒng)計(jì)數(shù)據(jù)。2.從金融機(jī)構(gòu)類別角度一、認(rèn)識(shí)金融數(shù)據(jù)3.從金融市場(chǎng)角度資本市場(chǎng)數(shù)據(jù)外匯市場(chǎng)數(shù)據(jù)黃金市場(chǎng)數(shù)據(jù)貨幣市場(chǎng)數(shù)據(jù)衍生品市場(chǎng)數(shù)據(jù)保險(xiǎn)市場(chǎng)數(shù)據(jù)包括這些交易工具的發(fā)行、二級(jí)交易規(guī)模、利率、交易投資者狀況等。這些工具的發(fā)行、交易規(guī)模、交易價(jià)格等都是資本市場(chǎng)統(tǒng)計(jì)的主要內(nèi)容。主要包括不同貨幣之間的兌換比價(jià)、外匯交易規(guī)模等數(shù)據(jù)黃金市場(chǎng)統(tǒng)計(jì)的主要內(nèi)容是黃金交易數(shù)量、價(jià)格等數(shù)據(jù)。保險(xiǎn)市場(chǎng)統(tǒng)計(jì)主要包括保險(xiǎn)產(chǎn)品類型及交易數(shù)額、保險(xiǎn)費(fèi)收入、保費(fèi)賠付、保險(xiǎn)機(jī)構(gòu)業(yè)務(wù)運(yùn)作情況等數(shù)據(jù)。衍生品市場(chǎng)數(shù)據(jù)包括期貨、期權(quán)、互換、遠(yuǎn)期利率協(xié)議以及復(fù)雜衍生品的交易、持倉(cāng)、價(jià)格等數(shù)據(jù)。一、認(rèn)識(shí)金融數(shù)據(jù)4.從經(jīng)濟(jì)部門角度住戶部門金融數(shù)據(jù)其金融數(shù)據(jù)包括儲(chǔ)蓄存款、貸款，股票、基金與債券投資，購(gòu)買保險(xiǎn)，外匯與黃金交易等。非金融企業(yè)部門金融數(shù)據(jù)其金融數(shù)據(jù)包括存貸款、發(fā)行股票債券、購(gòu)買商業(yè)保險(xiǎn)等。金融機(jī)構(gòu)部門金融數(shù)據(jù)其金融數(shù)據(jù)主要有資產(chǎn)類、負(fù)債類、發(fā)行和交易類、價(jià)格類數(shù)據(jù)。政府部門金融數(shù)據(jù)包括為財(cái)政赤字融資發(fā)行的國(guó)債、借款，地方政府投資項(xiàng)目的融資，社會(huì)保障基金運(yùn)作等數(shù)據(jù)。國(guó)外部門金融數(shù)據(jù)國(guó)外部門金融數(shù)據(jù)主要包括外商直接投資、國(guó)內(nèi)企業(yè)對(duì)外直接投資、外國(guó)證券投資、國(guó)內(nèi)對(duì)外證券投資、與貿(mào)易投資有關(guān)的貸款、貨幣和存款資金的跨境轉(zhuǎn)移等。直接融資類金融數(shù)據(jù)間接融資類金融數(shù)據(jù)5.從融資方式角度信貸規(guī)模、信貸形式和信貸結(jié)構(gòu)一、認(rèn)識(shí)金融數(shù)據(jù)直接融資統(tǒng)計(jì)數(shù)據(jù)主要包括發(fā)行股票、債券、基金等直接融資工具的規(guī)模，以及金融工具市場(chǎng)交易數(shù)量、價(jià)格等數(shù)據(jù)。一、認(rèn)識(shí)金融數(shù)據(jù)（三）金融數(shù)據(jù)公布系統(tǒng)1996年3月和1997年12月，IMF先后制定完成了《數(shù)據(jù)公布特殊標(biāo)準(zhǔn)(SDDS)》和《數(shù)據(jù)公布通用系統(tǒng)(GDDS)》。1.數(shù)據(jù)公布標(biāo)準(zhǔn):SDDS與GDDSSDDS標(biāo)準(zhǔn)主要適用于已經(jīng)參與國(guó)際金融市場(chǎng)的大多數(shù)工業(yè)化國(guó)家和一些新興市場(chǎng)經(jīng)濟(jì)體。GDDS適用于尚未達(dá)到SDDS要求的國(guó)家，大部分為發(fā)展中經(jīng)濟(jì)體。一、認(rèn)識(shí)金融數(shù)據(jù)2.中國(guó)的數(shù)據(jù)公布系統(tǒng)中國(guó)政府于2002年4月15日正式加入了GDDS，按照IMF的要求，發(fā)布宏觀經(jīng)濟(jì)五大部門的有關(guān)數(shù)據(jù)。國(guó)家統(tǒng)計(jì)局財(cái)政部中國(guó)人民銀行國(guó)家外匯管理局海關(guān)總署國(guó)家統(tǒng)計(jì)局、教育部、衛(wèi)生部2015年10月6日，中國(guó)央行開(kāi)始按照SDDS標(biāo)準(zhǔn)公布數(shù)據(jù)。二、認(rèn)識(shí)大數(shù)據(jù)（一）大數(shù)據(jù)的含義與特征大數(shù)據(jù)指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)通常具有4V特征:數(shù)據(jù)量大數(shù)據(jù)類型繁多處理速度快價(jià)值密度低二、認(rèn)識(shí)大數(shù)據(jù)（二）大數(shù)據(jù)的主要類型類型結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)無(wú)結(jié)構(gòu)的數(shù)據(jù)二、認(rèn)識(shí)大數(shù)據(jù)（1）結(jié)構(gòu)化數(shù)據(jù)表1-2關(guān)系型數(shù)據(jù)結(jié)構(gòu)表序號(hào)股票簡(jiǎn)稱證券代碼日開(kāi)盤價(jià)（元）日收盤價(jià)（元）日個(gè)股交易股數(shù)（萬(wàn)股）日個(gè)股交易金額(萬(wàn)元)1萬(wàn)科00000232.832.5610121.3334237.392中興通訊00006335.6635.4510142.55359298.913海王生物0000783.693.7412691.3846661.794南方航空6000297.277.286760.5649285.65中信證券60003025.7425.4935773.66915739.93（2）非結(jié)構(gòu)化數(shù)據(jù)常見(jiàn)的非結(jié)構(gòu)化數(shù)據(jù)有文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等。（3）半結(jié)構(gòu)化數(shù)據(jù)二、認(rèn)識(shí)大數(shù)據(jù)（三）大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用1.銀行大數(shù)據(jù)應(yīng)用場(chǎng)景客戶畫像（1）客戶在社交媒體上的行為數(shù)據(jù)。（2）客戶在電商網(wǎng)站的交易數(shù)據(jù)。（3）企業(yè)客戶的產(chǎn)業(yè)鏈上下游數(shù)據(jù)。（4）其他有利于銀行了解客戶興趣愛(ài)好的數(shù)據(jù)收入法傳統(tǒng)的銀行數(shù)據(jù)按類型主要分為：交易數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、征信數(shù)據(jù)、客戶信息數(shù)據(jù)等4大類。精準(zhǔn)營(yíng)銷（1）實(shí)時(shí)營(yíng)銷。（2）個(gè)性化推薦。（3）客戶生命周期管理。二、認(rèn)識(shí)大數(shù)據(jù)2.證券大數(shù)據(jù)應(yīng)用場(chǎng)景智能投顧市場(chǎng)行情預(yù)測(cè)證券大數(shù)據(jù)應(yīng)用場(chǎng)景智能投顧業(yè)務(wù)能夠基于客戶的交易行為、交易偏好品種、風(fēng)險(xiǎn)承受能力等數(shù)據(jù)數(shù)據(jù)建立數(shù)據(jù)模型，匹配客戶多樣化需求，為客戶線上提供個(gè)性化財(cái)富管理方案。證券機(jī)構(gòu)利用大數(shù)據(jù)技術(shù)對(duì)海量個(gè)人投資者樣本進(jìn)行持續(xù)性跟蹤監(jiān)測(cè)，對(duì)持倉(cāng)情況、收益率、資金流向情況等一系列指標(biāo)進(jìn)行統(tǒng)計(jì)分析，對(duì)市場(chǎng)行情進(jìn)行預(yù)測(cè)。二、認(rèn)識(shí)大數(shù)據(jù)3.保險(xiǎn)大數(shù)據(jù)應(yīng)用場(chǎng)景產(chǎn)品優(yōu)化，保單個(gè)性化。運(yùn)營(yíng)分析。代理人（保險(xiǎn)銷售人員）甄選。欺詐風(fēng)險(xiǎn)控制精細(xì)化運(yùn)營(yíng)醫(yī)療保險(xiǎn)欺詐風(fēng)險(xiǎn)控制。車險(xiǎn)欺詐風(fēng)險(xiǎn)控制。任務(wù)三了解數(shù)據(jù)相關(guān)法律法規(guī)一、數(shù)據(jù)相關(guān)法律法規(guī)123數(shù)據(jù)安全和個(gè)人信息保護(hù)的立法文件：《民典法》《刑法》《網(wǎng)絡(luò)安全法》《電信條例》等2020年，全國(guó)人大常委相繼提出了《個(gè)人信息保護(hù)法》（草案）和《數(shù)字安全法》（草案）2020年2月中國(guó)人民銀行發(fā)布了《個(gè)人金融信息保護(hù)技術(shù)規(guī)范》、全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)發(fā)布了《信息安全技術(shù)個(gè)人信息安全規(guī)范》一、數(shù)據(jù)相關(guān)法律法規(guī)（一）相關(guān)法律《民法典》《刑法》《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》數(shù)據(jù)相關(guān)法律法規(guī)一、數(shù)據(jù)相關(guān)法律法規(guī)（一）相關(guān)法律《民法典》：根據(jù)《中華人民共和國(guó)民法典》第四篇第六章“隱私權(quán)和個(gè)人信息保護(hù)”規(guī)定，自然人的個(gè)人信息受法律保護(hù)。數(shù)據(jù)采集方面數(shù)據(jù)使用方面《民法典》1.《中華人民共和國(guó)民法典》2.《中華人民共和國(guó)刑法》侵犯公民個(gè)人信息罪非法獲取計(jì)算機(jī)系統(tǒng)數(shù)據(jù)罪非法侵入計(jì)算機(jī)信息系統(tǒng)罪一、數(shù)據(jù)相關(guān)法律法規(guī)3.

《中華人民共和國(guó)網(wǎng)絡(luò)安全法》《中華人民共和國(guó)網(wǎng)絡(luò)安全法》于2017年6月1日開(kāi)始實(shí)施，其中第四章“網(wǎng)絡(luò)信息安全”規(guī)定：（1）網(wǎng)絡(luò)運(yùn)營(yíng)者應(yīng)對(duì)其收集的用戶信息嚴(yán)格保密，并建立信息保護(hù)制度，防止信息泄露、毀損、丟失；>（2）網(wǎng)絡(luò)運(yùn)營(yíng)者收集、使用個(gè)人信息，應(yīng)當(dāng)遵循合法、正當(dāng)、必要的原則，明示收集和使用規(guī)則、目的、方式和范圍，并經(jīng)被收集者同意。>（3）網(wǎng)絡(luò)運(yùn)營(yíng)者不得收集與其提供的服務(wù)無(wú)關(guān)的個(gè)人信息；>（4）不得泄露、篡改、毀損其收集的個(gè)人信息；未經(jīng)被收集者同意，不得向他人提供個(gè)人信息。>一、數(shù)據(jù)相關(guān)法律法規(guī)4.

《中華人民共和國(guó)數(shù)據(jù)安全法》《中華人民共和國(guó)數(shù)據(jù)安全法》于2021年6月10日由中華人民共和國(guó)第十三屆全國(guó)人民代表大會(huì)常務(wù)委員會(huì)第二十九次會(huì)議通過(guò)，2021年9月1日開(kāi)始實(shí)施。數(shù)據(jù)分類分級(jí)數(shù)據(jù)安全審查與管制數(shù)據(jù)安全保障措施數(shù)據(jù)安全風(fēng)險(xiǎn)評(píng)估和身份核驗(yàn)政務(wù)數(shù)據(jù)安全與開(kāi)放一、數(shù)據(jù)相關(guān)法律法規(guī)2021年4月26日《個(gè)人信息保護(hù)法（草案）》提請(qǐng)全國(guó)人大常委會(huì)二次審議。個(gè)人信息保護(hù)法（草案）法律責(zé)任個(gè)人信息處理者的義務(wù)確立了以“告知—同意”為核心的個(gè)人信息處理規(guī)則個(gè)人在信息處理中的權(quán)利自然人的個(gè)人信息受法律保護(hù)（二）相關(guān)草案一、數(shù)據(jù)相關(guān)法律法規(guī)（三）相關(guān)規(guī)范C1C2C3個(gè)人金融信息分類分級(jí)使用刪除銷毀收集傳輸存儲(chǔ)安全基本原則《個(gè)人金融信息保護(hù)技術(shù)規(guī)范》是中國(guó)人民銀行發(fā)布的金融行業(yè)標(biāo)準(zhǔn)，于2020年2月13日正式生效。1.個(gè)人金融信息分類分級(jí)2.安全基本原則二、違法判例翁某發(fā)現(xiàn)淘寶店鋪源碼存在漏洞，經(jīng)黃某授意，以非法獲取Cookies數(shù)據(jù)為目的，編寫了用于獲取Cookies的Javascript。黃某利用翁某事先編寫的網(wǎng)絡(luò)爬蟲程序讀取虛擬隊(duì)列中的Cookies并獲取淘寶用戶的交易訂單數(shù)據(jù)（內(nèi)容包含用戶昵稱、姓名、商品價(jià)格、交易創(chuàng)建時(shí)間、收貨人姓名、收貨人電話、收貨地址等）達(dá)1億余條。杭州市余杭區(qū)人民法院判處黃某犯非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪，判處有期徒刑六年，并處罰金人民幣六萬(wàn)元。判處翁某犯非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪，判處有期徒刑五年八個(gè)月，并處罰金人民幣五萬(wàn)五千元。（一）數(shù)據(jù)違法采集判例二、違法判例（二）數(shù)據(jù)泄露判例2019年7月至2021年7月期間，楊某利用在淮安某商業(yè)銀行支行擔(dān)任大堂經(jīng)理的工作便利,非法獲取客戶的手機(jī)號(hào)碼、驗(yàn)證碼并把客戶手機(jī)號(hào)碼、驗(yàn)證碼發(fā)至其上線微信群，其上線使用客戶手機(jī)號(hào)碼、驗(yàn)證碼完成京東、滴滴等網(wǎng)絡(luò)平臺(tái)注冊(cè)賬號(hào)，楊某非法獲利人民幣16826.93元?；窗彩谢搓巺^(qū)人民檢察院依照《中華人民共和國(guó)刑法》第二百五十三條，第六十七條，第七十二條，第七十三條，第六十四條等的相關(guān)規(guī)定，判處楊青拘役五個(gè)月，緩刑七個(gè)月，并處罰金人民幣二萬(wàn)元。二、違法判例（三）數(shù)據(jù)非法獲取判例2018年11月起，陳某在某銀行信用卡中心工作，負(fù)責(zé)向客戶推廣、辦理信用卡業(yè)務(wù)，通過(guò)QQ向上家以每條社保參保證明信息3元的價(jià)格購(gòu)買社保參保證明，共成功購(gòu)買到社保信息609條陳某非法獲取屬于征信信息和財(cái)產(chǎn)信息性質(zhì)的公民個(gè)人信息，情節(jié)特別嚴(yán)重，依照《中華人民共和國(guó)刑法》第二百五十三條之一、第六十四條、第六十七條第三款之規(guī)定，其行為已構(gòu)成侵犯公民個(gè)人信息罪，對(duì)陳某判處有期徒刑三年，并處罰金人民幣五千元，沒(méi)收作案工具二部手機(jī)。04項(xiàng)目實(shí)訓(xùn)目錄CONTENT實(shí)訓(xùn)內(nèi)容【一】大數(shù)據(jù)在金融經(jīng)濟(jì)領(lǐng)域應(yīng)用案例搜集縱觀金融業(yè)的發(fā)展史，幾乎每次變革都是由科技創(chuàng)新推動(dòng)的。隨著大數(shù)據(jù)時(shí)代的到來(lái)，對(duì)大數(shù)據(jù)的研究與應(yīng)用正在逐步滲透到人類社會(huì)的各個(gè)角落。金融業(yè)作為數(shù)據(jù)最密集的行業(yè)之一，使其成為這場(chǎng)數(shù)據(jù)風(fēng)暴的重要參與角色。大數(shù)據(jù)與金融業(yè)的融合，促使了金融大數(shù)據(jù)這一新興概念的出現(xiàn)。金融大數(shù)據(jù)包含了金融交易數(shù)據(jù)、客戶數(shù)據(jù)、運(yùn)營(yíng)數(shù)據(jù)、監(jiān)管數(shù)據(jù)以及各類衍生數(shù)據(jù)等，其背后蘊(yùn)含著巨大的利用價(jià)值。當(dāng)前金融大數(shù)據(jù)已經(jīng)成為金融發(fā)展的新動(dòng)力，其廣泛應(yīng)用是現(xiàn)代金融發(fā)展的必然趨勢(shì)。項(xiàng)目要求

搜索大數(shù)據(jù)在金融經(jīng)濟(jì)領(lǐng)域的應(yīng)用案例，詳細(xì)描述案例應(yīng)用場(chǎng)景，介紹其優(yōu)缺點(diǎn)，并談?wù)勀銓?duì)這項(xiàng)應(yīng)用技術(shù)未來(lái)發(fā)展趨勢(shì)的看法或觀點(diǎn)。以小組為單位開(kāi)展思辨討論，大數(shù)據(jù)時(shí)代的同學(xué)們應(yīng)該具備哪些能力、需要掌握哪些技能為將來(lái)職業(yè)規(guī)劃做準(zhǔn)備？謝謝觀看金融數(shù)據(jù)統(tǒng)計(jì)分析項(xiàng)目二

金融數(shù)據(jù)采集01學(xué)習(xí)目標(biāo)目錄CONTENT一知識(shí)目標(biāo)（1）了解數(shù)據(jù)類型，數(shù)據(jù)來(lái)源的分類和獲取途徑，了解數(shù)據(jù)采集的流程和常見(jiàn)方法。（2）了解問(wèn)卷調(diào)查數(shù)據(jù)采集方法。（3）了解使用網(wǎng)絡(luò)爬蟲工具采集數(shù)據(jù)的方法。（4）理解Python語(yǔ)言特征、Python自動(dòng)化采集方法。二能力目標(biāo)（1）能夠辨別不同類型的數(shù)據(jù)，能夠分清數(shù)據(jù)的兩種來(lái)源以及每種數(shù)據(jù)來(lái)源的數(shù)據(jù)采集途徑。（2）能夠設(shè)計(jì)一份要素完整、思路清晰、目的明確的調(diào)查問(wèn)卷。（3）能夠根據(jù)數(shù)據(jù)采集要求使用八爪魚采集器進(jìn)行數(shù)據(jù)采集。（4）能夠根據(jù)實(shí)際需求，使用Python程序語(yǔ)言進(jìn)行自動(dòng)化數(shù)據(jù)采集。三思政素養(yǎng)目標(biāo)（1）以社會(huì)主義核心價(jià)值觀為引領(lǐng)，開(kāi)拓學(xué)生視野。（2）在數(shù)據(jù)采集過(guò)程中，引導(dǎo)學(xué)生樹立誠(chéng)實(shí)守信、科學(xué)求真的為人準(zhǔn)則和職業(yè)素養(yǎng)。02案例導(dǎo)讀目錄CONTENT如何采集2020年的宏觀經(jīng)濟(jì)指標(biāo)？案例導(dǎo)入

2020年全球經(jīng)濟(jì)遭遇了嚴(yán)重沖擊，尤其是二季度多國(guó)GDP跌幅創(chuàng)下歷史記錄。在全球經(jīng)濟(jì)形勢(shì)嚴(yán)峻的背景下，想要了解我國(guó)的經(jīng)濟(jì)發(fā)展形勢(shì)，需要知道以下指標(biāo)數(shù)據(jù)：（1）國(guó)內(nèi)生產(chǎn)總值（GDP）及第一、第二、第三產(chǎn)業(yè)的生產(chǎn)總值；（2）全社會(huì)固定資產(chǎn)投資額、社會(huì)消費(fèi)品零售總額、進(jìn)出口總額（包括出口和進(jìn)口）；（3）居民人均消費(fèi)支出、居民消費(fèi)價(jià)格指數(shù)、工業(yè)生產(chǎn)者出廠價(jià)格指數(shù)，工業(yè)生產(chǎn)者購(gòu)進(jìn)價(jià)格指數(shù)；（4）財(cái)政收入和支出、城鎮(zhèn)登記失業(yè)率、居民人均可支配收入；（5）廣義貨幣M2供應(yīng)量、狹義貨幣M1供應(yīng)量、流通中的貨幣M0供應(yīng)量、社會(huì)融資規(guī)模、金融機(jī)構(gòu)本外幣貸款余額、貸款市場(chǎng)報(bào)價(jià)利率（LPR）。請(qǐng)思考：要將以上指標(biāo)制作成2020年宏觀經(jīng)濟(jì)數(shù)據(jù)報(bào)表，應(yīng)該如何進(jìn)行數(shù)據(jù)采集呢？03新課教學(xué)目錄CONTENT一、認(rèn)識(shí)數(shù)據(jù)采集二、數(shù)據(jù)采集之問(wèn)卷調(diào)查三、數(shù)據(jù)采集之網(wǎng)絡(luò)爬蟲四、數(shù)據(jù)采集之Python自動(dòng)化采集任務(wù)一認(rèn)識(shí)數(shù)據(jù)采集一、數(shù)據(jù)的類型數(shù)據(jù)定性數(shù)據(jù)定量數(shù)據(jù)定類數(shù)據(jù)定序數(shù)據(jù)定距數(shù)據(jù)定比數(shù)據(jù)指只能用文字或數(shù)字代碼來(lái)表現(xiàn)事物的品質(zhì)特性或?qū)傩蕴卣鞯臄?shù)據(jù)。（一）按數(shù)據(jù)的計(jì)量尺度分類是指用數(shù)值來(lái)表現(xiàn)事物數(shù)量特征的數(shù)據(jù)。人的性別分為男、女，則可用“1”表示男性，用“0”表示女性。學(xué)生成績(jī)可以分為優(yōu)、良、中、及格和不及格五類某日甲、乙、丙三地的最高氣溫分別為30℃、20℃和10℃，說(shuō)明甲地與乙地的最高氣溫差等于乙地和丙地的最高氣溫差，都是10℃。企業(yè)利潤(rùn)100萬(wàn)元，人的身高175厘米、某地區(qū)的人均國(guó)內(nèi)生產(chǎn)總值3萬(wàn)元等。一、數(shù)據(jù)的類型（二）按對(duì)客觀現(xiàn)象觀察的時(shí)間狀態(tài)分類數(shù)據(jù)橫截面數(shù)據(jù)時(shí)間序列數(shù)據(jù)又稱為靜態(tài)數(shù)據(jù)，它是指在同一時(shí)間對(duì)不同單位的某一現(xiàn)象的數(shù)量表現(xiàn)進(jìn)行觀察而獲得的數(shù)據(jù)。又稱為動(dòng)態(tài)數(shù)據(jù)，它是指在不同時(shí)間對(duì)同一單位、同一現(xiàn)象的數(shù)量表現(xiàn)進(jìn)行觀察而獲得的數(shù)據(jù)。我國(guó)某年各省、市、區(qū)的國(guó)內(nèi)生產(chǎn)總值數(shù)據(jù)。把我國(guó)1979年以來(lái)的國(guó)內(nèi)生產(chǎn)總值數(shù)據(jù)按時(shí)間先后順序進(jìn)行排列，就形成了我國(guó)國(guó)內(nèi)生產(chǎn)總值的時(shí)間序列數(shù)據(jù)。一、數(shù)據(jù)的類型數(shù)據(jù)絕對(duì)數(shù)是用以反映現(xiàn)象或事物絕對(duì)數(shù)量特征的數(shù)據(jù)，有明確的計(jì)量單位。用以反映現(xiàn)象或事物相對(duì)數(shù)量特征的數(shù)據(jù)。用以反映現(xiàn)象或事物平均數(shù)量特征的數(shù)據(jù)體現(xiàn)現(xiàn)象（事物）某一方面的一般數(shù)量水平。（三）按數(shù)據(jù)的表現(xiàn)形式分類絕對(duì)數(shù)相對(duì)數(shù)平均數(shù)企業(yè)銷售收入為2億元、利潤(rùn)是0.5億元，人的身高是176厘米、體重是60千克某班級(jí)同學(xué)某門課平均成績(jī)85分，某公司銷售小組人均銷售業(yè)績(jī)150萬(wàn)等二、數(shù)據(jù)的來(lái)源（一）一手?jǐn)?shù)據(jù)根據(jù)數(shù)據(jù)的來(lái)源不同，可以將數(shù)據(jù)分成一手?jǐn)?shù)據(jù)和二手?jǐn)?shù)據(jù)。實(shí)驗(yàn)法報(bào)告法自動(dòng)生成觀察法采訪法問(wèn)卷調(diào)查法獲得方法一手?jǐn)?shù)據(jù)也稱為原始數(shù)據(jù)，是指通過(guò)調(diào)查或?qū)嶒?yàn)等方式直接獲得的數(shù)據(jù)。二、數(shù)據(jù)的來(lái)源（二）二手?jǐn)?shù)據(jù)各級(jí)政府統(tǒng)計(jì)局網(wǎng)站財(cái)經(jīng)類網(wǎng)站數(shù)據(jù)商的數(shù)據(jù)產(chǎn)品國(guó)家統(tǒng)計(jì)局網(wǎng)站中國(guó)統(tǒng)計(jì)年鑒國(guó)家各部門網(wǎng)站獲取途徑二手?jǐn)?shù)據(jù)也稱為次級(jí)數(shù)據(jù)，是指那些從同行或一些媒體上獲得的、經(jīng)過(guò)加工整理的數(shù)據(jù)。三、數(shù)據(jù)采集的流程明確采集需求明確分析需求按需求采集數(shù)據(jù)四、數(shù)據(jù)采集的方法數(shù)據(jù)采集方法線下采集線上采集觀察采訪下載、復(fù)制爬?。≒ython自動(dòng)化采集）問(wèn)卷調(diào)查任務(wù)二數(shù)據(jù)采集之問(wèn)卷調(diào)查一、問(wèn)卷設(shè)計(jì)的原則

2.結(jié)構(gòu)合理、邏輯清晰1.主題明確先易后難、先簡(jiǎn)后繁、先具體后抽象。從實(shí)際出發(fā)擬題，問(wèn)題目的明確、重點(diǎn)突出一、問(wèn)卷設(shè)計(jì)的原則3.通俗易懂

5.便于資料的校驗(yàn)、整理和統(tǒng)計(jì)4.控制問(wèn)卷的長(zhǎng)度要充分考慮到在調(diào)查完成后，能夠方便地檢査其正確性和適用性，方便地對(duì)調(diào)査結(jié)果進(jìn)行整理和統(tǒng)計(jì)分析。應(yīng)使被調(diào)査者一目了然，并愿意如實(shí)回答。問(wèn)卷中語(yǔ)氣要親切，符合被調(diào)査者的理解能力和認(rèn)識(shí)能力，避免使用專業(yè)術(shù)語(yǔ)。對(duì)敏感性問(wèn)題采取一定的技巧提問(wèn)控制在20分鐘左右設(shè)計(jì)一份好的問(wèn)卷，需要做好充分的準(zhǔn)備工作，盡可能多地收集與主題相關(guān)的信息和資料，根據(jù)問(wèn)卷的整體框架，逐一羅列所需資料，分清主次。搜集整理相關(guān)資料確定數(shù)據(jù)資料收集的方法進(jìn)行試調(diào)查分析樣本特征擬訂并編排問(wèn)題修改、定稿二、問(wèn)卷設(shè)計(jì)的程序說(shuō)明對(duì)調(diào)查項(xiàng)目的目的、意義以及相關(guān)事項(xiàng)的解釋標(biāo)題用詞準(zhǔn)確，簡(jiǎn)明扼要，易引起被調(diào)查者的興趣被調(diào)查者的基本資料被調(diào)查者的背景資料，如被調(diào)查者性別、年齡、婚姻狀況、文化程度、職業(yè)等結(jié)束語(yǔ)表示對(duì)被調(diào)查者的感謝三、調(diào)查問(wèn)卷的結(jié)構(gòu)問(wèn)卷主體包括所要了解的各個(gè)問(wèn)題和相對(duì)應(yīng)的備選答案。問(wèn)卷說(shuō)明舉例示例：女士/先生：您好！我是XX公司的市場(chǎng)調(diào)查員，目前我們正在進(jìn)行一項(xiàng)有關(guān)XX市信用卡市場(chǎng)需求狀況的問(wèn)卷調(diào)查，希望從您這里得到有關(guān)消費(fèi)者對(duì)信用卡需求方面的市場(chǎng)信息，以便更好地提升信用卡服務(wù)，懇請(qǐng)您花幾分鐘時(shí)間幫助我們完成這份問(wèn)卷調(diào)查。該問(wèn)卷不記名，回答無(wú)對(duì)錯(cuò)之分，按照您的實(shí)際情況回答即可。我們準(zhǔn)備了小禮品以表達(dá)您對(duì)我們工作支持的謝意，感謝您的支持！封閉式問(wèn)題既有問(wèn)題又有備選答案優(yōu)點(diǎn)：答案是標(biāo)準(zhǔn)化的，便于錄入分析；回答率較高；問(wèn)題的含義比較清楚；調(diào)査得到的結(jié)果可以直接進(jìn)行被調(diào)查者間的比較。缺點(diǎn)：對(duì)題目理解不正確的情況難以覺(jué)察；可能產(chǎn)生“順序偏差”或“位置偏差”；調(diào)查人員需花費(fèi)較多時(shí)間來(lái)斟酌答案選項(xiàng)；得出的信息有時(shí)不夠精確；難以收集到深度的信息資料。開(kāi)放式問(wèn)題只有問(wèn)題，沒(méi)有備選答案優(yōu)點(diǎn)：被調(diào)査者可以自由、充分、深入地表達(dá)自己的看法和意見(jiàn)缺點(diǎn)：調(diào)查結(jié)果不易處理，回答率低半封閉式問(wèn)題這種問(wèn)卷介于封閉式和開(kāi)放式兩者質(zhì)檢，答案既有固定、標(biāo)準(zhǔn)的，也有讓回答者自由發(fā)揮的。四、調(diào)查問(wèn)卷中的問(wèn)題的類型類型：答案的表達(dá)必須簡(jiǎn)單易懂、標(biāo)準(zhǔn)規(guī)范。所列答案應(yīng)包括所有可能的回答。不同答案之間不能相互包含或交叉。每一項(xiàng)答案都應(yīng)有明確的填答標(biāo)記，答案與答案之間要留出足夠的空格。可用隱蔽方式得到的答案，就不必在調(diào)查問(wèn)卷上直接列出。封閉式問(wèn)題是否式多項(xiàng)單選式多項(xiàng)多選式排序問(wèn)題過(guò)濾性問(wèn)題程度評(píng)價(jià)式四、調(diào)查問(wèn)卷中的問(wèn)題的類型封閉式問(wèn)題答案的設(shè)計(jì)原則:任務(wù)三數(shù)據(jù)采集之網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲，是一種“自動(dòng)化瀏覽網(wǎng)頁(yè)”的程序，可以自動(dòng)地抓取網(wǎng)絡(luò)數(shù)據(jù)和信息，它的目標(biāo)是從網(wǎng)頁(yè)上獲取新的數(shù)據(jù)，并加以存儲(chǔ)以方便訪問(wèn)。八爪魚采集器是一款網(wǎng)頁(yè)數(shù)據(jù)采集軟件，具有使用簡(jiǎn)單、功能強(qiáng)大等特點(diǎn)。使用八爪魚采集數(shù)據(jù)時(shí)，其過(guò)程涉及新建任務(wù)、指定元素、采集數(shù)據(jù)、保存數(shù)據(jù)等步驟。一、模板采集下面以京東的“商品搜索”模板為例：（1）在八爪魚采集器的官方網(wǎng)站上下載該工具，將其安裝到計(jì)算機(jī)上并啟動(dòng)，輸入注冊(cè)的賬號(hào)和密碼，單擊“登錄”按鈕，如下圖所示。（2）登錄后，單擊左側(cè)的“新建”按鈕，在彈出的下拉列表中選擇“模板任務(wù)”選項(xiàng)，如下圖所示。登錄八爪魚采集器新建模板任務(wù)一、模板采集（3）在顯示的界面中選擇京東對(duì)應(yīng)的模板縮略圖，如圖所示。（4）此時(shí)將顯示所有京東采集模板，單擊“商品搜索”對(duì)應(yīng)的縮略圖，如圖所示。選擇網(wǎng)站模板選擇采集模板一、模板采集（5）打開(kāi)顯示所選模板詳情的頁(yè)面，單擊相應(yīng)的選項(xiàng)卡，可以了解模板的介紹、采集字段、采集參數(shù)和示例數(shù)據(jù)，確認(rèn)無(wú)誤后可單擊“立即使用”按鈕。（6）設(shè)置此次采集的任務(wù)名、任務(wù)組，并配置模板參數(shù)，這里在“任務(wù)名”文本框中輸入“跑步鞋數(shù)據(jù)采集”，在“搜索關(guān)鍵詞”文本框中輸入“跑步鞋”，在“采集頁(yè)數(shù)設(shè)置”文本框中輸入“5”，完成后單擊左下角的“保存并啟動(dòng)”按鈕。模板詳情設(shè)置任務(wù)的基本信息和配置參數(shù)一、模板采集（7）彈出“請(qǐng)選擇采集模式”對(duì)話框，這里單擊“本地采集”下方的“立即啟動(dòng)”按鈕，啟動(dòng)數(shù)據(jù)采集，如圖所示。（8）八爪魚采集器開(kāi)始根據(jù)模板設(shè)置的內(nèi)容采集指定的數(shù)據(jù)，并同步顯示采集過(guò)程，如圖所示。選擇采集方式顯示采集過(guò)程一、模板采集（9）當(dāng)完成采集工作后，八爪魚采集器將自動(dòng)打開(kāi)“采集完成”對(duì)話框，此時(shí)我們可直接導(dǎo)出采集的數(shù)據(jù)，單擊“導(dǎo)出數(shù)據(jù)”按鈕即可。（10）彈出“導(dǎo)出本地?cái)?shù)據(jù)”對(duì)話框，設(shè)置數(shù)據(jù)的導(dǎo)出方式，這里選中“Excel（xlsx）”選項(xiàng)，單擊“確定”按鈕，如圖所示。數(shù)據(jù)采集完成選擇導(dǎo)出方式一、模板采集（11）彈出“另存為”對(duì)話框，設(shè)置數(shù)據(jù)導(dǎo)出的保存位置和文件名稱，單擊“保存”按鈕，如圖所示。（12）此時(shí)八爪魚采集器將顯示數(shù)據(jù)的導(dǎo)出進(jìn)度，當(dāng)出現(xiàn)導(dǎo)出完成的提示后，可單擊“打開(kāi)文件”按鈕，如圖所示。導(dǎo)出數(shù)據(jù)設(shè)置保存位置和名稱一、模板采集（13）此時(shí)打開(kāi)Excel軟件，并顯示采集到的數(shù)據(jù)結(jié)果內(nèi)容，如圖所示。數(shù)據(jù)采集結(jié)果二、自動(dòng)識(shí)別當(dāng)八爪魚采集器內(nèi)置的模板無(wú)法滿足采集需求時(shí)，則可以通過(guò)自定義采集的方式進(jìn)行數(shù)據(jù)采集。采取這種方式時(shí)，八爪魚采集器會(huì)根據(jù)網(wǎng)頁(yè)的內(nèi)容進(jìn)行自動(dòng)識(shí)別，這一特性極大地簡(jiǎn)化了自定義采集數(shù)據(jù)的工作。三、手動(dòng)采集如果需要采集的數(shù)據(jù)頁(yè)面既沒(méi)有模板，也無(wú)法識(shí)別，則可以通過(guò)手動(dòng)采集的方式采集數(shù)據(jù)。新建采集任務(wù)取消自動(dòng)識(shí)別數(shù)據(jù)的狀態(tài)手動(dòng)采集需要的各個(gè)字段設(shè)置字段名稱和位置01020304采集數(shù)據(jù)并導(dǎo)出到Excel中05任務(wù)四數(shù)據(jù)采集之Python自動(dòng)化采集一、Python語(yǔ)言介紹Python語(yǔ)言是一個(gè)高層次的結(jié)合了解釋性、編譯性、互動(dòng)性和面向?qū)ο蟮恼Z(yǔ)言。該語(yǔ)言簡(jiǎn)潔、易讀、可擴(kuò)展性強(qiáng)，被廣泛使用于科學(xué)計(jì)算和數(shù)據(jù)挖掘。一、Python語(yǔ)言介紹Python語(yǔ)言具有以下特點(diǎn)：(1)Python是免費(fèi)的開(kāi)源軟件(2)Python語(yǔ)言的設(shè)計(jì)側(cè)重于可讀性、易用性及清晰性，上手友好。(3)Python是一門解釋型的語(yǔ)言，天生具有跨平臺(tái)的特征。(4)Python是面向?qū)ο蟮恼Z(yǔ)言。第三方庫(kù)、函數(shù)、模塊、數(shù)字、字符串一切皆為對(duì)象，使用非常靈活。(5)Python應(yīng)用領(lǐng)域廣泛，包括Web和Internet開(kāi)發(fā)、科學(xué)計(jì)算和統(tǒng)計(jì)、游戲開(kāi)發(fā)等。用戶自動(dòng)采集網(wǎng)絡(luò)數(shù)據(jù)的方式是模擬瀏覽器發(fā)送請(qǐng)求(獲取網(wǎng)頁(yè)代碼)，從中提取有用的數(shù)據(jù)，最后存放于數(shù)據(jù)庫(kù)或文件中。發(fā)送請(qǐng)求獲取相應(yīng)內(nèi)容解析內(nèi)容保存數(shù)據(jù)二、Python自動(dòng)采集的流程三、Python自動(dòng)采集程序1Python庫(kù)準(zhǔn)備2發(fā)送請(qǐng)求3獲取內(nèi)容4解析內(nèi)容5保存數(shù)據(jù)（一）Python庫(kù)準(zhǔn)備三、Python自動(dòng)采集程序request庫(kù)lxml庫(kù)Pandas庫(kù)HTML格式的靜態(tài)網(wǎng)頁(yè)，常使用request庫(kù)來(lái)發(fā)送HTTP請(qǐng)求，鏈接網(wǎng)站，進(jìn)而獲取響應(yīng)的網(wǎng)頁(yè)內(nèi)容。負(fù)責(zé)對(duì)網(wǎng)頁(yè)信息進(jìn)行解析。lxml庫(kù)是XML和HTML的解析器。Pandas提供了高級(jí)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)，這些數(shù)據(jù)結(jié)構(gòu)利于進(jìn)行快速、簡(jiǎn)單、表格化的數(shù)據(jù)分析。三、Python自動(dòng)采集程序（一）Python庫(kù)準(zhǔn)備在編程中，為了能調(diào)用3個(gè)庫(kù)中的工具包，使用Python的import函數(shù)導(dǎo)入想要的庫(kù)或模塊。具體代碼如下：importrequestsfromlxmlimportetreeimportpandasaspd#導(dǎo)入pandas并將其簡(jiǎn)稱為pd（二）發(fā)送請(qǐng)求三、Python自動(dòng)采集程序數(shù)據(jù)采集需要先向目標(biāo)地址發(fā)起請(qǐng)求，通過(guò)requests.get()函數(shù)實(shí)現(xiàn)。requests.get()函數(shù)的括號(hào)內(nèi)變量為網(wǎng)頁(yè)地址。為了代碼明晰、易讀，通常先將網(wǎng)頁(yè)地址賦值給變量，如url，然后用requests.get(url)獲取url值。具體代碼如下：#將浦發(fā)銀行利潤(rùn)表地址賦值給變量urlurl="/finance/profit_600000.shtml"r=requests.get(url)#發(fā)送請(qǐng)求，再將響應(yīng)對(duì)象存儲(chǔ)在變量r中print(r)#打印結(jié)果三、Python自動(dòng)采集程序運(yùn)行上面的代碼，結(jié)果輸出如下：<Response[200]>發(fā)送請(qǐng)求后，返回了Response[200]，其中的200是狀態(tài)代碼，表示服務(wù)器成功地接受了客戶端請(qǐng)求。（三）獲取內(nèi)容三、Python自動(dòng)采集程序使用etree模塊下的函數(shù)etree.HTML()來(lái)對(duì)網(wǎng)頁(yè)內(nèi)容標(biāo)準(zhǔn)化，以便于后續(xù)xpath()方法進(jìn)行解析。將標(biāo)準(zhǔn)化后的對(duì)象，賦值給新變量selector，方便后續(xù)調(diào)用。發(fā)送請(qǐng)求成功后，服務(wù)器正常響應(yīng)，響應(yīng)對(duì)象存儲(chǔ)在變量r中，使用r.content獲取整個(gè)頁(yè)面的HTML代碼，并賦值給con_code變量。使用print(con_code)，輸出查看。三、Python自動(dòng)采集程序con_code=r.content#獲取整個(gè)網(wǎng)頁(yè)內(nèi)容print(con_code)selector=etree.HTML(con_code)#網(wǎng)頁(yè)內(nèi)容標(biāo)準(zhǔn)化，etree.HTML將傳進(jìn)去的變量con_code轉(zhuǎn)變成_Element對(duì)象，將其生成標(biāo)準(zhǔn)網(wǎng)頁(yè)格式的數(shù)據(jù)具體代碼如下：（三）獲取內(nèi)容運(yùn)行結(jié)果，如下圖：（四）解析內(nèi)容三、Python自動(dòng)采集程序怎么從整個(gè)頁(yè)面的HTML代碼中準(zhǔn)確找到某個(gè)元素？下面以獲取利潤(rùn)表“報(bào)告期”元素為例，介紹具體地獲取其位置的步驟。查看網(wǎng)頁(yè)源碼（谷歌瀏覽器）1.可使用“F12”快捷鍵，打開(kāi)網(wǎng)頁(yè)源代碼，如圖所示。三、Python自動(dòng)采集程序2.單擊源碼區(qū)域，左上方箭頭形狀的功能鍵，單擊后會(huì)發(fā)現(xiàn)箭頭變?yōu)樗{(lán)色，如圖所示。移動(dòng)鼠標(biāo)，點(diǎn)選網(wǎng)頁(yè)需要采集的數(shù)據(jù)區(qū)域，如“報(bào)告期”，則右側(cè)的網(wǎng)頁(yè)源碼會(huì)定位到相應(yīng)位置，并且該區(qū)域?qū)?yīng)的代碼變藍(lán)色。單擊源碼左上角功能鍵，選擇采集區(qū)域三、Python自動(dòng)采集程序3.鼠標(biāo)右擊“報(bào)告期”對(duì)應(yīng)的藍(lán)色代碼，在如圖所示頁(yè)面中的選擇框里點(diǎn)擊右鍵在Copy選項(xiàng)下選擇“CopyXpath”，拷貝了以Xpath語(yǔ)法規(guī)則來(lái)表示的定位位置。數(shù)據(jù)xpath規(guī)則獲取三、Python自動(dòng)采集程序?qū)⑸弦徊娇截惖膬?nèi)容粘貼至文本編輯器就可得到需采集信息（如報(bào)告期）的地址，即//*[@id="sta_3"]/div[1]/div/div[2]/table/tbody/tr[1]/td[1]獲取到了所需要采集的具體數(shù)據(jù)的網(wǎng)頁(yè)位置后，使用text()函數(shù)來(lái)選取當(dāng)前節(jié)點(diǎn)中的所有內(nèi)容，再用selector.xpath函數(shù)解析該內(nèi)容，并將解析結(jié)果轉(zhuǎn)換為字符串輸出。三、Python自動(dòng)采集程序#字符串類型需要用單引號(hào)''或雙引號(hào)""引用。Name_xpath='//*[@id="sta_3"]/div[1]/div/div[2]/table/tbody/tr[1]/td[1]/text()'#獲取網(wǎng)頁(yè)地址的文本內(nèi)容Title=str(selector.xpath(Name_xpath)[0])#解析文本內(nèi)容，并轉(zhuǎn)為字符串格式print(Title)代碼如下：輸出如下：報(bào)告期三、Python自動(dòng)采集程序要注意的是，變量名稱自由命名，但是要遵守Python的命名規(guī)則。Python語(yǔ)言中變量名可以包括字母、數(shù)字、下劃線，但數(shù)字不能做開(kāi)頭。例如：name_1是合法變量名，而1_name是錯(cuò)誤命名。若需爬取整個(gè)頁(yè)面的利潤(rùn)表，每個(gè)數(shù)據(jù)xpath都復(fù)制一遍的工作量顯然過(guò)大，因此可以通過(guò)尋找xpath規(guī)律通過(guò)循環(huán)對(duì)整體數(shù)據(jù)進(jìn)行爬取。三、Python自動(dòng)采集程序//*[@id="sta_3"]/div[1]/div/div[2]/table/tbody/tr[i]/td[j]表示表格的第i行第j列數(shù)據(jù)，例如xpath后綴為tr[3]/td[3]的數(shù)據(jù)讀取為97,365,000,000，如圖所示。在尋找規(guī)律時(shí)發(fā)現(xiàn)除行名字因?yàn)榉譃橐患?jí)標(biāo)題二級(jí)標(biāo)題xpath格式并非完全一致無(wú)法自動(dòng)識(shí)別，其他數(shù)據(jù)的xpath皆有規(guī)律：：網(wǎng)頁(yè)截圖三、Python自動(dòng)采集程序df=pd.D