《財務大數(shù)據(jù)基礎》課件 項目2-財務大數(shù)據(jù)采集

財務大數(shù)據(jù)基礎課前回顧下列哪一項不屬于大數(shù)據(jù)的典型特征？（

）A.數(shù)據(jù)量大B.多樣性C.價值密度大D.速度更新快2.下列哪一項屬于結(jié)構(gòu)化的文件？（

）A.WordB.ExcelC.PPTD.圖片3.下列哪一項不屬于財務大數(shù)據(jù)的分析流程？（

）A.數(shù)據(jù)認知B.數(shù)據(jù)清洗C.數(shù)據(jù)采集D.數(shù)據(jù)分析

項目二

財務大數(shù)據(jù)采集任務一數(shù)據(jù)采集認知任務二調(diào)查問卷采集任務三單文件和多文件的數(shù)據(jù)采集任務四互聯(lián)網(wǎng)數(shù)據(jù)采集任務五

項目實訓（PowerBI數(shù)據(jù)采集)任務一數(shù)據(jù)采集認知數(shù)據(jù)采集概念數(shù)據(jù)采集:又稱數(shù)據(jù)獲取，是利用一種裝置從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個接口。數(shù)據(jù)采集是認知事實的重要基礎。任務一數(shù)據(jù)采集認知

常見的數(shù)據(jù)源：企業(yè)的數(shù)據(jù)中心、各大門戶網(wǎng)站、國家統(tǒng)計局、金融數(shù)據(jù)庫等。數(shù)據(jù)采集概念新浪財經(jīng)：/國家統(tǒng)計局網(wǎng)站：/思考：為什么要進行數(shù)據(jù)采集？任務一數(shù)據(jù)采集認知任務一數(shù)據(jù)采集認知數(shù)據(jù)采集應用行業(yè)信息源應用旅游各類信息優(yōu)化出行策略電商商品信息比價系統(tǒng)游戲游戲論壇調(diào)整游戲運營銀行個人交易信息征信系統(tǒng)/貸款評級金融金融新聞/數(shù)據(jù)制定投資策略，量化交易招聘職位信息崗位信息輿情各大論壇社會群體感知任務一數(shù)據(jù)采集認知數(shù)據(jù)采集的常用方法數(shù)據(jù)來源一手數(shù)據(jù)調(diào)查實驗二手數(shù)據(jù)系統(tǒng)內(nèi)部數(shù)據(jù)系統(tǒng)外部數(shù)據(jù)數(shù)據(jù)采集——PowerBI

PowerQuery是PowerBI的數(shù)據(jù)查詢模塊，它的作用是對數(shù)據(jù)表進行清洗和整合。而在進入到數(shù)據(jù)清洗之前，先導入各種各樣的數(shù)據(jù)。

本項目主要介紹PowerBI常見的幾種數(shù)據(jù)采集方式，例如調(diào)查問卷數(shù)據(jù)采集、單文件數(shù)據(jù)采集、多文件數(shù)據(jù)采集和互聯(lián)網(wǎng)數(shù)據(jù)采集等。任務一數(shù)據(jù)采集認知任務二調(diào)查問卷采集問卷調(diào)查概念

調(diào)查問卷又稱調(diào)查表或詢問表，是以問題的形式系統(tǒng)地記載調(diào)查內(nèi)容的一種印件。問卷可以是表格式、卡片式或簿記式。任務二調(diào)查問卷采集問卷設計，是問卷調(diào)查的關(guān)鍵。完美的問卷必須具備兩個功能——能將問題傳達給被問的人和使被問者樂于回答。任務二調(diào)查問卷采集問卷設計過程明確目的明確方法搜集資料確定內(nèi)容決定結(jié)構(gòu)把握調(diào)研的目的和內(nèi)容常用的有面訪調(diào)查、電話訪問、郵寄問卷、計算機輔助訪問等方式（1）這個問題有必要嗎？（2）是需要幾個問答題？封閉性問題和開放性的問題任務二調(diào)查問卷采集問卷設計構(gòu)成調(diào)查問卷的構(gòu)成要素：標題、說明、主體、致謝語（1）標題每份問卷都有一個研究主題。研究者應開宗明義定個題目，反映這個研究主題，例如“中國互聯(lián)網(wǎng)發(fā)展狀況及趨勢調(diào)查”。（2）說明問卷前面應有一個說明。這個說明可以是一封告調(diào)查對象的信，也可以是指導語，說明這個調(diào)查的目的意義。（3）主體這是研究主題的具體化，是問卷的核心部分。問題和答案是問卷的主體。（4）致謝語為了表示對調(diào)查對象真誠合作的謝意，研究者應當在問卷的的末端寫上感謝的話。任務二調(diào)查問卷采集問卷設計要點表明調(diào)查作出身份目的承諾卷首語親愛的朋友:您好!首先非常感謝您接受此次的調(diào)查!我是XXX，正在進行一項關(guān)于XX的調(diào)查,您的反饋將成為本研究調(diào)查中的重要依據(jù)。此次問卷填寫需約3分鐘，真心感謝您為我們付出的時間。我們在此鄭重承諾，本次調(diào)查不記名，內(nèi)容僅作學習、研究之用，我們將會對您的信息嚴格保密!任務二調(diào)查問卷采集問卷設計要點窮盡答案在設計問題選項時，對于會出現(xiàn)多種情況的，可以添加一個【其他】，【以上情況都有】選項，保證被調(diào)查者有選項可以選擇。多用普通用語，對專門術(shù)語必須加以解釋。要防止誘導性、暗示性的問題，以免影響回卷者的思考。任務二調(diào)查問卷采集問卷設計要點您最希望超市擴展的業(yè)務是?A.機票、酒店預訂B.水電費查詢C.免費WIFI服務D.支付寶等移動支付方式E.其他您【最希望】超市擴展的業(yè)務是?(單選)A.機票、酒店預訂B.水電費查詢C.免費WIFI服務D.支付寶等移動支付方式E.其他認知調(diào)查問卷問題設計方法：關(guān)鍵詞法（圍繞調(diào)查問卷標題中的關(guān)鍵詞設計問題）舉例：問卷標題“關(guān)于女性消費者的日常消費行為調(diào)查”思考：標題中有哪些關(guān)鍵詞？討論：圍繞關(guān)鍵詞可以設計哪些問題？任務二調(diào)查問卷采集任務二調(diào)查問卷采集任務實施：設計一份調(diào)查問卷動手實踐以小組為單位，選擇自己感興趣的一個問題，完成

設計問卷—發(fā)放問卷—回收問卷—問卷結(jié)果分析

工作流程。問卷設計平臺1.問卷星：2.問卷網(wǎng)：3.騰訊問卷：/任務三

單文件和多文件數(shù)據(jù)采集單文件數(shù)據(jù)采集Excel是財務中常見數(shù)據(jù)類型，在PowerBI有多種導入方式。

方式一、直接點擊導入Excel的快捷方式;

方式二、在“主頁”功能區(qū)選擇“Excel工作簿”。任務三

單文件和多文件數(shù)據(jù)采集單文件數(shù)據(jù)采集方式三、點擊“主頁”的“獲取數(shù)據(jù)”，選擇“Excel工作簿”，通過這種方式可以找到所有數(shù)據(jù)源。任務三

單文件和多文件數(shù)據(jù)采集單文件數(shù)據(jù)采集點擊“獲取數(shù)據(jù)”后，選擇本地的文件路徑并打開，PowerBI將建立與本地文件的連接。任務三

單文件和多文件數(shù)據(jù)采集單文件數(shù)據(jù)采集下一步進入”導航器“界面，勾選所需工作簿。數(shù)據(jù)若無需處理，則點擊下方的“加載”，數(shù)據(jù)將直接加載至模型;否則，點擊“轉(zhuǎn)化數(shù)據(jù)”，數(shù)據(jù)將加載至PowerQuery數(shù)據(jù)處理的界面。任務三

單文件和多文件數(shù)據(jù)采集單文件數(shù)據(jù)采集其他單個文件包括CSV、PDF文件等，導入方式和Excel類似。任務三

單文件和多文件數(shù)據(jù)采集單文件數(shù)據(jù)采集其他單個文件包括CSV、PDF文件等，導入方式和Excel類似。任務三

單文件和多文件數(shù)據(jù)采集單文件數(shù)據(jù)采集任務實施調(diào)查問卷數(shù)據(jù)結(jié)果導入PowerBI,并進行結(jié)果可視化呈現(xiàn)，完成組間互評。任務三

單文件和多文件數(shù)據(jù)采集Excel與PowerBI的區(qū)別？常用的數(shù)據(jù)分析軟件；處理的數(shù)據(jù)量有限（百萬）；最小的處理單元是單元格；需要運用公式和函數(shù)，沒有操作過程記錄主流的商業(yè)智能軟件；處理的數(shù)據(jù)量較大（千萬）；最小的處理單元是行和列；需要運用建模和函數(shù)；有操作過程記錄任務三

單文件和多文件數(shù)據(jù)采集多文件數(shù)據(jù)采集軟件如何選擇：取決于需要解決的數(shù)據(jù)分析問題。問題1：分析某一個月份的資產(chǎn)負債表？問題2：分析多個月份的財務報表？Excel還是PowerBI？任務三

單文件和多文件數(shù)據(jù)采集多文件數(shù)據(jù)采集如果需要批量導入單個文件，可以把單個文件放至文件夾，PowerBI支持導入文件夾。

步驟1：在“獲取數(shù)據(jù)”中點擊導入“文件夾”，選擇本地的文件夾路徑。任務三

單文件和多文件數(shù)據(jù)采集多文件數(shù)據(jù)采集步驟2：點擊“合并并轉(zhuǎn)化數(shù)據(jù)”選項，進入示例文件選項窗口，PowerBI會選擇文件夾中的一個文件作為模板顯示。任務三

單文件和多文件數(shù)據(jù)采集多文件數(shù)據(jù)采集步驟3：利用“合并并轉(zhuǎn)化數(shù)據(jù)”功能，進入Power

Query界面會自動創(chuàng)建和調(diào)用自定義函數(shù)，實現(xiàn)智能的轉(zhuǎn)化。任務三

單文件和多文件數(shù)據(jù)采集多文件數(shù)據(jù)采集1.在國家統(tǒng)計局網(wǎng)站找到各省年度數(shù)據(jù)，數(shù)據(jù)內(nèi)容自行選擇。網(wǎng)址/2.下載或復制5個省份的數(shù)據(jù)并分別粘貼到5個Excel文件中。3.使用PowerBI同時采集這5個Excel文件的數(shù)據(jù)。任務實施網(wǎng)絡爬蟲

網(wǎng)絡爬蟲（WebCrawler或WebSpider），是實現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)采集的主要方式，它是通過自動下載網(wǎng)頁，并根據(jù)一定的規(guī)則來提取所需要信息的程序，網(wǎng)絡爬蟲所爬取地主要是網(wǎng)頁上的數(shù)據(jù)。網(wǎng)絡爬蟲小規(guī)模中規(guī)模大規(guī)模數(shù)據(jù)量小爬取速度不敏感數(shù)據(jù)規(guī)模大爬取速度敏感搜索引擎爬取速度關(guān)鍵爬取網(wǎng)頁爬取系列網(wǎng)站爬取全網(wǎng)常用的財經(jīng)網(wǎng)站網(wǎng)站優(yōu)勢巨潮資訊網(wǎng)證監(jiān)會制定的信息披露網(wǎng)站同花順/東方財富網(wǎng)基本什么方面的內(nèi)容都能在上