財務大數(shù)據(jù)分析與可視化課件 項目4 數(shù)據(jù)獲取

數(shù)據(jù)獲取與整理項目四添加標題在此PART01添加相關標題文字添加相關標題文字相關標題文字學習目標汪剛制作添加相關標題文字添加相關標題文字相關標題文字項目導圖汪剛制作情境案例本項目案例數(shù)據(jù)比較分散；本項目案例數(shù)據(jù)的類型包括：EXCEL文件格式、文本文件格式、數(shù)據(jù)庫（mdb）文件格式、文件夾格式。本項目案例數(shù)據(jù)原型：某連鎖店銷售數(shù)據(jù)；空氣質量檢測數(shù)據(jù)；某市年度財政收入數(shù)據(jù)；某公司ERP系統(tǒng)中的財務數(shù)據(jù)；融智財經大數(shù)據(jù)平臺數(shù)據(jù)；淘寶某店鋪的日訪問量和日銷售數(shù)據(jù)；某健身會所的會員信息；某電子公司產品銷售數(shù)據(jù)；某公司會議邀請信息和參會信息數(shù)據(jù)；汪剛制作1區(qū)分一維表和二維表2數(shù)據(jù)獲取3數(shù)據(jù)整理主目錄汪剛制作區(qū)分一維表和二維表任務一汪剛制作任務一區(qū)分一維表和二維表清單型表格，是按照一定的順序，清晰明了地保存最原始數(shù)據(jù)的表格；分為：一維表和二維表；一維表就是簡單的字段、記錄的羅列；二維表，則從ニ個維度來描述記錄屬性，并且兩個字段屬性存在一定關系；在數(shù)據(jù)分析過程中，請盡量使用一維表；將二維表處理成一維表的方式：第一種方式：在PowerBI中利用“逆透視列”功能將二維表迅速轉換為一維表；第二種方式，在EXCEL中利用數(shù)據(jù)透視表中多重數(shù)據(jù)透視功能進行處理；汪剛制作數(shù)據(jù)獲取任務二汪剛制作子任務一從文件導入Excel文件：該種文件格式最為常見；文本文件：是指以ASCII碼方式(也稱文本方式)存儲的文件。比如英文字母、數(shù)字等字符。CSV文件：用逗號作為分隔符（Comma-SeparatedValues，CSV，有時也稱為字符分隔值，因為分隔字符也可以不是逗號）的文件，其文件以純文本形式存儲表格數(shù)據(jù)（數(shù)字和文本）。XML（eXtensibleMarkupLanguage）：可擴展標記語言，它非常適合萬維網傳輸，提供統(tǒng)一的方法來描述和交換獨立于應用程序或供應商的結構化數(shù)據(jù)。JSON(JavaScriptObjectNotation,JS對象簡譜)：是一種輕量級的數(shù)據(jù)交換格式。它基于ECMAScript(歐洲計算機協(xié)會制定的js規(guī)范)的一個子集，采用完全獨立于編程語言的文本格式來存儲和表示數(shù)據(jù)。PDF（PortableDocumentFormat的簡稱，意為“便攜式文檔格式”）：是由AdobeSystems用于與應用程序、操作系統(tǒng)、硬件無關的方式進行文件交換所發(fā)展出的文件格式。汪剛制作汪剛制作子任務一從文件導入32145子任務二從文件夾導入需要匯總一些業(yè)務或經營數(shù)據(jù)，采用文件夾導入然后匯總；本案例：文件夾下共有北京市、天津市、上海市、重慶市4個直轄市的年度財政收入數(shù)據(jù)，分別存放在4個Excel工作簿中；123456汪剛制作子任務三從數(shù)據(jù)庫導入關系型數(shù)據(jù)庫：Access、SQLServer、MySQL、Oracle、SAPHANA、SAPBW本案例：Access數(shù)據(jù)庫文件，為從某公司ERP系統(tǒng)中獲取的財務數(shù)據(jù)；123456汪剛制作子任務四從網站查詢導入從網頁直接提取數(shù)據(jù)；/febd/?username=rzgc-pbi本案例：融智財經大數(shù)據(jù)平臺的滬深A股上市公司信息首頁看板數(shù)據(jù)；12345汪剛制作子任務五從其他數(shù)據(jù)源導入從Spark、Hadoop文件（HDFS）、R腳本、Python腳本等更多數(shù)據(jù)源獲取數(shù)據(jù)；汪剛制作子任務六重新設定數(shù)據(jù)源當把已經設定數(shù)據(jù)源的文件移動時（如發(fā)送給其他人員查詢、編輯，購書用戶下載演示文件后打開等情形），因設定數(shù)據(jù)源文件絕對路徑發(fā)生變化，就需要重新設定數(shù)據(jù)源；命令：主頁

轉換數(shù)據(jù)

數(shù)據(jù)源設置汪剛制作數(shù)據(jù)整理任務三汪剛制作任務三數(shù)據(jù)整理數(shù)據(jù)整理也叫數(shù)據(jù)處理、數(shù)據(jù)清洗；通過查詢編輯器PowerQuery對數(shù)據(jù)進行整理和清洗;包括：類型轉換、拆分、提取、歸并等操作；汪剛制作子任務一查詢編輯器和M語言1.查詢編輯器查詢編輯器PowerQuery：當需要對數(shù)據(jù)進行整理和清洗時，系統(tǒng)就會打開它；命令：主頁

轉換數(shù)據(jù)

轉換數(shù)據(jù)；汪剛制作子任務一查詢編輯器和M語言2.M語言在查詢編輯器窗口，通過鼠標進行的每一步操作，后臺都會記錄下來并生成M語言代碼；執(zhí)行“主頁

高級編輯器”命令，可查看自動生成的M語言代碼；對于初學用戶來說，不建議使用M語言代碼；汪剛制作子任務二數(shù)據(jù)的行、列操作和篩選1、數(shù)據(jù)的行操作汪剛制作子任務二數(shù)據(jù)的行、列操作和篩選（1）刪除行、首行升為列標題【任務要求】刪除表中不需要的行，并將刪除行后的表格首行提升為列標題【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\6-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為2013—2022國家財政收入年度數(shù)據(jù)。12345汪剛制作子任務二數(shù)據(jù)的行、列操作和篩選（2）刪除錯誤行

【任務要求】刪除表中的錯誤行【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\7-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為淘寶某店鋪的日訪問量和日銷售數(shù)據(jù)。123汪剛制作子任務二數(shù)據(jù)的行、列操作和篩選（3）刪除重復值

【任務要求】刪除表中的重復項【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\8-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某連鎖店的銷售數(shù)據(jù)，需要將客戶的最大訂單銷售額保留在查詢表中。123汪剛制作子任務二數(shù)據(jù)的行、列操作和篩選2、數(shù)據(jù)的列操作選擇列可以通過選擇的方式將需要的列保留在查詢編輯器中；刪除列可以刪除選中的列或刪除選中列以外的列；【任務要求】刪除表中2013~2017年年度數(shù)據(jù)【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\9-數(shù)據(jù)整理.xlsx，此案例為2013-2022國家財政收入年度數(shù)據(jù)1汪剛制作子任務二數(shù)據(jù)的行、列操作和篩選3、數(shù)據(jù)的篩選操作實質上是行操作；【任務要求】刪除表中不需要的數(shù)據(jù)行【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\10-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為2013-2022國家財政收入年度數(shù)據(jù)。123汪剛制作子任務三數(shù)據(jù)類型的轉換數(shù)據(jù)類型：數(shù)值類型、日期時間類型、文本類型、其他類型等；導入查詢編輯器中的數(shù)據(jù)類型與源表相比經常會發(fā)生變化；【任務要求】將年度、月份字段數(shù)據(jù)恢復成源表中的文本型數(shù)據(jù)?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\11-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為2024年1月份的日期表數(shù)據(jù)。1234汪剛制作子任務四數(shù)據(jù)格式的轉換汪剛制作子任務四數(shù)據(jù)格式的轉換【任務要求】刪除表中不正確的格式【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\12-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所會員信息。表中黃色標出的為不正確的格式：（1）中文名字前后有空格；（2）中文名字中有多行回車符；（3）英文姓氏都為大寫（4）出生年份字段中存在多余的“年”字21345678汪剛制作子任務五數(shù)據(jù)的拆分、提取和合并1、數(shù)據(jù)的拆分汪剛制作子任務五數(shù)據(jù)的拆分、提取和合并1、數(shù)據(jù)的拆分【任務要求】將表中的中文名字字段拆分成姓和名兩個字段?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\13-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所的會員信息。213456汪剛制作子任務五數(shù)據(jù)的拆分、提取和合并2、數(shù)據(jù)的提取汪剛制作子任務五數(shù)據(jù)的拆分、提取和合并2、數(shù)據(jù)的提取【任務要求】從表中的身份證號碼字段中提取出生年份信息?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\14-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所的會員信息。123456汪剛制作子任務五數(shù)據(jù)的拆分、提取和合并3、數(shù)據(jù)的合并數(shù)據(jù)的合并是將選中的多列數(shù)據(jù)合并到一列中；“轉換”菜單的合并列后，原列刪除；“添加列”菜單的合并列后，原列保留；

【任務要求】將表中的英文姓名合并成一列，并把原列刪除?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\15-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某健身會所的會員信息。123汪剛制作子任務六數(shù)據(jù)的轉置和反轉1、數(shù)據(jù)的轉置數(shù)據(jù)的轉置實現(xiàn)數(shù)據(jù)的行列互換；【任務要求】將表中的數(shù)據(jù)進行列互換?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\16-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司各月的銷售數(shù)據(jù)。1汪剛制作2子任務六數(shù)據(jù)的轉置和反轉2、數(shù)據(jù)的反轉反轉行，將行的順序顛倒；【任務要求】從數(shù)據(jù)表進行反轉行操作。【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\17-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司各月的銷售數(shù)據(jù)。123汪剛制作子任務七數(shù)據(jù)的透視和逆透視1、數(shù)據(jù)的透視透視列可以將一維表轉換成二維表；【任務要求】將一維表透視成二維表?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\18-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司四種產品各月的銷售數(shù)據(jù)。1234汪剛制作子任務七數(shù)據(jù)的透視和逆透視2、數(shù)據(jù)的逆透視逆透視可以將二維表轉換成一維表；【任務要求】將二維表透視成一維表?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\19-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司四種產品各月的銷售數(shù)據(jù)231汪剛制作子任務八數(shù)據(jù)的分組依據(jù)分組依據(jù)類似于Excel中分類匯總功能；分組依據(jù)不僅有數(shù)據(jù)清洗，也具備了一定的數(shù)據(jù)分析功能；【任務要求】按客戶名稱統(tǒng)計各客戶的銷售總額?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\20-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司的產品銷售數(shù)據(jù)。1234汪剛制作子任務九添加列汪剛制作子任務九添加列【任務要求】對月份字段創(chuàng)建索引列，對月份字段排序時按照索引序號作為排序依據(jù)?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\21-數(shù)據(jù)整理.xlsx此案例數(shù)據(jù)原型為常用維度表日期表數(shù)據(jù)。月份默認的排序依據(jù)為：10月、11月、12月、1月、2月、3月、4月、5月、6月、7月、8月、9月；通過設置索引列，可將其按正常順序排序：1月、2月、3月、4月、5月、6月、7月、8月、9月、10月、11月、12月。123汪剛制作子任務十日期和時間的整理汪剛制作子任務十日期和時間的整理【任務要求】提取日期字段中的年、月、季度和星期幾信息，并添加到新建列中?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\22-數(shù)據(jù)整理.xlsx

此案例數(shù)據(jù)原型為某日期表數(shù)據(jù)，根據(jù)日期表中的日期構建年、月、日、星期幾等字段列。123汪剛制作子任務十一數(shù)據(jù)的基本運算汪剛制作子任務十一數(shù)據(jù)的基本運算【任務要求】數(shù)據(jù)的基本數(shù)學運算。【任務數(shù)據(jù)】案例數(shù)據(jù)\項目4\23-數(shù)據(jù)整理.xlsx，此案例數(shù)據(jù)原型為某公司產品定價數(shù)據(jù)。12346758汪剛制作子任務十二數(shù)據(jù)的組合1、數(shù)據(jù)的追加查詢追加查詢是表與表之間的縱向組合；【任務要求】將兩張表做追加查詢?！救蝿諗?shù)據(jù)】案例數(shù)據(jù)\項目4\24-數(shù)據(jù)整理.xlsx此案例數(shù)據(jù)原型為某電子公司產品銷售數(shù)據(jù)。表sheet1包含訂單編號、金額、客戶名稱3個字段，6條記錄；表sheet2包含訂單編號、客戶名稱、客戶省份、金額4個字段,5條記錄。12345汪剛制作子任務十二數(shù)據(jù)的組合2、數(shù)據(jù)的合并查詢合