財務大數據分析與可視化課件 項目1 商務智能基礎

商務智能基礎項目一添加標題在此PART01添加相關標題文字添加相關標題文字相關標題文字學習目標汪剛制作添加標題在此PART01添加相關標題文字添加相關標題文字相關標題文字項目導圖汪剛制作情境案例

2015年前后，中國民生銀行（以下簡稱“民生銀行”）“阿拉丁”平臺誕生，它是信息管理部提供的一個海量數據查詢、展示、交互、分析的整體解決方案?！鞍⒗　逼脚_上線以來，分行業(yè)務人員基于此平臺產生了很多有價值的經典案例“阿拉丁”平臺上線后，一線財務人員通過Smartbi分析工具將轉賬交易情況做了一個簡單的歸類，發(fā)現有些客戶存在一個很有意思的情況，就是每個月定期往其他銀行賬號上轉錢，而且轉賬金額基本差不多。經過抽樣了解發(fā)現，這些客戶都是中小企業(yè)的會計，他們每月定期通過民生銀行給自己的員工發(fā)工資。業(yè)務人員通過數據分析和挖掘，積極開展精準營銷，為銀行帶來了大量工資卡客戶。這些都是業(yè)務人員通過開放的“阿拉丁”平臺接觸到數據之后，利用自身的業(yè)務經驗，再結合數據工具創(chuàng)造出的價值。目前，“阿拉丁”平臺已經為民生銀行培養(yǎng)了近千人規(guī)模的數據分析挖掘團隊，使得更多一線業(yè)務人員貢獻業(yè)務經驗，形成了更大的數據分析產品群落，最終獲得效益的提升。案例來源：中國民生銀行和Smartbi官方網站。汪剛制作1商業(yè)智能基礎2數據類型和財務大數據3常見數據分析模型4主目錄4常見數據分析方法汪剛制作45可視化基礎商業(yè)智能基礎任務一汪剛制作子任務一商業(yè)智能的定義提出：Gartner的分析師

HowardDresner1996年提出商業(yè)智能描述了一系列的概念和方法，應用基于數據的分析系統輔助商業(yè)決策的制定。商業(yè)智能技術為企業(yè)提供了迅速收集、分析數據的技術和方法，把這些數據轉化為有用的信息，提高企業(yè)決策的質量。汪剛制作子任務一商業(yè)智能的定義企業(yè)界：Microsoft認為：商業(yè)智能是任何嘗試獲取、分析企業(yè)數據以便更清楚地了解市場和顧客，改進企業(yè)流程，更有效地參與競爭的過程。商業(yè)智能是下列軟件工具的集合：終端用戶查詢和報告工具、在線分析處理工具、數據挖掘軟件、數據集市、數據倉庫產品和主管信息系統。Oracle認為：商業(yè)智能是一種商務戰(zhàn)略，能夠持續(xù)不斷地對企業(yè)經營理念、組織結構和業(yè)務流程進行重組，實現以顧客為中心的自動化管理。SAP認為：商業(yè)智能是收集、存儲、分析和訪問數據以幫助企業(yè)更好決策的技術。IBM認為：商業(yè)智能是一系列技術支持的簡化信息收集、分析的策略集合。IDC認為：商務智能是下列軟件工具的集合終端用戶查詢和報告工具，在線分析處理工具，數據挖掘軟件，數據，集市數據倉庫，產品和主管信息系統。帆軟認為：商業(yè)智能是利用數據倉庫、數據可視化與分析技術，將指定的數據轉化為信息和知識的解決方案，其價值體現為滿足企業(yè)不同人群對數據查詢、分析和探索的需求，使企業(yè)實現對業(yè)務的監(jiān)測和洞察，從而支撐企業(yè)管理決策，提升企業(yè)管理水平，提高企業(yè)業(yè)務運營效率，改進優(yōu)化企業(yè)業(yè)務。汪剛制作子任務一商業(yè)智能的定義定義：商業(yè)智能是融合了先進信息技術與創(chuàng)新管理理念的結合體，集成了企業(yè)內外的數據，加工處理并從中提取能夠創(chuàng)造商業(yè)價值的信息和知識，面向企業(yè)戰(zhàn)略并服務于管理層、業(yè)務層，指導企業(yè)經營決策，提升企業(yè)競爭力；商業(yè)智能不僅是指一套技術，更是一套完整的解決方案；商業(yè)智能的本質就是數據智能。汪剛制作子任務二商業(yè)智能的系統構架汪剛制作子任務二商業(yè)智能的系統構架數據獲取層從數據來源看企業(yè)內部：財務系統、采購系統、銷售系統、生產系統等ERP系統的數據、辦公自動化OA的數據等；企業(yè)外部：政策數據、市場數據、行業(yè)數據、競爭對手的數據、各類統計數據等；從數據存儲結構上看結構化數據：以二維表格形式存儲的數據；非機構化數據：所有格式的辦公文檔、文本、圖片、音頻和視頻文件等；從數據存儲形式上看分為.xls文件、.txt文件、.csv文件、各類數據庫文件等；BI系統獲取數據后，還要經過數據清洗即ETL(Extract-Transform-Load)操作。ETL是將業(yè)務系統的數據經過抽取、轉換之后加載到數據倉庫的過程；子任務二商業(yè)智能的系統構架數據管理層數據倉庫，英文名稱為DataWarehouse，可簡寫為DW。數據倉庫是面向主題的，數據倉庫中的數據是按照一定的主題域進行組織；數據倉庫是集成的，數據倉庫的數據有來自于分散的操作型數據，將所需數據從原來的數據中抽取出來，進行加工與集成，統一與綜合之后才能進入數據倉庫；數據倉庫的數據主要供企業(yè)決策分析之用，所涉及的數據操作主要是數據查詢；數據倉庫中的數據通常包含歷史信息；元數據（MetaData）是關于數據倉庫的數據，指在數據倉庫建設過程中所產生的有關數據源定義，目標定義，轉換規(guī)則等相關的關鍵數據；元數據還包含關于數據含義的商業(yè)信息，所有這些信息都應當妥善保存，并很好地管理。為數據倉庫的發(fā)展和使用提供方便。汪剛制作子任務二商業(yè)智能的系統構架數據分析層聯機分析處理：OLAP(OnlineAnalyticalProcessing)

OLAP是以海量數據為基礎的復雜分析技術；它支持各級管理決策人員從不同的角度、快速靈活地對數據倉庫中的數據進行復雜查詢和多維分析處理，并且能以直觀易懂的形式將查詢和分析結果展現給決策人員；OLAP使用的邏輯數據模型為多維數據模型；OLAP是驗證型的分析工具；數據挖掘：DM（Datamining）數據挖掘是從海量數據中，提取隱含在其中的、人們事先不知道的但又可能有用的信息和知識的過程；數據挖掘的數據有多種來源，包括數據倉庫、數據庫或其他數據源；數據挖掘是預測型的分析工具；汪剛制作子任務二商業(yè)智能的系統構架數據展示層數據展示層主要是通過可視化技術將分析內容以各種圖表的方式展示出來；供企業(yè)決策人員、管理人員、分析人員、業(yè)務人員等相關人員進行洞察和決策；可視化技術是以計算機圖形學、以圖像處理技術為基礎，將數據轉換為圖形或圖像形式，顯示到屏幕上，并進行交互處理的理論方法和技術。它涉及計算機視覺圖像處理，計算機輔助設計，計算機圖形學等多個領域，并逐漸成為一種研究數據表示數據，綜合處理決策分析的問題的綜合技術；數據分析的內容包括利潤分析、收入分析、成本分析、資產分析、運營分析、投融資分析等。企業(yè)數據分析需要展示哪些指標和內容，與企業(yè)戰(zhàn)略、經營管理需要有密切關系。汪剛制作子任務三商業(yè)智能的價值增強業(yè)務洞察能力優(yōu)化企業(yè)營銷策略提高市場響應能力加強風險管理能力改善客戶關系管理汪剛制作子任務三商業(yè)智能的價值啤酒和尿布的故事這是發(fā)生在美國沃爾瑪連鎖超市的真實案例，并一直為商家所津津樂道。沃爾瑪擁有世界上最大的數據倉庫系統，為了能夠準確了解顧客在其門店的購買習慣，沃爾瑪對其顧客的購物行為進行購物籃分析。沃爾瑪數據倉庫里集中了其各門店的詳細原始交易數據。在這些原始交易數據的基礎上，沃爾瑪利用數據挖掘方法對這些數據進行分析和挖掘。一個意外的發(fā)現是："跟尿布一起購買最多的商品竟是啤酒！經過大量實際調查和分析，揭示了一個隱藏在"尿布與啤酒"背后的美國人的一種行為模式：在美國，一些年輕的父親下班后經常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒。產生這一現象的原因是：美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們在買尿布后又隨手帶回了他們喜歡的啤酒。這是著名的“啤酒和尿布的故事”，沃爾瑪正式根據這一發(fā)現，及時調整營銷策略，在尿布旁邊擺放啤酒，從而大大增加了兩種商品的銷售收入。汪剛制作子任務五商業(yè)智能核心技術汪剛制作1、數據抽?。‥-Extract）目的：與決策相關的數據；考慮：（1）確定源數據及其含義；（2）進行數據抽取，確定訪問哪些數據庫、文件和表；（3）確定抽取頻率；（4）確定抽取數據保存的位置；（5）無法抽取時的異常處理；2、數據轉換（T-Transform）目的：數據分析需要的、完整的、準確的目標數據；方法：（1）缺失值的處理；（2）錯誤值的處理；（3）重復值的處理；（4）不一致性數據；3、數據加載（L-LOAD）目的：將清洗和轉換后的、符合數據分析要求的數據加載到數據倉庫中；方法：（1）直接追加；（2）全面覆蓋；ETL技術子任務四商業(yè)智能核心技術汪剛制作數據倉庫技術概念模型010203邏輯模型物理模型子任務四商業(yè)智能核心技術汪剛制作數據倉庫技術邏輯模型分類：星型模型和雪花模型；構成：事實表和維度表組成；星型模型：事實表可連接多種維度表，維度表只有一層。維度表和事實表必須有能夠關聯的字段。左圖中：采購訂單表是事實表，包含企業(yè)實際的全部采購訂單數據，通常記錄數很多；而日期表、商品表、物流表、供應商表等都是維度表，其中的數據作為分析的維度，而且數據量不會很多；雪花模型：星型模型的擴展，事實表的外部有多層維度表；子任務四商業(yè)智能核心技術汪剛制作聯機分析處理技術（OnlineAnalyticalProcessing，OLAP），多維數據分析數據立方體切片（Slice）切塊（Dice）鉆取（Drill-down）上卷（Roll-up）旋轉（Pivot）子任務五自助式商業(yè)智能分析工具分類商業(yè)智能工具特點國外PowerBI微軟官方推出的可視化數據探索和交互式報告工具；PowerBI應用包含：PowerBIDesktop、PowerBIOnline-Service、PowerBIMobile。其中桌面應用程序PowerBIDesktop為免費版；TableauTableau成立于2003年，是斯坦福大學一個計算機科學項目的成果；Tableau在2019年被Salesforce收購，但使命不變：幫助人們查看并理解自己的數據；Tableau家族產品：TableauDesktop、TableauServer、TableauOnline、TableauPublic和TableauReader；國內FineBIFineBI是帆軟軟件有限公司推出的一款商業(yè)智能(BusinessIntelligence)產品；FineBI的系統構架包括四部分：（1）數據處理；（2）即時分析；（3）多維度分析；（4）Dashboard；SmartBISmartBI是思邁特軟件公司旗下產品。思邁特軟件成立于2011年，致力于為企業(yè)客戶提供一站式商業(yè)智能解決方案;其產品系列主要包括:（1）大數據分析平臺;（2）數據化運營平臺;（3）大數據挖掘平臺;（4）SaaS分析云平臺;汪剛制作數據類型和財務大數據任務二汪剛制作數據類型和財務大數據大數據維基百科：“大數據”(BigData)，或稱巨量數據、海量數據，指的是所涉及的數據量規(guī)模巨大到無法通過人工在合理時間內達到截取、管理、處理、并整理成為人類所能解讀的信息；大數據具有4V特征:規(guī)模性(Volume)、高速性(Velocity)、多樣性(Variety)、價值性(Value)。根據IDC發(fā)布的《數字化世界，從邊緣到核心》白皮書，2018~2025年全球數據量將增長5倍以上，IDC預測全球數據量將從2018年的33ZB增至2025年的175ZB。汪剛制作子任務一數據類型按結構屬性分類結構化數據：二維表結構（EXCEL、SQL數據庫）非結構化數據：文本、音頻、視頻、網頁按連續(xù)性特征分類連續(xù)型數據：身高、體重離散型數據：職稱、學歷按數據的測量尺度分類定類數據：類別、無序；制造業(yè)、金融業(yè)；定序數據：類別、有序；高中、本科、碩士、博士；定距數據：數值，無絕對零點，可加減、不可乘除；20℃比10℃高10℃；定比數據：數值，有絕對零點，可加減、可乘除；體重60公斤是30公斤的2倍；

小知識：MECE原則MECE原則（MutuallyExclusiveCollectivelyExhaustive），意思是“相互獨立，完全窮盡”，是麥肯錫咨詢顧問芭芭拉·明托在《金字塔原理》中提出的一個思考工具。在分析問題時，把整體層層分解為要素的過程中，要遵循“相互獨立，完全窮盡”的基本法則，確保每一層的要素之間“不重疊，不遺漏”。MECE原則是一種簡潔有力的、透過結構看世界的思考工具，是“結構化思維”的基本功。SWOT分析、波特五力模型、波士頓矩陣、平衡計分卡等都是基于“結構化思維”，建立在MECE原則基礎之上的戰(zhàn)略分析工具。汪剛制作子任務二財會大數據1、企業(yè)內部ERP系統或會計信息系統中的財務、業(yè)務數據；用友ERP-U8系統、金蝶K3系統、SAP系統等；ACCESS數據庫、SOLSERVER數據庫、ORACLE數據庫、EXCEL文件；2、企業(yè)外部（1）結構化數據來源國家統計局發(fā)布的宏觀經濟數據：中國人民銀行發(fā)布的金融統計數據：財政部定期公布的財政數據：證券市場交易信息：/market財經網站公布的財務數據：/金融數據庫：Wind數據庫、銳思數據庫、CSMAR數據庫等（這些數據庫需購買方可使用）（2）非結構化數據來源上市公司公告信息：/交易所公告：/其他：行政法規(guī)、處罰公告、法律文書等；汪剛制作常見數據分析模型任務三汪剛制作明確分析思路汪剛制作子任務一SWOT分析企業(yè)戰(zhàn)略分析四部分內部：優(yōu)勢（Strengths）；劣勢（Weaknesses）；外部：機會（Opportunities）；威脅（Threats）；策略：增長型戰(zhàn)略扭轉型戰(zhàn)略防御型戰(zhàn)略多種經營戰(zhàn)略汪剛制作子任務二PEST分析外部宏觀環(huán)境分析四部分：政治（Political）經濟（Economic）社會（Social）技術（Technological）汪剛制作子任務三波特五力分析模型外部微觀環(huán)境分析邁克爾·波特（MichaelPorter）于20世紀80年代初提出五種基本競爭力量：供應商的議價能力；購買者的議價能力；潛在競爭者進入的能力；替代品的替代能力；行業(yè)內競爭者現在的競爭能力；汪剛制作子任務四4Ps模型市場營銷分析杰羅姆·麥卡錫（McCarthy）于1960年在其《基礎營銷》總結了營銷組合要素四要素：產品（Product）；價格（Price）；渠道（Place）；促銷（Promotion）；汪剛制作子任務五5W2H模型客戶行為分析、業(yè)務問題專題分析，營銷活動等；時間、地點、人物、事件、原因、方式方法、程度7個要素：為什么（Why）；什么事（What）；誰（Who）；什么時候（When）；什么地方（Where）；如何做（How）；什么價格（Howmuch）；汪剛制作子任務六RFM模型客戶綜合評價；RFM模型三個維度：R（Recency）：最近一次消費；F（Frequency）：消費頻率；M（Monetary）：消費金額；計算RFM值，評估用戶價值汪剛制作子任務七AARRR模型客戶生命周期；DaveMcClure2007提出的，核心就是AARRR漏斗模型；五個階段Acquisition[獲取]；Activation[激活]；Retention[存留]；Revenue[收益]；Referral[推薦]；汪剛制作子任務八邏輯樹模型分析問題、解決問題的重要方法；邏輯樹又稱為問題數，演繹樹或者分解樹；麥肯錫提出；作用：一是邏輯樹能理清思路，避免進行重復和無關的思考；二是能保證解決問題過程的完整性；三是邏輯樹能將工作細分，確定各部分的優(yōu)先順序，把責任明確到具體單位；汪剛制作常見數據分析方法任務四汪剛制作汪剛制作常見數據分析方法1.基礎分析法（1）對比分析法時間標準目標標準企業(yè)標準行業(yè)標準（2）結構分析法（3）描述分析法（4）分組分析法（5）多維分析法（6）預測分析法（7）象限分析法汪剛制作常見數據分析方法2.高級分析法描述性統計分析；相關分析；回歸分析；時間序列分析；假設檢驗；方差分析；可視化技術基礎任務五汪剛制作數據可視化定義人類從外界獲取信息83%來自視覺，11%來自聽覺，6%來自其他；數據可視化，就是將工作中處理的各類數據映射為視覺模式，來探索、解釋隱藏在數據背后的信息，在保證信息傳遞的基礎上尋求美感，用數