銀行業(yè)大數據解決方案

1、銀行業(yè)大數據解決方案目錄大數據分析挑戰(zhàn)大數據解決方案介紹大數據案例分享數據復雜度：多元性和速度TerabytesGigabytesMegabytesPetabytesBig DataWeb 2.0ERP/CRM付款薪資貨存聯系人訂單跟蹤銷售管道Web 日志數字市場搜索市場網上推薦廣告移動協作電子商務網頁點擊流Wikis/博客傳感器/RFID/設備社交網絡音頻/視頻日志文件空間 & GPS 坐標數據數據集市電子政務氣候文本/圖像大數據就是資本 但究竟什么是大數據?未來數年數據量會呈現指數增長。根據麥肯錫全球研究院（MGI）估計，全球企業(yè)2010年在硬盤上存儲了超過7ZB（1ZB等于10億GB）的

2、新數據，而消費者在PC和筆記本等設備上存儲了超過6EB新數據。1ZB數據相當于美國國會圖書館中存儲的數據的4000多倍?！按髷祿侵笩o法在一定時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的數據集合”維基百科 8萬億GB2015全球信息量1s數據處理速度85%非結構化數據占比數據價值Volume 數據體量大Variety數據類型多Velocity 處理速度快Value大數據的挑戰(zhàn)大數據的4V特點： Volume, Variety, Velocity, Value傳統DW系統不適用于大數據的分析數據量過于龐大絕大部分大數據是垃圾大數據的多樣化格式時效性高需要革新性的技術手段海量數據“分而治之”

3、-批量分布式并行計算Hadoop海量數據“靈活多變”-實時分布式高吞吐高并發(fā)數據存取處理NoSQL海量數據“實時響應”-大數據流計算模型我們希望從大數據獲得什么？更高一層數據層面整合企業(yè)內外部大數據改變數據分析思維 過去，由于數據獲取的困難程度，人們在分析數據時傾向于使用抽樣數據，并通過不斷改進抽樣方法以提升樣本的 精確性，從而對整體數據進行推算，并竭力挖掘數據間的因果關系。但當前數據處理思維方式正逐步向全體性、混沌性以及相關性演變，以適應數據量的爆發(fā)式增長。10大數據改變數據分析思維全體數據混雜數據精確數據抽樣數據因果關系相關關系采樣的目的在于用最少的數據得到最多的信息， 但在樣本分析過程中

4、不可避免會有一部分信息 丟失。在可以獲得海量數據的情況下，對全體 數據進行挖掘和分析可以獲得更多信息。只有15%的數據是結構化且能適用于傳統數據化 的，接受不精確性能使更多的非結構化數據得 到利用。建立在相關關系分析法上基礎上的預測是大數據的核心。傳統大數據大數據分析不同于傳統BI分析傳統BI分析批處理大數據分析集群化事務關系型數據庫數據倉庫分析非結構化流式分析組織多種數據源(MapReduce) 結構化數據 數據規(guī)模一般為TB規(guī)模 集中式，為了分析進行大量數據移動，數據向計算靠近 批處理為主 結構化/非結構化混合分析的能力 數據規(guī)模從數十TB到PB級別 分布式，計算向數據靠近 支持流式分析1

5、1如果業(yè)務需求是分析多種來源的數據。 來源：Forrester Research，2012 年 6 月全球大數據在線調查數據倉庫與大數據的整合集成大數據和數據倉庫功能以增加運營效率需要利用多種類型數據擴展倉庫基礎架構通過將很少使用的數據遷移到 Hadoop 來優(yōu)化存儲、維護和許可成本通過智能處理流數據來降低存儲成本通過確定倉庫中要填充的數據來改善倉庫性能深度分析所需要的結構化、非結構化和流數據源低延遲要求（幾小時，而非幾周或幾個月）提供對數據的查詢訪問超越傳統數據倉庫概念的大數據分析流Internet級別傳統數據倉庫In-Motion AnalyticsData Analytics, Data

6、 Operations & Model BuildingResultsInternet ScaleDatabase &WarehouseAt-Rest Data AnalyticsResultsUltra Low Latency Results傳統/關系型數據源非傳統/非關系型數據源傳統/關系型數據源非傳統/非關系型數據源100111STREAMING大數據分析平臺 大數據技術是一系列技術的集合，是傳統數據結構化數據與非結構化技術與數據的整合，并基于這些技術與數據進行綜合的商業(yè)智能應用，包括數據分析與數據挖掘等。BI / 報告BI / 報告探索/可視化 功能應用行業(yè)應用預測分析 內容分析 應用

7、程序數據分析系統管理數據分析應用開發(fā)數據整合與治理Hadoop系統流計算數據倉庫目錄大數據分析挑戰(zhàn)大數據解決方案介紹大數據案例分享大數據分析視角面向業(yè)務分析的愿景 深刻的數據洞察自助式服務 | 協作 | 移動化 | 實時/準實時非結構化數據100111多樣的數據管理結構化數據流數據共享與治理挖掘與關聯分析轉換清洗豐富的數據加工海量多樣快速非結構化數據大數據中結構化與非結構化數據的整合建立對非結構化數據進行SQL語法查詢的支持，實現與結構化數據的集成關聯（key）主分類關鍵詞標簽地名人名全國統一分類分詞，倒排搜索共性、個性文本識別處理功能模塊網頁分類反向搜索關鍵詞分析日志關聯內容分詞索引建立索引

8、分析日志合并用戶類別標簽摘要結構化元信息網頁信息分類數據獲取語義分析數據解析數據獲取結構化數據數據集市數據集市EDW結構化元數據Hadoop建立非結構化信息的標簽、摘要、索引、日志、內容等提取結構化的元數據信息，如類別、標引、摘要等；實現與結構化數據的整合ODSSQL聲譽度分析品牌分析服務質量分析競爭產品分析產品評價市場動態(tài)跟蹤 Big DataTraditional Business IntelligenceEDWAPPSBiz process ERP, CRMDMDMDMETL數據源基礎架構分析組件業(yè)務用戶Structured:e.g.MM/DD/YYYYKnown, knownSemi-

9、structured:e.g. web logs, sensor dataKnown, unknownUn-structured:e.g. text, video, audio, Unknown, unknownBusiness UsersMachinesDevices“The Internet of Things”Data ScientistsCollaboration & SocialEmail, blogs, documentsEveryoneIndexing engineAlgorithmsVisualizationAnalyticsDataSearchPresentationRepo

10、rtingAnalysisDataHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFS數據分析路徑Information Flow Traditional BIInformation Flow Unstructured data to BIInformation Flow Semi-structured data to BIInformation Flow Search數據分析路徑建設大數據BI系統的思考17常見架構+PBT

11、B一體機MPP DWMPP DM傳統的BI系統架構并非一無是處，同樣值得我們學習借鑒+大數據解決方案總體架構大數據產品架構Fast LoadSource SystemsHistorical Data(Beyond Active Window)Summarize & LoadBig Data Sources (Raw, Unstructured)Alerts, NotificationsData & Compute Intensive ApplicationERPCRMLOBAPPSIntegrate/EnrichSQL Server StreamInsightSQL Server Parall

12、el Data WarehouseEnterprise ETL with SSIS, DQS, MDSHadoop on Windows AzureHadoop on Windows ServerSQL Server FTDW Data MartsSQL Server Reporting ServicesSQL Server Analysis ServerBusiness InsightsInteractive ReportsPerformance ScorecardsCrawlersBotsDevicesSensorsVolumeVelocityVariety結構化數據Microsoft S

13、QL Server 2012 和SQL Server Parallel Data Warehouse設備提供一種方法來管理結構化數據。流數據SQL Server StreamInsight組件實現了對新的數據格式的支持，其中包括流數據。非結構化數據部署在Windows Azure和Windows Server上的基于Hadoop的服務使您能夠快速處理PB級的非結構化的數據。管理幾乎來自任意來源的數據橫向擴展大規(guī)模并行處理引擎 Massively Parallel Processing (MPP) PDW作為SQL Server的橫向擴展解決方案MPP 提供線性橫向擴展能力Massively P

14、arallel Processing (MPP) 大規(guī)模并行處理架構橫向擴展： 按需添加硬件實現線性擴展無共享架構最小 (0TB) 到最大 (6PB) 從幾個TB的小型數據倉庫開始擴展到 6 PB 比SMP DW快10倍復雜作業(yè)計算線性擴展擴展靈活方便 (No forklift) 聚沙成塔 成長無限容量最大 隨需擴容PB宕機為零高枕無憂Hadoop的典型應用場景用戶行為分析跟蹤用戶在網站上的點擊路徑，分析其購買習慣根據用戶屬性，猜測用戶感興趣的商品，定向推廣根據N度客戶，發(fā)掘潛在的客戶群體日志存儲、分析日志分布在多臺服務器，查找問題困難,跨系統應用日志分析、系統性能分析等上傳文件存儲各業(yè)務系統

15、上傳的文件、圖片統一保存MS與Hadoop基于Apache Hadoop的Windows Server和Windows Azure，以及AD的支持HDInsight ServerHDInsight ServiceHive ODBC Driver 和 Add-in for ExcelJavaScript Framework for HadoopSQL Server and SQL Server Parallel 數據 Warehouse connections for HadoopSharepoint, Powerpivot和Powerview作為前端展示數據價值& 訪問頻度MPP數據庫結構化數

16、據傳統BI工具HDP半結構化和非結構化數據歷史數據分析數據生命周期& 數據規(guī)模HDP在hadoop上增加了：集群管理能力，工作流，安全管理，并融入了數據分析,機器學習技術以及文本數據分析挖掘。所有的這些增強都是為了更好的使得該方案能適用于復雜的，海量數據的分析。HDP是對傳統數據倉庫的一種補充和延伸，整體構成一個更廣義的海量數據倉庫。HDP 海量大數據倉庫Hive、Sqoop當前大數據分析面臨的挑戰(zhàn)Warehouse要求學習和掌握Map-Reduce技術需要IT人員將 HDFS 中的數據倒入數據倉庫或集市中，才能用于后繼的分析HDFS (Hadoop)HDFS (Hadoop)大量新技術需要學

17、習掌握、周期長、見效慢傳統BIEDW Connector for HadoopETL/ELTHadoop：成本低、擴展性好、數據加載快、并發(fā)處理強EDW：SQL查詢執(zhí)行性能高，包括Ad-hoc、OLAP、報表等Hive ODBC Driver 基于PolyBase的全方位數據整合能力穿越結構化和非結構化數據的訪問數據庫和Hadoop的混合分析支持透明的應用訪問Social AppsSensor & RFIDMobile AppsWebApps非結構化數據結構化數據數據庫文件系統HDFS混合動力引擎PolyBaseSQL關系型數據庫通過統一的查詢，同時訪問結構化和非結構化數據沿用標準的SQL語句

18、進行訪問Select, From Where低延遲可擴展流數據計算平臺StreamInsight用于大數據領域實時高頻數據分析處理一個處理流數據的低延遲平臺毫秒級，甚至微妙級端到端的延遲一個可高度擴展的，用于實時分析的高性能平臺通過橫向增加硬件獲得近線性的處理能力擴展高達125個節(jié)點擴展一個靈活的、動態(tài)的平臺Streams應用靈活部署支持動態(tài)部署新的分析應用每秒數以百萬計的事件微秒級延遲傳統/非傳統數據源實時決策強大分析算法交易Telco churnpredictSmartGrid網絡安全入侵監(jiān)測Cyber SecurityGovernment /Law enforcementICUMonit

19、oring環(huán)境監(jiān)控 27 使用熟悉工具來分析結構化和非結構化數據Hadoop 數據結構化數據 用熟悉的工具來分析大數據 BI工具的天然集成在同一表格中分析結構化和非結構化數據廣泛使用的熟悉工具EXCELPowerPivotSQLSERVER BI無需IT 人員介入分析多樣的數據類型廣泛使用的ExcelMicrosoft Speech SDKMicrosoft Speech SDK是公司提供在Windows平臺上開發(fā)語音識別和語音合成應用程序的開發(fā)包，簡稱為SAPI，內含SR（Speech Recognition）和SS（Speechsynthesis）引擎，因此可以很方便地在自己的應用程序中添

20、加這些功能。該語音引擎支持多種語音的識別和朗讀，包括英文、日文、中文等。推出的應用編程接口API，雖然現在不是業(yè)界標準，但是應用比較廣泛。識別基本流程：從音頻輸入設備獲取原始音頻并編碼或直接調用音頻文件。設定語音引擎和識別上下文等內容，配置本地訪問屬性。分析處理得到的文本結果請求接口請求方式：本地訪問請求數據：編碼后的音頻數據音頻編碼格式：wav音頻采樣頻率：8000Hz、11025Hz、16000Hz、22050Hz、24000Hz、32000Hz、44100Hz、48000Hz主要優(yōu)點基于COM組件，便于與DirectShow中的組件整合。語音識別引擎位于本地，便于訪問，識別速度較快。待識

21、別音頻的大小、時長無限制。MAVIS“研究院音視頻索引系統目錄大數據分析挑戰(zhàn)大數據解決方案介紹大數據案例分享銀行面臨大數據時代的業(yè)務挑戰(zhàn)小微企業(yè)貸款市場逐漸被侵蝕電子商務公司和第三方支付廠商緊貼最終用戶，依靠市場優(yōu)勢，對銀行的議價能力極 強，比如：銀行的支付交易手續(xù)費被支付寶壓到 3甚至更低，侵蝕銀行信用卡的收入。第三方支付企業(yè)使得客戶和銀行的關系進一步疏遠：本來是銀行自己的持卡客戶，銀 行卻根本不知道他們的購物明細，只能知道他們花了多少錢。這在未來以數據取勝的 時代對銀行很不利。銀行系電子商務開展不順利：整個銀行系的電子商務市場份額總共不到2%。貸款模式使得客戶減少對于銀行的依賴：目前來看，

22、貸款模式使得資金的供求 方和需求方可以自行撮合。這使得客戶對于銀行的貸款依賴逐漸減小。小微企業(yè)客戶數銀行系民生銀行：91.5萬 招商銀行：0.57萬互聯網系阿里小貸：1030萬貸款余額民生銀行：363億美元 招商銀行：52億美元阿里小貸：3.6億美元貸款客戶數民生銀行：15萬阿里小貸：13萬平均貸款規(guī)模工商銀行：120萬元阿里小貸：0.7萬元年增長率銀行業(yè)：18.5%阿里小貸：80%壞賬率銀行業(yè)：3.31%阿里小貸：0.72%銀行與零售客戶越來越遠銀行面臨大數據時代的技術挑戰(zhàn)數據缺口專業(yè)人才缺乏IT技術成熟度隱私安全中國銀行業(yè)大數據應用場景風險管理和合規(guī)反欺詐 反洗錢 多點檢測營銷 實時營銷事

23、件式營銷 全渠道營銷客戶 360客戶視圖 客戶定價 客戶分類銀行數據 銀行交易數據 用戶金融信息 電話錄音互聯網數據 瀏覽信息 搜索信息 SNS信息用戶數據 身份信息和偏好數據 地理位置信息 用戶事件電子商務數據 商品瀏覽信息 交易數據 消費趨勢信息 銀行大數據源 大數據應用P2P業(yè)務 人人貸 小額信用貸利率市場化解決信息孤島：分布式信息日志集中匯聚索引中信、農行、工行、建行、交行、民生、招行、光大、阿里巴巴等大數據應用試點項目摩根大通基于Hadoop的大數據應用已經開始使用Hadoop技術以滿足日益增多的用途，包括詐騙檢驗、IT風險管理和自助服務。150PB在線存儲數據、30,000個數據庫

24、和35億個用戶登錄賬號。Hadoop能夠存儲大量非結構化數據，允許公司收集和存儲Web日志、交易數據和社交媒體數據。數據被匯集至一個通用平臺，以方便以客戶為中心的數據挖掘與數據分析工具的使用。微信貸公司“大數據+機器智能學習”利用海量數據挖掘和算法來做一些貸款業(yè)務大量使用了社交媒體和其他的網絡工具每個貸款人都擁有6000到8000條數據特點：它的每筆貸款額度都很小，太多的資金額度需要更多次的檢驗不良貸款會迅速暴露。，模型的反饋和改進違約率高利率很高WongaLendingStreamZestcashKlarnaPawnGo阿里云金電聯行花旗銀行大數據信貸應用定期（每天）對所有客戶的交易日志和當

25、前的債權狀況（包括核心系統內的數據和從征信中心取得的數據）進行分析， 建模，及分析當前模型的精確性；定期（每天）根據分析對客戶進行分類（segmentation ）；每天針對不同的分類建立不同的模型，進行行為評分、預測對客戶營銷可能性、 提前還款的可能性、壞賬的可能性等；每天根據預測的分數和交易狀況和提前設定的strategy 自動調整客戶的credit line；每天根據預先設定的strategy和3，4的結果對客戶進行電話、郵件、信件等的促銷和催收；采用結構化和非結構化數據消費者數據庫基本身份信息住址信息收入信息財產信息消費信息（1）定期更新消費者信息（2）營銷活動需求（3）建模并計算（4

26、）提供報告HBASE（NOSQL數據庫）Hadoop（Map/Reduce）HBASE（NOSQL數據庫）大集中系統使用HBASE存儲半結構及非結構化內容使用adoop的并行計算框架對存儲的半結構化及非結構化內容，按照營銷要求進行分析計算與消費者數據庫中的身份信息進行關聯結果合并處理MS大數據分析最佳實踐客戶分析解決方案關注點理解客戶行為: 利用線上和線下客戶數據，更加高效制定市場決策提升客戶體驗: 通過理解客戶痛點以及定制客戶服務，使客戶滿意度最大化企業(yè)痛點客戶通過線上，線下和企業(yè)之間的交互信息視圖不完整對客戶有行為特征了解有限，無法切實有效影響客戶的業(yè)務決策 缺乏對市場活動ROI分析的直觀

27、性解決方案益處獲得完整的客戶信息視圖提高市場費用投放的有效性,減少營銷成本獲得對渠道貢獻率的洞察力，優(yōu)化營銷途徑提供量身定制的客戶服務，提高客戶整體滿意度解決方案模塊營銷及公共關系分析互聯網及媒體輿情分析客戶服務分析模塊收益衡量企業(yè)營銷在各種渠道的有效性通過分析營銷方案的關鍵字及客戶反饋，獲得對企業(yè)營銷實際效果的了解. 關注在最有價值的客戶群上持續(xù)提高營銷方案的質量將營銷資源向最有執(zhí)行效果的渠道投放獲取負面評價. 理解企業(yè)以及競爭對手在哪些信息存在共鳴使營銷人員更快更準地接觸更多客戶更低成本地將信息傳遞到各種渠道，各個層次，各個地域的客戶 確認出最有影響力的人群，比如微博達人，明星等客服人員更

28、高效應對市場情緒 通過及時分析，快速反應，減少不必要的電話及郵件溝通 將消費者的反應及時補充到新產品或服務的改進中提高客戶消費的時效性，忠誠度及口碑模塊功能對客戶分層，客戶資料和信息測試進行分析營銷活動效果評估：同過分析各營銷渠道中的營銷受眾數量，影響力以及最終消費者的評價傾向按照產品屬性分析受眾情緒傾向按照品牌及業(yè)務伙伴分析影響力分析客戶在不同銷售渠道下的用戶體驗分析客服中心的業(yè)務績效如呼叫量，呼叫時長，解決狀態(tài)，客戶滿意度等data分析客戶數據以及客戶網絡行為，社交媒體信息，對客戶需求有更深洞察力關鍵指標營銷活動有效性各產品反應比例渠道的有效性市場費用投入產出比市場比例品牌接受度客戶滿意度

29、最有影響力人群客戶滿意度呼叫總量，反應速度客戶留存率3844% of consumers complain via social media. Existing process too cumbersome.Generate a minimum of $100K in savings a year through automation of sentiment data and targeted customer marketing. By automating sentiment analysis, they can alleviate the pain of reacting too la

30、te to negative sentiment and avoid costly lawsuits.OCC requirement to track customer sat. 90,000 customers discuss Capital One on social.TBDLeveraging social data to determine customer sentiment and position productsSituation NeedResultsCreative platform for Customer Analytics for Banking solution.

31、Incorporated social sentiment feed into analysis framework.Analyzing 100k records each month was a full time job, but is now automated for more timely and efficient results. Enabled digital marketing group to better respond to customer complaints and target customers.HighlightSolutionMS的大數據成功案例-Capi

32、tal One社交網站客戶滿意度分析Cross Channel Marketing Platform to bridge Cheetahmail and Conversen. Power BI with specially developed industry accelerators as syndicated partnership opportunity.The Power BI team working with COE to integrate Project Orange assets into the data catalog. Possible partnership with

33、 Experian to provide syndicated data, ready to consume. MS的大數據成功案例-Experian跨渠道營銷39Experian needed to lower the costs of their campaign management system/email marketing system.The Microsoft platform and BI solution combined with Experians existing data created an impactful system for targeting custo

34、mers and making business decisions through analysis. At the same time they were looking for new economy revenue streams for EMS (9% growth)Bundling ready to consume data with BI and industry accelerators for clear resultsSituation NeedResultsHighlightSolutionWhen it comes to business intelligence, M

35、icrosoft SQL Server 2012 demonstrates that the platform has continued to advance and keep up with the innovations that are happening in big data. 在商業(yè)智能領域，Microsoft SQL Server 2012平臺持續(xù)發(fā)展，支持不斷創(chuàng)新的大數據平臺。David MarianiVice President of Engineering工程副總裁“ ”Connects to more than 1 billion signals 連接到超過 10 億的

36、信號/數據源Across 15 leading social networks, including Facebook 排名前15位的社交網絡，包括FacebookGenerates a Klout score for individual people, brands & partners 為個人、 品牌及合作伙伴生成一個 Klout 分數Enables analysis, targeting and social graphs 在線影響力分析工具，提供分析、 目標和社交圖MS的大數據成功案例-KLOUTKlout Event Tracker411Perform A|B Testing of

37、 User Flows2Optimize Registration Funnels3Monitor consumer engagement & retention (DAUs & MAUs)4Flexibly track and report on user generated eventsServing StoresSignalCollectors(Java/Scala)Data Warehouse(Hive)K(Node.js)Event Tracker(Scala)Mobile(ObjectiveC)AnalyticsCubes(SSAS)Klout API(Scala)Search Index(Elastic Search)Registrations DB(MySql)Profile