銀行業(yè)大數(shù)據(jù)之道從交易數(shù)據(jù)到海量數(shù)據(jù)分析.docx

銀行業(yè)大數(shù)據(jù)之道：從交易數(shù)據(jù)到海量數(shù)據(jù)分析有遠(yuǎn)見(jiàn)的銀行都清楚地認(rèn)識(shí)到，金融服務(wù)機(jī)構(gòu)不僅應(yīng)銷售產(chǎn)品和服務(wù)，而且還應(yīng)成為在管理其客戶數(shù)據(jù)以及通過(guò)不同 渠道為其客戶服務(wù)方面的真正以客戶為中心的組織（即提供完美的多渠道體驗(yàn)）。隨著大數(shù)據(jù)的大量涌現(xiàn)，尤其是在社交媒體網(wǎng)絡(luò)的背景下，渠道戰(zhàn)略不應(yīng)僅限于傳 統(tǒng)的銀行渠道，而且還應(yīng)整合新的客戶接觸點(diǎn)（即社交媒體網(wǎng)站），這種趨勢(shì)已經(jīng)變得日益清晰。雖然完成此項(xiàng)工作不是一件容易的事，但組織應(yīng)通過(guò)設(shè)計(jì)信息管理 戰(zhàn)略啟動(dòng)該流程，這樣有助于他們應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。 新西蘭西太平洋銀行是已經(jīng)清楚地認(rèn)識(shí)到深入了解自身數(shù)據(jù)資產(chǎn)的必要性的銀行之一，正如 Torrance Mayberr所說(shuō) 商業(yè)智能 （BI）、數(shù)據(jù)倉(cāng)庫(kù) （DW） 和先進(jìn)分析的高級(jí)系統(tǒng)經(jīng)理 對(duì)于幫助銀行打破壁壘，以及營(yíng)造共享整個(gè)組織的創(chuàng)新和知識(shí)的氛圍來(lái)說(shuō)，Informatica的解決方案是一種至關(guān)重要的方法。盡管以客戶為中心仍處于 初期階段，但西太平洋銀行目前正在探索大數(shù)據(jù)所帶來(lái)的機(jī)遇，尤其是在社交媒體網(wǎng)絡(luò)的背景下，這樣可以進(jìn)一步增強(qiáng)銀行的需求以便獲得對(duì)客戶的深入了解。在此 方面，盡管西太平洋銀行已經(jīng)非常清楚地認(rèn)識(shí)到社交媒體數(shù)據(jù)僅僅是當(dāng)今多種數(shù)據(jù)來(lái)源之一，但銀行目前側(cè)重于將情感分析作為其大數(shù)據(jù)分析挑戰(zhàn)的一部分。 形勢(shì)概述 組織概覽 西太平洋銀行是新西蘭全國(guó)最大的提供全面服務(wù)的銀行之一，服務(wù)的客戶超過(guò) 120 萬(wàn)。西太平洋銀行為個(gè)人、企業(yè)和農(nóng)業(yè)客戶提供全方位的銀行和金融服務(wù)。 西太平洋銀行在新西蘭全國(guó)擁有 200 家分行、500 臺(tái)自動(dòng)取款機(jī)、90 萬(wàn)注冊(cè)的網(wǎng)上銀行客戶以及 5,000 名員工。 挑戰(zhàn)和解決方案 開(kāi)端：管理交易數(shù)據(jù) 2001 年，西太平洋銀行通過(guò)建立數(shù)據(jù)倉(cāng)庫(kù)來(lái)應(yīng)對(duì)其大數(shù)據(jù)挑戰(zhàn)。營(yíng)銷部門(mén)通過(guò)建立數(shù)據(jù)倉(cāng)庫(kù)，為客戶管理計(jì)劃提供客戶分析。2007 年，西太平洋銀行意識(shí)到當(dāng)時(shí)對(duì)其客戶和產(chǎn)品沒(méi)有完整的單一視圖。大約在同一時(shí)間，數(shù)據(jù)治理由于其具有合規(guī)性、風(fēng)險(xiǎn)緩解性以及可以幫助提高運(yùn)營(yíng)效率，也已經(jīng) 獲得西太平洋銀行高層管理人員的青睞。與其他大型組織的數(shù)據(jù)密集型操作類似，西太平洋銀行擁有眾多不是專為彼此分享數(shù)據(jù)而設(shè)計(jì)的彼此獨(dú)立運(yùn)行的應(yīng)用程序。 當(dāng)時(shí)，也沒(méi)有任何數(shù)據(jù)戰(zhàn)略。所有這些因素都使西太平洋銀行面臨下列挑戰(zhàn)： 當(dāng)出現(xiàn)下面情況時(shí)，無(wú)法獲得西太平洋銀行的完整和單一版本的客戶和產(chǎn)品信息： 在信息孤島中收集和存儲(chǔ)關(guān)鍵信息時(shí)； 異構(gòu)數(shù)據(jù)定義和信息使用都很正常時(shí)。 當(dāng)從已經(jīng)手動(dòng)清理、對(duì)帳和手工編碼的不同應(yīng)用程序中生成數(shù)據(jù)時(shí)，生成報(bào)告或特定要求的響應(yīng)時(shí)間通常都很慢。此外，由于工作和數(shù)據(jù)重復(fù)而導(dǎo)致效率也非常低下。 數(shù)據(jù)集成采用了不一致的技術(shù)（如手工編碼，將數(shù)據(jù)推入平面文件）。此外，這些都不是面向未來(lái)的技術(shù)，因?yàn)闆](méi)有針對(duì)數(shù)據(jù)服務(wù)，面向服務(wù)架構(gòu) （SOA） 或?yàn)榻鉀Q新的海量數(shù)據(jù)機(jī)會(huì)形成任何概念或技術(shù)。 錯(cuò)誤執(zhí)行了數(shù)據(jù)處理和數(shù)據(jù)安全性分類，造成不必要的風(fēng)險(xiǎn)和潛在的復(fù)雜情況。 建立數(shù)據(jù)倉(cāng)庫(kù)是西太平洋銀行實(shí)現(xiàn)其主要目標(biāo)（獲得單一版本的事實(shí)以更好地利用其數(shù)據(jù)資產(chǎn)的）的第一步，從而使多個(gè)業(yè)務(wù)部門(mén)做出基于事實(shí)的和一致的決 策。在 2001 年 11 月至 2002 年 2 月期間，西太平洋銀行還評(píng)估了多個(gè)抽取、轉(zhuǎn)換和裝載 （ETL） 工具，為西太平洋銀行集團(tuán)確定標(biāo)準(zhǔn)和首選的供應(yīng)商。評(píng)估的 ETL 廠商是： Ascential Datastage（現(xiàn)在是 IBM 的分公司） CA Decisionbase Datajunction（現(xiàn)在是 Pervasive Software 的分公司） Hummingbird Genio RTI（現(xiàn)在是 Opentext 的分公司） Informatica 最終，西太平洋銀行決定在 Informatica平臺(tái)中進(jìn)行標(biāo)準(zhǔn)化。2007 年，西太洋銀行意識(shí)到作為其數(shù)據(jù)戰(zhàn)略的推動(dòng)者，需要將它從傳統(tǒng)的 ETL 發(fā)展成企業(yè)數(shù)據(jù)集成。Informatica平臺(tái)能確保西太平洋銀行可對(duì)數(shù)據(jù)集成進(jìn)行整體分析并解決各種數(shù)據(jù)傳輸機(jī)會(huì)。以下是西太平洋銀行選擇 Informatica的原因： 簡(jiǎn)單。Informatica的定價(jià)方法很容易理解。這是影響決策過(guò)程的一個(gè)主要因素。例如，可以很容易地將其值關(guān)聯(lián)回到數(shù)據(jù)戰(zhàn)略。該因素很重要，因?yàn)楦鶕?jù)銀行分析，它有助于促進(jìn) IT 部門(mén)與關(guān)鍵企業(yè)利益相關(guān)者就從平臺(tái)實(shí)現(xiàn)的潛在價(jià)值進(jìn)行協(xié)作討論。 該解決方案集成可重復(fù)使用的數(shù)據(jù)質(zhì)量規(guī)則。Informatica的產(chǎn)品組件可以很好地集成涉及其數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量和 MDM 產(chǎn)品的常見(jiàn)的、可重復(fù)使用的數(shù)據(jù)質(zhì)量規(guī)則。 良好的體系結(jié)構(gòu)和支持。西太平洋銀行已評(píng)估 Informatica的體系結(jié)構(gòu)，并認(rèn)為它最適合于開(kāi)放式知識(shí)庫(kù)和服務(wù)器引擎操作。此外，已經(jīng)在 2009 年第四季度推出的 Informatica9，提供了基于 SOA 的數(shù)據(jù)服務(wù)增強(qiáng)功能。Informatica還提供可靠的技術(shù)援助，這是自西太平洋銀行擬與其中一家供應(yīng)商進(jìn)行規(guī)范化，以及擴(kuò)展其數(shù)據(jù)集成要求以來(lái)所考慮 的一個(gè)關(guān)鍵領(lǐng)域。 審計(jì)跟蹤的可用性。Informatica的元數(shù)據(jù)管理器可為所有用戶自定義的元數(shù)據(jù)提供審計(jì)跟蹤功能，作為 PowerCenter 和 PowerExchange 高級(jí)版本的一部分，其中包括元數(shù)據(jù)管理器，并提供查看業(yè)務(wù)術(shù)語(yǔ)表類別、業(yè)務(wù)術(shù)語(yǔ)和自定義對(duì)象的更改歷史記錄的可用性。 供應(yīng)商的獨(dú)立性。根據(jù)銀行分析，Informatica的獨(dú)立第三方觀點(diǎn)是其主要優(yōu)勢(shì)之一，并且它確保西太平洋銀行能夠及時(shí)地適應(yīng)新興技術(shù)的發(fā)展。 實(shí)施數(shù)據(jù)倉(cāng)庫(kù)解決方案 IBM 銀行數(shù)據(jù)倉(cāng)庫(kù) （BDW）。在 Oracle RDBMS 中實(shí)施銀行數(shù)據(jù)倉(cāng)庫(kù)模型的自定義的混合版。通過(guò)自定義西太平洋銀行從 IBM 購(gòu)買的銀行數(shù)據(jù)倉(cāng)庫(kù)，可將行業(yè)最佳實(shí)踐整合至其數(shù)據(jù)倉(cāng)庫(kù)。將 IBM 的銀行數(shù)據(jù)倉(cāng)庫(kù)定位為完全規(guī)范化和完整的金融服務(wù)行業(yè)數(shù)據(jù)需求的代表。 Informatica。以上所列就是為數(shù)據(jù)集成和數(shù)據(jù)訪問(wèn)選擇 Informatica平臺(tái)的理由。實(shí)施的 Informatica產(chǎn)品包含 PowerCenter 和 PowerExchange，其中包括 Informatica元數(shù)據(jù)管理器。西太平洋銀行目前運(yùn)行的是 8.6.1 版 Informatica平臺(tái)，正在將該平臺(tái)的版本升級(jí)至 9.1 版。 通過(guò) PLSQL、COBOL 和 BASE SAS 組合進(jìn)行手工編碼。 使用的硬件。IBM p570 AIX 5.3 雙核 64 位處理器 2.2GHz（4 個(gè) CPU）。目前，西太平洋銀行的數(shù)據(jù)倉(cāng)庫(kù)大小約為 6TB；IDC 的 2011 年亞太地區(qū)軟件調(diào)查表明，此地區(qū) 25.18% 的金融機(jī)構(gòu)擁有的數(shù)據(jù)倉(cāng)庫(kù)均小于 10TB。盡管西太平洋銀行目前的數(shù)據(jù)倉(cāng)庫(kù)小于所調(diào)查金融機(jī)構(gòu)的平均數(shù)據(jù)倉(cāng)庫(kù)大小，但該行預(yù)計(jì)其數(shù)據(jù)倉(cāng)庫(kù)大小在一年時(shí)間里增長(zhǎng)了 25%。此外，值得一提的是某些監(jiān)管要求同樣也有利于西太平洋銀行的數(shù)據(jù)倉(cāng)庫(kù)增長(zhǎng)預(yù)期。雖然這使得新西蘭西太平洋銀行與澳大利亞西太平洋銀行（澳新地區(qū)最 典型的金融機(jī)構(gòu)）非常接近，但新西蘭儲(chǔ)蓄銀行要求該國(guó)/地區(qū)的所有銀行通過(guò)在新西蘭物理定位其數(shù)據(jù)保持主權(quán)。這樣可確保該國(guó)/地區(qū)的業(yè)務(wù)連續(xù)性不會(huì)受到澳 大利亞經(jīng)濟(jì)不景氣的影響。最后，就存儲(chǔ)的數(shù)據(jù)源/數(shù)據(jù)類型而言，西太平洋銀行的數(shù)據(jù)倉(cāng)庫(kù)也在不斷地隨著時(shí)間的推移而擴(kuò)大 該行預(yù)計(jì)需要逐步地將更多數(shù)據(jù)源補(bǔ)充到數(shù)據(jù)倉(cāng)庫(kù)，以此再次推動(dòng)數(shù)據(jù)量的不斷增長(zhǎng)。 主要的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)方法基于作為核心樞紐的集中的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，即某些相關(guān)的數(shù)據(jù)集市的服務(wù)數(shù)據(jù)。建立這些數(shù)據(jù)集市作為交付分析應(yīng)用程序的一 部分，以啟用和優(yōu)化定價(jià)、市場(chǎng)營(yíng)銷和經(jīng)濟(jì)利潤(rùn)。例如，在數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)和管理金融產(chǎn)品定價(jià)的歷史記錄，并輸入數(shù)據(jù)集市以滿足定價(jià)優(yōu)化解決方案分析要求。其 他類似用法包括 Informatica平臺(tái)數(shù)據(jù)來(lái)源的銀行事前風(fēng)險(xiǎn)管理 （PRM） 系統(tǒng)，該系統(tǒng)允許使用銀行風(fēng)險(xiǎn)實(shí)踐快速更新有關(guān)欺詐的知識(shí)并減少個(gè)人風(fēng)險(xiǎn)。為各種決策目的使用從數(shù)據(jù)倉(cāng)庫(kù)生成的可信任信息已經(jīng)明顯增加，隨著西太平洋銀行 組織內(nèi)業(yè)務(wù)部門(mén)數(shù)量的不斷增加，正在形成的業(yè)務(wù)聯(lián)系也日益增多。 結(jié)果 汲取的經(jīng)驗(yàn)教訓(xùn)（截止目前為止） 請(qǐng)謹(jǐn)記，早見(jiàn)成效是關(guān)鍵。西太平洋銀行的數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)（新西蘭數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)）通過(guò)在其記錄時(shí)間和預(yù)算的操作型數(shù)據(jù)存儲(chǔ) （ODS） 區(qū)中建立完整和準(zhǔn)確的新西蘭 MDS/MIDAS 產(chǎn)品和交易視圖，已經(jīng)取得了顯著的內(nèi)部成功。然后，該團(tuán)隊(duì)能夠使用此成就吸引關(guān)鍵利益相關(guān)者并擴(kuò)展業(yè)務(wù)線 （LOB），從而為其數(shù)據(jù)戰(zhàn)略創(chuàng)造意識(shí)和支持。 根據(jù)西太平洋銀行的分析，Informatica的數(shù)據(jù)集成解決方案在此項(xiàng)目取得成功的過(guò)程中起著重要作用，這正是新西蘭西太平洋銀行為其數(shù)據(jù)集成采用 Informatica平臺(tái)的原因所在。 為贏得高層管理人員的支持提供可衡量的目標(biāo)和結(jié)果。西太平洋銀行非常正確地看到，以量化數(shù)據(jù)為中心的項(xiàng)目的目標(biāo)和結(jié)果，在生產(chǎn)力和利潤(rùn)方面增大了確 保雙方董事會(huì)批準(zhǔn)并為此類項(xiàng)目提供資金的可能性 尤其是在全球金融危機(jī)之后，依據(jù) Mayberr所說(shuō)，“將生產(chǎn)力/利潤(rùn)提高 4% 至 6% 可能對(duì)董事會(huì)產(chǎn)生巨大影響?！?通過(guò)在競(jìng)爭(zhēng)中獲得優(yōu)勢(shì)贏得關(guān)鍵業(yè)務(wù)利益相關(guān)者購(gòu)買。目前，一些業(yè)務(wù)線能夠利用從西太平洋銀行數(shù)據(jù)倉(cāng)庫(kù)獲取的報(bào)告或信息。這包括澳大利亞和新西蘭的金 融部門(mén)、市場(chǎng)營(yíng)銷解析團(tuán)隊(duì)、風(fēng)險(xiǎn)分析、保險(xiǎn)、商業(yè)和零售銀行業(yè)務(wù)單位、以及技術(shù)服務(wù)部門(mén)。根據(jù)西太平洋銀行分析，其關(guān)鍵業(yè)務(wù)利益相關(guān)者現(xiàn)在已經(jīng)認(rèn)識(shí)到銀行 數(shù)據(jù)資產(chǎn)的戰(zhàn)略重要性，并大力支持近年來(lái)西太平洋銀行數(shù)據(jù)倉(cāng)庫(kù)的快速發(fā)展。 重點(diǎn)改善 IT 部門(mén)與商業(yè)用戶之間的協(xié)作。IT 部門(mén)知道數(shù)據(jù)是什么以及如何對(duì)其進(jìn)行管理，商業(yè)用戶知道如何在現(xiàn)實(shí)生活的形勢(shì)背景下準(zhǔn)確地解釋數(shù)據(jù)。事實(shí)已經(jīng)證明：IT 部門(mén)與