企業(yè)大數(shù)據(jù)平臺(tái)解決方案

企業(yè)大數(shù)據(jù)平臺(tái)解決方案產(chǎn)業(yè)趨勢(shì)邁入大數(shù)據(jù)時(shí)代大數(shù)據(jù)應(yīng)用場(chǎng)景IT產(chǎn)業(yè)快速開展移動(dòng)互聯(lián)70+億用戶接近全球人口總數(shù)

78%CAGR數(shù)據(jù)增長(zhǎng)大數(shù)據(jù)數(shù)據(jù)即資產(chǎn)未來(lái)5年，企業(yè)間的競(jìng)爭(zhēng)在數(shù)據(jù)層面云計(jì)算云成為新一代IT根底設(shè)施

56%中小型企業(yè)購(gòu)置云效勞社交社交即業(yè)務(wù)86%企業(yè)在社交媒體上開展業(yè)務(wù)邁入大數(shù)據(jù)時(shí)代1000+PB24億網(wǎng)民1天產(chǎn)生的數(shù)據(jù)63%GAGR非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)率數(shù)據(jù)摩爾定律：Y=C×2XX代表時(shí)間，Y代表用戶的信息分享量，C代表現(xiàn)在時(shí)刻的分享信息量30+TB交易量3000+萬(wàn)筆/天1PB/SCERN：核爆產(chǎn)生數(shù)據(jù)的速度對(duì)大數(shù)據(jù)的理解大數(shù)據(jù)是指通過對(duì)海量數(shù)據(jù)的智能存儲(chǔ)、智能挖掘和智能分析，面向具體的行業(yè)應(yīng)用，把巨量離散的、碎片化的數(shù)據(jù)加工形成具有商業(yè)價(jià)值的數(shù)據(jù)處理技術(shù)，以幫助企業(yè)/機(jī)構(gòu)更準(zhǔn)確地做出趨勢(shì)判斷、進(jìn)行精準(zhǔn)營(yíng)銷和實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)等。大數(shù)據(jù)的數(shù)據(jù)量應(yīng)足夠大，一般是P級(jí)，數(shù)據(jù)的時(shí)間跨度應(yīng)足夠長(zhǎng)，以真正實(shí)現(xiàn)從微觀數(shù)據(jù)到宏觀規(guī)律的躍遷。企業(yè)提高競(jìng)爭(zhēng)力，應(yīng)該掌握和分析更多的數(shù)據(jù)大數(shù)據(jù)可以幫助企業(yè)更準(zhǔn)確預(yù)判客戶需求，洞察市場(chǎng)，產(chǎn)品創(chuàng)新。金融：實(shí)時(shí)征信，精準(zhǔn)小微貸，防欺詐…電信：流量經(jīng)營(yíng)、客戶維挽、套餐包精準(zhǔn)營(yíng)銷公安：同行車輛、碰撞分析、…電商：亞馬遜推出“預(yù)判發(fā)貨〞媒資：Netflix推出?紙牌屋?電視劇……傳統(tǒng)媒體互聯(lián)網(wǎng)1.0互聯(lián)網(wǎng)2.0/3.0顧客的

力量和選擇公司的

力量和聲音客戶占據(jù)主動(dòng)金融：大數(shù)據(jù)讓銀行更了解客戶與識(shí)別潛在風(fēng)險(xiǎn)王五作為某銀行客戶，需要申請(qǐng)一張新的信用卡實(shí)時(shí)征信、精準(zhǔn)營(yíng)銷、在線明細(xì)、精準(zhǔn)小微貸、…2~4周大數(shù)據(jù)平臺(tái)客戶信息系統(tǒng)交易系統(tǒng)信用系統(tǒng)……電信：大數(shù)據(jù)支撐運(yùn)營(yíng)商向DigitalTelco轉(zhuǎn)型管道運(yùn)營(yíng)能力運(yùn)營(yíng)跨界運(yùn)營(yíng)...…2G

2.5G3G

B3G/4GSPCPCPSP語(yǔ)音封閉、壟斷窄帶數(shù)據(jù)有限程度開放寬帶數(shù)據(jù)防御與競(jìng)合超寬帶數(shù)字經(jīng)濟(jì)使能數(shù)字經(jīng)濟(jì)驅(qū)動(dòng)運(yùn)營(yíng)商徹底進(jìn)行數(shù)字化重構(gòu)商業(yè)架構(gòu)企業(yè)架構(gòu)網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)資源為中心客戶體驗(yàn)及生態(tài)圈為中心封閉開放、用戶驅(qū)動(dòng)、實(shí)時(shí)知識(shí)Silo云化,業(yè)務(wù)感知,自編排數(shù)據(jù)源精準(zhǔn)營(yíng)銷大數(shù)據(jù)平臺(tái)M域O域B域輔助決策數(shù)據(jù)開放

一份數(shù)據(jù),一次采集…個(gè)人客戶家庭客戶政企客戶互聯(lián)網(wǎng)客戶一份存儲(chǔ)，全局共享，全量分析公安：大數(shù)據(jù)實(shí)現(xiàn)在海量數(shù)據(jù)中快速檢索出價(jià)值信息3000+萬(wàn)條記錄，1+億張照片，約100TB國(guó)內(nèi)某大城市1天的卡口數(shù)據(jù)：檢索信息耗時(shí)：1~2天大數(shù)據(jù)平臺(tái)傳統(tǒng)數(shù)據(jù)庫(kù)平臺(tái)模糊檢索耗時(shí)：<2分鐘電商：亞馬遜“預(yù)判發(fā)貨〞，顧客未動(dòng)包裹先行

大數(shù)據(jù)分析：“預(yù)判發(fā)貨〞顧客此前訂單顧客搜索記錄顧客心愿單顧客購(gòu)物車顧客瀏覽行為……大數(shù)據(jù)平臺(tái)媒資：大數(shù)據(jù)讓Netflix在?紙牌屋?開播前就知道會(huì)火400萬(wàn)影視評(píng)分3300萬(wàn)訂閱用戶行為300萬(wàn)搜索請(qǐng)求上線20天，點(diǎn)播400+萬(wàn)次大數(shù)據(jù)平臺(tái)主流數(shù)據(jù)處理技術(shù)及數(shù)據(jù)處理技術(shù)趨勢(shì)大數(shù)據(jù)處理技術(shù)數(shù)據(jù)處理技術(shù)與架構(gòu)開展趨勢(shì)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)SQL、UPFSQL執(zhí)行引擎行存、磁盤、單機(jī)/SE集群I/O存在瓶頸擴(kuò)展能力差實(shí)時(shí)性差非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)無(wú)法支持復(fù)雜計(jì)算數(shù)據(jù)處理能力弱UPF:User-definedProcessFunctionSE:ShareEverythingSN：ShareNothing并行批處理/HadoopSQL、Java、Python多種計(jì)算模型（MR、圖計(jì)算、…）HDFS、SN分布式解決“大、雜〞多類型數(shù)據(jù)復(fù)雜計(jì)算模型靈活編程接口MPP數(shù)據(jù)倉(cāng)庫(kù)SQL、UPF向量迭代、并行列存、SN分布式內(nèi)存分析數(shù)據(jù)庫(kù)SQL、UPFMicroEngine、并行列存、內(nèi)存流處理引擎CQL、規(guī)則網(wǎng)狀算子執(zhí)行內(nèi)存解決“大、快〞結(jié)構(gòu)化數(shù)據(jù)快速查詢、交互式實(shí)時(shí)查詢Onesizesfitall單一架構(gòu)Onesizesfitdomain別離架構(gòu)〔四套系統(tǒng)〕Onestackrulesthemall融合架構(gòu)〔四套變一套〕①統(tǒng)一持久層，數(shù)據(jù)減少移動(dòng)②統(tǒng)一管理，實(shí)現(xiàn)資源共享和管理自動(dòng)化③同一數(shù)據(jù)可同時(shí)進(jìn)行批處理、流處理以及查詢多種計(jì)算模型解決“快、雜〞異構(gòu)流數(shù)據(jù)實(shí)時(shí)處理MPPDB高級(jí)編程接口批計(jì)算流計(jì)算分布式文件系統(tǒng)資源管理開發(fā)IDE系統(tǒng)管理數(shù)據(jù)挖掘算法/建模/其他工具①②②③③③Hadoop已成為大數(shù)據(jù)事實(shí)標(biāo)準(zhǔn)第一階段〔2005~2021年〕：模仿Google的“三駕馬車〞，主導(dǎo)者是Yahoo！,Facebook等互聯(lián)網(wǎng)廠商，相關(guān)工程①②③④第二階段〔2021年~〕：模仿Google的“新三駕馬車〞，主導(dǎo)者是Cloudera、Hortonworks等Hadoop發(fā)行版廠商，IBM、EMC、Intel、Huawei等傳統(tǒng)IT廠商開始集成Hadoop，Haoop進(jìn)入企業(yè)市場(chǎng)，相關(guān)工程⑤第三階段〔2021年~〕：博采眾長(zhǎng)，吸納AMPLab、流計(jì)算等成果，通過配套工具構(gòu)筑大數(shù)據(jù)領(lǐng)域生態(tài)系統(tǒng)，形成事實(shí)標(biāo)準(zhǔn)；相關(guān)工程⑥。6大Hadoop發(fā)行版廠商Cloudera、Hortonworks、MapR、IBM、EMC、Huawei揭開Hadoop神秘的面紗Hadoop是Apache基金會(huì)的一個(gè)工程總稱，主要由HDFS和MapReduce組成。HDFS是對(duì)GoogleGFS的開源實(shí)現(xiàn)，MapReduce是對(duì)GoogleMapReduce的開源實(shí)現(xiàn)。Hadoop來(lái)源于其創(chuàng)始人DougCutting的兒子給一頭黃色大象取的名字。Hadoop最初只與網(wǎng)頁(yè)索引有關(guān)，迅速開展成為分析大數(shù)據(jù)的領(lǐng)先平臺(tái)。Hadoop框架與實(shí)例HDFS分布式文件系統(tǒng)Hadoop

框架HCatalog元數(shù)據(jù)管理HBase分布式列數(shù)據(jù)庫(kù)HiveSQL查詢語(yǔ)言Pig流數(shù)據(jù)處理語(yǔ)言MapReduce分布式數(shù)據(jù)處理框架&集群資源管理協(xié)調(diào)效勞，分布式鎖ZooKeepereHadoopCommon分布式文件系統(tǒng)和通用I/O的組件與接口數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)日志文件媒體文件RSS…分布式數(shù)據(jù)存儲(chǔ)HDFS,…分布式數(shù)據(jù)處理數(shù)據(jù)應(yīng)用QueriesAnalyticsSearchDatameer…Sqoop、Flume、…Hadoop

實(shí)例HBaseMapReduceHadoop

核心組件:HDFS和MapReduce海量數(shù)據(jù)的分布式存儲(chǔ)海量數(shù)據(jù)的分布式處理大數(shù)據(jù)處理技術(shù)日新月異，更高效的計(jì)算框架不斷涌現(xiàn)HDFSHadoop1.0MapReduce集群資源管理&分布式數(shù)據(jù)處理HDFSHadoop2.0YARN集群資源管理批處理Off-linecomputation交互計(jì)算Tez(Hive/Pig)批處理M-R流處理Storm,S4,…迭代計(jì)算Spark其它Graph

…Spark：迭代計(jì)算模型Spark是UCBerkeleyAMP實(shí)驗(yàn)室基于mapreduce算法實(shí)現(xiàn)的分布式計(jì)算框架，輸出和結(jié)果保存在內(nèi)存中，不需要頻繁讀寫HDFS，數(shù)據(jù)處理效率更高Spark適用于近線或準(zhǔn)實(shí)時(shí)、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)應(yīng)用場(chǎng)景Hadoop：兩步計(jì)算，磁盤存儲(chǔ)Spark：多步計(jì)算，內(nèi)存存儲(chǔ)VSSpark：大數(shù)據(jù)技術(shù)新方向SparkSQLSparkvsHadoopHadoop/Spark/是否開源成熟的開源項(xiàng)目開源，2013年8月申請(qǐng)成為Apache孵化項(xiàng)目文件系統(tǒng)HDFS支持HDFS、MESOS、S3等文件系統(tǒng)，可以直接將spark集成到hadoop上，可以從hdfs讀取和寫入文件中間結(jié)果存儲(chǔ)存儲(chǔ)到磁盤內(nèi)存存儲(chǔ)Job定義Map-Reduce兩步計(jì)算DAG的Job定義，支持多步計(jì)算開發(fā)語(yǔ)言JavaScala、Java、Python易用性JavaAPI，無(wú)交互式界面提供豐富的Scala,Java，PythonAPI及交互式Shell來(lái)提高可用性容錯(cuò)性數(shù)據(jù)冗余，任務(wù)失敗重計(jì)算Checkpoint機(jī)制，RDD支持重計(jì)算性能頻繁讀寫磁盤，低數(shù)據(jù)緩存內(nèi)存，高應(yīng)用場(chǎng)景適用于大數(shù)據(jù)量，迭代次數(shù)少，無(wú)時(shí)延要求的業(yè)務(wù)適用于中等數(shù)據(jù)量（<TB級(jí)），需要多次操作特定數(shù)據(jù)集，且頻繁迭代計(jì)算的數(shù)據(jù)業(yè)務(wù)場(chǎng)合未來(lái)發(fā)展第2代hadoop，融合的分布式計(jì)算框架可插拔的job調(diào)度器/緩存管理策略Spark大數(shù)據(jù)棧-構(gòu)建—MLbase、Tachyon、GraphXStrom：流式數(shù)據(jù)處理引擎Hadoop：分批處理Storm：實(shí)時(shí)處理Storm廣泛應(yīng)用于實(shí)時(shí)分析，在線機(jī)器學(xué)習(xí)，持續(xù)計(jì)算等領(lǐng)域。VSStorm框架及實(shí)例Storm框架Storm實(shí)例大數(shù)據(jù)方案與實(shí)踐方案介紹實(shí)踐經(jīng)驗(yàn)應(yīng)對(duì)大數(shù)據(jù)的舉措FusionInsight大數(shù)據(jù)處理平臺(tái)：解決“多〞、“快〞、“準(zhǔn)〞挑戰(zhàn)

運(yùn)營(yíng)商：用戶維挽，精準(zhǔn)營(yíng)銷…金融：精準(zhǔn)小微貸，實(shí)時(shí)征信，…

FusionInsight大數(shù)據(jù)處理平臺(tái)〔數(shù)據(jù)分析：預(yù)測(cè)分析，數(shù)據(jù)關(guān)聯(lián)，語(yǔ)義分析，主題提取，特征管理，自動(dòng)特征，IDE……〕〔數(shù)據(jù)管理：結(jié)構(gòu)化，非結(jié)構(gòu)化，半結(jié)構(gòu)化，流……〕HadoopSparkStorm……電信應(yīng)用金融應(yīng)用公安應(yīng)用…數(shù)據(jù)洞察：海量特征工程與建模FusionInsightHadoop由來(lái)200720212021持續(xù)優(yōu)化并回饋社區(qū)性能導(dǎo)向配套電信可靠安全自管理，企業(yè)發(fā)行版開源跟蹤研究類組件配套GalaXHD獨(dú)立發(fā)布FusionInsightHD大數(shù)據(jù)方案：提供大數(shù)據(jù)存儲(chǔ)、處理、分析和消費(fèi)平臺(tái)海量數(shù)據(jù)存儲(chǔ)，批處理，迭代處理、實(shí)時(shí)流處理Manager統(tǒng)一管理RH2288通用X86效勞器OceanStor9000大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)洞察平臺(tái)數(shù)據(jù)處理平臺(tái)大數(shù)據(jù)根底設(shè)施FusionInsight數(shù)據(jù)集成平臺(tái)收集清洗轉(zhuǎn)換特征/模型/挖掘/可視/效勞業(yè)務(wù)相關(guān)的應(yīng)用套件〔業(yè)務(wù)邏輯/決策/平安/數(shù)據(jù)開放/可視…〕應(yīng)用套件層電信詳單查詢、經(jīng)分分析、精準(zhǔn)營(yíng)銷銀行全生命周期分析、歷史明細(xì)、精準(zhǔn)營(yíng)銷、在線征信與風(fēng)控等行業(yè)應(yīng)用公安卡口數(shù)據(jù)分析情報(bào)分析人口管理FusionInsight：讓數(shù)據(jù)“慧〞說話全組件HA1000+KM容災(zāi)業(yè)內(nèi)唯一首家通過嚴(yán)

格的金融等保

HBase二級(jí)索引HDFS、MR性能提升5倍以上1st可靠1st平安1st性能內(nèi)核級(jí)團(tuán)隊(duì)社區(qū)持續(xù)奉獻(xiàn)亞洲第一FusionInsight已成為金融和電信建設(shè)第二數(shù)據(jù)平面的首選平臺(tái)1st效勞征信：2～5秒或有資產(chǎn)精準(zhǔn)推薦金融脈絡(luò)Storm企業(yè)版的關(guān)鍵在于工程團(tuán)隊(duì)的能力會(huì)使用Hadoop會(huì)定位周邊問題會(huì)定位內(nèi)核級(jí)問題〔拔尖的個(gè)人〕定位內(nèi)核級(jí)問題的團(tuán)隊(duì)〔依賴團(tuán)隊(duì)而不是精英個(gè)人〕能夠獨(dú)立完成支撐關(guān)鍵業(yè)務(wù)特性的內(nèi)核級(jí)開發(fā)能夠帶著社區(qū)，引領(lǐng)社區(qū)完成面向未來(lái)的內(nèi)核級(jí)特性開發(fā)能夠創(chuàng)立新的社區(qū)頂級(jí)工程，并且得到生態(tài)系統(tǒng)認(rèn)可某大銀行CIO：“我們把大數(shù)據(jù)應(yīng)用視作是生命線，肯定是采用企業(yè)版，因?yàn)楦汩_源軟件不是我們的主業(yè)。在選合作伙伴的時(shí)候，我們一定考慮門當(dāng)戶對(duì)，因?yàn)閺?qiáng)有力的合作伙伴才能保證3~5年的供給、合作平安〞強(qiáng)大的掌握代碼的團(tuán)隊(duì)，才能造就成功的企業(yè)級(jí)數(shù)據(jù)平臺(tái)軟件Hadoop社區(qū)奉獻(xiàn)全球第四，開源到企業(yè)級(jí)的蛻變平安版本配合配置HadoopHBase日志性能調(diào)優(yōu)基線選擇補(bǔ)丁選擇采納社區(qū)精華，去除開源Bug：謹(jǐn)慎選擇穩(wěn)定基線版本認(rèn)真評(píng)估高版本補(bǔ)丁影響范圍評(píng)估和回合策略采用數(shù)萬(wàn)個(gè)測(cè)試用例，確保企業(yè)版本穩(wěn)定性團(tuán)隊(duì)社區(qū)問題/補(bǔ)丁奉獻(xiàn)2021年社區(qū)奉獻(xiàn)最新統(tǒng)計(jì)，全球第四，亞洲第一No.4&No.1ApacheHbaseContributors8HbaseCommitter1HDFSCommitter1HDFSPMC1年份提交解決20111109820121891552013207178數(shù)據(jù)分析和挖掘領(lǐng)域頂尖人才，多項(xiàng)創(chuàng)新研究成果傾向預(yù)測(cè)人物刻畫主題提取關(guān)系估計(jì)特征管理分析自動(dòng)特征構(gòu)建戴文淵中央研究院諾亞方舟實(shí)驗(yàn)室主任，2021實(shí)驗(yàn)室首席科學(xué)家。引領(lǐng)國(guó)際“數(shù)據(jù)〞科學(xué)的研究，特別是在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等領(lǐng)域享有盛譽(yù)全面覆蓋大數(shù)據(jù)領(lǐng)域關(guān)鍵技術(shù)南京研究所：ETL/實(shí)時(shí)決策（電軟研發(fā)中心）深圳研發(fā)基地/香港：大數(shù)據(jù)分析平臺(tái)(IT研發(fā)中心）大數(shù)據(jù)管理平臺(tái)（IT研發(fā)中心）數(shù)據(jù)挖掘算法（諾亞實(shí)驗(yàn)室）印度研究所：Hadoop（中央軟件院）數(shù)據(jù)可視化（中央軟件院）MOLAP（中央軟件院）美研所：MPPDB、TPDB（高斯實(shí)驗(yàn)室）MOLAP（中央軟件院）Spark（中央軟件院）歐研所：分布式內(nèi)存DB（中央軟件院）分布式計(jì)算算法（法國(guó)、中央軟件院）杭州研究所：Spark（中央軟件院）流計(jì)算（中央軟件院）招商銀行：構(gòu)筑大數(shù)據(jù)平臺(tái)向互聯(lián)網(wǎng)金融轉(zhuǎn)型銀行業(yè)務(wù)競(jìng)爭(zhēng)劇烈，急需以金融數(shù)據(jù)分析、挖掘?yàn)楦椎漠a(chǎn)品預(yù)測(cè)、創(chuàng)新和風(fēng)險(xiǎn)評(píng)估，提升自身競(jìng)爭(zhēng)力面對(duì)金融數(shù)據(jù)量和種類不斷增加，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)僅適合結(jié)構(gòu)化數(shù)據(jù)處理，擴(kuò)展性差、擴(kuò)容本錢高，無(wú)法滿足大數(shù)據(jù)時(shí)代要求客戶挑戰(zhàn)解決方案企業(yè)級(jí)大數(shù)據(jù)平臺(tái)：高可靠、高平安、易管理、易開發(fā)第一家支持金融等保、第一家支持1000公里以上異地容災(zāi)的海量數(shù)據(jù)分析和挖掘平臺(tái)，無(wú)縫銜接企業(yè)應(yīng)用擁有內(nèi)核級(jí)開發(fā)的工程團(tuán)隊(duì)和咨詢、定制化的效勞能力客戶價(jià)值統(tǒng)一的全量數(shù)據(jù)分析和挖掘平臺(tái)豐富的創(chuàng)新業(yè)務(wù)：在線明細(xì)，精準(zhǔn)營(yíng)銷，實(shí)時(shí)征信…小微貸獲客預(yù)測(cè)，比傳統(tǒng)方式提升40倍的轉(zhuǎn)化率；或有金融資產(chǎn)預(yù)測(cè)誤差率降低一倍；信用卡征信由原來(lái)的15天提升到30分鐘支持線性擴(kuò)容，擴(kuò)容本錢低我們把大數(shù)據(jù)應(yīng)用視作是生命線，一定是采用大數(shù)據(jù)平臺(tái)企業(yè)版，搞開源軟件不是我們的主業(yè)。在選合作伙伴的時(shí)候，我們一定考慮門當(dāng)戶對(duì)，因?yàn)閺?qiáng)有力的合作伙伴才能保證3~5年的供給、合作平安〞——招商銀行CIO應(yīng)用1：在線歷史明細(xì)查詢X86服務(wù)器X86服務(wù)器X86服務(wù)器X86服務(wù)器HDFSZooKeeperHBase/CTBaseProfileHadoopUPS數(shù)據(jù)效勞業(yè)務(wù)請(qǐng)求接入和分發(fā)分布式應(yīng)用容器歷史明細(xì)查詢業(yè)務(wù)邏輯…銀行95555系統(tǒng)網(wǎng)點(diǎn)柜員系統(tǒng)在線歷史明細(xì)查詢解決方案：提供：FusionInsightUPS數(shù)據(jù)效勞平臺(tái)+FusionInsightProfileHadoop根底數(shù)據(jù)平臺(tái)解決方案，客戶只需專注歷史明細(xì)查詢業(yè)務(wù)的編寫FusionInsightUPS數(shù)據(jù)效勞平臺(tái)支持多業(yè)務(wù)系統(tǒng)并發(fā)訪問，實(shí)現(xiàn)實(shí)時(shí)歷史明細(xì)查詢能力FusionInsightUPS數(shù)據(jù)效勞平臺(tái)同時(shí)支持Socket、Web業(yè)務(wù)請(qǐng)求接入和分發(fā)，與招行業(yè)務(wù)系統(tǒng)無(wú)縫銜接創(chuàng)新的CTBase方案，獨(dú)有的表聚簇和多級(jí)索引支持HBase多表關(guān)聯(lián)查詢的能力HBase同時(shí)支持SQL、JavaAPI編程接口，適應(yīng)客戶的編程習(xí)慣Manager統(tǒng)一管理Integration數(shù)據(jù)集成FusionInsight歷史明細(xì)查詢業(yè)務(wù)邏輯歷史明細(xì)查詢業(yè)務(wù)邏輯應(yīng)用2：全量多維度客戶行為分析X86服務(wù)器X86服務(wù)器X86服務(wù)器X86服務(wù)器HDFSZooKeeperHBase/CTBaseMiner數(shù)據(jù)洞察特征管理銀行零售客戶分析MRYARNHiveMahout算法庫(kù)建模分析數(shù)據(jù)可視化用戶特征刻畫小微貸傾向分析銀行對(duì)公客戶分析企業(yè)輿情分析金融關(guān)系發(fā)現(xiàn)或有資產(chǎn)預(yù)測(cè)企業(yè)特征刻畫企業(yè)結(jié)算關(guān)系…Manager統(tǒng)一管理ProfileHadoopIntegration數(shù)據(jù)集成全量多維客戶行為分析解決方案：提供：FusionInsightMiner數(shù)據(jù)洞察平臺(tái)+FusionInsightProfileHadoop根底數(shù)據(jù)平臺(tái)的解決方案，客戶只需專注客戶行為分析業(yè)務(wù)的編寫FusionInsightMiner數(shù)據(jù)洞察平臺(tái)基于大數(shù)據(jù)全量建模分析，可以挖掘出14000維客戶特征，實(shí)現(xiàn)多維客戶行為并發(fā)分析FusionInsightMiner數(shù)據(jù)洞察平臺(tái)采用機(jī)器自動(dòng)學(xué)習(xí)機(jī)制，大大提高分析準(zhǔn)確度客戶行為分析結(jié)果存儲(chǔ)在HBase，供業(yè)務(wù)查詢FusionInsight應(yīng)用3：小微貸傾向分析&或有金融資產(chǎn)預(yù)測(cè)900萬(wàn)客戶…14000維客戶特征小微貸傾向分析模型Top20000潛在小微貸客戶，業(yè)務(wù)部進(jìn)行針對(duì)性營(yíng)銷或有金融資產(chǎn)預(yù)測(cè)模型客戶潛在或有金融資產(chǎn)明細(xì)客戶工程收益客戶行為分析歷史明細(xì)查詢統(tǒng)一集中存儲(chǔ)5年20TB交易歷史明細(xì)數(shù)據(jù)，便于管理和擴(kuò)展多業(yè)務(wù)系統(tǒng)并發(fā)實(shí)時(shí)查詢5年交易歷史明細(xì)數(shù)據(jù)，提升客戶體驗(yàn)成就客戶實(shí)現(xiàn)共贏小微貸傾向分析采用機(jī)器學(xué)習(xí)機(jī)制+全量多維分析，替代傳統(tǒng)專家經(jīng)驗(yàn)機(jī)制+傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)模式轉(zhuǎn)化量TOP864TOP8653TOP581071332974469662200機(jī)器學(xué)習(xí)專家規(guī)則客戶或有金融資產(chǎn)預(yù)測(cè)誤差率由60%降低到30%誤差率60%30%TOP10000客戶推薦成功轉(zhuǎn)化率提高6倍或有金融資產(chǎn)預(yù)測(cè)大數(shù)據(jù)構(gòu)建工商銀行分布式日志收集+分析平臺(tái)應(yīng)對(duì)互聯(lián)網(wǎng)金融的競(jìng)爭(zhēng)，需要掌握網(wǎng)銀用戶