金融行業(yè)的大數(shù)據(jù)應用案例與解決方案

./目錄TOC\o"1-2"\h\z\u來自Connotate的解決方案2金融數(shù)據(jù)聚集2金融行業(yè)應用2金融行業(yè)應用案例-華爾街個案4用戶案例：FactSet5Conotate功能介紹：6來自Datameer的解決方案8大型零售銀行8金融機構(gòu)8Datameer簡介9來自Syncsort的解決方案13Syncsort為金融服務行業(yè)提供的解決方案13Syncsort的產(chǎn)品介紹15來自Connotate的解決方案金融數(shù)據(jù)聚集每天,所有的政治事件、金融行業(yè)動態(tài)、企業(yè)動態(tài)和其他的市場動態(tài)都會發(fā)布到網(wǎng)上.實時地監(jiān)控和了解金融行業(yè)的動態(tài)對于占領和穩(wěn)固金融數(shù)據(jù)的市場份額是必不可少的.速度和精準度是最關(guān)鍵的.自動化Web數(shù)據(jù)監(jiān)控和抽取功能,大大方便了金融數(shù)據(jù)提供商持續(xù)的跟蹤各銀行、客戶金融服務網(wǎng)站和世界各地的新聞、企業(yè)新聞、政府新聞和媒體新聞,并向其用戶推送所需的信息,自動化監(jiān)控的解決方案能夠做到：通過監(jiān)控市場動態(tài),利用內(nèi)部變化監(jiān)控和關(guān)鍵字搜索方式,提供實時的更新報表通過復制收集的數(shù)據(jù)和減少數(shù)據(jù)上傳時的人工干預,大大提高了數(shù)據(jù)的精準度通過選擇性數(shù)據(jù)推送功能,向特定的管理員發(fā)出提醒,告知用戶哪些企業(yè)網(wǎng)站、新聞門戶和政府網(wǎng)站有重要的改變通過增加對金融文件的監(jiān)控力度〔自動化抽取,大大減少了成本通過從世界各網(wǎng)站中收集精準的數(shù)據(jù)〔語言不限并轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù),大大提高了數(shù)據(jù)收集的廣度通過一些指標性特征使管理人員迅速調(diào)整監(jiān)控個抽取的目標數(shù)據(jù),提高商務和管理的靈活性有了Web數(shù)據(jù)自動化監(jiān)控和抽取的Connotate,管理人員和分析人員可以收到關(guān)于數(shù)據(jù)更新的報告,無需再依賴易于出錯的人工方式和繁瑣的腳本語言處理工具Connotate自動化監(jiān)控所有數(shù)據(jù)源的數(shù)據(jù),如銀行網(wǎng)站等,下載PDF文件并把Web頁面轉(zhuǎn)化為Excel、XML或者適用的文件格式ThomsonReuters〔路透社、DowJones〔道瓊斯、FactSet和其他世界各主流金融數(shù)據(jù)商都新來Connotate,用Connotate進行數(shù)據(jù)監(jiān)控和抽取.金融行業(yè)應用信息和內(nèi)容隨時可以在Web上獲得,隨著其價值的增加,對相關(guān)的信息內(nèi)容做出及時的措施、分析和加快決策就越來越顯得重要.有了Connotate的幫助下,投資者和分析師可以針對企業(yè)和部門的表現(xiàn)有更加深刻的認識,即使在市場看來并不是很明顯的表現(xiàn).Connotate的必殺技在與不斷的標記來自Web上部門和政府的變化數(shù)據(jù)、新聞信息、諸如價格、庫存、產(chǎn)品供應水平、生產(chǎn)力和招聘人員活動等操作數(shù)據(jù),和各種能夠幫助預測分析的指標.現(xiàn)在,從Web上精準的收集數(shù)據(jù)并進行數(shù)據(jù)分析成本是很高昂的.如今Connotate的自動化數(shù)據(jù)抽取和分析不僅為用戶大大減少了成本而且其操作也是非常簡易的—即使不是專業(yè)的編程人員或者IT架構(gòu)人員也可以進行部署和操作.詳情見下文：支持買賣雙方的決策—通過抽取一系列操作數(shù)據(jù)來加速對整個季度的趨勢分析對市場變化的反應更加靈敏—通過實時地監(jiān)控市場動態(tài)為研究調(diào)查加大深度—通過鎖定需要監(jiān)控的數(shù)據(jù)源加速產(chǎn)品上市—通過監(jiān)控市場異常和機遇利用Web數(shù)據(jù)支持研究調(diào)查,以增加調(diào)查的質(zhì)量和效率.Connotate優(yōu)越的自動化數(shù)據(jù)監(jiān)控和抽取的解決方案能夠讓用戶實時地發(fā)現(xiàn)公共資源的價值,大大增加其透明度以更好的支持研究調(diào)查和投資決策.過去使用Web爬蟲的用戶,會發(fā)現(xiàn)要花費很大的精力對收集的數(shù)據(jù)進行處理后,數(shù)據(jù)才會有意義.與Web爬蟲工具不同的是,Connotate能夠抽取Web數(shù)據(jù)并轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)格式〔CSV、XML、XLS等格式Connotate使用戶不必等待季度報表或者成本昂貴的消費研究調(diào)查來進行投資決策.Connotate使用戶對數(shù)據(jù)抽取擁有最大的控制權(quán).無論數(shù)據(jù)集的保存期限是幾天、幾周、還是幾個月,用戶都可以精準地定位需要的數(shù)據(jù),并獲得實時的洞察.金融行業(yè)應用案例-華爾街個案Connotate使用戶對市場部門個體股票的微小動態(tài)都了如指掌,獲得支持買方購買的可行性洞察.華爾街一家投資機構(gòu)欲更好地了解個別企業(yè)、企業(yè)產(chǎn)品銷售情況和市場部門的微妙動態(tài),其選擇是是實時地收集操作數(shù)據(jù),其目的是為了應對瞬息變化的股票市場做出更好的投資決策.隨之電子商務的大興崛起,除了純粹慣例地發(fā)布數(shù)據(jù)和季度報表,該企業(yè)抽取了不同企業(yè)、電子商務平臺、博客和社交平臺網(wǎng)站〔Amazon和Crunchbase等上的Web數(shù)據(jù).該企業(yè)選擇了Connotate實地部署的解決方案,在幾周內(nèi)就設定好預訪問的網(wǎng)站,抽取營銷活動、價格數(shù)據(jù)、庫存情況和客戶偏好選擇等的數(shù)據(jù).利用這些數(shù)據(jù)為相應的金融趨勢、金融活動和金融觀點建立模型.在過去的一年里,該企業(yè)在Connotate的幫助下,在股票市場上獲得了額外的一百多萬美元的收益.Connotate實地部署能夠使數(shù)據(jù)分析更加靈活簡易了,更易于調(diào)整,更易于管理、查詢和定位.Connotate在電子商務上網(wǎng)頁內(nèi)抽取關(guān)于營銷活動和庫存情況的數(shù)據(jù),然后只推送與上次抽取的數(shù)據(jù)相比有變化的數(shù)據(jù)—提供了清晰明了的定位信息.Connotate將抽取的數(shù)據(jù)轉(zhuǎn)換和推送結(jié)構(gòu)化數(shù)據(jù),如CSV文件；將重點數(shù)據(jù)推送到分析應用程序中進行趨勢分析"Connotate的解決方案為我們提供了產(chǎn)品價格、庫存情況、廣告話費、轉(zhuǎn)換率、訂單情況和其他重要的非結(jié)構(gòu)化數(shù)據(jù)信息,而這些數(shù)據(jù)〔用其他工具是很難抽取的但是卻是很有分析價值的."JasonJones,對沖基金投資組合經(jīng)理用戶案例：FactSetFactSet在世界各地的成千上百個網(wǎng)站中收集數(shù)據(jù),并向其金融行業(yè)的用戶推送數(shù)據(jù),支持他們更好地做出投資決策.FactSet的客戶要求數(shù)據(jù)是精準、實時和完整的.隨著Web數(shù)據(jù)量的不斷增加,FactSet也在尋求能夠加快數(shù)據(jù)抽取自動化程度的工具.由于其業(yè)務的不斷擴大,FactSet分析師更多對更新數(shù)據(jù)有更大的需求.在使用Connotate之前,FactSet使用的是一種Web監(jiān)控工具〔帶有少許的過濾功能；一般分析師收到的35%的提醒信息是有效的.因此,FactSet希望能夠提高其數(shù)據(jù)抽取的效率并簡化工作流.自從選擇了Connotate之后,數(shù)據(jù)提醒的有效率從35%上升到90%.? FactSet選擇的是Connotate的實地部署解決方案,他們利用下拉式菜單和便捷式點擊頁面管理和設置了成千上萬個webAgents<Connotate數(shù)據(jù)抽取的工具>? Connotate使FactSet能夠訪問到一些沒有寬帶的偏遠地方的數(shù)據(jù)? Connotate使FactSet在無需增加管理人員的數(shù)量的同時增加企業(yè)監(jiān)控數(shù)量Connotate抽取的數(shù)據(jù)比我們之前使用的那套工具精準多了,推送的數(shù)據(jù)更加可靠、精準和便于使用.--ChrisClifford,FactSet的信息創(chuàng)建經(jīng)理說道Conotate功能介紹：Connotate利用機器學習自動生成的高效代碼和輔助配置,其數(shù)據(jù)抽取的工具稱為Agent.在Agents的指引下,用戶能精準地獲得需要的信息—Connotate在過濾了廣告和無關(guān)信息的同時,將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成為支持業(yè)務流程的可讀性數(shù)據(jù).Connotate的解決方案相比于網(wǎng)頁腳本工具要優(yōu)越得多,由于網(wǎng)站格式不斷變化,修整是一項很重要的工程,Connotate的解決方案具有較強的適用性.各網(wǎng)站都在不斷地更新.優(yōu)化解決方案,不但是為了精準地檢測網(wǎng)頁內(nèi)容的變化,而且是為了更有效率地提高推送信息.過濾垃圾信息和刪除重復數(shù)據(jù)可使工作流取得更大成效.部署選項Connotate能夠滿足用戶的業(yè)務之需,并且適應今后的發(fā)展和變化.而且,Connotate能夠提供靈活實用的解決方案以滿足用戶具體的業(yè)務需求.詳情請訪問：來自Datameer的解決方案大型零售銀行為了量化資產(chǎn)風險和遵守監(jiān)管報告的要求,如多德-弗蘭克法案,這家一流的零售銀行正在使用Datameer來驗證數(shù)據(jù)的準確度和質(zhì)量.銀行貸款和分支數(shù)據(jù)以及財富管理數(shù)據(jù)集成,數(shù)據(jù)質(zhì)量的舉措是負責確保每一條記錄是準確的.這個過程包括對數(shù)據(jù)超過50個數(shù)據(jù)的理智和質(zhì)量檢查.這些檢查的結(jié)果,隨著時間的推移的趨勢,以確保數(shù)據(jù)損壞和數(shù)據(jù)域的公差不改變不利和被報告給投資者和監(jiān)管機構(gòu)的風險狀況,審慎和符合監(jiān)管要求.Datameer之前,該銀行采用Teradata和Netezza公司和建設數(shù)據(jù)集市,以分析數(shù)據(jù)的質(zhì)量,使用他們的SAS應用.這個過程是耗時和復雜,數(shù)據(jù)集市的做法沒有提供數(shù)據(jù)的完整性需要確定整體數(shù)據(jù)質(zhì)量.金融機構(gòu)為了提高客戶保留和參與,這家領先的金融研究機構(gòu)使用Datameer加快客戶的使用情況分析和產(chǎn)品改進.基于Web的平臺結(jié)合了全球性的公司具有強大的財務基本面分析,構(gòu)思一代,為用戶的工作流管理工具的信息和市場研究.該公司的產(chǎn)品管理團隊需要了解用戶訪問模式和產(chǎn)品互動的細節(jié),以便更好地吸引和留住客戶.該公司此前使用OLAP多維數(shù)據(jù)集,存儲和報告用戶訪問日志,客戶數(shù)據(jù)和許可證信息.他們拼命用一個4-6周的周轉(zhuǎn)時間,提供新的或更新的數(shù)據(jù).因此,產(chǎn)品管理一直非常被動,他們的大部分時間花在管理報告的過程,而不是理解最終用戶如何響應特性和內(nèi)容.該公司選擇了Datameer加快洞察顧客使用,并加快新產(chǎn)品型號.有了Datameer,產(chǎn)品經(jīng)理現(xiàn)在可以快速地關(guān)聯(lián)在用戶的流量模式的變化〔點擊流和事件的背景下,如新版本,A/B測試和故障,以確定哪些工作或不執(zhí)行隊列分析.產(chǎn)品策略,現(xiàn)在可以迅速調(diào)整和改進Datameer釋放產(chǎn)品經(jīng)理的部署,把重點放在分析用戶的使用模式,并創(chuàng)造新的產(chǎn)品模型,而不是建設報告.Datameer簡介數(shù)據(jù)快速集成將您的IT資源從數(shù)據(jù)管道中釋放出來,為IT和商業(yè)用戶快速整合任何數(shù)據(jù)源.數(shù)據(jù)自由化無ETL數(shù)據(jù)是觀察事物的基礎.你掌握的數(shù)據(jù)越多,對事物的了解就會越深入.因此,你不僅要掌握傳統(tǒng)意義上的交易數(shù)據(jù),而且還要掌握所有其它類型的數(shù)據(jù),這樣才可以完全了解客戶,充分理解業(yè)務流程,提高業(yè)務績效.Datameer為了把所有數(shù)據(jù)整合到Hadoop,而不關(guān)注ETL和靜態(tài)模式的局限性.預建的數(shù)據(jù)連接向?qū)шP(guān)聯(lián)所有常見的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源,這就意味著,數(shù)據(jù)集成是一種簡單的,分成三個步驟的過程：集成存儲于哪里的數(shù)據(jù)、集成哪些數(shù)據(jù)、什么時候集成這些數(shù)據(jù).結(jié)構(gòu)化數(shù)據(jù)包括：Oracle,DB2,MSSQL,MySQL等Teradata,Greenplum等XML,JSON,CSV等HBase,Cassandra非結(jié)構(gòu)化數(shù)據(jù)包括：Twitter,Facebook,LinkedIn,Jive等EmailLogFilesSaaS-CRM,GitHub,Jira,Zendesk等數(shù)據(jù)導入類型導入作業(yè)Datameer將所有數(shù)據(jù)以其原始格式直接導入到Hadoop.強大的采樣、解析、調(diào)度和數(shù)據(jù)保留等工具使得整個導入過程到了優(yōu)化和支持,從而用戶可以便捷高效地獲得他們所需要的數(shù)據(jù).任何數(shù)據(jù)的無限相關(guān)性數(shù)據(jù)鏈接在某些使用場景下,如分析瞬息萬變的用戶數(shù)據(jù)時,系統(tǒng)需要在分析在進行的過程中即將數(shù)據(jù)導入Hadoop平臺中.這確保了用戶數(shù)據(jù)始終處于最新狀態(tài).為此,Datameer為所有數(shù)據(jù)源都提供數(shù)據(jù)鏈接.開放數(shù)據(jù)平臺數(shù)據(jù)導出Datameer獨特的整合和分析能力的妙處在于其結(jié)果可以被導出至其他數(shù)據(jù)存儲,如數(shù)據(jù)庫、遠程文件服務器、數(shù)據(jù)倉庫或第三方BI〔商業(yè)智能軟件包.這種數(shù)據(jù)導出可以是手動的,也可被設定為每當工作薄更新時,或者按一定的時間間隔由系統(tǒng)自動進行操作.數(shù)據(jù)的應用編程接口訪問〔RESTAPI數(shù)據(jù)獲取、發(fā)布、安置、刪除在某些使用場景下,如嵌入式分析〔作為有更廣泛意義的CRM應用程序的一部分要求無需通過網(wǎng)站頁面即可獲取Datameer數(shù)據(jù).有了Datameer的RESTAPI接口,遠程應用程序即可通過命令行工具獲取Datameer數(shù)據(jù).該API接口可通過腳本或者監(jiān)控工具運行.運行請求為URL地址和命令,而運行響應會以JSON格式返回.產(chǎn)品信息詳情請訪問：來自Syncsort的解決方案Syncsort為金融服務行業(yè)提供的解決方案金融服務企業(yè)深受全球金融危機的影響,更受到新的條例和同行競爭壓力的影響.這也是目前主流的銀行、投資公司和信貸企業(yè)依賴Syncsort提供的數(shù)據(jù)整合方案的重要原因.現(xiàn)在,爆炸式的數(shù)據(jù)量讓金融服務機構(gòu)頭暈腦脹,因此及時地獲得關(guān)鍵信心,對于他們提高風險評估,確保合規(guī)和提高服務水平來說是至關(guān)重要的.四十多年來為金融機構(gòu)的服務經(jīng)驗,Syncsort為用戶提供數(shù)據(jù)整合方案,幫助用戶從海量數(shù)據(jù)中抽取有價值的數(shù)據(jù).實現(xiàn)在更少的時間和更少的硬件資源內(nèi),為金融機構(gòu)解決更多來自大型主機和Hadoop之間的所有問題.Syncsort為許多金融機構(gòu)的關(guān)鍵業(yè)務提供技術(shù)支持.其中包括：風險調(diào)整后的盈利能力分行的效益數(shù)據(jù)倉庫回復和重組提高跨渠道和跨產(chǎn)品的關(guān)系管理提高銷售額、營銷效果、和績效管理報表和分析把復雜的基礎架構(gòu)簡單化,實現(xiàn)靈活調(diào)整,減少分析需要的時間通過把不同的圖像、不同的渠道和產(chǎn)品信息整合在一起,發(fā)現(xiàn)商業(yè)洞察發(fā)現(xiàn)新的商業(yè)機會實行風險管理以應對新增的管理條例進行系統(tǒng)風險管理并升級本地的風險管理程序減少成本,如大型機的轉(zhuǎn)移和硬件的更新?lián)Q代Syncsort的產(chǎn)品介紹Syncsort為用戶提供快速、安全的企業(yè)級別的大數(shù)據(jù)解決方案,主要是針對大型機和Hadoop上出現(xiàn)的問題.Syncsort能夠為世界各地的用戶在更短的時間內(nèi)收集、處理和發(fā)送更多精準的數(shù)據(jù),而且所需要的資源和成本更加低.世界上前100強的企業(yè)基本上都是Syncsort的客戶,而且Syncsort已經(jīng)應用于全球85個國家中,為用戶進行寶貴的數(shù)據(jù)處理,加快數(shù)據(jù)倉庫的效率和大型機對數(shù)據(jù)的處理速度,優(yōu)化云端的數(shù)據(jù)集成.DMX-h：一種更智能的HadoopETL&數(shù)據(jù)分類工具更全面的釋放Hadoop的潛能,是一種更加智能的大數(shù)據(jù)分類、集成和處理工具.隨著越來越多的企業(yè)青睞Hadoop,但是他們面臨越來越多的限制了Hadoop潛能的問題.DMX-h是一種智能的Hadoop分類和HadoopETL工具,為用戶大大釋放了Hadoop的潛能.使用Syncsort的企業(yè)能夠使他們的Hadoop分類&HadoopETL更加智能.減少自定義代碼的需要,更加智能地連接到用戶的所有數(shù)據(jù)和大大提高了Hadoop數(shù)據(jù)處理的效率.DMX-h是一種更加智能的HadoopETL工具！Syncsort是一種智能和獨特HadoopETL工具,使企業(yè)用戶在Hadoop上用更少的時間進行獲取更多的數(shù)據(jù)價值.Syncsort成功解決了企業(yè)在Hadoop上部署ETL的問題,無代碼,無腳本,無需調(diào)優(yōu),就只是一種更加智能的數(shù)據(jù)集成方案,Syncsort的HadoopETL性能是無敵的,超強的連通性和優(yōu)越分類.更智能的應用—HadoopETL工具,無編碼的噢！若企業(yè)要在Hadoop上部署ETL工具,是需要具備一整套新的高級編程人員,而用夠這種技能的人才往往是比較少的而且勞動力成本很高昂.DMX-h使用戶擁有更多的技能—不僅僅是MapReduce的編程人員一般的技能,完成ETL的工作卻不需要MapReduce,不用復雜的Java工具或者pig代碼,取而代之的是簡易使用的圖形用戶界面進行管理.DMX-h使運行在Hadoop上應用程序更加容易使用、維護和再次使用.基于Windows的圖形用戶界面管理內(nèi)置強大的格式轉(zhuǎn)換功能通過實施普通ETL任務,如文件格式變化任務,joins或者其他任務,加速Hadoop的數(shù)據(jù)集成效率內(nèi)置的元數(shù)據(jù)功能,更好的進行數(shù)據(jù)再次使用、分析和數(shù)據(jù)分類DDMX-h不會生成任何代碼,因此用戶不用擔心理解、維護和要對成千上萬行代碼進行調(diào)優(yōu)的難題更智能的架構(gòu),無代碼生成、無需編譯DMX-h不僅是一個簡單的HadoopETL工具.想其他的ETL工具,如Informatica或者Tailend,在數(shù)據(jù)抽取之后會生成一系列代碼,而要對其后期進行調(diào)優(yōu)和維護是非常困難的.DMX-h不是一個代碼生成器,相反,是在Hadoop上自動高效進行數(shù)據(jù)抽取的工具,是在Hadoop上的大型機上運行,解決所有節(jié)點的數(shù)據(jù),就好像已經(jīng)是Hadoop大型機的一部分似的.這就意味著沒有代碼生成,加快MapReduce的運