大數(shù)據(jù)技術(shù)的創(chuàng)新與實踐

大數(shù)據(jù)技術(shù)的創(chuàng)新與實踐今日議程大數(shù)據(jù)發(fā)展趨勢13大數(shù)據(jù)技術(shù)實踐大數(shù)據(jù)業(yè)務(wù)創(chuàng)新2

智物智慧銀行

大移將數(shù)據(jù)資產(chǎn)轉(zhuǎn)化為業(yè)務(wù)價值云未來有哪些可以巧借的創(chuàng)新技術(shù)？大數(shù)據(jù)關(guān)系型->MPP->Hadoop數(shù)據(jù)湖、信息水庫、數(shù)據(jù)資產(chǎn)數(shù)權(quán)法、數(shù)據(jù)交易所物聯(lián)網(wǎng)、VR虛擬技術(shù)2020年25億設(shè)備聯(lián)網(wǎng)自動駕駛虛擬技術(shù)移動互聯(lián)移動AppO2O線上線下融合智能化、認知技術(shù)數(shù)字化->信息可視化->智能化嵌入式BI->敏捷BI全員探索報表->數(shù)理統(tǒng)計->自我學習認知技術(shù)云平臺、云計算、區(qū)塊鏈Iaas/Pass/Saas，公有云/私有云虛擬化VS容器技術(shù)區(qū)塊鏈數(shù)據(jù)處理能力快速增長帶來的技術(shù)變革RDBMSTBPBEBbatchinteractivereal-timestructuredimagestextvideostatisticspredictiondatamining新技術(shù)在四個維度上快速增加處理能力大數(shù)據(jù)量Volume可處理的數(shù)據(jù)量從TB、PB增加到EB高速Velocity從離線處理進步到實時數(shù)據(jù)處理多樣Variety記錄、文本、圖片、音頻、視頻等多種數(shù)據(jù)類型準確價值Veracity從基于歷史的統(tǒng)計，發(fā)展到數(shù)據(jù)挖掘和預測性分析數(shù)據(jù)處理的軟件棧在過去十年中從底向上幾乎全部被重寫大數(shù)據(jù)技術(shù)的高速發(fā)展集中式計算->分布式計算Google發(fā)表GFS論文，第二年發(fā)表MapReduce論文雅虎貢獻Hadoop源碼Hadoop成為Apache頂級項目20032004DoungCutting創(chuàng)立Nutch搜索項目，并基于Google論文實現(xiàn)DFS/MapReduce2006Google發(fā)表BigTable論文ApacheHadoop項目正式成立Doung加入雅虎并開始部署Hadoop2006-20082008Cloudera作為第一個Hadoop發(fā)行版公司成立20092011Hortonworks成立，MapR成立2013Spark發(fā)布2013Greenplum發(fā)布Hadoop版本PivotalHDGartner發(fā)布數(shù)據(jù)倉庫與數(shù)據(jù)管理解決方案魔力象限，首次將Hadoop廠商作為遠見者進行評判2015Spark成為Apache頂級項目，所有Hadoop發(fā)行版廠商宣布支持Spark2016HADOOPtimelineHadoop技術(shù)發(fā)展與現(xiàn)狀Facebook開源HIVEHadoop第一個版本發(fā)布20072011Hadoop2.0發(fā)布，引入資源管理YARNHBase發(fā)布星環(huán)科技基于Spark的交互式SQL引擎（Inceptor）能穩(wěn)定處理100TB，支持分布式事務(wù)和存儲過程，Spark技術(shù)已經(jīng)領(lǐng)先于國外同行2014Cloudera創(chuàng)始人將Impala作為交互式SQL引擎，其他Hadoop組件遷移到Spark上來Cloudera公布繼HBase以后的第一個Hadoop原生存儲替代方案——KuduSpark的流行將逐漸讓MapReduce、Tez走進博物館2008星環(huán)科技公司成立2013星環(huán)科技核心研發(fā)團隊同步開始Hadoop平臺研發(fā)決策支持數(shù)據(jù)探索與業(yè)務(wù)預測統(tǒng)計分析數(shù)據(jù)存儲與聯(lián)機查詢自主學習

無監(jiān)督深度學習自適應(yīng)進化演算

產(chǎn)品差異化定價信用風險、催收分析、關(guān)聯(lián)風險

業(yè)務(wù)數(shù)據(jù)探索模型測試驗證

業(yè)務(wù)統(tǒng)計報表自助報表分析

生產(chǎn)數(shù)據(jù)實時與T+1復制作業(yè)數(shù)據(jù)直接存儲

事件觸發(fā)式自動推理引擎自然語言理解與虛擬機器人

流動性風險實時預警反欺詐（在線欺詐、欺詐網(wǎng)絡(luò)、索賠欺詐…)

業(yè)務(wù)趨勢預測客戶行為預測（流失預測、精準營銷）

客戶細分統(tǒng)計分析、客戶戶畫像

支持歷史數(shù)據(jù)在線查詢

支持明細查詢、關(guān)鍵字查詢及全文索引

大數(shù)據(jù)相關(guān)技術(shù)

給企業(yè)帶來更強的數(shù)據(jù)處理和計算能力，使得較難實現(xiàn)的需求快速突破了原有技術(shù)瓶頸。大數(shù)據(jù)在金融行業(yè)的能力進階實時準實時離線批處理DataScientist數(shù)據(jù)科學家DataEngineers數(shù)據(jù)分析師BusinessAnalyst業(yè)務(wù)分析師CasualUser普通用戶統(tǒng)計學、抽象數(shù)學、編程、業(yè)務(wù)流程等方面的專家。負責溝通與領(lǐng)導。數(shù)據(jù)、統(tǒng)計軟件、統(tǒng)計模型等方面的專家，充分理解計算機處理“陷阱”或誤區(qū)。利用在線分析處理和多維工具，創(chuàng)建新的業(yè)務(wù)模型，部分人員熟悉計算機語言和計算機處理技術(shù)。定期使用門戶和預置接口，較少有設(shè)計多維分析的能力。大數(shù)據(jù)技術(shù)的人才儲備戰(zhàn)略今日議程大數(shù)據(jù)發(fā)展趨勢13大數(shù)據(jù)技術(shù)實踐大數(shù)據(jù)業(yè)務(wù)創(chuàng)新2傳統(tǒng)數(shù)據(jù)倉庫技術(shù)面臨的挑戰(zhàn)企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)量增大、應(yīng)用不斷增加，運行沉重緩慢，不堪重負數(shù)據(jù)處理延時長，無法看到實時運營狀況數(shù)據(jù)源不斷增多，訪問和數(shù)據(jù)同步變得復雜；開始包括非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；上層業(yè)務(wù)和使用部門增多，資源管理和安全控制變得困難。Scalable

Traditional

Data

Warehouse可伸縮的云計算架構(gòu)數(shù)據(jù)倉庫ContextIndependentData

Warehouse上下文無關(guān)聯(lián)數(shù)據(jù)倉庫Logical

Data

Warehouse邏輯數(shù)據(jù)倉庫原先的邏輯數(shù)據(jù)模型，不能有效支撐數(shù)據(jù)快速分析和價值發(fā)現(xiàn)；需要新的方法發(fā)掘數(shù)據(jù)的統(tǒng)計相關(guān)性、因果關(guān)系、關(guān)聯(lián)關(guān)系等規(guī)律。OperationalData

Warehouse實時數(shù)據(jù)倉庫Hadoop大數(shù)據(jù)平臺應(yīng)具備的能力CRM現(xiàn)有業(yè)務(wù)系統(tǒng)ETL調(diào)度Flume宏觀政策/經(jīng)濟社交網(wǎng)絡(luò)其他信息…非/半結(jié)構(gòu)化數(shù)據(jù)實時數(shù)據(jù)Kafka實時接收非結(jié)構(gòu)化處理日志處理影像存儲文本分析圖檢索結(jié)構(gòu)化數(shù)據(jù)處理實時決策平臺(StreamSQL)流式處理實時研判自助分析平臺(SQL)自助報表交互探索數(shù)據(jù)探索平臺(R)統(tǒng)計預測模型發(fā)現(xiàn)離線批處理平臺(SQL)數(shù)據(jù)加工主題模型ERPHRFinance……貼源層輕度匯總層元數(shù)據(jù)管理明細層數(shù)據(jù)質(zhì)量管理主題模型層作業(yè)調(diào)度管理檢索平臺(SQL)明細查詢綜合搜索T+0~T+1實時風控數(shù)據(jù)倉庫數(shù)據(jù)集市用戶畫像實時推薦自助分析歷史數(shù)據(jù)查詢交易流水查詢精準營銷模型實驗室審計業(yè)務(wù)ACRM日志監(jiān)控、預警、分析實時運維預警小微貸款報表業(yè)務(wù)擔保鏈分析風險分析賬單查詢產(chǎn)品差異化定價欺詐分析民生銀行：自助分析大數(shù)據(jù)平臺行內(nèi)各級業(yè)務(wù)人員存款系統(tǒng)CRM理財系統(tǒng)柜員系統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)加工固定報表數(shù)據(jù)集市數(shù)據(jù)服務(wù)平臺35家分行及下屬支行報告展示即時查詢績效評價數(shù)據(jù)交互批處理公共服務(wù)數(shù)據(jù)推送數(shù)據(jù)展示定制服務(wù)數(shù)據(jù)加工核心運營指標計算模型展示4000+報表圖形化預測/展示核心模塊用戶全景視圖公共報表客戶流失日新增1.5張固定報表自助報表數(shù)據(jù)產(chǎn)品自助挖掘ATM手機銀行…….人行工商征信結(jié)算公安法院…….內(nèi)部數(shù)據(jù)外部數(shù)據(jù)Sqoop/PentahoSqoop/Pentaho/FTP理財產(chǎn)品分析挖掘報表制作客戶分析客戶服務(wù)產(chǎn)品管理運營監(jiān)控精準營銷風險控制在線推薦業(yè)務(wù)規(guī)劃異常交易監(jiān)管報送應(yīng)用開發(fā)駕駛艙Traditional

Data

Warehouse數(shù)據(jù)建模20個Hadoop節(jié)點，每個節(jié)點配2x1TB

PCIeSSD，所有數(shù)據(jù)緩存到SSD自助分析平臺數(shù)據(jù)實驗室民生銀行：小微企業(yè)在線融資-大數(shù)據(jù)征信小微貸款服務(wù)平臺2014年下半年上線每家企業(yè)選取200個財務(wù)指標采用分類算法對企業(yè)進行信用評估恒豐銀行：大數(shù)據(jù)邏輯數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)服務(wù)數(shù)據(jù)存儲數(shù)據(jù)接入源數(shù)據(jù)綜合監(jiān)管集市數(shù)據(jù)分析集市歷史數(shù)據(jù)服務(wù)接口數(shù)據(jù)服務(wù)接口DSI統(tǒng)一調(diào)度平臺公共數(shù)據(jù)模型層CDM源數(shù)據(jù)歷史層HDM基礎(chǔ)數(shù)據(jù)模型層FDM公共數(shù)據(jù)模型層CDM源數(shù)據(jù)歷史層HDM基礎(chǔ)數(shù)據(jù)模型層FDM源數(shù)據(jù)緩沖區(qū)ODM結(jié)構(gòu)化數(shù)據(jù)接入文件交換區(qū)FSA源數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)客戶關(guān)系管理集市審計、反洗錢等其它大數(shù)據(jù)管理平臺非結(jié)構(gòu)化數(shù)據(jù)接入非結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)社交媒體信息第三方數(shù)據(jù)···非結(jié)構(gòu)數(shù)據(jù)區(qū)歷史數(shù)據(jù)平臺在線數(shù)據(jù)平臺數(shù)據(jù)運維體系恒豐銀行：構(gòu)建360度的客戶畫像-精準營銷客戶之間的關(guān)系客戶經(jīng)理與客戶的關(guān)系……客戶關(guān)系信息客戶風險信息客戶溝通信息客戶財務(wù)信息客戶資產(chǎn)信息客戶聯(lián)系信息客戶事件信息客戶基本信息客戶產(chǎn)品信息客戶維度重大事件，公司開業(yè)、生日等違約事件，提前還款、逾期等可疑事件，可能發(fā)生的一些事……客戶名稱證件類信息客戶性質(zhì)信息……存款類產(chǎn)品信貸類產(chǎn)品卡類產(chǎn)品……信用評級黑名單……客戶利潤貢獻度……客戶資產(chǎn)相關(guān)信息……客戶聯(lián)系信息，包括營業(yè)地址電話、聯(lián)系地址、公司網(wǎng)址、電郵地址等客戶建議信息、申請信息、溝通信息、回訪信息、投訴信息、調(diào)查信息等業(yè)務(wù)系統(tǒng)數(shù)據(jù)客戶基本產(chǎn)品信息賬戶信息交易信息……銀行內(nèi)外大數(shù)據(jù)供應(yīng)鏈信息微博信息社交網(wǎng)站信息音頻視頻……恒豐銀行：商圈分析-輔助渠道營銷決策ID名稱ID名稱ID名稱1五角場6徐家匯11大柏樹2浦東建材市場7靜安寺-南京路-人民廣場12婁山關(guān)路3金沙江路中環(huán)路口8虹莘路13新世界4漕河涇9金沙江路祁連山路14長壽路5中山公園10陸家嘴實時刷卡信息（來自銀聯(lián)）定義商圈商圈聚類模型分析與選擇模型擬合動態(tài)商圈區(qū)域即時呈現(xiàn)，收縮變化一目了然二級商圈的挖掘人群密度趨勢研判恒豐銀行：異常擔保分析與實時交易風險監(jiān)控實時欺詐監(jiān)測客戶痛點：目前對于詐騙的發(fā)現(xiàn)具有滯后性，如何加快識別欺詐、避免銀行經(jīng)濟損失成為當務(wù)之急‘解決方案：利用Transwarpdiscover神經(jīng)網(wǎng)絡(luò)模型及聚類分析模型等。結(jié)合Transwarpstream抽取實時數(shù)據(jù)，與discover中模型進行匹配，可實現(xiàn)實時的欺詐監(jiān)測異常關(guān)系擔?？蛻敉袋c：銀行需要在信貸業(yè)務(wù)中準確掌握客戶之間的相互關(guān)聯(lián)，通過數(shù)據(jù)扭轉(zhuǎn)信息不對稱帶來的風險。解決方案：利用Transwarpdiscover分析我行協(xié)議當事人關(guān)系，進行分層聚類分析，找出擔保關(guān)系網(wǎng)絡(luò)中最薄弱分析，更好的預防風險。星環(huán)TDH+Discover客戶行為分析解決方案星環(huán)Discover數(shù)據(jù)洞察平臺基于大數(shù)據(jù)全量建模分析,挖掘出140維客戶特征，實現(xiàn)多維客戶行為并發(fā)分析星環(huán)Discover采用機器自動學習機制,提高分析準確度6倍解決方案當前ETL工具抽取源系統(tǒng)數(shù)據(jù)至傳統(tǒng)數(shù)據(jù)倉庫，再使用SAS工具采用專家經(jīng)驗機制挖掘分析小微貸傾向與客戶或有資產(chǎn)預測;性能、容量等數(shù)據(jù)處理能力限制，只能抽取較少維度數(shù)據(jù)，過分依賴專家經(jīng)驗，導致小微貸傾向與客戶或有資產(chǎn)預測準確率較低?？蛻籼魬?zhàn)突破傳統(tǒng)數(shù)據(jù)倉庫能力限制，存儲管理客戶行為分析所需全量數(shù)據(jù)改進分析模式為機器自動學習機制小微貸傾向分析TOP10000客戶推薦成功轉(zhuǎn)化率提高6倍客戶或有金融資產(chǎn)預測誤差率由60%降至30%客戶價值江蘇銀行：融創(chuàng)智庫大數(shù)據(jù)業(yè)務(wù)創(chuàng)新平臺精準營銷業(yè)務(wù)創(chuàng)新1、用不同活動滾動覆蓋到不同的客戶和產(chǎn)品，達到不同的經(jīng)營目標（KPI)2、建立經(jīng)典的金牌活動，吸引合作商家和持卡人：比如最紅星期五3、開發(fā)了20多個模型對客戶進行標簽4、采用名單式漏斗對客戶進行層層篩選、溝通、邀約、獎勵和差別化服務(wù)平安銀行：新一代大數(shù)據(jù)風險分析平臺企業(yè)級大數(shù)據(jù)平臺：高可靠、高安全、易管理、易開發(fā)提供大數(shù)據(jù)批處理、即席查詢、實時查詢?nèi)蝿?wù)的統(tǒng)一調(diào)度和管理擁有內(nèi)核級開發(fā)的工程團隊和咨詢、服務(wù)能力多家金融企業(yè)應(yīng)用，規(guī)劃設(shè)計、實施經(jīng)驗豐富解決方案在互聯(lián)網(wǎng)金融時代，急需建設(shè)統(tǒng)一的大數(shù)據(jù)平臺，在此基礎(chǔ)上開發(fā)創(chuàng)新的新型金融產(chǎn)品，推動金融大數(shù)據(jù)轉(zhuǎn)化為真正的生產(chǎn)力金融數(shù)據(jù)量和種類不斷增加，傳統(tǒng)數(shù)據(jù)平臺在處理、存儲、擴容能力等方面已無法滿足要求客戶挑戰(zhàn)大數(shù)據(jù)平臺存儲擴展可達PB級，提供統(tǒng)一大數(shù)據(jù)任務(wù)管理能力大數(shù)據(jù)業(yè)務(wù)：數(shù)據(jù)倉庫、風險分析平臺、貸款清單查詢展示系統(tǒng)…貸款清單查詢，快于開源HIVE12倍的速度；在線歷史交易明細查詢，由只能查詢1年內(nèi)明細提升到6年內(nèi)明細客戶價值企業(yè)級大數(shù)據(jù)平臺：高可靠、高安全、易管理、易開發(fā)分布式日志收集系統(tǒng)自動地將各分行的日志收集到總部大數(shù)據(jù)平臺統(tǒng)一管理：分布式日志收集系統(tǒng)+大數(shù)據(jù)分析平臺基于訪問日志的用戶行為統(tǒng)計和分析模型擁有內(nèi)核級開發(fā)的工程團隊和咨詢、服務(wù)能力解決方案應(yīng)對互聯(lián)網(wǎng)金融的競爭，需要掌握網(wǎng)銀和手機APP用戶行為軌跡，精準營銷，擴大銷售；優(yōu)化網(wǎng)銀服務(wù)模塊的質(zhì)量，提升客戶體驗安全、運維操作日志的關(guān)聯(lián)分析，提高故障發(fā)生時故障點定位的準確率，提升故障響應(yīng)速度客戶挑戰(zhàn)統(tǒng)一的分布式日志收集+分析大數(shù)據(jù)平臺；數(shù)據(jù)收集周期大大縮短基于網(wǎng)銀和手機APP用戶行為統(tǒng)計和分析，客戶體驗改進日志和用戶信息關(guān)聯(lián)分析應(yīng)用于：用戶畫像和客戶營銷、反欺詐支撐客戶價值四川農(nóng)信：分布式日志采集與分析平臺中泰證券：大數(shù)據(jù)技術(shù)創(chuàng)新應(yīng)用規(guī)劃聚合的數(shù)據(jù)平臺尋求效益深度洞察用戶融合數(shù)據(jù)以用戶為中心以大數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)驅(qū)動運營流程和商業(yè)模式交易數(shù)據(jù)新渠道客戶數(shù)據(jù)APP互聯(lián)網(wǎng)域第三方

市場輿情精準營銷為用戶推薦個性化的投資計劃基于用戶交易模型的營銷價值轉(zhuǎn)化精準廣告投放，廣告價值分析客戶體驗關(guān)懷體系優(yōu)化服務(wù)入口、一致的服務(wù)體驗價值挖掘客戶統(tǒng)一視圖：客戶價值模型、客戶興趣模型、產(chǎn)品和市場計劃微博數(shù)據(jù)挖掘、營銷分析、客戶關(guān)聯(lián)分析風險監(jiān)控用戶流式分析、市場輿情監(jiān)控、交易風險分析決策支持第一創(chuàng)業(yè)證券：金融文本挖掘與知識檢索企業(yè)風險評估語義檢索企業(yè)知識圖譜分布式爬蟲KafkaInceptor結(jié)構(gòu)化Discover語義分析全文檢索語義檢索2已有外部數(shù)據(jù)1批量導入HDFSDiscover后端前端展現(xiàn)國家工商總局：企業(yè)任職與投資關(guān)系圖譜分析利用大數(shù)據(jù)圖計算形成企業(yè)和企業(yè)之間的投資關(guān)系分析為每一個企業(yè)繪制其相關(guān)的投資關(guān)系圖普，挖掘出潛在的利害關(guān)系解決方案需要一個數(shù)據(jù)查詢系統(tǒng)來存放企業(yè)多方面的信息，如：登記信息、行政處罰信息、企業(yè)重要人員信息、投資者信息等；需要通過大數(shù)據(jù)平臺進行企業(yè)關(guān)聯(lián)分析，構(gòu)建企業(yè)信用體系?？蛻籼魬?zhàn)通過大數(shù)據(jù)平臺的銷售數(shù)據(jù)進行批發(fā)、大客戶關(guān)聯(lián)分析，構(gòu)建企業(yè)客戶價值、信用評價。對于預測大客戶、批發(fā)客戶需求，提前精準營銷、新一年對于這些重要客戶資源投放量、服務(wù)具有重要意義?？蛻魞r值自然人E投資投資人企業(yè)C企業(yè)B企業(yè)A投資供應(yīng)商投資人企業(yè)D自然人F個體戶G配偶親屬投訴財報解決方案客戶挑戰(zhàn)客戶價值南網(wǎng)廣州供電局：輸變電設(shè)備全景可視化我國最早的區(qū)域電網(wǎng)，供電客戶約500萬。至2015年，廣州局用電實時數(shù)據(jù)量為5千萬條/天；預估智能電表和物聯(lián)網(wǎng)下達到12-80億條/天傳統(tǒng)數(shù)據(jù)庫處理大數(shù)據(jù)量任務(wù)時需執(zhí)行16小時以上，分析速度慢，而且經(jīng)常由于資源搶占分析不出結(jié)果企業(yè)版Hadoop平臺：高可靠，高安全，易管理、易開發(fā)標準SQL2003和全兼容Oracle-PL/SQL，遷移成本低擁有內(nèi)核級開發(fā)的工程團隊和咨詢、服務(wù)能力線性擴容，大數(shù)據(jù)量時并發(fā)處理速度快更優(yōu)的服務(wù)質(zhì)量：在線查詢10年的歷史數(shù)據(jù)詳單更佳的處理性能：相比Oracle平均有4-5倍的性能提升提供標準SQL2003和全兼容Oracle-PL/SQL，遷移成本低海量數(shù)據(jù)存儲、計算能力，電網(wǎng)數(shù)據(jù)質(zhì)量系統(tǒng)，由5天減少到1天解決方案客戶挑戰(zhàn)客戶價值中國聯(lián)通：構(gòu)建統(tǒng)一大數(shù)據(jù)平臺-挖掘存量經(jīng)營的價值應(yīng)用煙囪式建設(shè)，多種應(yīng)用系統(tǒng)獨立存儲，數(shù)據(jù)無法共享，跨部門獲取數(shù)據(jù)長達數(shù)月缺乏有效的數(shù)據(jù)資產(chǎn)管理，不清楚到底有多少數(shù)據(jù)/模型/規(guī)則，數(shù)據(jù)安全隱患大現(xiàn)有系統(tǒng)支撐數(shù)據(jù)量有限，且數(shù)據(jù)量越大，分析處理速度越慢統(tǒng)一的企業(yè)級大數(shù)據(jù)平臺，數(shù)據(jù)分級存儲，一份數(shù)據(jù)、一份存儲統(tǒng)一的數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)安全管理標準的數(shù)據(jù)共享訪問接口和能力開放接口線性擴容，大數(shù)據(jù)量時并發(fā)處理速度不減平臺節(jié)點近1000個，是國內(nèi)除了BAT之外最大的大數(shù)據(jù)混搭平臺，數(shù)據(jù)存儲能力達到30PB級，多應(yīng)用并發(fā)處理速度快數(shù)據(jù)資產(chǎn)有效管理，加速挖掘數(shù)據(jù)價值解決方案客戶挑戰(zhàn)客戶價值湖北移動：歷史話費詳單查詢效率提升詳單數(shù)據(jù)量年增長30%，每月達到50TB，傳統(tǒng)數(shù)據(jù)庫容量無法支撐，擴容成本高。目前只能支持在線1個月話費詳單查詢傳統(tǒng)數(shù)據(jù)庫處理大數(shù)據(jù)量任務(wù)時需執(zhí)行6小時以上，分析速度慢，而且經(jīng)常由于資源搶占分析不出結(jié)果企業(yè)版Hadoop平臺：高可靠，高安全，易管理、易開發(fā)主備大數(shù)據(jù)業(yè)務(wù)集群，100+大數(shù)據(jù)節(jié)點擁有內(nèi)核級開發(fā)的工程團隊和咨詢、服務(wù)能力線性擴容，大數(shù)據(jù)量時并發(fā)處理速度快更優(yōu)的服務(wù)質(zhì)量：在線查詢6~24個月的歷史話費詳單更佳的處理性能：最大500用戶并發(fā)查詢?nèi)蝿?wù)，響應(yīng)時間小于500ms提供ad-hoc即席查詢功能PB級海量數(shù)據(jù)存儲、計算能力，經(jīng)分業(yè)務(wù)并發(fā)分析，由5天減少到1天上海移動：利用基站數(shù)據(jù)進行人流分析通過基站數(shù)據(jù)定位用戶的活動區(qū)域通過基站上網(wǎng)數(shù)據(jù)分析用戶的關(guān)注點、出行目的、出行時間通過人群密集度算法，算出時間、經(jīng)緯度、人群密度等關(guān)鍵指標，分析出人群遷移和密度變化趨勢華數(shù)傳媒：多維度的數(shù)據(jù)挖掘和精準營銷獲取用戶業(yè)務(wù)訪問特征值構(gòu)建用戶個性化標簽信息集合挖掘用戶的消費屬性并對相應(yīng)的產(chǎn)品進行包裝預測現(xiàn)有客戶購買相關(guān)產(chǎn)品的可能性獲取客戶其他業(yè)務(wù)的訂購信息，尋找業(yè)務(wù)之間的關(guān)聯(lián)性進行產(chǎn)品的組合消費和引導根據(jù)用戶訪問數(shù)據(jù)提煉熱點信息、進行排行根據(jù)熱點內(nèi)容進行有針對性的廣告投放用戶消費模型產(chǎn)品關(guān)聯(lián)模型內(nèi)容熱度模型用戶特征模型價值核算模型通過分析用戶行為，評估某一內(nèi)容的市場價值預測未來可能火爆的內(nèi)容預測（Prediction）數(shù)據(jù)分組（AffinityGrouping）聚類（Clustering）描述（Description）復雜數(shù)據(jù)挖掘1.用戶為中心的面向主題的數(shù)據(jù)分析框架思想客戶為中心的業(yè)務(wù)規(guī)劃面向主題的業(yè)務(wù)模型自定2.數(shù)據(jù)分析框架的主要事件分類（Classification）估計（Estimation）廣東佛山：禪城社區(qū)綜合治理大數(shù)據(jù)平臺項目背景：數(shù)據(jù)量巨大，數(shù)據(jù)類型豐富，包含結(jié)構(gòu)化數(shù)據(jù)、文檔、圖片、視頻等外部數(shù)據(jù)環(huán)境復雜，無法有效整合利用各部門數(shù)據(jù)孤立，無法共享業(yè)務(wù)分散，無法統(tǒng)一管理解決方案：基于星環(huán)大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)歸一整合利用流技術(shù)實現(xiàn)實時監(jiān)控預警如人流監(jiān)控基于數(shù)據(jù)挖掘技術(shù)實現(xiàn)城市智能化管理客戶收益：基于大數(shù)據(jù)形成統(tǒng)一的市政管理平臺，整合分散零碎的業(yè)務(wù)數(shù)據(jù)共享共通，不再有數(shù)據(jù)孤島基于歷史城市事件進行數(shù)據(jù)挖掘，形成智能決策平臺，實現(xiàn)城市智能化管理利用實時技術(shù)實現(xiàn)人流監(jiān)控預警，提升城市安全人流密度實時監(jiān)控廣東佛山：禪城社區(qū)綜合治理大數(shù)據(jù)平臺區(qū)委辦實時事件處理城市事件統(tǒng)計今日議程大數(shù)據(jù)發(fā)展趨勢13大數(shù)據(jù)技術(shù)實踐大數(shù)據(jù)業(yè)務(wù)創(chuàng)新2中國最早自主研發(fā)的大數(shù)據(jù)基礎(chǔ)軟件率先支持銀行業(yè)復雜關(guān)鍵應(yīng)用的大數(shù)據(jù)平臺國內(nèi)落地應(yīng)用案例最豐富的大數(shù)據(jù)廠商31全球最具有前瞻性的大數(shù)據(jù)廠商——Gartner2016年數(shù)據(jù)倉庫及數(shù)據(jù)管理解決方案魔力象限遠見者領(lǐng)域Gartner認可的全球六大（中國唯一）Hadoop發(fā)行版廠商之一最早入選中央政府采購網(wǎng)的Hadoop發(fā)行版產(chǎn)品星環(huán)科技典型案例

（國內(nèi)落地案例最多）金融（20+）銀行、保險、證券電信運營商（20+）移動、聯(lián)通、電信交通公安（30+）山東、遼寧、浙江等能源電力國網(wǎng)+南網(wǎng)互聯(lián)網(wǎng)電商+CDN政府工商+稅務(wù)+司法物流快遞EMS廣播電視華數(shù)+衛(wèi)視

我們的部分客戶>200個Strengths■Althoughayoungvendor,TranswarphasgainedtractionintheChinesemarket.Ithaswon200clientsinlessthan18months.■Transwarphasauniquesetofcapabilities,suchasitsInceptorSQLcomponentbasedonApacheSpark,withOracleSQLandPL/SQLcompatibilitysupportingcreate,read,update,delete(CRUD)andACIDoperations.Thiscomponentisparticularlypraisedbyreferencecustomers.■ReferencecustomersindicatedthattheyareverysatisfiedwithTranswarp'sproduct,aswellaswiththesupportandtrainingthatthecompanyoffers.優(yōu)勢星環(huán)科技雖然年輕，但是已經(jīng)在中國市場中頗具影響力——星環(huán)科技在18個月內(nèi)贏取了200個客戶。星環(huán)科技的產(chǎn)品有其獨特的功能，例如它的SQL引擎Inceptor，基于ApacheSpark，兼容OracleSQL和PL/SQL，支持事務(wù)處理的CRUD(CREATE,READ,UPDATE,DELETE)并能保證ACID。Inceptor在被調(diào)查的用戶中受到了非常高的評價。被調(diào)查的用戶表示他們對星環(huán)的產(chǎn)品、支持以及提供的培訓都非常滿意。Cautions■Sofar,TranswarpoperatesinChinaonly.Thatsaid,thesizeoftheChinesemarket,anditsspecificrequirements,offersplentyofscopeforTranswarptoexpand.■Transwarphasyettoofferacloudsolution,althoughitindicatesthatthecloudisonitsroadmap.■Referencecustomerspointedtosomemissingfunctionality,particularlywithregardtoadministrationandmanagement,andhighlightedalackofskillsinthemarket.However,acrossthewholespectrumofcustomerexperience,Transwarp'scustomersawardedscoresequaltotheaverageforthismarket.注意目前，星環(huán)僅在中國有業(yè)務(wù)。雖然如此，中國龐大的市場以及中國市場特有的要求給星環(huán)的發(fā)展空間巨大。雖然暫時還沒有推出云上的解決方案，但是星環(huán)科技的云解決方案已經(jīng)在計劃中。被調(diào)查的客戶指出星環(huán)的產(chǎn)品還有一些功能的缺失，尤其在產(chǎn)品的管理功能方面。被調(diào)客戶還指出市場中對口人才的稀缺。即使如此，被調(diào)客戶對星環(huán)科技各方面的評價都持平報告中的平均水平。六大Hadoop發(fā)行版廠商之一三年內(nèi)兩百多落地案例國內(nèi)首個Spark計算框架平臺“Transwarpisprobablythecoolest#Hadoopcompanyevenyou'veneverheardoftranswarp.io.”

--NickHeudecker,Gartner分析師唯一一家上榜的中國公司

被Gartner評為全球最具有前瞻性的大數(shù)據(jù)廠商2016年Gartner數(shù)據(jù)倉庫與數(shù)據(jù)管理魔力象限報告Gartner數(shù)據(jù)倉庫關(guān)鍵能力排名Strengths■Althoughayoungvendor,TranswarphasgainedtractionintheChinesemarket.Ithaswon200clientsinlessthan18months.■Transwarphasauniquesetofcapabilities,suchasitsInceptorSQLcomponentbasedonApacheSpark,withOracleSQLandPL/SQLcompatibilitysupportingcreate,read,update,delete(CRUD)andACIDoperations.Thiscomponentisparticularlypraisedbyreferencecustomers.■ReferencecustomersindicatedthattheyareverysatisfiedwithTranswarp'sproduct,aswellaswiththesupportandtrainingthatthecompanyoffers.優(yōu)勢星環(huán)科技雖然年輕，但是已經(jīng)在中國市場中頗具影響力——星環(huán)科技在18個月內(nèi)贏取了200個客戶。星環(huán)科技的產(chǎn)品有其獨特的功能，例如它的SQL引擎Inceptor，基于ApacheSpark，兼容OracleSQL和PL/SQL，支持事務(wù)處理的CRUD(CREATE,READ,UPDATE,DELETE)并能保證ACID。Inceptor在被調(diào)查的用戶中受到了非常高的評價。被調(diào)查的用戶表示他們對星環(huán)的產(chǎn)品、支持以及提供的培訓都非常滿意。Cautions■Sofar,TranswarpoperatesinChinaonly.Thatsaid,thesizeoftheChinesemarket,anditsspecificrequirements,offersplentyofscopeforTranswarptoexpand.■Transwarphasyettoofferacloudsolution,althoughitindicatesthatthecloudisonitsroadmap.■Referencecustomerspointedtosomemissingfunctionality,particularlywithregardtoadministrationandmanagement,andhighlightedalackofskillsinthemarket.However,acrossthewholespectrumofcustomerexperience,Transwarp'scustomersawardedscoresequaltotheaverageforthismarket.注意目前，星環(huán)僅在中國有業(yè)務(wù)。雖然如此，中國龐大的市場以及中國市場特有的要求給星環(huán)的發(fā)展空間巨大。雖然暫時還沒有推出云上的解決方案，但是星環(huán)科技的云解決方案已經(jīng)在計劃中。被調(diào)查的客戶指出星環(huán)的產(chǎn)品還有一些功能的缺失，尤其在產(chǎn)品的管理功能方面。被調(diào)客戶還指出市場中對口人才的稀缺。即使如此，被調(diào)客戶對星環(huán)科技各方面的評價都持平報告中的平均水平。傳統(tǒng)數(shù)據(jù)倉庫排名第七位邏輯數(shù)據(jù)倉庫排名第七位機器學習及數(shù)據(jù)探索類數(shù)據(jù)倉庫排名并列第六位大數(shù)據(jù)生態(tài)及星環(huán)科技的公司定位AnalyticsasaServiceAnalyticsService&ApplicationsTransformation,Discovery&VisualizationToolsMachineLearning&StatisticsToolsHadoopDistributions&DatabasesInfrastructureTranswarpDataHub架構(gòu)圖最完整的SQL支持99%的SQL

2003支持，率先支持PL/SQL的引擎（98%），唯一支持ACID分布式事務(wù)的SQL引擎；定位數(shù)據(jù)倉庫和數(shù)據(jù)集市市場，可用于補充或替代Oracle、DB2等分析用數(shù)據(jù)庫。高效內(nèi)存/SSD計算第一個支持SSD的基于Hadoop的高效計算引擎，可比硬盤快一個數(shù)量級；可用于建立各種數(shù)據(jù)集市，對接多種主流報表工具。最完整的分布式機器學習算法庫支持最全（超過70余種）的分布式統(tǒng)計算法和機器學習算法，同時整合超過5000個R語言算法包。適合金融業(yè)風險控制、反欺詐、文本分析、精準營銷等應(yīng)用。支持最完整SQL和索引的NoSQL數(shù)據(jù)庫支持SQL2003、索引、全文索引，支持圖數(shù)據(jù)庫和圖算法，支持非結(jié)構(gòu)化數(shù)據(jù)存儲支持高并發(fā)查詢最健壯和功能豐富的流處理框架支持真正的Exactly

Once語義支持所有組件的高可用(HA)支持流式SQL和流式機器學習TranswarpProprietaryApacheProjectsStream流處理引擎HyperbaseNoSQL數(shù)據(jù)庫搜索、圖計算TranswarpManagerInceptorPL/SQL批處理交互式分析資源管理YARN(內(nèi)置TranswarpExtension)優(yōu)化存儲HDFS(內(nèi)置TranswarpErasureCode)批處理框架MapReduce2協(xié)作服務(wù)Zookeeper消息隊列Kafka工作流Oozie日志采集Flume全文搜索ElasticSearch數(shù)據(jù)集成SqoopDiscover數(shù)據(jù)挖掘機器學習交互工具HUEGuardian安全管控交互分析Zeppelin開發(fā)輔助WaterDrop實時同步DataAlive交互式分析引擎Inceptor-完整SQL支持DistributedExecutionEngine分布式執(zhí)行引擎Batch&InteractiveSQL

EngineJDBC4.0SHELLODBC3.5SQL2003Compiler語法解析器SQLParser優(yōu)化器RBO&CBO代碼生成CODEGENERATORTransactionManager分布式增刪改

DistributedCRUD事務(wù)并發(fā)控制器ConcurrencyControllerStarGate數(shù)據(jù)源連接器SourceHDFSText,

ORC,

ORCTransactionSourceOracleSourceHyperbase分布式內(nèi)存/SSD列式存儲HolodeskSourceDB2HDFSDriverHolodeskDriverHyperdrive驅(qū)動層實現(xiàn)數(shù)據(jù)訪問計算算子下推以減少數(shù)據(jù)傳輸執(zhí)行計劃仍采用分布式計算……Connector中間件管理單元PL/SQLCompiler存儲過程解析器ProcedureParser控制流優(yōu)化器CFGOptimizer并行優(yōu)化器ParallelOptimizer多租戶管理Guardian計算資源配置ResourceManagement用戶安全授權(quán)管理Security&Authentication行級安全控制RowLevelSecurityDB2DriverOracleDriverApacheSpark基于內(nèi)存的Map/Reduce計算引擎，即將成為新一代主流計算框架。處理大數(shù)據(jù)像“光速”一樣快，比HadoopMap/Reduce快10x倍。Holodesk跨內(nèi)存/閃存/磁盤等介質(zhì)的分布式混合列式存儲，常用于緩存數(shù)據(jù)供Spark高速訪問。Holodesk內(nèi)建內(nèi)存索引，可提供比開源Spark更高的交互式統(tǒng)計性能；結(jié)合使用低成本的內(nèi)存/SSD混合存儲方案，可接近全內(nèi)存存儲的分析性能。Most

complete

SQL

support兼容>95%

ANSISQL2003,HiveQL和>90%

PL/SQL語法，支持數(shù)據(jù)倉庫、數(shù)據(jù)集市等分析系統(tǒng)中常用的復雜分析型語法，方便應(yīng)用遷移。SQL引擎高度優(yōu)化的高速SQL引擎，可運行在Spark或Map/Reduce上，可高速處理緩存在Holodesk上的列式數(shù)據(jù)。豐富的工具支持支持主流可視化和BI/挖掘工具，包括Tableau,IBMCognos,SAPBO,OracleBI,SAS等。支持Informatica，Pentaho/Kettle等ETL工具。DataFederation具備對多種關(guān)系數(shù)據(jù)庫和Hadoop數(shù)據(jù)源進行交叉查詢，聚合，以及關(guān)聯(lián)操作等能力Inceptor不同版本功能描述標準版SQL2003,分布式事務(wù)專業(yè)版基礎(chǔ)版+內(nèi)存/SSD數(shù)據(jù)庫功能企業(yè)版專業(yè)版+PL/SQLFusionDistributedExecutionEngine分布式執(zhí)行引擎Association

Mining關(guān)聯(lián)/推薦Classification分類算法Clustering聚類算法Sequential

Analysis時序分析Regression回歸算法Deep

Learning深度機器學習DimensionReduction主成分分析Statistics統(tǒng)計算法R

Runtime

Library

R語言動態(tài)運行庫BeliefNetwork信念網(wǎng)絡(luò)Graph圖計算Sampling采樣算法Discriminate

Analysis判別分析Reinforcement

增強學習DecisionMethods決策方法FactorAnalysis因子分析Genetic遺傳算法Language

Interfaces

多語言接口Midas圖形界面RStudioIDE開發(fā)環(huán)境web

JSInterface

web展示接口HubbleCore算法計算接口Graphengine圖計算引擎CustomizedPlugins自定義插件TranswarpConnector–

SQLInterfacestoconnectdatasourcesIndustryTemplates行業(yè)模板FeatureEng特征工程StreamInceptorHyperbaseSQLInterface

SQL接口TranswarpDiscoverPlatform精準營銷數(shù)據(jù)層算法模型層使用層欺詐檢測文本挖掘?qū)崟r推薦信用風險流失預警客戶精分異常行為識別智能維護系統(tǒng)數(shù)據(jù)挖掘與機器學習Transwarp

Discover實時NewSQL數(shù)據(jù)庫HyperbaseTranswarpHBase–HadoopDatabase分布式BigTableTranswarpHyperdrive

–

SQL

backend

engine

between

Inceptor

&

HyperbaseReal-timeOLTP+OLAP+BATCH+Search+GraphTraversalApplicationMixedWorkload混合負載業(yè)務(wù)GraphlanguageScalableGraphDatabase圖形數(shù)據(jù)庫TransactionSQL

&

APITransactionExecutionEngine分布式事務(wù)處理引擎IndexSQL

&

APIGlobal/LocalIndex全局/局部索引Elastic

Search分布式全文索引DocumentSQL

&

APIDocument

Storejson/bson文檔存儲ObjectSQL

&

APIObject

Storeimage/files,

etc對象存儲SearchSQL

&APIDistributedFull-textSearch全文搜索Transwarp

InceptorHyperbase不同版本功能描述標準版OLTP支持高并發(fā)毫秒級數(shù)據(jù)插入/修改/查詢/刪除(CRUD)。結(jié)合InceptorSQL引擎，可以支持通過SQL進行高并發(fā)的CRUD。支持分布式事務(wù)處理。支持常見數(shù)據(jù)類型，可更高效的存取數(shù)據(jù)OLAP支持多種索引（global/local/high-dimensionalindex）。結(jié)合Inceptor，可進行行列存儲轉(zhuǎn)換，進行秒級高效分析。支持復雜查詢條件，自動利用索引加速數(shù)據(jù)檢索，無需指定索引。專業(yè)版基礎(chǔ)版+內(nèi)嵌搜索引擎實時同步創(chuàng)建索引實現(xiàn)秒級關(guān)鍵字搜索企業(yè)版專業(yè)版+圖數(shù)據(jù)庫支持高并發(fā)圖遍歷和檢索多類型支持結(jié)構(gòu)化記錄半結(jié)構(gòu)化文檔（JSON/BSON）非結(jié)構(gòu)化數(shù)據(jù)（圖片、音頻、二進制文檔等）支持混合結(jié)構(gòu)數(shù)據(jù)的存儲、搜索、統(tǒng)計、分析支持SQL訪問關(guān)系表和層次化文檔實時數(shù)據(jù)研判處理TranswarpStream計算層SourceManager數(shù)據(jù)源管理DistributedExecutionEngine分布式執(zhí)行引擎ApplicationManager流式任務(wù)管理服務(wù)StorageManager存儲管理SinkerManager輸出管理

TranswarpHyperbase

分布式NoSQL數(shù)據(jù)庫高速查詢或搜索在線數(shù)據(jù)挖掘時間窗口統(tǒng)計實時比對告警實時判斷告警實時數(shù)據(jù)TranswarpDataMart分布式內(nèi)存/SSD緩存高速數(shù)據(jù)探索分析StreamSQLSQLCompiler編譯器ODBCJDBCShellDataMining并行算法APIR語言量化模型StreamSQL

99%的ANSISQL2003的支持率強大的優(yōu)化器提升性能支持按時間切分滑動窗口和滑動步長多數(shù)據(jù)源支持Socket文件Kafka……多種輸出方式支持HyperbaseHolodeskHDFS……企業(yè)數(shù)據(jù)總線支持從一個流讀入數(shù)據(jù)，再將其輸入另一個流，如常見的企業(yè)數(shù)據(jù)總線以Kafka為存儲中間件在線數(shù)據(jù)挖掘支持離線模型，在線預測時間窗口數(shù)據(jù)進行實時挖掘分析Stream不同版本功能描述標準版基本流處理框架，支持流式聚合專業(yè)版基礎(chǔ)版+SQL企業(yè)版專業(yè)版+機器學習統(tǒng)一權(quán)限管控TranswarpGuardianBuild-inLDAPHAsupportedAccounting用戶管理Authentication用戶認證Audit審計分布式文件系統(tǒng)HDFSRBAC支持Dir/FileaccesscontrolDir/FileACL用戶安全授權(quán)管理Grant/RevokeviaSQL行/列級安全控制Row/ColumnLevelInceptor流處理作業(yè)授權(quán)管理StreamApp/JobGrant/RevokeviaSQL主題級安全控制KafkaTopicLevelSecurityStream用戶安全授權(quán)管理AuthenticationwithInceptorandHDFSDiscover數(shù)據(jù)交互安全控制DataTransfer&Communication用戶安全授權(quán)管理Grant/RevokeviaSQL(withInceptor)單元格安全控制CellLevelHyperbaseDataAuthorization數(shù)據(jù)權(quán)限管理ExistingAD/LDAPwithKerberos使用既有用戶管理與認證系統(tǒng)Build-inKerberosHAsupported公司部門一部門N…子部門子部門子部門子部門子部門子部門……………………Policy&AlertResourceUsageAuditGrant/RevokeAuditAccessControlAuditResourceAuthorization資源管理控制文件系統(tǒng)UsageQuotaControl數(shù)據(jù)庫/倉庫StaticQuotaTempQuota存儲資源計算資源計算資源管理調(diào)度YARNQueueUse/AdminControlInceptor

PoolControlSLAControl用戶組管理員用戶超級管理員角色用戶組不斷沉淀的行業(yè)主題模型應(yīng)用模板貸款擔保信用風險對擔保網(wǎng)絡(luò)進行圖譜分析，通過還款行為，全方位貸后貸中違約風險。通過深度高維學習進行精準客源獲取，廣泛用于分期和理財推薦中。360度零售和對公客戶視圖挖掘，深刻洞察了解客戶。神經(jīng)網(wǎng)絡(luò)和規(guī)則引擎雙重保障，助力企業(yè)攔截欺詐。非監(jiān)督和半監(jiān)督的客戶聚類，精準分析了解客戶群體特征。用戶畫像欺詐檢測客戶精分精準客源營銷金融文本風控檢索用文本信息建立企業(yè)風險模型，語義檢索話題、行業(yè)、事件、圖譜等。對用戶消費行為進行建模，流失模式和行為提前發(fā)現(xiàn)，提前挽回。購物籃模型、相似度模型等基于客戶、產(chǎn)品、內(nèi)容的多重推薦。用戶訪問安全路徑建模，識別網(wǎng)絡(luò)訪問異常模式。根據(jù)pos機密度分布，精準商圈定位和營銷。實時推薦異常行為識別商圈聚類分析用戶流失預警智能可靠性維護工業(yè)數(shù)據(jù)故障診斷和可靠性維護建模。通過時序模型對價格、流量等時序敏感數(shù)據(jù)進行預測和分析。實時人流密度估計；垃圾短信檢測。車輛積分稽查布控和套牌車分析。用戶畫像商品推薦自駕車遷徙路線成品油質(zhì)量生產(chǎn)環(huán)節(jié)運營商公安領(lǐng)域石油能源時序數(shù)據(jù)預測Midas——拖拽式圖形界面工具Midas——圖形化分析步驟連接數(shù)據(jù)建立分析模型模型評估和可視化Waterdrop–SQL開發(fā)輔助工具為開發(fā)人員和數(shù)據(jù)庫管理人員提供的數(shù)據(jù)庫管理工具Eclipse插件DatabaseNavigatorSQLEditorSQLExecutorDataViewer自動化環(huán)境健康檢查工具—Koalas圖計算GrapheneSQL支持ODBCJDBCShellSQLCompilerInceptorQueryEngineCypherCompilerApplicationManagerDistributedExecutionEngine(Spark)StorageManagerComputationFramework圖檢索類SQL語法支持復雜的搜索模型patterns多數(shù)據(jù)源支持實時響應(yīng)圖計算擴展的SQL語法支持豐富的圖計算算法支持OLAP海量圖形分析支持GrapheneEngine十幾種豐富的圖計算算法支持，支持通過SQL進行圖檢索、圖計算。TranswarpOperatingSystem云操作系統(tǒng)Transwarp

Operating

System磁盤存儲管理器網(wǎng)絡(luò)虛擬網(wǎng)絡(luò)管理器調(diào)度器調(diào)度etcd編排負載均衡器系統(tǒng)服務(wù)自動擴展replicator發(fā)現(xiàn)依賴name

serviceContainerPluginsContainers自定義應(yīng)用CPU/內(nèi)存基于優(yōu)先級調(diào)度HDFSYARNInceptorStreamElasticSearchHyperbasePigOoizeFlumeSqoopPostgresSQLRedisServiceRepositoryTranswarpOperatingSystem架構(gòu)CPU/MEMpriority-basedschedulerTranswarp

Operating

SystemDiskstoragemanagerNetworkVLANmanagerSchedulercoordinationetcdorchestrationloadbalancerSystem

Serviceauto-scalingreplicatordiscoveryname

serviceTOS的組成部分：Ring0：Docker/ContainerRing1：ResourceschedulerRing2：Built-in

systemservicesRing3：Centralservicerepository(dockerimages)ContainerPluginsContainersTOS顯著優(yōu)勢自動一鍵部署運行任何docker鏡像完善的資源隔離性彈性計算自動擴容自我修復TOS

+

TDH=IaaS

+

PaaS可用于構(gòu)建企業(yè)大數(shù)據(jù)私有云或者在公有云上提供大數(shù)據(jù)平臺服務(wù)我們的核心優(yōu)勢：功能遠超國內(nèi)外友商TOS是為大數(shù)據(jù)應(yīng)用量身訂做的云操作系統(tǒng)基于Docker和KubernetesTOS支持一鍵部署TDH，基于優(yōu)先級的搶占式資源調(diào)度和細粒度資源分配資源彈性共享--提高資源利用率靈活部署：BigData+Application資源調(diào)度：Auto-scaling+Self-healing服務(wù)發(fā)現(xiàn)：CentralRepository隔離性--保障服務(wù)質(zhì)量和安全性數(shù)據(jù)隔離：DataSources,AccessPattern,ConfidentialLevels計算隔離：CPU,Memory,I/O應(yīng)用隔離TOS云操作系統(tǒng)統(tǒng)一管理--提高系統(tǒng)可管理性資源統(tǒng)一管理：CPU、內(nèi)存、存儲、網(wǎng)絡(luò)突破單機管理局限：單機管理向集群管理服務(wù)統(tǒng)一管理：服務(wù)生命周期管理容器軟件導致的性能損失：<

1%Intel?SSDDCP3700IOPSLatency(us)Peakrate(MB/s)InterfaceRead460,0002.22800NVMe*PCIe*3.0Write175,00061900NVMe*PCIe*3.0Read/Write250,0004n/aNVMe*PCIe*3.0高密度一體機TxData-4TxData-4STxData-4MTxData-4HPernodeCOMPUTE/

PROCESSOR12/16CoresPerNode2IntelE5-2620v32.4GHzOR2IntelE5-2620v42.1GHz16/20

CoresPerNode

2IntelE5-2630v32.4GHzOR2IntelE5-2630v42.2GHz20/24

CoresPerNode2IntelE5-2650v32.30GHzOR2IntelE5-2650v42.2GHzMemory/

RAM64GB/128GB/256GB

DDR4RECC64GB/128GB/256GB

DDR4RECC64GB/128GB/256GB

DDR4RECCSTORAGE

RAW/FLASH800GB/1.2TB(option)800GB/1.2TB(option)800GB/1.2TB(option)STORAGE

RAW/HDD6TB/12TB6TB/12TB6TB/12TBNETWORK

CONNECTIONDualPort10GE(option)

DualPort1GEDualPort10GE(option)

DualPort1GEInifiniBand56G

DualPort10GE(option)

DualPort1GEnodesperclusterMININUMMAXIMUMINCREMENTS

444646