星環(huán)科技大數(shù)據(jù)方案

1星環(huán)科技大數(shù)據(jù)方案

——打造世界領(lǐng)先的大數(shù)據(jù)引擎公司簡介公司概況

目前已完成B輪融資，A+B共融資2.55億元。目前星環(huán)科技大數(shù)據(jù)團(tuán)隊有200余人80%的員工為研發(fā)工程師以博士碩士為主，60%以上為碩士團(tuán)隊來自Intel、谷歌、微軟、BAT、EMC上海、北京設(shè)有分公司10余處辦事處：廣州、沈陽、天津、濟(jì)南、西安、南京、武漢、長沙、福州等新增紐約、休斯頓辦事處發(fā)展歷程

全球最具有前瞻性的大數(shù)據(jù)廠商Strengths■Althoughayoungvendor,TranswarphasgainedtractionintheChinesemarket.Ithaswon200clientsinlessthan18months.■Transwarphasauniquesetofcapabilities,suchasitsInceptorSQLcomponentbasedonApacheSpark,withOracleSQLandPL/SQLcompatibilitysupportingcreate,read,update,delete(CRUD)andACIDoperations.Thiscomponentisparticularlypraisedbyreferencecustomers.■ReferencecustomersindicatedthattheyareverysatisfiedwithTranswarp'sproduct,aswellaswiththesupportandtrainingthatthecompanyoffers.優(yōu)勢星環(huán)科技雖然年輕，但是已經(jīng)在中國市場中頗具影響力——星環(huán)科技在18個月內(nèi)贏取了200個客戶。星環(huán)科技的產(chǎn)品有其獨特的功能，例如它的SQL引擎Inceptor，基于ApacheSpark，兼容OracleSQL和PL/SQL，支持事務(wù)處理的CRUD(CREATE,READ,UPDATE,DELETE)并能保證ACID。Inceptor在被調(diào)查的用戶中受到了非常高的評價。被調(diào)查的用戶表示他們對星環(huán)的產(chǎn)品、支持以及提供的培訓(xùn)都非常滿意。Cautions■Sofar,TranswarpoperatesinChinaonly.Thatsaid,thesizeoftheChinesemarket,anditsspecificrequirements,offersplentyofscopeforTranswarptoexpand.■Transwarphasyettoofferacloudsolution,althoughitindicatesthatthecloudisonitsroadmap.■Referencecustomerspointedtosomemissingfunctionality,particularlywithregardtoadministrationandmanagement,andhighlightedalackofskillsinthemarket.However,acrossthewholespectrumofcustomerexperience,Transwarp'scustomersawardedscoresequaltotheaverageforthismarket.注意目前，星環(huán)僅在中國有業(yè)務(wù)。雖然如此，中國龐大的市場以及中國市場特有的要求給星環(huán)的發(fā)展空間巨大。雖然暫時還沒有推出云上的解決方案，但是星環(huán)科技的云解決方案已經(jīng)在計劃中。被調(diào)查的客戶指出星環(huán)的產(chǎn)品還有一些功能的缺失，尤其在產(chǎn)品的管理功能方面。被調(diào)客戶還指出市場中對口人才的稀缺。即使如此，被調(diào)客戶對星環(huán)科技各方面的評價都持平報告中的平均水平。星環(huán)科技六大Hadoop發(fā)行版廠商之一三年內(nèi)200+落地案例數(shù)據(jù)倉庫象限最具遠(yuǎn)見者“Transwarpisprobablythecoolest#Hadoopcompanyevenyou'veneverheardoftranswarp.io.”--NickHeudecker,Gartner分析師唯一一家上榜的中國公司星環(huán)科技典型案例

（落地案例最多）金融（16+）銀行、保險、證券電信運(yùn)營商（20+）移動、聯(lián)通、電信交通公安（30+）山東、遼寧、浙江等能源國網(wǎng)+南網(wǎng)互聯(lián)網(wǎng)電商+CDN政府工商+稅務(wù)物流快遞EMS廣播電視華數(shù)+衛(wèi)視

我們的部分客戶產(chǎn)品簡介產(chǎn)品家族TxData超融合一體機(jī)TOSPaaS云平臺TDH大數(shù)據(jù)平臺專業(yè)服務(wù)&生態(tài)系統(tǒng)TranswarpDataHub產(chǎn)品架構(gòu)圖TranswarpProprietaryApacheProjectsStream流處理引擎HyperbaseNoSQL數(shù)據(jù)庫搜索、圖計算TranswarpManagerInceptorPL/SQL批處理交互式分析資源管理YARN(內(nèi)置TranswarpExtension)優(yōu)化存儲HDFS(內(nèi)置TranswarpErasureCode)批處理Pig批處理框架MapReduce2實時同步

Data

Alive消息隊列Kafka工作流Oozie日志采集Flume全文搜索ElasticSearch數(shù)據(jù)集成SqoopDiscover數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)交互工具HUEGuardian安全管控協(xié)作服務(wù)Zookeeper交互分析Zeppelin高性能,低成本率先通過100TBTPC-DS測試性價比是傳統(tǒng)數(shù)倉幾十倍高安全，可信賴經(jīng)過200+案例證明的可靠性，可恢復(fù)性，可用性，安全性兼容性，易用性支持SQL2003和存儲過程業(yè)界唯一支持增刪改查和事務(wù)的ACID數(shù)據(jù)倉庫分析能力100TB測試Testenvironment:29

worker

nodes2CPUs,12Cores,E5-2620v296GBmemoryNetwork:2X1GbpsDisks:12X3TB星環(huán)Hadoop集群已經(jīng)可以在生產(chǎn)環(huán)境中部署1000+節(jié)點，處理20PB+的數(shù)據(jù)單機(jī)計算并行計算分布數(shù)據(jù)、計算均分布化星環(huán)已處于新興技術(shù)公司中的領(lǐng)先地位MPP數(shù)據(jù)庫過去的優(yōu)勢高性能SQL支持完整（SQL92/SQL99）工具全主要弱點數(shù)據(jù)重分布容錯性擴(kuò)展性Transwarp最新進(jìn)展總體性能超越MPP完整支持SQL2003,以及PL/SQL擴(kuò)展支持主流傳統(tǒng)BI／ETL工具及新興分析工具固有優(yōu)勢數(shù)據(jù)無需重分布，不易受數(shù)據(jù)傾斜影響Map/Reduce和Spark具備容錯調(diào)度機(jī)制性能近乎線性擴(kuò)展（星環(huán)部署有600個節(jié)點集群）星環(huán)技術(shù)六大核心優(yōu)勢1.支持最全SQL，唯一支持PL/SQL2.性能超群3.唯一支持分布式事務(wù)處理4.業(yè)界唯一分布式流式SQL5.豐富的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法6.安全無憂用戶管理、資源權(quán)限管理表級、行級、主題、單元格數(shù)據(jù)權(quán)限降低流應(yīng)用開發(fā)門檻，提高流應(yīng)用開發(fā)效率針對性的優(yōu)化讓StreamSQL比編程開發(fā)流應(yīng)用性能更高幫助用戶零成本將傳統(tǒng)業(yè)務(wù)邏輯變成流應(yīng)用保證事務(wù)處理的ACIDBEGINTRANSACTION/COMMIT/ROLLBACK語法進(jìn)行事務(wù)處理兩階段封鎖協(xié)議可保證事務(wù)的完全可序列化多版本(快照)隔離可以保證只讀事務(wù)的高并發(fā)性率先進(jìn)入復(fù)雜數(shù)據(jù)分析的百TB時代支持99%的SQL2003語法業(yè)界唯一支持OraclePL/SQL（98%）業(yè)界唯一支持DB2SQLPL(90%）業(yè)界唯一支持Teradata存儲過程（80%）幫助用戶零成本遷移傳統(tǒng)應(yīng)用統(tǒng)一Hadoop集群?多租戶數(shù)據(jù)不搬家，可用不可見TranswarpOperatingSystem云操作系統(tǒng)CPU/內(nèi)存基于優(yōu)先級調(diào)度Transwarp

Operating

System磁盤存儲管理器網(wǎng)絡(luò)虛擬網(wǎng)絡(luò)管理器調(diào)度器調(diào)度etcd編排負(fù)載均衡器系統(tǒng)服務(wù)自動擴(kuò)展replicator發(fā)現(xiàn)依賴name

serviceContainerPluginsContainers應(yīng)用標(biāo)準(zhǔn)化1.開發(fā)、測試和部署采用統(tǒng)一的docker容器鏡像；2.一次開發(fā)，到處部署；3.采用微服務(wù)架構(gòu)構(gòu)造大型應(yīng)用，敏捷開發(fā)，按需部署運(yùn)維自動化1.彈性部署、彈性擴(kuò)容、自動修復(fù)；2.支持基于優(yōu)先級的資源調(diào)度，提高集群使用率；3.采用應(yīng)用商店管理標(biāo)準(zhǔn)化的應(yīng)用；大數(shù)據(jù)支持1.支持大數(shù)據(jù)應(yīng)用和普通應(yīng)用2.對大數(shù)據(jù)進(jìn)行了定制優(yōu)化，可高效利用存儲和計算資源3.TOS

+

TDH=PaaS

+

HaaS，使大數(shù)據(jù)云服務(wù)成為現(xiàn)實自定義應(yīng)用

性價比高快捷部署

軟件定義集群服務(wù)器以及網(wǎng)絡(luò)環(huán)境已經(jīng)預(yù)配置、預(yù)優(yōu)化、預(yù)測試開箱即用，快速形成生產(chǎn)力軟硬件一體化，無縫集成，最優(yōu)工作狀態(tài)

支持Docker與TOS部署，效率高于虛擬機(jī)與TDH有機(jī)融合

支持多租戶管理內(nèi)存、SSD、磁盤三級存儲高密度，節(jié)省機(jī)房空間75%軟硬件一站式供貨,一體化服務(wù)TxData超融合大數(shù)據(jù)一體機(jī)

TxData一體機(jī)2U4節(jié)點或2節(jié)點案例展示星環(huán)金融客戶案例部分列表股份制銀行民生銀行總行科技部數(shù)據(jù)倉庫、審計業(yè)務(wù)、冠字號業(yè)務(wù)、小微貸款業(yè)務(wù)民生銀行信息中心

數(shù)據(jù)平臺、自助分析平臺民生銀行信用卡歷史數(shù)據(jù)查詢、非現(xiàn)場審計應(yīng)用、客戶畫像、風(fēng)控、客戶流失恒豐銀行數(shù)據(jù)倉庫、歷史數(shù)據(jù)查詢、數(shù)據(jù)分析探索中國平安風(fēng)險報表業(yè)務(wù)農(nóng)信社四川省農(nóng)信電子銀行大數(shù)據(jù)處理平臺、客戶體驗改進(jìn)、客戶營銷、報表分析浙江農(nóng)信冠字號業(yè)務(wù)、新一代大數(shù)據(jù)集中處理平臺城商行江蘇銀行歷史數(shù)據(jù)集中平臺、歷史數(shù)據(jù)查詢、風(fēng)險集市、報表系統(tǒng)、客戶分析保險中國人壽大數(shù)據(jù)平臺證券中泰證券歷史數(shù)據(jù)集中管理平臺郵政、郵儲江蘇郵儲歷史數(shù)據(jù)集中管理系統(tǒng)、報表系統(tǒng)EMS替換Teradata數(shù)據(jù)倉庫數(shù)據(jù)倉庫建設(shè)客戶痛點：數(shù)據(jù)量增大、應(yīng)用不斷增加，運(yùn)行沉重緩慢；數(shù)據(jù)源不斷增多，開始包括非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)處理延時長，無法看到實時運(yùn)營狀況原先的邏輯數(shù)據(jù)模型，不能有效支撐數(shù)據(jù)快速分析和價值發(fā)現(xiàn)；解決方案：基于Transwarpinceptor和Hyperbase，構(gòu)建邏輯數(shù)倉，提升處理性能基于Transwarpstream，構(gòu)建實時數(shù)倉基于Transwarpdiscover，采用新的方法發(fā)掘數(shù)據(jù)的統(tǒng)計相關(guān)性、因果關(guān)系、關(guān)聯(lián)關(guān)系等規(guī)律。客戶收益：基于大數(shù)據(jù)產(chǎn)品選型并重新構(gòu)建了數(shù)據(jù)倉庫體系，同時搭建一套歷史數(shù)據(jù)平臺為存儲及查詢歷史數(shù)據(jù)奠定基礎(chǔ);搭建大數(shù)據(jù)應(yīng)用開發(fā)平臺;近期基于大數(shù)據(jù)平臺落地了風(fēng)險數(shù)據(jù)服務(wù)集市，為該行信貸工廠業(yè)務(wù)提供大數(shù)據(jù)咨詢支持自助分析平臺建設(shè)客戶痛點：業(yè)務(wù)部門在向科技部門申請數(shù)據(jù)時，時間延遲比較大同時面臨數(shù)據(jù)安全、分析性能、管理復(fù)雜等問題解決方案：科技部基于Transwarpinceptor和Hyperbase為業(yè)務(wù)部門構(gòu)建數(shù)據(jù)集市，業(yè)務(wù)部利用報表工具自助生成報表基于Transwarpdiscover做一些自助挖掘工作客戶收益：減少數(shù)據(jù)申請流轉(zhuǎn)環(huán)節(jié)，業(yè)務(wù)部門可進(jìn)行自助分析，無需科技部門額外支持基礎(chǔ)數(shù)據(jù)統(tǒng)一存放，全局一致集群分析，增強(qiáng)分析性能，減少計算時間風(fēng)控應(yīng)用遷移FlumeOracleMySQLDB2現(xiàn)有關(guān)系數(shù)據(jù)庫TDH統(tǒng)一存儲和計算平臺系統(tǒng)日志W(wǎng)eb日志SqoopPentaho賬單文件FTP定期ELT每天／每小時／每10分鐘RStudioSAS深度挖掘OozieWaterlineAzkaban數(shù)據(jù)匯總／治理／粗加工PL/SQL定制程序PL/SQL深度匯總準(zhǔn)實時采集<5分鐘客戶痛點：原來的風(fēng)控應(yīng)用基于Oracle數(shù)據(jù)庫，隨著數(shù)據(jù)量的增大，存在速度和擴(kuò)容的問題風(fēng)控應(yīng)用使用了大量的存儲過程開發(fā)，遷移到Cloudera和華為平臺需要對應(yīng)用做大量改動解決方案：基于星環(huán)的TDH平臺，實現(xiàn)PL/SQL存儲過程的零成本遷移實現(xiàn)從數(shù)據(jù)導(dǎo)入、數(shù)據(jù)批處理加工、應(yīng)用對接的全流程覆蓋客戶收益：經(jīng)過1個多月的時間，將原來的風(fēng)控應(yīng)用及部分報表平滑遷移到TDH平臺；應(yīng)用幾乎未做改動。數(shù)據(jù)挖掘類應(yīng)用用戶畫像客戶痛點：隨著可以掌握的客戶信息越來越多，使用原有數(shù)據(jù)庫對用戶多維度分析效率很低營銷缺乏有效的數(shù)據(jù)支持，并且實時性差解決方案：利用Transwarpdiscover使得原來分析需要1天的工作降低到5分鐘。結(jié)合Transwarpstream可實現(xiàn)實時的用戶推薦商圈分析客戶痛點：原來靠“個人經(jīng)驗”對各地商圈進(jìn)行劃分導(dǎo)致缺乏準(zhǔn)確性。解決方案：利用Transwarpdiscover分析實時刷卡信息（來自銀聯(lián)），進(jìn)行商圈聚類模型分析與選擇，結(jié)合Transwarpstream實現(xiàn)動態(tài)商圈區(qū)域即時呈現(xiàn)和人群密度趨勢研判。企業(yè)關(guān)系圖譜

自然人E投資投資人企業(yè)C企業(yè)B企業(yè)A投資供應(yīng)商投資人企業(yè)D自然人F個體戶G配偶親屬投訴財報客戶痛點：需要一個數(shù)據(jù)查詢系統(tǒng)來存放企業(yè)多方面的信息，如：登記信息、行政處罰信息、企業(yè)重要人員信息、投資者信息等；在信息存儲的基礎(chǔ)上，系統(tǒng)能夠快速和準(zhǔn)確提供用戶對企業(yè)的查詢請求。原有的查詢系統(tǒng)不能滿足需求；需要通過大數(shù)據(jù)平臺進(jìn)行企業(yè)關(guān)聯(lián)分析，構(gòu)建企業(yè)信用體系。解決方案：原來利用大數(shù)據(jù)圖計算形成企業(yè)和企業(yè)之間的投資關(guān)系分析為每一個企業(yè)繪制其相關(guān)的投資關(guān)系圖普，挖掘出潛在的利害關(guān)系客戶收益：通過大數(shù)據(jù)平臺的銷售數(shù)據(jù)進(jìn)行批發(fā)、大客戶關(guān)聯(lián)分析，構(gòu)建企業(yè)客戶價值、信用評價。對于預(yù)測大客戶、批發(fā)客戶需求，提前精準(zhǔn)營銷、新一年對于這些重要客戶資源投放量、服務(wù)具有重要意義。小微在線融資—大數(shù)據(jù)企業(yè)征信小微貸款服務(wù)平臺2014年下半年上線每家企業(yè)選取200個財務(wù)指標(biāo)采用分類算法對企業(yè)進(jìn)行信用評估客戶痛點：在之前的系統(tǒng)中，客戶發(fā)