騰訊云大數(shù)據(jù)云平臺(tái)TBDS 產(chǎn)品白皮書

修訂記錄 ii目錄 iii前言 11產(chǎn)品簡(jiǎn)介 2 2 3 3 32產(chǎn)品優(yōu)勢(shì) 53產(chǎn)品架構(gòu) 7 7 8 8 4應(yīng)用場(chǎng)景 13 5客戶案例 18 6信創(chuàng)能力 21 7產(chǎn)品接口人 238部署資源說(shuō)明 24 附錄A更多資源 26前言文檔目的本文檔用于幫助讀者快速了解產(chǎn)品的基本信息，包目標(biāo)讀者符號(hào)約定騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書1.1產(chǎn)品發(fā)展背景融合分析，打造實(shí)時(shí)數(shù)據(jù)湖架構(gòu)對(duì)任意來(lái)源、任意規(guī)模、任意類型數(shù)據(jù)進(jìn)行實(shí)時(shí)接入、存儲(chǔ)、治理與分析，以此對(duì)集團(tuán)內(nèi)外用戶在企業(yè)數(shù)字化轉(zhuǎn)型1.2產(chǎn)品概述騰訊云大數(shù)據(jù)平臺(tái)套件TBDS（TencentBigDataSuite)是基于開源體系，融入騰訊內(nèi)部要，全面支持信創(chuàng)，安全可信的大數(shù)據(jù)存儲(chǔ)、查詢、分析統(tǒng)一平臺(tái)，為據(jù)處理平臺(tái)/數(shù)據(jù)中臺(tái)解決方案提供完善的平臺(tái)和工具支撐。通過(guò)對(duì)聚、實(shí)時(shí)和非實(shí)時(shí)的分析和挖掘，幫助企業(yè)從海量數(shù)據(jù)中獲取真正1.3產(chǎn)品定位于騰訊內(nèi)部多年海量數(shù)據(jù)處理經(jīng)驗(yàn)，通過(guò)整合騰訊內(nèi)部大數(shù)據(jù)技1.4產(chǎn)品價(jià)值3)數(shù)據(jù)融合價(jià)值：打破數(shù)據(jù)行業(yè)壁壘，對(duì)多源數(shù)據(jù)進(jìn)行融合，依靠大數(shù)據(jù)平臺(tái)的存算、分析4)數(shù)據(jù)計(jì)算價(jià)值：計(jì)算資源彈性伸縮，提高資源利用率，降低計(jì)計(jì)算方式，快速根據(jù)業(yè)務(wù)計(jì)算內(nèi)容選擇最優(yōu)計(jì)算引擎，提升業(yè)務(wù)5)數(shù)據(jù)應(yīng)用價(jià)值：可選擇內(nèi)置的自研數(shù)據(jù)開發(fā)治理平臺(tái)WeData、行分析挖掘，同時(shí)引擎已適配百余種騰訊自研應(yīng)用產(chǎn)品和豐富的生測(cè)、全局維度指標(biāo)告警等功能保障數(shù)據(jù)與資源7)技術(shù)先進(jìn)性：針對(duì)業(yè)務(wù)場(chǎng)景，不斷對(duì)開源組件進(jìn)行調(diào)優(yōu)，結(jié)合騰訊數(shù)十款產(chǎn)品優(yōu)勢(shì)騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書產(chǎn)品優(yōu)勢(shì)面向政府/企業(yè)級(jí)的大數(shù)據(jù)云平臺(tái)：TBDS提供支持On-Premise（本地部署)、On-C上全托管)、On-Hybrid（混合云部署)三種部署模式極致的性能與可擴(kuò)展性：TBDS擁有經(jīng)過(guò)深度優(yōu)化的高性能計(jì)算存儲(chǔ)引擎，支撐騰訊內(nèi)部日性之上，自研增強(qiáng)了包括“用戶-組件”級(jí)的生態(tài)開放融合：TBDS對(duì)開源大數(shù)據(jù)生態(tài)提供良好的融合能力，可大幅度降低用戶的使用和學(xué)習(xí)成本，并且在引擎層和工具層開放了全平臺(tái)接產(chǎn)品全景圖騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書產(chǎn)品全景圖3產(chǎn)品架構(gòu)3.1產(chǎn)品全景圖接入、存儲(chǔ)、計(jì)算、服務(wù)、分析、管理等多個(gè)組件，支持用戶本地部進(jìn)行了部分優(yōu)化，主要提供各類應(yīng)用程序的資源管理和調(diào)度，同時(shí)根據(jù)升平臺(tái)的統(tǒng)一數(shù)據(jù)安全能力；除此之外，平臺(tái)管理還包含租戶管理、3.2功能架構(gòu)3.2.1組件概覽數(shù)據(jù)接入Postgresql)間進(jìn)行數(shù)據(jù)的傳遞。騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書產(chǎn)品全景圖數(shù)據(jù)存儲(chǔ)統(tǒng)數(shù)據(jù)計(jì)算分析騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書產(chǎn)品全景圖析資源管理產(chǎn)品全景圖騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書產(chǎn)品全景圖3.2.2平臺(tái)管理登錄功能、項(xiàng)目快捷管理功能、資源/任務(wù)審批包含租戶和子租戶的創(chuàng)建與運(yùn)維功能，以及包含租戶包含項(xiàng)目的創(chuàng)建和運(yùn)維功能，包含項(xiàng)目的成員管理、3.2.3運(yùn)維中心包含對(duì)集群的創(chuàng)建、集群資源配置和集群納管等能服務(wù)健康度是為運(yùn)維人員提供完整的發(fā)現(xiàn)問(wèn)題、定題（而不僅僅是看告警列表)包含日志采集大盤和日志診斷大盤等全局日志分析頁(yè)包含對(duì)已啟用的產(chǎn)品管理、產(chǎn)品中心設(shè)置和自定義產(chǎn)理核心產(chǎn)品介紹騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書核心產(chǎn)品介紹‘應(yīng)用場(chǎng)景4.1數(shù)據(jù)匯聚與共享客戶群體：面向政府和中小型企業(yè)，數(shù)據(jù)規(guī)模有限，主要離線場(chǎng)景，使用場(chǎng)景相對(duì)簡(jiǎn)單對(duì)數(shù)據(jù)進(jìn)行處理和加工，然后數(shù)據(jù)統(tǒng)一存儲(chǔ)在大數(shù)據(jù)引擎中，同時(shí)大數(shù)務(wù)，當(dāng)數(shù)據(jù)規(guī)?；驑I(yè)務(wù)場(chǎng)景需要時(shí)在增加企業(yè)級(jí)大數(shù)據(jù)4.2數(shù)倉(cāng)集市與分析客戶群體：主要面向政府、大中小型企業(yè)數(shù)倉(cāng)分層設(shè)計(jì)和指標(biāo)模型的構(gòu)建，然后通過(guò)WeData對(duì)數(shù)據(jù)任務(wù)進(jìn)行開發(fā)和編排，在引擎層4.3內(nèi)容搜索與分析客戶群體：所有結(jié)合TBDS-ES/Hermes提供的搜索分析引4.4政企數(shù)據(jù)中臺(tái)建設(shè)客戶群體：主要面向政府、中小企業(yè)的三種大數(shù)據(jù)引擎方案，為數(shù)據(jù)資產(chǎn)和數(shù)據(jù)應(yīng)用提供統(tǒng)一的數(shù)據(jù)4.5實(shí)時(shí)數(shù)據(jù)處理分析客戶群體：主要面向大中小型企業(yè)4.6企業(yè)CDH遷移客戶群體：大中小型企業(yè)解決方案：1)數(shù)據(jù)集成：通過(guò)統(tǒng)一集成工具、統(tǒng)一任務(wù)調(diào)度、統(tǒng)一數(shù)據(jù)管理等能力對(duì)數(shù)據(jù)集5)大數(shù)據(jù)應(yīng)用開發(fā)：可選擇內(nèi)置大數(shù)據(jù)開發(fā)套件WeData和DataInsight增加數(shù)據(jù)開發(fā)、開附錄A更多資源騰訊大數(shù)據(jù)云平臺(tái)T附錄A更多資源5.1某農(nóng)商行數(shù)據(jù)中臺(tái)項(xiàng)目5.2中國(guó)銀行大數(shù)據(jù)平臺(tái)及數(shù)據(jù)湖項(xiàng)目大數(shù)據(jù)可視化分析探索，最大程度地釋放數(shù)據(jù)的流動(dòng)性和挖掘數(shù)據(jù)的騰訊大數(shù)據(jù)云平臺(tái)TBDS產(chǎn)品白皮書附錄A更多資源統(tǒng)一數(shù)據(jù)分析層、展現(xiàn)層、數(shù)據(jù)沙箱等探索提供平臺(tái)支撐，也為沉淀和附錄A更多資源騰訊大數(shù)據(jù)云平臺(tái)T附錄A更多資源6.1產(chǎn)品能力全面支持信創(chuàng)國(guó)產(chǎn)化生態(tài)，已涵蓋國(guó)產(chǎn)化芯片、操作系統(tǒng)6.2信創(chuàng)資質(zhì)榮獲信息中心技術(shù)創(chuàng)新應(yīng)用協(xié)作組和工業(yè)和信息化6.3兼容認(rèn)證6.4客戶案例6.4.1案例背景6.4.2解決方案項(xiàng)目全面整合行內(nèi)外數(shù)據(jù)同時(shí)對(duì)系統(tǒng)和業(yè)務(wù)進(jìn)行優(yōu)化，實(shí)現(xiàn)全行數(shù)據(jù)互聯(lián)互通、統(tǒng)一數(shù)7產(chǎn)品接口人harryhuo（東西區(qū))norrishuang（南區(qū))rogerlv（北區(qū))產(chǎn)品運(yùn)營(yíng)（行業(yè)合作)產(chǎn)品運(yùn)營(yíng)（渠道被集成)8部署資源說(shuō)明8.1企業(yè)級(jí)大數(shù)據(jù)底座/實(shí)時(shí)數(shù)據(jù)湖1、節(jié)點(diǎn)個(gè)數(shù)=用戶數(shù)據(jù)量（TB)*1.3（預(yù)留空間/數(shù)據(jù)膨脹)*0.5（壓縮比)*3（副本數(shù))/（壓縮比)*3(副本數(shù))/30TB（假設(shè)機(jī)器裸磁盤空間)≈7個(gè)工作節(jié)點(diǎn)。2、企業(yè)級(jí)大數(shù)據(jù)底座生產(chǎn)環(huán)境建議≥6個(gè)節(jié)點(diǎn)3、實(shí)時(shí)數(shù)據(jù)湖生產(chǎn)環(huán)境建議≥10個(gè)節(jié)點(diǎn)1、節(jié)點(diǎn)個(gè)