騰訊云TDSQL構(gòu)建高效、可靠的數(shù)據(jù)庫(kù)新生態(tài)

騰訊云TDSQL構(gòu)建高效、可靠的數(shù)據(jù)庫(kù)新生態(tài)TDSQL發(fā)展歷史2.0時(shí)代：承接互聯(lián)網(wǎng)洪峰的云數(shù)據(jù)庫(kù)1.0時(shí)代：2.0時(shí)代：承接互聯(lián)網(wǎng)洪峰的云數(shù)據(jù)庫(kù)1.0時(shí)代：支撐內(nèi)部應(yīng)用的產(chǎn)品數(shù)據(jù)庫(kù)云上云下架構(gòu)同源的國(guó)產(chǎn)數(shù)據(jù)庫(kù)TDSQL1.0發(fā)布TDSQL1.0發(fā)布2017年2018年2002年2007年2012年2015年2020年2022年2023年 2017年2018年2002年2007年2012年2015年2020年2022年2023年數(shù)據(jù)庫(kù)團(tuán)隊(duì)成立TDSQL金融級(jí)分布式數(shù)據(jù)庫(kù)發(fā)布，TDSQL在各行各業(yè)已經(jīng)被廣泛使用目前TDSQL可基本滿(mǎn)足銀行核心交易政務(wù)政務(wù)TDSQL被廣泛選擇的原因TDSQL首批通過(guò)《安可》和《政府采購(gòu)標(biāo)準(zhǔn)》，是滿(mǎn)足信息技術(shù)融合創(chuàng)新標(biāo)準(zhǔn)的國(guó)產(chǎn)數(shù)據(jù)庫(kù)?首批通過(guò)集中式數(shù)據(jù)庫(kù)安可認(rèn)證?代表國(guó)家認(rèn)可的供應(yīng)鏈安全可靠，不受制裁影響廠?財(cái)政部發(fā)文并配套附件提出數(shù)據(jù)庫(kù)要求標(biāo)準(zhǔn)?工信部直屬機(jī)構(gòu)組織測(cè)試并出具報(bào)告?集中式+分布式均通過(guò)認(rèn)證廠TDSQL是騰訊集團(tuán)的戰(zhàn)略產(chǎn)品，支撐微信等國(guó)民應(yīng)用，有極強(qiáng)的持續(xù)運(yùn)營(yíng)能力可持續(xù)運(yùn)營(yíng)的國(guó)產(chǎn)數(shù)據(jù)庫(kù)TDSQLTDSQL提前10年布局自研能力堅(jiān)持走自研路線?2013年開(kāi)始，騰訊就提出“自研產(chǎn)品”的布局，TDSQL已外部支撐應(yīng)用TDSQLTDSQL連續(xù)多年入選集團(tuán)財(cái)報(bào)TDSQL架構(gòu)云上云下同源，是擁有最大“練兵場(chǎng)”的國(guó)產(chǎn)數(shù)據(jù)庫(kù)，做質(zhì)量?jī)?yōu)先的可靠國(guó)產(chǎn)數(shù)據(jù)庫(kù)可靠的國(guó)產(chǎn)數(shù)據(jù)庫(kù)客戶(hù)場(chǎng)景演練長(zhǎng)穩(wěn)性能回歸可靠的國(guó)產(chǎn)數(shù)據(jù)庫(kù)客戶(hù)場(chǎng)景演練長(zhǎng)穩(wěn)性能回歸功能兼容性架構(gòu)同源架構(gòu)同源1000客戶(hù)1000客戶(hù)20+30萬(wàn)實(shí)例安全性專(zhuān)有集群公有集群專(zhuān)有集群公有集群TDSQL擁有世界領(lǐng)先的事務(wù)處理能力，優(yōu)異的性?xún)r(jià)比，也符合“降本增效”的大方向廠廠廠廠構(gòu)建了業(yè)界最大的分布式數(shù)據(jù)庫(kù)集群（1650臺(tái)性能刷新世界記錄（8.148億tpmC平均時(shí)延和90分位時(shí)延領(lǐng)先其他廠商。在30小時(shí)的持續(xù)壓測(cè)過(guò)程中，tpmC的波動(dòng)率一直處于0.2%以下（標(biāo)準(zhǔn)是要求2%以?xún)?nèi))。②卓越的高可用和分布式容災(zāi)能力②卓越的高可用和分布式容災(zāi)能力1個(gè)小時(shí)的容災(zāi)場(chǎng)景測(cè)試，進(jìn)行了2次隨機(jī)斷電物理機(jī)器和1次destroy騰訊云實(shí)例的模擬故障，模擬故障之后，18秒完成HA切換，大盤(pán)整體影響微乎其微。③非常顯著的成本優(yōu)勢(shì)（性?xún)r(jià)比）③非常顯著的成本優(yōu)勢(shì)（性?xún)r(jià)比）通過(guò)持續(xù)的軟硬件協(xié)同，自動(dòng)化，規(guī)?；倪\(yùn)營(yíng)能力，使得單tpmC的價(jià)格接近同類(lèi)產(chǎn)品的1/3。TDSQL經(jīng)過(guò)多年的內(nèi)核積累，有大量獨(dú)有且符合各個(gè)行業(yè)的實(shí)用功能類(lèi)特性功能類(lèi)特性功能類(lèi)特性功能類(lèi)特性性能類(lèi)特性性能類(lèi)特性性能類(lèi)特性熱點(diǎn)秒殺安全審計(jì)透明數(shù)據(jù)加密列壓縮并行查詢(xún)大事務(wù)復(fù)制Binlog組提交鎖TDSQL內(nèi)核能力特性拆鎖降沖突，高并發(fā)寫(xiě)入性能提升15%審計(jì)能確保實(shí)例性能近乎不受影響，性能損耗最高僅有不到3%KMS采用的是兩層密鑰體系，涉及兩類(lèi)密鑰，確保數(shù)據(jù)在內(nèi)存和文件中都進(jìn)行加密針對(duì)大字段壓縮效果4倍以上壓縮比，能顯著節(jié)約內(nèi)存和磁盤(pán)空間利用并行查詢(xún)能力，調(diào)動(dòng)多核計(jì)算資源，大幅縮短大查詢(xún)響應(yīng)時(shí)間update場(chǎng)景復(fù)制時(shí)間減少85%，insert場(chǎng)景減少約30%全局鎖改局部鎖，高并發(fā)寫(xiě)入性能提升19%對(duì)點(diǎn)查的SQL，延遲性能提升20%-30%，吞吐性能提升20%-性能類(lèi)特性對(duì)點(diǎn)查的SQL，延遲性能提升20%-30%，吞吐性能提升20%- 運(yùn)營(yíng)類(lèi)特性秒級(jí)更改列只會(huì)在數(shù)據(jù)字典表中記錄列修改信息，避免更改列時(shí)做的數(shù)據(jù)拷貝運(yùn)營(yíng)類(lèi)特性SQL限流通過(guò)關(guān)鍵字的設(shè)置，限制特定SL同一時(shí)間內(nèi)可并發(fā)執(zhí)行的并發(fā)運(yùn)營(yíng)類(lèi)特性閃回查詢(xún)僅需通過(guò)簡(jiǎn)單的SQL語(yǔ)句即可查詢(xún)誤操作前的歷史數(shù)據(jù)運(yùn)營(yíng)類(lèi)特性閃回查詢(xún) 運(yùn)營(yíng)類(lèi)特性異步刪除大表在刪除表時(shí)，為表的數(shù)據(jù)文件在另外一個(gè)目錄中創(chuàng)建一個(gè)硬連接客戶(hù)客戶(hù)：有符合各個(gè)行業(yè)的實(shí)用關(guān)鍵特性?熱點(diǎn)秒殺：電商，游戲等需要頻繁熱點(diǎn)更新場(chǎng)景?安全審計(jì)：金融等行業(yè)有審計(jì)的需求場(chǎng)景?透明數(shù)據(jù)加密：銀行、保險(xiǎn)等對(duì)靜態(tài)數(shù)據(jù)加密合規(guī)性要求?字段壓縮：日志記錄、傳輸數(shù)據(jù)量大需要壓縮等場(chǎng)景業(yè)務(wù)業(yè)務(wù)：提供強(qiáng)大的內(nèi)核能力，保證性能最佳特性?并行查詢(xún)：大表查詢(xún)、報(bào)表統(tǒng)計(jì)或者其他分析查詢(xún)等?大事務(wù)復(fù)制：對(duì)row模式下存在大事務(wù)，復(fù)制較慢的場(chǎng)景?計(jì)劃緩存點(diǎn)查優(yōu)化：對(duì)于線上短小點(diǎn)查詢(xún)較多，且使用preparestatement模式時(shí)，應(yīng)用有性能上的提升運(yùn)維運(yùn)維：為DBA提供智能化、精細(xì)化的運(yùn)營(yíng)特性?秒級(jí)更改列：需要對(duì)數(shù)據(jù)量大的表進(jìn)行更改列操作場(chǎng)景?SQL限流：針對(duì)某些并發(fā)量大、占用資源、導(dǎo)致數(shù)據(jù)庫(kù)性能下降的SQL限流場(chǎng)景?異步刪除大表：該功能主要用于刪除數(shù)據(jù)文件很大的表，避免IO的抖動(dòng)。?閃回查詢(xún)：誤操作需要快速恢復(fù)業(yè)務(wù)等場(chǎng)景TDSQL基于代價(jià)路由的HTAP能力，真正的“記、算”一體智能計(jì)算引擎與行列混存架構(gòu)智能計(jì)算引擎與行列混存架構(gòu)SQLEngineSQLEngineSQLEngineSQLEngineTP處理層AP插件CDC2CDC2行式存儲(chǔ)行式存儲(chǔ)行式存儲(chǔ)行式存儲(chǔ)列式存儲(chǔ)列式存儲(chǔ)!!!支付業(yè)務(wù)訂單信息支付業(yè)務(wù)訂單信息交易業(yè)務(wù)用戶(hù)信息消息業(yè)務(wù)賬戶(hù)系統(tǒng)數(shù)據(jù)跑批交易對(duì)賬數(shù)據(jù)可視化數(shù)據(jù)分析數(shù)據(jù)歸檔深度分析TDSQLTDSQLHTAP的性能處于第一梯隊(duì)水平5+能力突破10x導(dǎo)入導(dǎo)出效率TDSQLTDSQLHTAP數(shù)百倍混合負(fù)載查詢(xún)性能?通過(guò)HTAP智能優(yōu)化器，所有SQL均未調(diào)優(yōu)，直接遷移上線，極大降低遷移成本TDSQL有優(yōu)秀的Oracle、SQLServer兼容能力，且在多個(gè)核心復(fù)雜系統(tǒng)經(jīng)過(guò)驗(yàn)證TDSQL的Oracle兼容性能力已經(jīng)達(dá)到96%TDSQL的Oracle兼容性能力已經(jīng)達(dá)到96%，持續(xù)迭代中。TDSQL的SQLServer兼容性能力已經(jīng)達(dá)到95%，持續(xù)迭代中。測(cè)試用例分類(lèi)TDSQL2024年H！1OracleSQL兼容性96%96%HTAP性能（多表關(guān)聯(lián)）0.3小時(shí)OLTP性能（TPCC）168萬(wàn)tpmC并軌兜底方案95%測(cè)試用例分類(lèi)TDSQL2024年H！1SQLServerSQL兼容性SQLServerSQL兼容性產(chǎn)品支持HTAP性能（TPCH1T）95%多節(jié)點(diǎn)讀寫(xiě)分離4minTDSQL強(qiáng)大的智能化管控、運(yùn)維系統(tǒng)。極大提高管理人效，降低運(yùn)維門(mén)檻4萬(wàn)+4萬(wàn)+8個(gè)人運(yùn)維30萬(wàn)+的線上實(shí)例提供數(shù)據(jù)庫(kù)自治云服務(wù)能力提供一站式遷移解決方案數(shù)據(jù)庫(kù)實(shí)時(shí)監(jiān)控告警會(huì)話實(shí)時(shí)管理與空間探查全方位診斷優(yōu)化智能巡檢與健康報(bào)告支持全量數(shù)據(jù)審計(jì)，便于溯源支持多種資產(chǎn)場(chǎng)景全量數(shù)據(jù)審計(jì)提供周期性的統(tǒng)計(jì)報(bào)告為數(shù)據(jù)庫(kù)安全提供更為精準(zhǔn)的威脅分析和告警提供完善的數(shù)據(jù)庫(kù)安全審計(jì)能力DBbrainDBbridgeTDSQL生態(tài)T-SecCloudDBAssistantT-Sec支持多種關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)遷移構(gòu)建數(shù)據(jù)庫(kù)容災(zāi)架構(gòu)實(shí)時(shí)數(shù)據(jù)傳輸為下游提供數(shù)據(jù)分析數(shù)據(jù)互聯(lián)互通，數(shù)據(jù)治理等監(jiān)控指標(biāo)智能分析Q&A機(jī)器人提供數(shù)據(jù)庫(kù)運(yùn)維知識(shí)庫(kù)幫助學(xué)習(xí)數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí)等利用AI賦能數(shù)據(jù)庫(kù)運(yùn)維管理ApplicationCompilerCompilerKernelThreadSchedulerNetworkThreadSchedulerNetworkStackVirtualMemoryFileSystems案例Hardwares案例Hardwares編譯優(yōu)化：循環(huán)優(yōu)化、LTO、PGO等系統(tǒng)參數(shù)調(diào)優(yōu)：NUMA內(nèi)存自動(dòng)均衡、網(wǎng)絡(luò)中斷重綁定、開(kāi)啟/關(guān)閉網(wǎng)絡(luò)RPS、利用HugePages等軟硬件協(xié)同優(yōu)化：充分利用CRC32、LSE、AVX等硬件特性TPSTPS提升~14%CPUCPU使用率降低~30%ARMARM平臺(tái)提升~34%ARMARM平臺(tái)