騰訊云-TDSQL分布式數(shù)據(jù)庫服務概述

1、TDSQL分布式數(shù)據(jù)庫服務產品概述目 錄 TOC o 1-3 h z u HYPERLINK l _Toc31988298 產品簡介產品概述 PAGEREF _Toc31988298 h 4 HYPERLINK l _Toc31988299 簡介 PAGEREF _Toc31988299 h 4 HYPERLINK l _Toc31988300 解決問題 PAGEREF _Toc31988300 h 4 HYPERLINK l _Toc31988301 單機數(shù)據(jù)庫瓶頸 PAGEREF _Toc31988301 h 4 HYPERLINK l _Toc31988302 應用層分片開發(fā)工作量大 P

2、AGEREF _Toc31988302 h 4 HYPERLINK l _Toc31988303 開源方案或 NoSQL 難題 PAGEREF _Toc31988303 h 4 HYPERLINK l _Toc31988304 產品優(yōu)勢 PAGEREF _Toc31988304 h 6 HYPERLINK l _Toc31988305 超高性能 PAGEREF _Toc31988305 h 6 HYPERLINK l _Toc31988306 專業(yè)可靠 PAGEREF _Toc31988306 h 6 HYPERLINK l _Toc31988307 簡單易用 PAGEREF _Toc3198

3、8307 h 6 HYPERLINK l _Toc31988308 應用場景 PAGEREF _Toc31988308 h 7 HYPERLINK l _Toc31988309 大型應用（超高并發(fā)實時交易場景） PAGEREF _Toc31988309 h 7 HYPERLINK l _Toc31988310 物聯(lián)網(wǎng)數(shù)據(jù)（PB 級數(shù)據(jù)存儲訪問場景） PAGEREF _Toc31988310 h 7 HYPERLINK l _Toc31988311 文件索引（萬億行數(shù)據(jù)毫秒級存?。?PAGEREF _Toc31988311 h 7 HYPERLINK l _Toc31988312 高性價比商業(yè)數(shù)

4、據(jù)庫解決方案 PAGEREF _Toc31988312 h 7 HYPERLINK l _Toc31988313 基本原理水平分表 PAGEREF _Toc31988313 h 9 HYPERLINK l _Toc31988314 概述 PAGEREF _Toc31988314 h 9 HYPERLINK l _Toc31988315 水平切分 PAGEREF _Toc31988315 h 9 HYPERLINK l _Toc31988316 寫入數(shù)據(jù)（ SQL 語句含有 shardkey ） PAGEREF _Toc31988316 h 11 HYPERLINK l _Toc31988317

5、 數(shù)據(jù)聚合 PAGEREF _Toc31988317 h 12 HYPERLINK l _Toc31988318 讀取數(shù)據(jù)（有明確 shardkey 值） PAGEREF _Toc31988318 h 12 HYPERLINK l _Toc31988319 讀取數(shù)據(jù)（無明確 shardkey 值） PAGEREF _Toc31988319 h 12 HYPERLINK l _Toc31988320 讀寫分離 PAGEREF _Toc31988320 h 14 HYPERLINK l _Toc31988321 功能簡介 PAGEREF _Toc31988321 h 14 HYPERLINK l

6、_Toc31988322 基本原理 PAGEREF _Toc31988322 h 14 HYPERLINK l _Toc31988323 只讀賬號 PAGEREF _Toc31988323 h 14 HYPERLINK l _Toc31988324 彈性拓展 PAGEREF _Toc31988324 h 15 HYPERLINK l _Toc31988325 概述 PAGEREF _Toc31988325 h 15 HYPERLINK l _Toc31988326 擴容過程 PAGEREF _Toc31988326 h 15 HYPERLINK l _Toc31988327 新增分片擴容 PA

7、GEREF _Toc31988327 h 15 HYPERLINK l _Toc31988328 現(xiàn)有分片擴容 PAGEREF _Toc31988328 h 15 HYPERLINK l _Toc31988329 強同步 PAGEREF _Toc31988329 h 17 HYPERLINK l _Toc31988330 背景 PAGEREF _Toc31988330 h 17 HYPERLINK l _Toc31988331 存在問題 PAGEREF _Toc31988331 h 17 HYPERLINK l _Toc31988332 解決方案 PAGEREF _Toc31988332 h

8、17 HYPERLINK l _Toc31988333 實例架構 PAGEREF _Toc31988333 h 19 HYPERLINK l _Toc31988334 地域選擇 PAGEREF _Toc31988334 h 20產品簡介產品概述19-11-19 10:36:08簡介分布式數(shù)據(jù)庫 TDSQL（TencentDB for TDSQL，TDSQL）是部署在騰訊云上的一種支持自動水平拆分、Shared Nothing 架構的分布式數(shù)據(jù)庫。分布式數(shù)據(jù)庫即業(yè)務獲取的是完整的邏輯庫表，而后端會將庫表均勻的拆分到多個物理分片節(jié)點。TDSQL 默認部署主備架構，提供容災、備份、恢復、監(jiān)控、遷移等

9、全套解決方案，適用于 TB 或 PB 級的海量數(shù)據(jù)庫場景。解決問題單機數(shù)據(jù)庫瓶頸面對互聯(lián)網(wǎng)類業(yè)務百萬級以上的用戶量，單機數(shù)據(jù)庫由于硬件和軟件的限制，數(shù)據(jù)庫在數(shù)據(jù)存儲容量、訪問容量、容災等方面都會隨著業(yè)務的增長而到達瓶頸。TDSQL 目前單分片最大可支持6TB存儲，如果性能或容量不足以支撐業(yè)務發(fā)展時，在控制臺自動升級擴容。升級過程中，您無需關心分布式系統(tǒng)內的數(shù)據(jù)遷移，均衡和路由切換。升級完成后訪問 IP 不變，僅在自動切換時存在秒級閃斷，您僅需確保有重連機制即可。應用層分片開發(fā)工作量大應用層分片將業(yè)務邏輯和數(shù)據(jù)庫邏輯高度耦合，給當前業(yè)務快速迭代帶來極大的開發(fā)工作量?；?TDSQL 透明自動拆分

10、的方案，開發(fā)者只需要在第一次接入時修改代碼，后續(xù)迭代無需過多關注數(shù)據(jù)庫邏輯，可以極大減少開發(fā)工作量。開源方案或 NoSQL 難題選擇開源或 NoSQL 產品也能夠解決數(shù)據(jù)庫瓶頸，這些產品免費或者費用相對較低，但可能有如下問題：產品 bug 修復取決于社區(qū)進度。您的團隊是否有能持續(xù)維護該產品的人，且不會因為人事變動而影響項目。關聯(lián)系統(tǒng)是否做好準備。您的業(yè)務重心是什么，投入資源來保障開源產品的資源管控和生命周期管理、分布式邏輯、高可用部署和切換、容災備份、自助運維、疑難排查等是否是您的業(yè)務指標。TDSQL 支持 Web 控制臺，提供完善的數(shù)據(jù)備份、容災、一鍵升級等功能，完善的監(jiān)控和報警體系，大部分

11、故障都通過自動化程序處理恢復。產品優(yōu)勢19-09-27 16:20:57超高性能單分片最大性能可達超24萬 QPS，整個實例性能隨著分片數(shù)量增加線性擴展。不存在中間件 + 數(shù)據(jù)庫方案中的性能瓶頸，即 TProxy 也可以做線性擴展。強同步性能與異步同步相當，能讓您在數(shù)據(jù)不丟失的情況下，也擁有較高的性能。專業(yè)可靠經過騰訊各類核心業(yè)務10余年大規(guī)模產品的驗證，包括社交、電商、支付、音視頻等。提供完善的數(shù)據(jù)備份、容災、一鍵升級等功能。完善的監(jiān)控和報警體系，大部分故障都通過自動化程序處理恢復。支持分布式數(shù)據(jù)庫領域領先功能，如分布式多表 JOIN、小表廣播、分布式事務、SQL 透傳等。簡單易用除少量語法

12、與原生 MySQL、MariaDB 不同外，使用起來如使用單機數(shù)據(jù)庫，分片過程對業(yè)務透明且無需干預。兼容 MySQL 協(xié)議（支持 MySQL、MariaDB 等內核）。支持 Web 控制臺，讀寫分離能力、專有運維管理指令等。應用場景19-09-27 16:01:29說明：說明：TDSQL 目前僅適用于 OLTP 場景的業(yè)務，例如，交易系統(tǒng)、前臺系統(tǒng)；不適用于 ERP、BI 等存在大量 OLAP 業(yè)務的系統(tǒng)。大型應用（超高并發(fā)實時交易場景）電商、金融、O2O、社交應用、零售、SaaS 服務提供商，普遍存在用戶基數(shù)大（百萬級或以上）、營銷活動頻繁、核心交易系統(tǒng)數(shù)據(jù)庫響應日益變慢的問題，制約業(yè)務發(fā)展

13、。TDSQL 提供線性水平擴展能力，能夠實時提升數(shù)據(jù)庫處理能力，提高訪問效率，峰值 QPS 達1500萬+，輕松應對高并發(fā)的實時交易場景。微信支付、財付通、騰訊充值等都是使用的 TDSQL 架構的數(shù)據(jù)庫。物聯(lián)網(wǎng)數(shù)據(jù)（PB 級數(shù)據(jù)存儲訪問場景）在工業(yè)監(jiān)控和遠程控制、智慧城市的延展、智能家居、車聯(lián)網(wǎng)等物聯(lián)網(wǎng)場景下，傳感監(jiān)控設備多、采樣率高、數(shù)據(jù)PBEBTDSQLtokudb（相對于共享存儲方案）存儲海量數(shù)據(jù)。文件索引（萬億行數(shù)據(jù)毫秒級存?。┮话銇碚f，作為云服務平臺，存在大量的圖片、文檔、視頻數(shù)據(jù)，數(shù)據(jù)量都在億級 - 萬億級，服務平臺通常需要將這些文件的索引存入數(shù)據(jù)庫，并在索引層面提供實時的新增、修

14、改、讀取、刪除操作。由于服務平臺承載著其他客戶的訪問，服務質量和性能要求極高。傳統(tǒng)數(shù)據(jù)庫無法支撐如此規(guī)模的訪問和使用， TDSQL 超高性能和擴展能力并配合強同步能力，有效的保證平臺服務質量和數(shù)據(jù)一致性。高性價比商業(yè)數(shù)據(jù)庫解決方案政務機構、大型企業(yè)、銀行等行業(yè)為了支持大規(guī)模數(shù)據(jù)存儲和高并發(fā)數(shù)據(jù)庫訪問，對小型機和高端存儲依賴極強。而互聯(lián)網(wǎng)企業(yè)通過低成本 x86 服務器和開源軟件即可做到商業(yè)數(shù)據(jù)庫相同甚至更高的能力。TDSQL 適用于諸如國家級或省級業(yè)務系統(tǒng)匯聚、大型企業(yè)電商和渠道平臺、銀行的互聯(lián)網(wǎng)業(yè)務和交易系統(tǒng)等場景?；驹硭椒直?9-11-06 17:57:36概述水平拆分方案，實際上是分

15、布式數(shù)據(jù)庫的基礎原理，他的每個節(jié)點都參與計算和數(shù)據(jù)存儲，且每個節(jié)點都僅計算和存儲一部分數(shù)據(jù)。因此，無論業(yè)務的規(guī)模如何增長，我們僅需要在分布式集群中不斷的添加設備，用新設備去應對增長的計算和存儲需要即可。水平切分水平切分（分表）：是按照某種規(guī)則，將一個表的數(shù)據(jù)分散到多個物理獨立的數(shù)據(jù)庫服務器中，形成“獨立”的數(shù)據(jù)庫“分片”。多個分片共同組成一個邏輯完整的數(shù)據(jù)庫實例。常規(guī)的單機數(shù)據(jù)庫中，一張完整的表僅在一個物理存儲設備上讀寫。分布式數(shù)據(jù)庫中，根據(jù)在建表時設定的分表鍵，系統(tǒng)將根據(jù)不同分表鍵自動分布到不同的物理分片中，但邏輯上仍然是一張完整的表。在 TDSQL 中，數(shù)據(jù)的切分通常就需要找到一個分表鍵（

16、shardkey）以確定拆分維度，再采用某個字段求模（HASH）的方案進行分表，而計算 HASH 的某個字段就是 shardkey。 HASH 算法能夠基本保證數(shù)據(jù)相對均勻地分散在不同的物理設備中。寫入數(shù)據(jù)（ SQL 語句含有 shardkey ）業(yè)務寫入一行數(shù)據(jù)。shardkeyhash。hash 值范圍對應不同的分片（調度系統(tǒng)預先分片的算法決定）。數(shù)據(jù)根據(jù)分片算法，將數(shù)據(jù)存入實際對應的分片中。數(shù)據(jù)聚合數(shù)據(jù)聚合：如果一個查詢 SQL 語句的數(shù)據(jù)涉及到多個分表，此時 SQL 會被路由到多個分表執(zhí)行，TDSQL 會將各個分表返回的數(shù)據(jù)按照原始 SQL 語義進行合并，并將最終結果返回給用戶。注意：

17、注意：執(zhí)行 SELECT 語句時，建議您在 where 條件帶上 shardKey 字段，否則會導致數(shù)據(jù)需要全表掃描然后網(wǎng)關才對執(zhí)行結果進行聚合。全表掃描響應較慢，對性能影響很大。讀取數(shù)據(jù)（有明確 shardkey 值）selectshardkeyshardkeyhash。hash 值范圍對應不同的分片。數(shù)據(jù)根據(jù)分片算法，將數(shù)據(jù)從對應的分片中取出。讀取數(shù)據(jù)（無明確 shardkey 值）selectshardkeyProxyProxy讀寫分離19-11-04 19:57:56功能簡介當處理大數(shù)據(jù)量讀請求的壓力大、要求高時，可以通過讀寫分離功能將讀的壓力分布到各個從節(jié)點上。TDSQL 默認支持讀

18、寫分離功能，架構中的每個從機都能支持只讀能力，如果配置有多個從機，將由網(wǎng)關集群（TProxy）自動分配到低負載從機上，以支撐大型應用程序的讀取流量?；驹碜x寫分離基本的原理是讓主節(jié)點（Master）處理事務性增、改、刪操作（INSERT、UPDATE、DELETE），讓從節(jié)點（Slave）處理查詢操作（SELECT）。只讀賬號只讀帳號是一類僅有讀權限的帳號，默認從數(shù)據(jù)庫集群中的從機（或只讀實例）中讀取數(shù)據(jù)。通過只讀帳號，對讀請求自動發(fā)送到備機，并返回結果。彈性拓展19-09-27 16:08:06概述TDSQL 支持在線實時擴容，擴容方式分為新增分片和現(xiàn)有分片擴容兩種方式，整個擴容過程對業(yè)務

19、完全透明，無需業(yè)務停機。擴容時僅部分分片存在秒級的只讀或中斷，整個集群不會受影響。擴容過程TDSQL 主要是采用自研的自動再均衡技術保證自動化的擴容和穩(wěn)定。新增分片擴容A 節(jié)點（實際上可能影響多個節(jié)點）存在瓶頸。GA 節(jié)點部分數(shù)據(jù)搬遷（從備機）G數(shù)據(jù)完全同步后，A、Gproxy現(xiàn)有分片擴容基于現(xiàn)有分片的擴容相當于更換了一塊更大容量的物理分片。說明：說明：基于現(xiàn)有分片的擴容沒有增加分片，不會改變劃分分片的邏輯規(guī)則和分片數(shù)量。按需要升級的配置分配一個新的物理分片（以下簡稱新分片）。將需要升級的物理分片（以下簡稱老分片）的數(shù)據(jù)、配置等同步數(shù)據(jù)到新分片中。同步數(shù)據(jù)完成后，在騰訊云網(wǎng)關做路由切換，切換到

20、新分片繼續(xù)使用。強同步19-10-16 18:04:35背景傳統(tǒng)數(shù)據(jù)復制方式有如下三種：異步復制：應用發(fā)起更新請求，主節(jié)點（Master） 完成相應操作后立即響應應用，Master 向從節(jié)點（Slave）異步復制數(shù)據(jù)。強同步復制：應用發(fā)起更新請求，Master 完成操作后向 Slave 復制數(shù)據(jù)，Slave 接收到數(shù)據(jù)后向 Master 返回成功信息，Master 接到 Slave 的反饋后再應答給應用。Master 向 Slave 復制數(shù)據(jù)是同步進行的。半同步復制：正常情況下數(shù)據(jù)復制方式采用強同步復制方式，當 Master 向 Slave 復制數(shù)據(jù)出現(xiàn)異常的時候（Slave 不可用或者雙節(jié)點

21、間的網(wǎng)絡異常）退化成異步復制。當異?；謴秃?，異步復制會恢復成強同步復制。存在問題當 Master 或 Slave 不可用時，以上三種傳統(tǒng)數(shù)據(jù)復制方式均有幾率引起數(shù)據(jù)不一致。數(shù)據(jù)庫作為系統(tǒng)數(shù)據(jù)存儲和服務的核心能力，其可用性要求非常高。在生產系統(tǒng)中，通常都需要用高可用方案來保證系統(tǒng)不間斷運行，而數(shù)據(jù)同步技術是數(shù)據(jù)庫高可用方案的基礎。解決方案MAR 強同步復制方案是騰訊自主研發(fā)的基于 MySQL 協(xié)議的異步多線程強同步復制方案，只有當備機數(shù)據(jù)完全同步（日志）后，才由主機給予應用事務應答，保障數(shù)據(jù)正確安全。原理示意圖如下：MAR 強同步方案在性能上優(yōu)于其他主流同步方案，具體數(shù)據(jù)詳情可參見 HYPERLINK /document/product/557/10105 強同步性能對比數(shù)據(jù)。主要特點如下：一致性的同步復制，保證節(jié)點間數(shù)據(jù)強一致性。對業(yè)務層面完全透明，業(yè)務層面無需做讀寫分離或同步強化工作。將串行同步線程異步化，引入線程池能力，大幅度提高性能。支持