淘寶數(shù)據(jù)庫(kù)架構(gòu)演進(jìn)過程

淘寶數(shù)據(jù)庫(kù)架構(gòu)演進(jìn)過程提綱淘寶數(shù)據(jù)庫(kù)開展的三個(gè)階段用戶，商品，交易現(xiàn)在的架構(gòu)2021雙11大促的挑戰(zhàn)MySQL源代碼研究的一些思路淘寶自主數(shù)據(jù)庫(kù)Oceanbase原理介紹淘寶的數(shù)據(jù)很美麗淘寶數(shù)據(jù)庫(kù)開展三階段SQL語(yǔ)句變化多表關(guān)聯(lián)Join單表復(fù)雜查詢主鍵查詢SQL語(yǔ)句復(fù)雜程度由繁到簡(jiǎn)的過程，折射出淘寶數(shù)據(jù)架構(gòu)的一些變化。淘寶電子商務(wù)網(wǎng)站的特點(diǎn)高并發(fā)，PV13億，光棍節(jié)促銷PV到達(dá)了17億數(shù)據(jù)實(shí)時(shí)性要求高數(shù)據(jù)準(zhǔn)確性要求高大多數(shù)頁(yè)面屬于動(dòng)態(tài)網(wǎng)頁(yè)網(wǎng)站需要大量商品圖片展示用戶通過搜索引擎，廣告，類目導(dǎo)航尋找商品網(wǎng)站讀多寫少，比例超過10:1賣家相關(guān)的數(shù)據(jù)量較大，比方商品數(shù)，評(píng)價(jià)數(shù)業(yè)務(wù)量快速增長(zhǎng)不同的時(shí)期，不同的策略正是因?yàn)槿缟系臉I(yè)務(wù)特點(diǎn)：早期的淘寶前端應(yīng)用系統(tǒng)，嚴(yán)重依賴于數(shù)據(jù)庫(kù)系統(tǒng)早期單機(jī)式的mysql的使用方式，在業(yè)務(wù)的高速開展下，很快到達(dá)瓶頸Mysql遷移到Oracle，并升級(jí)到小型機(jī)，高端存儲(chǔ)后，幾年的時(shí)間里，滿足了淘寶業(yè)務(wù)快速變化開展的需要。我們的業(yè)務(wù)開展很快，但我們的技術(shù)沒有成長(zhǎng)數(shù)據(jù)庫(kù)里的數(shù)據(jù)第一，二階段的單臺(tái)數(shù)據(jù)庫(kù)里，用戶，商品，交易等數(shù)據(jù)都在一起，存在許多的關(guān)聯(lián)查詢，應(yīng)用完全耦合用戶商品交易評(píng)價(jià)收藏連接數(shù)問題Oracle數(shù)據(jù)庫(kù)太多的應(yīng)用機(jī)器有限的鏈接池需要數(shù)據(jù)庫(kù)連接小型機(jī)的內(nèi)存有限，發(fā)現(xiàn)了Oracle數(shù)據(jù)庫(kù)有連接數(shù)瓶頸，5000個(gè)以后相當(dāng)吃力。中心化，效勞化用戶，商品，交易三大中心的建設(shè)HSF的誕生中心化后面臨另一個(gè)問題，效勞調(diào)用者，與效勞者之間如何進(jìn)行遠(yuǎn)程通信，淘寶HSF誕生,數(shù)據(jù)庫(kù)一些OLTPjoin問題解決。A效勞B效勞HSF數(shù)據(jù)垂直化應(yīng)用中心化之后，底層數(shù)據(jù)庫(kù)系統(tǒng)按照不同的業(yè)務(wù)數(shù)據(jù)進(jìn)行了一系列的垂直拆分.此類拆分方式具有如下的特點(diǎn)：a.拆分方式簡(jiǎn)單，只需要把不同的業(yè)務(wù)數(shù)據(jù)進(jìn)行別離b.防止了不同的業(yè)務(wù)數(shù)據(jù)讀寫操作時(shí)的相互影響c.該業(yè)務(wù)內(nèi)部及其所導(dǎo)致的問題依舊用戶商品交易評(píng)價(jià)問題單庫(kù)IOPS3w單庫(kù)連接數(shù)已經(jīng)4k個(gè)了，應(yīng)用還在不斷加機(jī)器？單庫(kù)每秒SQL執(zhí)行次數(shù)到4w次搜索dump數(shù)據(jù)緩慢，DWETL緩慢用硬盤來拼IOPS？一臺(tái)高端存儲(chǔ)的處理能力480塊盤的hdisk，maxIOPS6w注意應(yīng)用可以接受的IOresponsetime,以及IOPS點(diǎn)。比方3wIOPS以上，會(huì)到達(dá)20ms以上數(shù)據(jù)庫(kù)架構(gòu)開展新思路異構(gòu)數(shù)據(jù)庫(kù)讀寫別離原始架構(gòu)圖〔08年8月份〕:

異構(gòu)的讀寫別離

a.寫庫(kù)為集中式的oracle環(huán)境,提供數(shù)據(jù)平安性保障b.讀庫(kù)使用mysql,采用數(shù)據(jù)分片，分庫(kù)分表，每臺(tái)mysql放少量的數(shù)據(jù),單個(gè)數(shù)據(jù)分片內(nèi)部采用mysql復(fù)制機(jī)制c.讀庫(kù)的超大memory容量，起到了很好的cache作用，在內(nèi)存中的數(shù)據(jù)查詢性能遠(yuǎn)遠(yuǎn)高于在硬盤上的性能d.oracle到多臺(tái)mysql按規(guī)那么復(fù)制，由TDDL完成e.分區(qū)鍵的選擇至關(guān)重要，盡量讓數(shù)據(jù)訪問落在單臺(tái)數(shù)據(jù)庫(kù)上g.利用好當(dāng)前的高端硬件,保護(hù)好自己的投資

構(gòu)建數(shù)據(jù)查詢的高速公路應(yīng)用到DB的數(shù)據(jù)寫入與查詢從雙向通行變成了單向通行，通行效率更高，大大防止了相互影響。“借道行駛〞的情況不再出現(xiàn)?？绮贿^去的坎為什么不直接遷到MySQL上面去呢？a.對(duì)于核心業(yè)務(wù)，停機(jī)時(shí)間有限，寵大的數(shù)據(jù)無(wú)法短時(shí)間內(nèi)遷移b.無(wú)法在短時(shí)間內(nèi)完成工程發(fā)布過程中的測(cè)試c.沒有搞過mysql分布式系統(tǒng)，對(duì)完全使用MySQL還沒有信心

大數(shù)據(jù)量核心業(yè)務(wù)數(shù)據(jù)遷移思路采用兩步走戰(zhàn)略，不僅走得穩(wěn)，而且走得好：先采用異構(gòu)的數(shù)據(jù)庫(kù)讀寫別離,將數(shù)據(jù)復(fù)制到目標(biāo)mysql各結(jié)點(diǎn)，不斷切換應(yīng)用相關(guān)的讀效勞到mysql結(jié)點(diǎn)上，驗(yàn)證可靠性，機(jī)器壓力，效勞響應(yīng)時(shí)間將寫壓力從oracle結(jié)點(diǎn)遷移到mysql各結(jié)點(diǎn)，oracle停止寫對(duì)于一些不太核心，業(yè)務(wù)不太復(fù)雜，相關(guān)影響點(diǎn)不多的數(shù)據(jù)，可以直接進(jìn)行遷移。水庫(kù)模型你的系統(tǒng)可以撐多少？系統(tǒng)余量還有多少？數(shù)據(jù)庫(kù)系統(tǒng)余量?jī)奢啘y(cè)試過程，確保上線穩(wěn)定：底層數(shù)據(jù)庫(kù)環(huán)境性能，穩(wěn)定性的根底測(cè)試，常用的工具可以采用sysbench,orion,supersmack選擇不同的硬件，軟件組合，模擬應(yīng)用的壓力測(cè)試，要超越當(dāng)前業(yè)務(wù)壓力的幾倍進(jìn)行，這個(gè)壓力的幅度可以根據(jù)自己的業(yè)務(wù)增長(zhǎng)設(shè)計(jì)一個(gè)合理的值。我們?nèi)绾巫龅接脭?shù)據(jù)來說話？靠測(cè)試拿數(shù)據(jù)，不靠經(jīng)驗(yàn)數(shù)據(jù)庫(kù)系統(tǒng)余量數(shù)據(jù)生命周期之歷史遷移DataOnlineDataHistoryData商品，交易，評(píng)價(jià)，物流等數(shù)據(jù)都有自己的生命周期。通過數(shù)據(jù)歷史遷移，減少在線庫(kù)的容量，提高在線庫(kù)的性能。在線與歷史應(yīng)用別離OnlineDataDatabaseHistoryDataDatabaseOnlineApplicationHistoryApplication數(shù)據(jù)遷移程序在線庫(kù)與歷史庫(kù)重要等到級(jí)不同,在線庫(kù)更高同一應(yīng)用的在線應(yīng)用與歷史應(yīng)用別離高級(jí)別的應(yīng)用不能直接依賴于低級(jí)別的數(shù)據(jù)庫(kù)商品訪問框架主鍵查詢賣家查詢淘寶商品的幾個(gè)主要的查詢：a.主鍵查詢通過分布式數(shù)據(jù)庫(kù)，以及分布式緩存系統(tǒng)解決b.賣家商品管理類查詢，這一類的查詢數(shù)據(jù)量大，并且還有l(wèi)ike查詢的需求，通過實(shí)時(shí)搜索解決商品分布式緩存分布式數(shù)據(jù)庫(kù)實(shí)時(shí)搜索注：考慮不同的讀載體的技術(shù)實(shí)現(xiàn)，性能，本錢用戶用戶登陸事件數(shù)據(jù)(日志量90%)與用戶主數(shù)據(jù)(日志量10%)別離，不僅要分表，而且要放到不同的數(shù)據(jù)庫(kù)集群中,并且作好不同數(shù)據(jù)等級(jí)的容災(zāi)處理。用戶信息用戶主信息用戶信息擴(kuò)展用戶主信息數(shù)據(jù)庫(kù)集群用戶信息擴(kuò)展數(shù)據(jù)庫(kù)集群過度中心化用戶中心Tair分布式緩存商品中心交易中心評(píng)價(jià)中心用戶中心調(diào)用次數(shù)，頂峰時(shí)期到達(dá)了每天60億次，用戶中心的過度中心化問題越來越顯著,成為各種操作的關(guān)鍵路徑。Mysql集群用戶中心中的讀寫別離用戶中心Tair分布式緩存商品中心交易中心評(píng)價(jià)中心Mysql集群在其它中心中內(nèi)置可以訪問tair的客戶端，大部份的讀不需要經(jīng)過用戶中心，直接讀tair，寫需要經(jīng)過用戶中心。交易的讀寫別離框架主庫(kù)按照買家拆分，讀庫(kù)按照賣家拆分。一些難題數(shù)據(jù)庫(kù)集群自動(dòng)擴(kuò)展仍然是個(gè)難題，但是是可以忍受的，底層數(shù)據(jù)庫(kù)集群經(jīng)過評(píng)估，擴(kuò)展的頻率并不高。MySQLDDL操作不便，鎖表，對(duì)寫操作影響較大，為了減少影響，分了比較多的表，進(jìn)一步加重了維護(hù)的負(fù)擔(dān)。其它。。。光棍節(jié)大促活動(dòng)前，經(jīng)過了充分的準(zhǔn)備與系統(tǒng)評(píng)估工作：CDN面臨的壓力最大，預(yù)估流量將會(huì)到達(dá)280G左右，準(zhǔn)備了各個(gè)層面的系統(tǒng)降級(jí)方案。一個(gè)小意外Dataguard+mirrorredo對(duì)寫的影響比較大，臨時(shí)刪除遠(yuǎn)程的redomember解決這個(gè)問題MySQL源代碼研究我們主要從兩方面著手：MySQL內(nèi)部，源代碼熟悉，性能優(yōu)化，新增功能MySQL外部，比方利用binlog做數(shù)據(jù)復(fù)制MySQL源代碼研究?jī)?nèi)部新增的一些功能：a.給innodb動(dòng)態(tài)加數(shù)據(jù)文件b.禁止新連接c.表的訪問統(tǒng)計(jì)d.Innodbssd加速e.Mysqlreplication并行復(fù)制MySQLBinlog解析數(shù)據(jù)復(fù)制中心解決商品，用戶，評(píng)價(jià)，收藏夾等應(yīng)用向數(shù)據(jù)倉(cāng)庫(kù)，搜索增量同步數(shù)據(jù)的需求MySQLBinlog解析數(shù)據(jù)復(fù)制中心Cclient端特性：a.支持mysqlmaster,slave主備切換，獲取binlog不受影響b.自動(dòng)重連主機(jī)c.支持checkpoint,支持?jǐn)帱c(diǎn)續(xù)傳binlogJava端復(fù)制代碼特性：a.支持statement,row兩種復(fù)制模式b.支持按規(guī)那么復(fù)制c.支持一定條件下的并行復(fù)制c.支持checkpoint異地多數(shù)據(jù)中心的數(shù)據(jù)同步杭州青島other異地多數(shù)據(jù)中心的數(shù)據(jù)同步除了oracledataguard,master-slavereplication數(shù)據(jù)復(fù)制，我們還有其它哪些可選方案？淘寶自主數(shù)據(jù)庫(kù)Oceanbase動(dòng)態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)進(jìn)行別離,動(dòng)態(tài)數(shù)據(jù)采用集中式，靜態(tài)數(shù)據(jù)存放與效勞采用分布式設(shè)計(jì)了一個(gè)寬表，冗余數(shù)據(jù)，將離散型IO合并成連續(xù)型IO每晚動(dòng)態(tài)數(shù)據(jù)，與靜態(tài)數(shù)據(jù)合并一次將首先在收藏夾應(yīng)用上試點(diǎn)總結(jié)架構(gòu)就是用一些簡(jiǎn)單的道理，去解決問題對(duì)多種技術(shù)，業(yè)務(wù)特征，細(xì)節(jié)都要有所了解，考慮周全識(shí)別系統(tǒng)的主要問題，花80%的精力去解決80%的問題架構(gòu)都是有時(shí)效性的，需要不斷探索或者接受新的思路

FollowmeTaobaodba