開放平臺下數(shù)據(jù)庫高性能高可用方案

1、我們是誰l 沃趣科技成員l沃趣科技概況成立于2012年6月，由原阿里巴巴DBA/SA團隊的技術(shù)骨干組成的創(chuàng)業(yè)團隊 多年運維經(jīng)驗，技術(shù)領(lǐng)域涉及Oracle、MySQL、系統(tǒng)和運維自動化ll服務ll數(shù)據(jù)庫和系統(tǒng)的架構(gòu)設計、優(yōu)化、實施開放平臺技術(shù)推廣：開源數(shù)據(jù)庫，Linux，中間件，F(xiàn)lashQData for Oracle 高性能數(shù)據(jù)庫一體機QData for MySQL 高性能數(shù)據(jù)庫一體機lll優(yōu)勢lllllQMonitor 數(shù)據(jù)庫平臺十年互聯(lián)網(wǎng)運維理念 百TB數(shù)據(jù)高效處理能力千套數(shù)據(jù)庫和系統(tǒng)綜合能力萬臺服務器架構(gòu)設計能力研發(fā)的數(shù)據(jù)庫運維成員¡ 陳棟（grassbell）創(chuàng)始人CEO阿

2、里巴巴工作8年，任DBA團隊資深經(jīng)理。經(jīng)歷了Oracle從PC Server+磁盤陣列 到IBM小型機+高端的升級，也經(jīng)歷了從集中式Oracle 到分布式MySQL的變遷。¡ 李建輝專注系統(tǒng)曾在阿里巴巴從事系統(tǒng)、等維護、管理工作9年。經(jīng)歷阿里巴巴從百萬到億級PV，熟知在各種時期下架構(gòu)、性能優(yōu)化。¡ 羅春 專注Oracle數(shù)據(jù)庫原阿里巴巴高級數(shù)據(jù)庫，Oracle DBA團隊技術(shù)Leader，負責上百套Oracle數(shù)據(jù)庫的運維。擅長數(shù)據(jù)庫優(yōu)化設計，方案架構(gòu)，提倡數(shù)據(jù)庫運維自動化。¡ 熊中哲 專注運維自動化原阿里巴巴高級數(shù)據(jù)庫工程師，參與過阿里云RDS內(nèi)部運維自動化的開

3、發(fā)工作，負責數(shù)據(jù)倉庫Oracle RAC數(shù)據(jù)庫運維。專注于Oracle和MySQL的線上自動化運維方案的設計與實現(xiàn)。¡ 李春 專注MySQL數(shù)據(jù)庫原阿里巴巴MySQL DBA團隊技術(shù)leader，管理超過3000個MySQL實例。實現(xiàn)阿里第一個將3億從Oracle+小型機到MySQL+PC Server的平滑遷移。阿里數(shù)據(jù)庫那些年l 從絲到土豪l 從集中式Oracle到分布式MySQLl 如今l 為什么要去IOE那些年，從絲到土豪04年：阿里的數(shù)據(jù)庫沒幾臺，都運行在PC服務器上， 已經(jīng)變成習慣增長很快，宕機l05年：中國互聯(lián)網(wǎng)界第一臺IBM小型機在阿里落戶，從此阿里數(shù)據(jù)庫都逐漸變成了

4、IBM+Oracle+EMCl07年：這幾年，阿里業(yè)務增長非常迅猛，但數(shù)據(jù)庫一直很穩(wěn)定，DBA的生活很安逸，技術(shù)沒有太多l(xiāng)08年：突飛猛進的業(yè)務，使得小型機和高端了不斷擴容，成本l巨大。我們突然，被那些年，從集中式Oracle到分布式MySQL09年：開始嘗試把一些不重要的業(yè)務遷移到MySQL上，業(yè)務開始梳l理接口，為未來遷移到MySQL做到分庫分表做準備，同時培養(yǎng)MySQL人才10年：對MySQL的信心越來越足，一些應用逐漸遷從Oracle移到lMySQL，中文站3億Offer，淘寶的收藏夾（分別是阿里和淘寶歷史上最大數(shù)據(jù)量的業(yè)務）?；贛ySQL的分布式管理系統(tǒng)誕生，奠定了今后數(shù)據(jù)庫水平擴

5、展及高可用的架構(gòu)。數(shù)據(jù)庫PC服務器超過400臺11年：淘寶最的用戶中心、商品完成從集中式到分布式的遷移，連交l易系統(tǒng)也開始向MySQL遷移。數(shù)據(jù)庫PC服務器超過1300臺12年：hbase，oceanbase，mongodb，greenplum，hadoopl如今整個阿里全面去掉了小型機和高端，數(shù)據(jù)庫全部運行在PC服務器l上，配置SSD或者PCIe Flash除了支付寶賬務系統(tǒng)依然使用Oracle數(shù)據(jù)庫，其他所有業(yè)務l全部使用分布式MySQL海量數(shù)據(jù)分析業(yè)務，運行在阿里基于對Hadoop改造的云梯平臺，接近2萬臺服務器l研發(fā)關(guān)系型數(shù)據(jù)庫OceanBase，其他nosql的嘗試l阿里超過100個

6、DBA，1/3負責系統(tǒng)，2/3負責應用支持l為什么去IOEl 成本l Oracle license雖然簽署了ULA協(xié)議，但平均下來也是每年超過千萬的費用l 淘寶雙11額：10年9.36億，11年33.6億，12年191億，13年350億l 09年小型機和高端預算是nkw,如果還是這個架構(gòu),到2013年雙十一.l 計算能力、擴展性的局限l IOE架構(gòu)很難滿足業(yè)務高速擴張帶來的對性能和擴展性的要求l 避免商業(yè)、硬件設備的l 技術(shù)團隊需要具備將數(shù)據(jù)可以遷移到任何一種數(shù)據(jù)庫平臺的能力l 技術(shù)領(lǐng)先性的驅(qū)動l 阿里要成為互聯(lián)網(wǎng)企業(yè)中的技術(shù)領(lǐng)頭羊l 100+的DBA團隊，5000+ 的技術(shù)團隊如何去IOEl

7、 傳統(tǒng)數(shù)據(jù)庫架構(gòu)l 小型機 vs PC服務器l 高端vs Flash技術(shù)l 共享Redo+Flash的架構(gòu)l QData for Oracle數(shù)據(jù)庫一體機架構(gòu)l QData Oracle RAC雙節(jié)點 FREE-SAN架構(gòu)l Oracle vs MySQL or NoSQLl QData for MySQL一體機架構(gòu)傳統(tǒng)數(shù)據(jù)庫架構(gòu)· 主數(shù)據(jù)庫· 主數(shù)據(jù)庫··DG數(shù)據(jù)庫存放主數(shù)據(jù)庫Online Redo的一組Member， 保障切換DG后數(shù)據(jù)0丟失···物理HA備機實時Dataguard 延時Dataguard穩(wěn)定；成本高；黑

8、盒子；難擴展小型機 vs PC服務器l X86 cpu與Power cpu的對比(spec)l HP ProLiant DL560 Gen8(2.70 GHz,32core, Intel Xeon E5-4650) SPECint_rate2006 =1240l IBM Power 750 Express(3.3 GHz, 32 core)SPECint_rate2006 =1010l 穩(wěn)定性是l 中國問題大型機宕機4小時l 阿里小型機穩(wěn)定運行7年后，宕機5小時l 不能依賴于硬件本身l 基于PC服務器高可用方案l Dataguard HAl 共享架構(gòu)HAl 共享Redo+Flash的架構(gòu)Dat

9、aguard HAQGuard HA系統(tǒng)QGuard HA系統(tǒng)3.ping網(wǎng)關(guān)確定不是孤島gatewaygateway2.檢查備庫恢復延遲1.自動切換數(shù)據(jù)庫，可能丟數(shù)據(jù)1.update xdual(heartbeat)3.情況下可強行poweroff 服務器2.漂移VIPVIPVIPDataguardDataguardPrimary DBPrimary DB發(fā)生切換正常狀態(tài)Maxium Avaliable高端vs Flash技術(shù)互聯(lián)設備EthernetSANInfinibandBandwidth110Gb/s816Gb/s4056Gb/sLatency10us2us200nsSAS磁盤SSDP

10、CIe Flash設備IOPS1502006,000100,000Throughput150MB/s250MB/s1.5GB/sLatency10ms100us30usPCIe Flashl 可用性 類似Raid5+hotspare MLC 10000次擦寫320G 可寫 4PB 受PC服務器影響l 擴展性 容量單卡超過3TB 受限于PCIe插槽數(shù)量l TCO 服務器數(shù)量縮減8：1 省機架、省電 管理方便，運維成本降低VSIOPS吞吐成本高端（200塊磁盤）5萬700MB超過百萬PCIe Flash10萬1.5GB1/10Infiniband的高帶寬，低延遲共享Redo+Flash的架構(gòu)-支付

11、寶QGuard HA系統(tǒng)QGuard HA系統(tǒng)2.備庫將的datafile，3.ping網(wǎng)關(guān)確定不是孤島gateway2.檢查備庫恢復延遲1.update xdual(heartbeat)VIP應用原主庫onlineredoctrlspfile恢復，保證數(shù)據(jù)零丟失，將備庫切換到主庫4.poweroff原主庫服務器VIP3.新主庫接管VIP， 提供數(shù)據(jù)庫服務1.將共享掛DataguardPrimary DB載到備用服務器· 主、備庫數(shù)據(jù)文件存放于本地flash設備上獲得高IO· 共享，只存放主庫online redo、ctrl、spfile正常狀態(tài)發(fā)生切換Maxium Ava

12、liableQData for Oracle數(shù)據(jù)庫一體機架構(gòu)計算節(jié)點高配PC服務器，運行Oracle 11g R2，支持單實例和RAC架構(gòu)，提供數(shù)據(jù)運算服務. 經(jīng)過驗證的OS及版本：· Linux (RHEL 5.*,6.3)··CentOS(RHEL 5.*,6.3) SUSE(11.1,11.2)QLinkQLink高速互聯(lián)基于Infiniband的低延遲（端到端延遲200ns以內(nèi)）、高帶寬互聯(lián)技術(shù)，用于將節(jié)點的Flash和磁盤輸出到計算節(jié)點，供數(shù)據(jù)庫使用。QLinkQLinkQLink節(jié)點配置Flash卡和SAS磁盤，提供數(shù)據(jù)服務。輸出方式：· Q

13、Link基于rdma相關(guān)的Infiniband 40/56Gb輸出協(xié)議實現(xiàn)·FC 4/8Gb，F(xiàn)CoE 10GbInfinibandInfinibandQLink高性能組件RDMA（Remote Direct Memory Access）: 通信繞過OS和CPU，CPU利用率低，IO延遲低全RDMA實現(xiàn)：帶來的好處：l 在IO、心跳方面的開銷大大降低之間的rdmall RAC之間GC的rdmal RAC 集群可以有的節(jié)點QLink運維自動化計算節(jié)點 多路徑管理 磁盤狀態(tài)管理 鏈路狀態(tài)管理 磁盤attach 磁盤detach節(jié)點 磁盤屬性修改 動態(tài)增刪磁盤磁盤智能管理 從ASM發(fā)現(xiàn)壞盤

14、，到節(jié)點更換磁盤， 數(shù)據(jù)rebalance，整個流程無需人工干預。 通過自動化軟件實現(xiàn)了磁盤的hotspare，磁盤更換，build功能。平衡、可擴展的架構(gòu) 單卡100000隨機iops 800MB以上吞吐每個端口40/56Gb 納秒級別延遲 最多達240coreQLink RDMA 高性能組合高可用的架構(gòu)全冗余架構(gòu)基于所有硬件不可靠性設計的全冗余架構(gòu)Oracle高可用RAC自身實現(xiàn)數(shù)據(jù)高可用通過ASM/Veritas Volume Manager/cLVM 等實現(xiàn)的數(shù)據(jù)多份寫入設備全冗余節(jié)點、交換機、鏈路全冗余QData與傳統(tǒng)架構(gòu)對比傳統(tǒng)架構(gòu)QData計算能力IBM Power6：（4 cp

15、u×8 core×16線程，4.7GHz） SPEC 得分206Intel X5570：（4cpu×8 core×16線程，2.93GHz）SPEC 得分：243網(wǎng)絡互聯(lián)設備：FC SAN 帶寬：816Gb 延時：2µs級別設備：Infiniband 帶寬：主流為40Gb 延時：200ns左右（通過IB解決RAC節(jié)點互聯(lián)）性能介質(zhì)：SAS機械磁盤延時：6ms吞吐（單塊盤）：150MB左右IOPS（單塊盤）：160左右配置200塊磁盤的，可提供5 萬IOPS及700MB/s吞吐能力介質(zhì)：Flash卡技術(shù)延時：10µs級別吞吐（單塊盤）：

16、1.5GB/s IOPS（單塊盤）：20w左右最低配置3個節(jié)點即可提供14萬IOPS和4GB的吞吐能力整體投入非常高價格透明，50%以內(nèi)QData for Oracle 一體機配置配置與技術(shù)指標組件類型硬件詳細配置數(shù)量CPU內(nèi)存磁盤計算節(jié)點服務器Intel E5-2640*2 或AMD Opteron 6274*296GBSAS 15K 450GB*62服務器Intel E5-2600*1 或AMD Opteron 6212*124GBSAS 15K 450GB*63節(jié)點Flash卡PCIe Flash卡3交換機IB交換機Mellanox 36-port Grid Director 4036

17、Series Switches2HCA卡ConnectX®-3 VPI adapter card, dual-port QSFP7IB數(shù)據(jù)線Mellanox copper cable16QLink軟件沃趣QLink高速互聯(lián)軟件3容量、性能指標總攬可用容量(TB)混合IOPS (75/25 r/w)吞吐量延遲RAC GCFlash 卡磁盤1400004GB/s<2ms600MB1.926.75數(shù)據(jù)庫 Failover指標總攬鏈路切換節(jié)點切換計算節(jié)點切換<2s<15s<3sQData一體機優(yōu)勢¡ 開放使用x86通用平臺、PCIe Flash高性能卡替代封

18、閉體系的小型機l、高端¡ 定制l 基于用戶需求提供定制化的計算性能和容量¡ 高性能l 510倍于傳統(tǒng)架構(gòu)的性能提升，在OLTP場景下性能不低于OracleExadata¡ 高可用l 計算層、互聯(lián)層、¡ 高性價比層無單點，全冗余l(xiāng) 低于傳統(tǒng)架構(gòu)50%的成本，專業(yè)的服務團隊QData案例一：中國移動浙江閱讀基地¡ 與傳統(tǒng)架構(gòu)對比測試l 基于QDATA架構(gòu)的Oracle數(shù)據(jù)庫的IOPS最高可達12.98萬，每秒SQL語句的 執(zhí)行數(shù)超過11萬。l 在同等環(huán)境下，其IOPS和SQL執(zhí)行數(shù)分別為傳統(tǒng)架構(gòu)的9.7倍和4.1倍¡ 小庫整合項目l 移動

19、學習DB（300G）l 云書架DB（1.5T）報云端DB（300G） 報（200G）lll 等共超過10套小庫¡ QData上線效果l 3個計算節(jié)點、3個節(jié)點、7TB Flash容量l 實現(xiàn)在10GB/s吞吐，50萬IOPS的l 數(shù)據(jù)庫處理能力得到10倍以上的提升l 管理成本急劇降低性能QData案例二：平安金融科技通¡ 項目背景通平臺，主要用于，活動兌換ll 原數(shù)據(jù)庫采用HP小機加陣列¡ 客戶的困境l 設備維保到期，續(xù)保還是新購？預算成本受到極大l 業(yè)務l 傳統(tǒng)急增，系統(tǒng)IO出現(xiàn)瓶頸，期達1.5W IOPScache不夠，單個IO響應時間高達13ms，應用連接池

20、暴增l 業(yè)務促銷對數(shù)據(jù)庫是，如何應對現(xiàn)有規(guī)模2倍以上的沖擊l 項目周期短，新采購設備到貨周期能否盡量縮短¡ QData上線效果l 2個計算節(jié)點、3個節(jié)點、5TB Flash容量，4GB/s吞吐，14萬IOPS的性能l 整體QPS提升300%，事務處理能力提升200%期IO響應時間穩(wěn)定在1ms，系統(tǒng)余量足夠支持業(yè)務促銷l¡ 用戶反饋“QData上線后，系統(tǒng)IO的響應速度明顯提升，現(xiàn)在業(yè)務期延遲在1毫秒，并發(fā)lIOPS上升到2W，即使是在活動促銷期間，我們的數(shù)據(jù)庫也可以穩(wěn)定運行，這確實是個低成本，高的方案，我們在后續(xù)的，杭州容災體系里面也引入了這套架構(gòu)?！盦Data案例二：平安

21、金融科技通¡ 上線前后對比上線前上線后急增但響應時間降低到1ms傳統(tǒng)IO響應時間QDataIO響應時間QData案例三：寧波市政務云計算中心寧波市政務云計算中心：l 市主導建設，統(tǒng)一的政務信息共享和政務應用支撐、孵化平臺。建設目標：l QData數(shù)據(jù)庫一體機為政務云的DaaS層提供技術(shù)支持l 全市的電子政務數(shù)據(jù)架構(gòu)體系，規(guī)范和引導應用項目建設l 全市電子政務數(shù)據(jù)的深度融合共享，為綜合管理、協(xié)同工作奠定基礎(chǔ)l 有效的數(shù)據(jù)挖掘，為城市的綜合管理與公共服務提供必要的決策支持l 提供標準的數(shù)據(jù)服務，為智慧城市建設各項應用提供數(shù)據(jù)服務支撐技術(shù)參數(shù)：l 配置：2個計算節(jié)點，4個節(jié)點，6.4T可Q

22、LinkQLink用Flash空間l 性能：可支撐31.5萬8K IOPS，3.4GB吞吐l 高可用：在高下，進行斷鏈路、poweroff的破壞性測試，數(shù)據(jù)庫表現(xiàn)穩(wěn)定QLinkQLinkQLinkQLinkInfinibandInfinibandQData Oracle RAC雙節(jié)點 FREE-SAN架構(gòu)物理架構(gòu)圖邏輯架構(gòu)圖l 高性能PCIe Flash、Intel x86 新一代CPU配置大內(nèi)存QLink實現(xiàn)高效無損性能傳輸雙40Gb鏈路及HAIP的雙機高性能互聯(lián)l 高可用Oracle RAC + ASM2條鏈路的voting，fencing機制確保正常工作l 低成本無需SAN Switch

23、、l 可擴展可完成到QData 三層架構(gòu)的擴展Oracle vs MySQL or NoSQLl Oraclel 商業(yè)軟件，數(shù)據(jù)庫巨人l 穩(wěn)定，功能強大，代碼嚴謹，極少低級bugl license很貴，軟件黑盒子，屬于重量級數(shù)據(jù)庫l 適合傳統(tǒng)行業(yè)，業(yè)務場景復雜，對數(shù)據(jù)庫穩(wěn)定性要求非常高的業(yè)務（運營商、l MySQLl 開源），輕量級數(shù)據(jù)庫l 開放、活躍的社區(qū)，優(yōu)秀的開源分支Percona、MariaDBl 擴展性好，可定制，地雷多l(xiāng) 適合于變化非?？斓幕ヂ?lián)網(wǎng)，業(yè)務場景簡單，數(shù)據(jù)量急劇膨脹，但數(shù)據(jù)的重要 性相對不那么carel NoSQL特定場景，社區(qū)不成熟，運維問題，曇花一現(xiàn)l常用MySQL架

24、構(gòu)一主多從數(shù)據(jù)恢復Dead MasterLatest SlaveSlave(i)masterslave112slave23slave34主備切換：a. 盡可能保存master的binlogb. 尋找Latest Slave，應用其差異binlog到其他Slave c.將保存的master的binlog應用到所有slaved.選定某個slave為新master，修改其他slave指向它數(shù)據(jù)恢復：1.等待Slave的SQL thread執(zhí)行完所有的events 2.補齊Partial Transaction，并應用3. 將Latest Slave新于其他Slave的數(shù)據(jù)應用4. 將Dead Mas

25、ter新于Latest Slave的數(shù)據(jù)應用到所有slave5.6 Global Transaction ID常用MySQL架構(gòu)阿里ShardingAPPDB proxydb1技術(shù)點 DB proxy，數(shù)據(jù)路由+HA 犧牲跨庫join和事務 SQL都要有分庫鍵條件db2db1'db3單機多實例db2' Flash， Flashcache、Flashdisk。 Numa、CGroup，分配CPU內(nèi)存 網(wǎng)卡軟中斷db3'QData for MySQL一體機架構(gòu)l QLink主備高速互聯(lián)，binlog數(shù)據(jù)共享，確保主備之間數(shù)據(jù)零丟失，且備庫可讀l 對于一主多從架構(gòu)，主庫可自動

26、故障切換，對所有從庫透明，并繼續(xù)l 多年運維經(jīng)驗的配置最佳實踐，集成QMonitorl 嵌入高性能PCIe Flash技術(shù)提升IO性能平臺，QGuard高可用系統(tǒng)數(shù)字化運維l QMonitor數(shù)據(jù)庫平臺QMonitor數(shù)據(jù)庫平臺¡ 實警l 支持多個數(shù)據(jù)庫項，根據(jù)用戶設置及時有效地將數(shù)據(jù)庫的異和郵件方式通知用戶及運維常進行，通過¡ 狀態(tài)曲線l 支持140多項指標，6種粒度和三種對比方式，動態(tài)實時的將性能數(shù)據(jù)通過圖表的方式呈現(xiàn)給用戶，方便用戶進行性能優(yōu)化分析¡ 報表中心l 對空間，性能， 呈現(xiàn)給用戶，運行時間等各個維度繪制報表，關(guān)鍵數(shù)據(jù)¡ 特色功能l 例如A

27、WR報告自動，自動分析，備庫的延時性能和監(jiān)控，自動巡檢，性能智能推薦等QMonitor數(shù)據(jù)庫平臺¡ 支持的數(shù)據(jù)庫及OS列表l Oracle 9i11g/MySQL 5.05.6/Percona /MariaDBl IBM AIX ;HP-UX; Linux:REHL, CentOS, Federa, SUSE, SunOS¡ 軟件優(yōu)勢l 零客戶端：對目標零侵入，性能影響極小l 分布式架構(gòu)：通過水平擴展,可1000個以上數(shù)據(jù)庫實例l 功能實用：功能設計是DBA多年運維經(jīng)驗的結(jié)晶l 運維自動化：自動巡檢、性能異常自動捕獲，極大降低人力成本l 低學習成本：簡單實用，快速掌握l 高

28、度可定制：根據(jù)用戶需要增加個性化功能l 服務：多年互聯(lián)網(wǎng)運維經(jīng)驗的數(shù)據(jù)庫運維團隊提供專業(yè)服務QMonitor數(shù)據(jù)庫平臺QMonitor數(shù)據(jù)庫平臺l 超過210個用戶Demoll客戶案例l 案例一：浙江電信Siebel數(shù)據(jù)庫優(yōu)化l 案例二：南方航空MySQL讀寫分離l 案例三：電信院線通l 案例四：浙江移動閱讀基地案例一：浙江電信Siebel數(shù)據(jù)庫優(yōu)化¡ 客戶的困境l 集中式小型機+架構(gòu)，性能遇到瓶頸，無法通過線性擴展?jié)M足未來增長l 傳統(tǒng)硬件架構(gòu)投入巨大，基于該架構(gòu)的分庫分表不現(xiàn)實l HP-UNIX上OGG存在BUG，讀寫分離方案無法實施¡ 我們的服務l 將現(xiàn)有的小型機+架構(gòu)

29、首先過渡到x86 PC Server+架構(gòu)，實現(xiàn)去Il 配合應用，分地市進行數(shù)據(jù)分離，實現(xiàn)一定程度的水平拆分l 通過OGG將數(shù)據(jù)到多套QData，實現(xiàn)讀寫分離方案，部分程度去E¡ 對客戶的價值l 引入開放x86架構(gòu)，替換封閉的小型機及部分，節(jié)約硬件投入的風險l 數(shù)據(jù)庫拆分成小庫，分流，降低集中高l 利用遷移拆分，可以整理并初始化現(xiàn)有表的數(shù)據(jù)，大幅收縮空洞數(shù)據(jù)l 解決HP-UNIX上OGG不能實時傳輸?shù)膯栴}案例二：南方航空MySQL讀寫分離¡ 客戶的困境l 數(shù)據(jù)庫軟硬件成本巨大l 從封閉架構(gòu)到開源架構(gòu)的嘗試與技術(shù)積累¡ 我們的服務l 將在AIX平臺和Window平臺的Websphere逐步替換成Linux REHL+apache+tomcatl 提供Oracle向MySQL全量同步和增量同步的方案和軟件¡ 對客戶的價值l 數(shù)據(jù)庫性能得到最大