數(shù)據(jù)庫云時(shí)代最佳實(shí)踐

數(shù)據(jù)庫云時(shí)代的最佳實(shí)踐2zData分布式存儲(chǔ)技術(shù)介紹IT架構(gòu)挑戰(zhàn)–關(guān)系型數(shù)據(jù)庫發(fā)展之痛?數(shù)據(jù)量：M級(jí)-->G級(jí)-->T級(jí)-->P級(jí)->海量已在眼前?用戶量：幾萬-->幾十萬-->幾百萬-->數(shù)千萬-->互聯(lián)網(wǎng)全開放?數(shù)據(jù)量*用戶量-->關(guān)系型數(shù)據(jù)庫之痛數(shù)據(jù)庫性能瓶頸在于IO數(shù)據(jù)庫性能瓶頸在于IO吞吐IT架構(gòu)挑戰(zhàn)–水平擴(kuò)展，快速變更算與存儲(chǔ)完全獨(dú)立分層，存取的瓶頸，擴(kuò)展成本高昂作、運(yùn)維和管理的復(fù)雜性傳統(tǒng)的SAN架構(gòu):缺乏對(duì)性能及大數(shù)據(jù)據(jù)處理的靈活性，還傳統(tǒng)的SAN架構(gòu):缺乏對(duì)性能及大數(shù)據(jù)據(jù)處理的靈活性，還存儲(chǔ)設(shè)備ThroughputBandwidth40~56Gb/s傳統(tǒng)SAN架構(gòu)超級(jí)數(shù)據(jù)中心/云計(jì)算應(yīng)用?兩層的計(jì)算-存儲(chǔ)架構(gòu)?中心化的存儲(chǔ)系統(tǒng)?IO存取邊界，擴(kuò)展成本高昂?部署與運(yùn)維復(fù)雜?IO系統(tǒng)孤立，無法了解應(yīng)用的變化應(yīng)用?軟件定義的分布式基礎(chǔ)架構(gòu):彈性,可靈活擴(kuò)展?部署及維護(hù)：?廉價(jià)的?標(biāo)準(zhǔn)的?x86服務(wù)器1122術(shù)介紹關(guān)系型數(shù)據(jù)庫發(fā)展之痛3344RAC節(jié)點(diǎn)RAC節(jié)點(diǎn)2RAC節(jié)點(diǎn)1?所有部件都無單點(diǎn)故?存儲(chǔ)節(jié)點(diǎn)中始終至少?增加存儲(chǔ)節(jié)點(diǎn)時(shí)，性zDataLight架構(gòu)V1.0-應(yīng)用場(chǎng)景應(yīng)用服務(wù)器應(yīng)用服務(wù)器應(yīng)用服務(wù)器應(yīng)用服務(wù)器應(yīng)用服務(wù)器應(yīng)用服務(wù)器RACRAC節(jié)點(diǎn)2RAC節(jié)點(diǎn)RAC節(jié)點(diǎn)2zDataLight架構(gòu)V1.0-應(yīng)用場(chǎng)景ActiveDataGuard/dev/sdc…/dev/sdc…/dev/sdc…/dev/sdc…….動(dòng)態(tài)增加磁盤或節(jié)點(diǎn)系統(tǒng)自動(dòng)遷移和重新平衡存儲(chǔ)減少中斷減少CPU占用減少延遲減少延遲NFS客戶端?所有部件都無單點(diǎn)故?存儲(chǔ)節(jié)點(diǎn)中始終至少?增加存儲(chǔ)節(jié)點(diǎn)時(shí)，性?儲(chǔ)存除了數(shù)據(jù)文件之Grid節(jié)點(diǎn)1Grid節(jié)點(diǎn)2ACFS集群ACFS集群––SmallSmallI/OIOPS(iozone8K)8K隨機(jī)寫8K隨機(jī)讀0LargeI/OBW(iozone1M)0zDataLightinHANFS–超越普通NFS的性能EnmoOnecmdEnmoOnecmdEnmoOrazbxEnmoZ3EnmoZ3EnmoEnmoBethuneZdata存儲(chǔ)節(jié)點(diǎn)3Zdata存儲(chǔ)節(jié)點(diǎn)3Zdata存儲(chǔ)節(jié)點(diǎn)1存儲(chǔ)節(jié)點(diǎn)2云安全保障體系云資源監(jiān)控云安全保障體系云資源監(jiān)控物理監(jiān)控虛擬監(jiān)控存儲(chǔ)監(jiān)控服務(wù)監(jiān)控計(jì)算計(jì)量存儲(chǔ)計(jì)費(fèi)網(wǎng)絡(luò)計(jì)量服務(wù)計(jì)量秒級(jí)計(jì)費(fèi)應(yīng)用服務(wù)層小額信貸消費(fèi)金融P2P數(shù)據(jù)分析風(fēng)險(xiǎn)監(jiān)控集群服務(wù)提供層DataService應(yīng)用服務(wù)層小額信貸消費(fèi)金融P2P數(shù)據(jù)分析風(fēng)險(xiǎn)監(jiān)控集群服務(wù)提供層DataServiceDataServiceDBClusterServiceDBClusterService微服務(wù)提供層MicroServiceMicroServiceMicroServiceSQSMicroServiceMicroService云資源計(jì)量網(wǎng)絡(luò)監(jiān)控AppClusterServiceAppClusterServiceMicroServiceSQS云資源計(jì)量網(wǎng)絡(luò)監(jiān)控AppClusterServiceAppClusterServiceMicroServiceSQSPaaS云基礎(chǔ)設(shè)施層(IaaS)虛擬機(jī)虛擬機(jī)管理網(wǎng)絡(luò)管理存儲(chǔ)管理鏡像管理策略策略管理QoS管理權(quán)限管理NOVANeutronCinder/SwiftNOVANeutronCinder/SwiftzDataLightKVMKVMVMDockerVMDockerVLanVLanVxLanLVMLVMISCSI1122術(shù)介紹關(guān)系型數(shù)據(jù)庫發(fā)展之痛3344Mem256GPCIe閃存卡LSIFlashPcie卡,3.5T每服務(wù)器一塊，用于對(duì)Mellanox40/56Gb計(jì)算節(jié)點(diǎn)：每個(gè)2張雙口IB卡，節(jié)點(diǎn)1均為56存儲(chǔ)節(jié)點(diǎn)：每臺(tái)服務(wù)器1張單口IB卡，均為56gb的在兩臺(tái)sdc上同時(shí)采用fio進(jìn)行4k的隨機(jī)讀測(cè)試，測(cè)試系統(tǒng)的IOPS雙計(jì)算節(jié)點(diǎn)108IOPS在兩臺(tái)sdc上同時(shí)采用fio進(jìn)行1M的隨機(jī)讀測(cè)試，測(cè)試系統(tǒng)的吞吐量在兩臺(tái)sdc上同時(shí)采用fio進(jìn)行1M的隨機(jī)寫測(cè)試，測(cè)試系統(tǒng)的吞吐量ioengine=libaioname=zdata創(chuàng)建表空間或添加數(shù)據(jù)文件，測(cè)試系統(tǒng)的IO吞吐量創(chuàng)建表空間，數(shù)據(jù)文件大小100G利用Oracle自身的calibratCALIBRATE_IO是Oracle性能，并且能分析出IO瓶頸是由數(shù)據(jù)庫還是由存儲(chǔ)子系統(tǒng)所導(dǎo)致的。此壓力測(cè)試包直接以隨機(jī)讀取的方式訪問存儲(chǔ)介質(zhì)，測(cè)試結(jié)果更加接近Oracle數(shù)對(duì)表做數(shù)據(jù)裝載，表數(shù)據(jù)應(yīng)該達(dá)到2T對(duì)上一個(gè)表進(jìn)行全表掃描匯總計(jì)算800GB的表掃描花了1分3秒1122術(shù)介紹關(guān)系型數(shù)據(jù)庫發(fā)展之痛33部分性能測(cè)評(píng)數(shù)據(jù)部分性能測(cè)評(píng)數(shù)據(jù)44中國(guó)移動(dòng)通信集團(tuán)青海有限公司，1999年9月8日成立；公司成立7年多來，秉承“正德厚生、臻于至善”的核心價(jià)值觀，履行“創(chuàng)無限通信世界、做信息社會(huì)棟梁”的企業(yè)使命，追求“成為卓越品質(zhì)創(chuàng)造者”的企業(yè)愿景，企業(yè)建設(shè)、改革和發(fā)展成就驕人。移動(dòng)客戶突破110多萬戶，總資產(chǎn)達(dá)到19億；網(wǎng)絡(luò)覆蓋短時(shí)間內(nèi)完成數(shù)據(jù)倉庫級(jí)別的數(shù)據(jù)遷移；通過區(qū)分歷史數(shù)據(jù)、靜態(tài)數(shù)據(jù)和活動(dòng)數(shù)據(jù)，使用Oracle數(shù)據(jù)泵來實(shí)現(xiàn)數(shù)據(jù)遷使用EMCScaleIO、40GbE高速網(wǎng)絡(luò)和閃存卡、傳統(tǒng)硬盤形成的分布式存儲(chǔ)架2.采用分布式存儲(chǔ)架構(gòu)，各業(yè)務(wù)模塊的性能提升了50%到中國(guó)電信四川公司(簡(jiǎn)稱四川電信)是中國(guó)電信股份有限公司在四川司，是四川省主體電信企業(yè)和綜合信息服務(wù)提供主導(dǎo)企業(yè)，也是目前四川省內(nèi)事實(shí)上承擔(dān)普遍電信服務(wù)、黨政機(jī)要通信、國(guó)防通信、保密通信、應(yīng)急通信等任務(wù)的唯一通信企業(yè)。四川電信在下轄21個(gè)市州分公司、157個(gè)縣（市、區(qū)）分公司、1個(gè)控股公司和2個(gè)專業(yè)分公司，并轄四川機(jī)動(dòng)通信局、輸線路維護(hù)局兩個(gè)直屬單位。為四川9000萬人提供通信服務(wù)。X2-2一體機(jī)上，使用Exadata的HCC壓縮存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)庫節(jié)點(diǎn)計(jì)算資源和存四川電信經(jīng)分系統(tǒng)的zDataLightServer構(gòu)成的計(jì)算節(jié)點(diǎn)和12臺(tái)2路12核CPU、64G內(nèi)存的PCServer存儲(chǔ)節(jié)點(diǎn)構(gòu)的非壓縮存儲(chǔ)能力和5倍的計(jì)算能力提升，以更低的成本2.新系統(tǒng)同時(shí)可以支撐全省所有21個(gè)地市的數(shù)據(jù)同時(shí)計(jì)算，而原系統(tǒng)只能支持4個(gè)地市的數(shù)據(jù)同時(shí)計(jì)算。大大節(jié)中國(guó)太平保險(xiǎn)公司是國(guó)內(nèi)排名前5的保險(xiǎn)公司，公司最早成立于1923年，是中國(guó)第一家跨國(guó)金融保險(xiǎn)集團(tuán)公司。目前擁有1188個(gè)各級(jí)營(yíng)業(yè)網(wǎng)點(diǎn)，20家子公司，經(jīng)營(yíng)區(qū)域遍布中國(guó)內(nèi)地，港澳，歐洲大洋洲，東亞及東南亞地區(qū)。整個(gè)集隨著太平保險(xiǎn)企業(yè)信息化不斷推進(jìn)，信息系統(tǒng)陸續(xù)投入運(yùn)行，報(bào)表系統(tǒng)的重要性日益提升。從業(yè)務(wù)的開展，領(lǐng)導(dǎo)層決策，以及對(duì)業(yè)務(wù)現(xiàn)狀的把控，都離不開目前完成報(bào)表表時(shí)間較慢，日常出報(bào)表的時(shí)間每個(gè)達(dá)到2-3分鐘，在月出報(bào)表的時(shí)間更加緩慢，平均需要5分鐘時(shí)間，最慢的報(bào)表需要5個(gè)小時(shí)才為客戶提供高性能分布式存儲(chǔ)方案，配合數(shù)據(jù)庫優(yōu)化手段，大幅提高數(shù)據(jù)庫性三峽云計(jì)算中心[1]位于湖北宜昌，由曙光