QDataOracle數(shù)據(jù)庫一體機在運營商測試報告V課件

1、QData Oracle數(shù)據(jù)庫一體機在某運營商測試報告 V1.02012年10月致謝！參測方案：QDATAQData是什么？高性能數(shù)據(jù)庫一體機產品，通過將Oracle數(shù)據(jù)庫，PC Server，F(xiàn)lash技術整合在一起，提供高可用、高性能、可擴展的數(shù)據(jù)庫服務，適用于OLTP和OLAP各種應用場景。高性能最低配置采用5臺PC Server，性能上可達到14萬以上的IOPS和4GB的吞吐能力高可用任何組件的切換，對數(shù)據(jù)庫的影響都控制在15秒以內可擴展整個系統(tǒng)的處理能力和存儲空間，都可以通過增加節(jié)點的方式在線線性擴展參測設備：Fusion-IO存儲卡FUSION-IO IOMEMORY PLATFO

2、RMMLC: 365, 785, 1205, 3000 GBSLC:400, 600 GBMLC: 2,410 GBSLC:1,200 GB MLC: 5, 10 TBMLC: 320, 640 GBSLC:160, 320 GBMLC: 640, 1280 GBSLC:320, 640 GBMLC: 600 GBMLC: 420 GBOEM ProductsHP MezzCisco Mezz參測設備： InfiniBand網(wǎng)絡Mellanox公司是寬高速互聯(lián)網(wǎng)絡的領導者，其InfiniBand交換機可為用戶提供云計算和下一代數(shù)據(jù)中心最為全面的解決方案。Mellanox高速InfiniBand

3、交換機為云計算和大型數(shù)據(jù)中心提供高帶寬速率、高擴展性、高性能、低延遲、低功耗解決方案，同時可以提供高性能，高密度，低成本，構架簡單的數(shù)據(jù)中心解決方案。采用X86的惠普服務器配套Mellanox的產品可以按照客戶需求搭建性價高的Oracle RAC集群系統(tǒng)。Oracle 11g 使用InfiniBand連接，充分發(fā)揮Oracle RDS特性，性能可以獲得大幅度提升。參測設備：HP DL585G7HP ProLiant DL585 G7外形 4U 處理器 AMD 6200系列處理器 最大處理器核心數(shù)量 48高速緩存 16MB L3最小/最大內存容量1024GB內存類型G7-DDR3內存保護先進的E

4、CC OLS內存，先進的ECC硬盤類型SATA, SAS, SSD內部磁盤托架8個，2.5英寸最大內置磁盤存儲容量8TB RAID支持 RAID 0, 1, 1+0, 5, 6I/O技術PCI-Express, PCI-X PCI-E 2.0, PCI-XI/O插槽類型最大11個插槽，PCI-E 2.0高可用性（熱插拔、冗余電源或風扇）熱插拔，N+1個冗余風扇最多4個1200W電源，實現(xiàn)94%的電源效率(Panda Heavy B)特性：最大64核體現(xiàn)最佳虛擬化性能最大11個PCI-E 2.0插槽10Gb網(wǎng)卡升級選件SSD和IO加速卡選件參測服務器配置：DL585G7 4*O6272 2.1G

5、Hz 16core 16M128GB 16*8GB2300G 10K SAS512MB FBWC RAID cache2*320G SLC IO加速卡雙口QDR卡雙口8Gb HBA參測設備：IBM System x3850 X5System x旗艦平臺，提供領先的可擴展性能和容量通用的4插槽4U機架優(yōu)化式可擴展的企業(yè)級服務器，作為靈活的平臺能夠給計算和內存密集型工作負載提供最大的利用率、可靠性和性能。系統(tǒng)規(guī)范4個下一代 Intel Xeon Nehalem EX CPU64 96個 DDR3 DIMM 6個開放 PCIe 插槽 (外加2個可選插槽)最多8個2.5” HDD或16個 1.8” S

6、SD標配RAID 0/1， 選配RAID 5/6 2個1千兆以太網(wǎng) LOM2個10千兆以太網(wǎng)SFP+ 虛擬光纖架構（Virtual Fabric ） / FCoEE可擴展到8S、192個DIMM內部USB用于支持內嵌的系統(tǒng)管理程序IMM、uEFI 和 IBM Systems Director使用Intel 7500系列CPU本機64個線程和1TB容量，數(shù)據(jù)庫和虛擬化性能分別是2插槽 x86 (Intel Xeon 5500系列)系統(tǒng)的3.3倍和3.6倍MAX5內存擴展技術，可以多支持50%的虛擬機，并且提供領先的數(shù)據(jù)庫性能測試概要本測試旨在評估一種新Oracle數(shù)據(jù)庫架構QDATA在某運營商業(yè)

7、務模型中的性能和HA表現(xiàn)，同時通過一套基于傳統(tǒng)架構的Oracle數(shù)據(jù)庫系統(tǒng)作為對比在性能測試中，我們主要通過2種方式進行：ORION測試工具在Oracle數(shù)據(jù)庫中實際運行某具體業(yè)務的性能測試模型在HA容災測試中，我們主要通過拔線、強行停止進程等方式，隨后記錄業(yè)務中斷的時間從性能測試結果看，基于QDATA架構的Oracle數(shù)據(jù)庫的IOPS最高可達12.98萬，每秒SQL語句的執(zhí)行數(shù)超過11萬。在同等環(huán)境下，其IOPS和SQL執(zhí)行數(shù)分別為傳統(tǒng)架構的9.7倍和4.1倍HA測試顯示，在測試中涉及的災難情形中，QDATA均能在秒級時間內完成容災切換整體架構（QDATA）整體架構（基于NetAPP統(tǒng)一存儲

8、）硬件配置CPU型號CPU數(shù)量與核數(shù)內存FusionIO卡計算節(jié)點1AMD 61764CPU*6CORE*264G無計算節(jié)點2AMD 62764CPU*8CORE*2128G無存儲節(jié)點1Intel E75404CPU*6CORE*2120GSLC/160G*2/1塊存儲節(jié)點2Intel E75404CPU*6CORE*2100GSLC/160G*2/1塊每臺存儲節(jié)點插一塊320G SLC FusionIO DUO卡，虛擬成2塊160G磁盤fioa,fiob，另外存儲節(jié)點本地也有SAS磁盤， 一并輸出給計算節(jié)點計算節(jié)點通過Infiniband和QLink接口與存儲節(jié)點相連，識別存儲節(jié)點輸出的Fu

9、sionIO卡及SAS磁盤軟件和存儲系統(tǒng)配置操作系統(tǒng)： Redhat Enterprise Linux Server 5.8Linux核心：2.6.18-308.el5數(shù)據(jù)庫：Oracle Database 11.2.0.3 RAC+ASMOracle Grid 11.2.0.3 Clusterware存儲資源配置：Fusion-IOLUNASM(DATA_DG)控制文件、數(shù)據(jù)文件、臨時文件SASRAID0LUNASMOCR、VOTING、REDO日志Fusion-IO存儲的條帶化：QDATA: CONCAT或STRIPEORION測試ORION是Oracle公司提供的一款用于測試存儲系統(tǒng)在O

10、racle數(shù)據(jù)庫讀寫模型中的性能表現(xiàn)的測試工具。測試結果以IOPS和IO時延的形式提供。本測試中分“純讀”、“80%讀+20%寫”兩種情形測試QDATA的性能表現(xiàn)。單節(jié)點加壓在計算節(jié)點2上進行，雙節(jié)點加壓時則在2個計算節(jié)點中同時進行測試時采用的ORION指令如下：./orion -run advanced -testname read -num_disks 100 -write 0 -size_small 8 -size_large 8 -matrix row -num_large 0 -type rand ./orion -run advanced -testname readwrite -

11、num_disks 100 -write 20 -size_small 8 -size_large 8 -matrix row -num_large 0 -type rand IOPS VS. 并發(fā)度ORION測試的主要結論 - IOPS開始時，IOPS隨著并發(fā)度的上升而上升，當壓力達到一定程度時，其值不再呈現(xiàn)出明顯的上升態(tài)勢QDATA方案的最高IOPS為12.98萬，在雙機“80%讀+20%寫”的場景下測得，此時平均IO延時為7.71ms。單節(jié)點環(huán)境的最高IOPS為9.23萬，在“80%讀+20%寫”情形下測得，此時平均IO延時為5.41ms在純讀和“80%讀+20%寫”的環(huán)境下，IOPS的

12、數(shù)值非常接近。在不少時段， “80%讀+20%寫”的IOPS性能甚至超過純讀IO延時 VS. 并發(fā)度ORION測試的幾點結論 IO時延隨著壓力和并發(fā)度的上升，IO時延基本上呈線性增長，但最高時未超過8ms上圖中，X軸上半段和下半段的單位長度所表示的并發(fā)度的變化量不相同在純讀和“80%讀+20%寫”的環(huán)境下，IO延時非常接近。在不少時段， “80%讀+20%寫”的IOPS性能甚至超過純讀在單機測試環(huán)境下，QDATA方案的最高平均IO時延為5.8ms。在雙機測試環(huán)境下，QDATA方案最高平均IO時延為7.71ms基于某業(yè)務模型的Oracle測試該測試模擬某業(yè)務主庫的二大主要業(yè)務模型：訂購和票務訂購

13、模型：隨機的取一個手機號碼，根據(jù)該號碼查詢（SELECT）訂購關系，或者增加（INSERT）訂購關系，其中INSERT的占比為17.2%票務模型：隨機的取一個手機號碼，根據(jù)該號碼查詢（SELECT/JOIN）訂票情況，或者更新（UPDATE）訂票狀態(tài)，其中UPDATE語句的占比為4.76%訂購模型和票務模型的總體比率約為30:11測試方法：在計算節(jié)點中運行上述測試模型，一段時間后取AWR報告進行分析和讀數(shù)關注的主要性能指標包括：總物理IOPS、每秒SQL語句執(zhí)行數(shù)等涉及的主要SQL語句訂購模型select max(ChapterID), max(productId),max(sendmsisd

14、n) from us_subscribeinfo_XX where msisdn = :var1 and ticketid = :var2;insert into us_subscribeinfo_XX values();票務模型 select max(u.RECORDID) from us_markinfo u,con_auditticketinfo c where u.ticketid = c.ticketid and c.ticketstatus in () and u.msisdn = v_msisdn and u.marktype = 1 and c.tickettype in ()

15、 order by u.createtime desc;update us_markinfo set chapterid = chapterid+1 where recordid = v_RECORDID;涉及的主要數(shù)據(jù)表及其數(shù)據(jù)量訂購關系表（共分為20張表）總記錄數(shù)：1.11億，數(shù)據(jù)量：247G票務表記錄數(shù)： 9664萬，數(shù)據(jù)量：124G評審表記錄數(shù)：40.4萬，數(shù)據(jù)量：368M對比架構（基于NETAPP統(tǒng)一存儲）為了評估本測試項目的新數(shù)據(jù)庫架構與現(xiàn)有數(shù)據(jù)庫架構之間的性能差異，我們特別安排了一個基于NETAPP存儲的對比架構（以下簡稱NETAPP架構），采用完全相同的測試模型進行對比測試對比

16、架構的硬件配置為：兩節(jié)點Oracle RAC單節(jié)點CPU配置為：4路8Core2，內存為128G通過FC SAN連接NETAPP存儲FC網(wǎng)絡帶寬為4GbpsOracle單實例性能測試結果單實例測試結果分析與說明從測試結果看，在Oracle單實例環(huán)境中，QDATA架構在性能上均領先于FC SAN/NETAPP的傳統(tǒng)數(shù)據(jù)庫架構單QDATA計算節(jié)點運行Oracle時的平均IOPS和SQL執(zhí)行數(shù)分別可達到6.78萬和5.63萬，而性能最低的傳統(tǒng)架構則只有0.7萬和1.37萬與傳統(tǒng)架構相比，采用QDATA時，Oracle的在IOPS和SQL執(zhí)行數(shù)方面的性能提升可分別達到9.7倍和4.1倍，性能提升相當明

17、顯從平均讀延時來看，傳統(tǒng)架構的時延接近10ms，而QDATA僅為0.61msOracleQDATA的測試結果：單實例 VS. RACQDATA單實例QDATA RAC增長比例邏輯讀1,024,243.1 1,660,104.8 62.08%IOPS67,830.9 76,588.6 12.91%SQL執(zhí)行數(shù)56,329.1 110,624.3 96.39%平均讀延遲/毫秒0.61 0.79 29.51%由此可見，在QDATA環(huán)境下，當ORACLE由單實例模式變?yōu)镽AC模式后，其各項性能指標（除平均讀延遲后）均大幅度提高，特別是SQL執(zhí)行數(shù)，提升幅度高達96.39%，接近2倍RAC模式下的SQL

18、執(zhí)行數(shù)超過11萬平均讀延遲雖然也相應提高，但總體上仍然相當?shù)?，不超過1msOracleQDATA的測試結果：GC（節(jié)點間通信）測試時2個計算節(jié)點之間采用Load Balance的業(yè)務分攤模式從AWR報告中顯示的信息來看，本次測試中2個節(jié)點的GC流量均為32.2MB兩個發(fā)生各類GC擁塞的比率均不超過1.5%從GC包的時延上來看，基本保持在0.10.2ms之間，即便在發(fā)生擁塞時，也能維持在3ms左右QDATA HA測試結果HA所有測試均在雙RAC高并發(fā)壓力下進行1)拔掉一個存儲節(jié)點的HCA卡連線，RAC雙節(jié)點IOhang 15秒2)kill -9 存儲節(jié)點QLink進程，RAC雙節(jié)點IOhang 4秒3)存儲節(jié)點強行斷電電，RAC雙節(jié)點IOhang 15秒4)存儲節(jié)點命令reboot，RAC雙節(jié)點IOhang 4秒5)強行重啟一個RAC節(jié)點，Cache Fusion導致系統(tǒng)ha