第3課高可用架構(gòu)設(shè)計(jì)與實(shí)踐高之硬件篇

1、高可用架構(gòu)設(shè)計(jì)與實(shí)踐58法律【】和幻燈片為煉數(shù)成金網(wǎng)絡(luò)課程的教學(xué)資料，所有資料只能在課程內(nèi)使用，不得在課程以外范圍散播，違者將可能被法律和經(jīng)濟(jì)責(zé)任。課程詳情煉數(shù)成金培訓(xùn)http:關(guān)于我58同城高級(jí)系統(tǒng)架構(gòu)師公司技術(shù)委員架構(gòu)組即時(shí)通訊、轉(zhuǎn)轉(zhuǎn)、C2C技術(shù)前高級(jí)工程師代表58同城對(duì)外嘉賓QConSDCCDTCCTop100程序員UPYUNTINGYUN3代表58對(duì)流Qcon(全球開發(fā)大會(huì))SDCC(中國(guó)開發(fā)者大會(huì))Top100(全球案例研究)DTCC(中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì))程序員撰稿2次58技術(shù)發(fā)展這10年計(jì)劃中4煉數(shù)成金課程課程MongoDB實(shí)戰(zhàn)已開課歡迎大家報(bào)名學(xué)習(xí)大規(guī)模高性能分布式已開課歡迎大家

2、報(bào)名學(xué)習(xí)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)上次課程回顧高可用架構(gòu)為什么需要分層？高可用架構(gòu)分層設(shè)計(jì)原則是什么？高可用架構(gòu)如何分層？高可用架構(gòu)分層最佳實(shí)踐的實(shí)踐案例6OutLine如何選擇硬件選擇什么樣的硬件高可用架構(gòu)硬件層面如何保證硬件層面高可用架構(gòu)保證的最佳實(shí)踐的實(shí)踐案例7如何選擇硬件硬件（互聯(lián)網(wǎng)主流）CPU內(nèi)存磁盤網(wǎng)卡32 prosor(8個(gè)物理核，每核2個(gè)處理器，開啟超線程)2.5GHZ32G-64G-96G-128GSATA機(jī)械盤-SAS機(jī)械盤-SSD(固態(tài)硬盤)價(jià)格10倍IO性能50倍讀寫速度越來(lái)越快硬件成本原來(lái)越高 1TB100mbs1000mbs8如何選擇硬件如何選擇硬件選擇硬件機(jī)型分類內(nèi)存性I/O

3、型CPU計(jì)算型10如何選擇硬件選擇硬件機(jī)型分類內(nèi)存型CPU:8Corex2 Mem:128G Disk:SAS 600Gx6 RAID5CPU:8Corex2 Mem:192G Disk:SAS 600Gx6 RAID5I/O型(DB)CPU:8Corex2 Mem:128G Disk:SAS 600Gx2 RAID1 +el S3700 800Gx6 RAID5型-SparkCPU:8Corex2 Mem:192G Disk:SAS 600Gx2 RAID1 + SATA 4TBx12型-HadoopCPU:8Corex2 Mem:128G Disk:SAS 600Gx2 RAID1 + S

4、ATA 4TBx12-RAID-RAID11如何選擇硬件選擇硬件 機(jī)型分類型-Public CPU:8Corex2 Mem:192G Disk:SAS 600Gx2 RAID1 + SAS 1TBx24 RAID/RAID5計(jì)算型（特殊機(jī)器）CPU:10Corex4 Mem:192G Disk:SAS 600Gx6 RAID5CPU:8Corex2 Mem:192G Disk:SAS 600Gx6 RAID5 GPU卡-12如何選擇硬件選擇硬件 服務(wù)器型號(hào)一覽表13選擇什么樣的硬件選擇硬件硬件的選擇取決于業(yè)務(wù)應(yīng)用場(chǎng)景Web業(yè)務(wù)場(chǎng)景內(nèi)存型/計(jì)算型邏輯業(yè)務(wù)場(chǎng)景計(jì)算型Cache應(yīng)用內(nèi)存型測(cè)試應(yīng)用虛擬

5、機(jī)14選擇什么樣的硬件選擇硬件硬件的選擇取決于業(yè)務(wù)應(yīng)用場(chǎng)景數(shù)據(jù)庫(kù)場(chǎng)景 DB型實(shí)時(shí)計(jì)算場(chǎng)景型-Spark/Storm離線計(jì)算場(chǎng)景型-Hadoop15選擇什么樣的硬件選擇硬件硬件的選擇取決于業(yè)務(wù)應(yīng)用場(chǎng)景海量數(shù)據(jù)（文件、等）型-Public圖像識(shí)別計(jì)算場(chǎng)景計(jì)算型（GPU)線下、邊緣業(yè)務(wù)場(chǎng)景虛擬機(jī)物理性能消耗16高可用架構(gòu)硬件層面如何保證硬件層面高可用性企業(yè)級(jí)應(yīng)用昂貴的硬件設(shè)備IBM的小型機(jī)中型機(jī)甚至大型機(jī) EMC的 貴！設(shè)備17高可用架構(gòu)硬件層面如何保證硬件層面高可用性互聯(lián)網(wǎng)公司打法PC級(jí)服務(wù)器（價(jià)格較低）設(shè)備廉價(jià)低價(jià)的PC服務(wù)器一年宕機(jī)一次是大概率事件高強(qiáng)度頻繁讀寫普通硬盤，損壞的概率更高一些硬件

6、可用性進(jìn)一步降低如何做硬件層面的高可用？18高可用架構(gòu)硬件層面如何保證硬件層面高可用性互聯(lián)網(wǎng)公司打法PC級(jí)服務(wù)器（價(jià)格較低）條件允許，盡可能采用配置高的服務(wù)器 高可用性提高單機(jī)數(shù)據(jù)高可用最重要 重點(diǎn)關(guān)注磁盤19高可用架構(gòu)硬件層面如何保證硬件層面高可用性互聯(lián)網(wǎng)公司打法磁盤SASSSDSATA： Serial ATA接口，即串行ATA，采用串行技術(shù)以獲得更高的傳輸速度及可靠性?，F(xiàn)在的已出SATAIII第三代。SCSI：全稱為“Small Computer Systemerface”（小型計(jì)算機(jī)系統(tǒng)接口），具有應(yīng)用范圍廣、多任務(wù)、帶寬大、CPU占用率低，以及熱插拔等優(yōu)點(diǎn) ，主要應(yīng)用于中、高端服務(wù)器和

7、高檔工作站 。SAS：Serial Attached SCSI接口，即串行SCSI， 采用串行技術(shù)以獲得更高的傳輸速度。SSD：固態(tài)硬盤(Solid Se Disk) 其特別之處在于沒(méi)有機(jī)械結(jié)構(gòu)，以區(qū)塊寫入和抹除的方式作讀寫的功能，與目前的傳統(tǒng)硬盤相較，具有低耗電、耐震、穩(wěn)定性高、耐低溫等優(yōu)點(diǎn)20高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤SATA-SCSI-SAS-SSD性能越來(lái)越好價(jià)格越來(lái)越高可用性越來(lái)越高盡可能選用高可用的磁盤單磁盤可用性依然保證不了，怎么辦？21高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤的高可用性如何保證用戶對(duì)磁盤系統(tǒng)的五大要求速度：提高磁盤I/O存取速度，縮小內(nèi)

8、存和磁盤的性能差距安全性：增強(qiáng)數(shù)據(jù)安全性及容錯(cuò)能力空間利用率：有效利用磁盤空間CPU占用率：降低數(shù)據(jù)I/O對(duì)CPU資源的占用性能：提高計(jì)算系統(tǒng)的整體工作性能22高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤的高可用性如何保證RAID（ Redundant Arrays of Independent Disks ）磁盤陣列 獨(dú)立磁盤的具有冗余能力的陣列 由很多價(jià)格較便宜的磁盤組成容量較大的磁盤組 并行讀寫，性能 數(shù)據(jù)恢復(fù)能力，任意磁盤故障，可以讀出數(shù)據(jù)，數(shù)據(jù)重構(gòu)植入新硬盤23高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤的高可用性如何保證RAID0 數(shù)據(jù)分條24高可用架構(gòu)硬件層面如何保證硬件層面

9、高可用性磁盤的高可用性如何保證RAID1 冗余25高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤的高可用性如何保證RAID10 RAID1+RAID026高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤的高可用性如何保證RAID01 RAID0+RAID127高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤的高可用性如何保證RAID5 分布式奇偶校驗(yàn)獨(dú)立磁盤28高可用架構(gòu)硬件層面如何保證硬件層面高可用性磁盤的高可用性如何保證RAID0數(shù)據(jù)分條RAID1冗余RAID10RAID1+RAID0RAID01RAID0+RAID1RAID5分布式奇偶校驗(yàn)獨(dú)立磁盤硬件層面高可用架構(gòu)保證的最佳實(shí)踐硬件層面高可

10、用性單機(jī)RAID系統(tǒng)SAS數(shù)據(jù)系統(tǒng)（不擁有數(shù)據(jù)）不用RAID數(shù)據(jù)庫(kù)SSD磁盤整體故障或者機(jī)器故障怎么保證高可用性？30硬件層面高可用架構(gòu)保證的最佳實(shí)踐硬件層面高可用性 磁盤的高可用性如何保證的RAID優(yōu)化 Stripe Element Size （元素大?。褐付嗽赗AID 0、1、5、10 和 50 虛擬磁盤中寫入到每個(gè)物理磁盤的分段大小。條元素大小設(shè)置為8 KB、16 KB、32KB、64 KB 或 128 KB。較大的大小提供較好的性能，特別是在系統(tǒng)主要進(jìn)行順序時(shí)更是如此。所以DB的機(jī)器stripe size都設(shè)置成128K，其他的機(jī)器都選擇的是64K。 讀寫策略：force wb w

11、ith no battery（不使用電池強(qiáng)制回寫）31硬件層面高可用架構(gòu)保證的最佳實(shí)踐硬件層面高可用性多機(jī)系統(tǒng)多機(jī)冗余數(shù)據(jù)多機(jī)冗余保證高可用性32硬件層面高可用架構(gòu)保證案例的實(shí)踐案例機(jī)器普通PC服務(wù)器R410、R420、C6100、R710、R720、1950、R720等等內(nèi)存型（內(nèi)存大，比如128GB）硬盤型（SATA-SAS-SSD）CPU計(jì)算型（2.5GHZ 16core-32core-64core-128core）硬盤RAID0、RAID1、RAID10、RAID5模塊機(jī)器不做冗余RAID1033硬件層面高可用架構(gòu)保證案例34硬件層面高可用架構(gòu)保證案例的實(shí)踐案例多機(jī)冗余模塊至少2個(gè)節(jié)點(diǎn)，需要多少，取決于整