新浪微博豐富化應(yīng)用下的技術(shù)選型

1、新浪微博豐富化應(yīng)用下的技術(shù)選型技術(shù)創(chuàng)新 變革未來為什么要選型？怎么選型？選對了嗎？目錄Part 1 為什么要選型？推薦通訊錄聯(lián)系人關(guān)系推薦中的一種強關(guān)系物料多樣的業(yè)務(wù)需求春晚答題王多樣的業(yè)務(wù)需求微博story并發(fā)吞吐 高大SLA數(shù)據(jù) 高量大要求原有組件已經(jīng)不能滿足需求場景豐富業(yè)務(wù)變化Part 2 怎樣選型？需求案例一內(nèi)存過大冷熱分離案例二業(yè)務(wù)需求通過手機號查找用戶id通過用戶昵稱查找對應(yīng)手機號數(shù)據(jù)量過大，過 度分庫分表案例三通訊錄數(shù)據(jù)庫情況：250億條7.2 T 數(shù)據(jù)了解新型組件Counterservice ssdPIKA內(nèi)存過大PIKA大容量可持久化加載Db速度快完全兼容redis協(xié)議PIK

2、A冷熱分離Counterservice ssd基礎(chǔ)版本 eredis支持多table定長kv存儲數(shù)據(jù)冷熱分離Counterservice ssd數(shù)據(jù)量過大，過 度分庫分表MyrocksMYROCKS將RocksDB作為MySQL的一個存儲引擎移植到MySQL高壓縮比較低的寫入放大支持通用的MySQL 讀寫,鎖機制,MVCC,事務(wù)(目前僅支持RR,RC)，主從復制壓測Hash 類型數(shù)據(jù)開啟壓縮之后的壓縮比情況PIKA 性能報告關(guān)鍵參數(shù) max-background-compactions 不同值的壓測PIKA 性能報告機型 ：Pika+PCIE+Centos7thread : 8192 個 RT

3、 : 99.9% 50ms W+R QPS : 7w/sPIKA 性能報告操作平均并發(fā)數(shù)(條/s)平均響應(yīng)時間get8333899.99=2msset6283999.93=2msincr5529399.98=2ms熱數(shù)據(jù)訪問性能讀線程數(shù)平均并發(fā)數(shù)(條/s)149732111644216678398681648000不同讀線程個數(shù)下，冷數(shù)據(jù)的讀取性能Counterservicessd 性能報告響應(yīng)時間(ms)請求百分比30.14%424.03%571.42%696.09%799.40%899.67%999.77%1099.99%16100.00%讀線程數(shù)設(shè)為4時，請求的相應(yīng)時間分布Counter

4、servicessd 性能報告Myrocks性能報告數(shù)據(jù)空間對比寫性能Myrocks性能報告讀性能Myrocks性能報告對于任何場景，將CentOS升級到7可以得到讀寫性能的 提升，以及讀時延的下降。對于并發(fā)會隨業(yè)務(wù)持續(xù)增長的業(yè)務(wù)，建議使用PCIE設(shè) 備來保障服務(wù)的穩(wěn)定性。對于高寫入大容量的端口建議使用Myrocks+PCIE來 解決，得到最高的寫性能和較低的磁盤占用Myrocks性能報告那這樣就能上線了嗎?選擇標準Part 3 選對了嗎?磨合期線上問題排查參數(shù)調(diào)優(yōu)Qps 600cpu 打滿了線上問題排查Step 1：top 查看線上問題排查線上問題排查Step2：看內(nèi)核態(tài)系統(tǒng)調(diào)用perf線上

5、問題排查Step3 ：查看相關(guān)rocksdb 日志和pika的相關(guān)代碼實現(xiàn)線上問題排查Step 4：單個文件的size都大于一個level觸發(fā)compact的 size, 因此會導致level-1不斷的compact具體分析：線上問題排查線上問題排查Step 5：調(diào)大max_bytes_for_level_base 或者升級到最新版本參數(shù)調(diào)優(yōu)第一次改表時間3小時都沒有反應(yīng)rocksdb_commit_in_the_middle =1;rocksdb_bulk_load =1 ;rocksdb_skip_fill_cache =1;參數(shù)調(diào)優(yōu)收益案例一18T 數(shù)據(jù)2000180016001400120010008006004002000機器數(shù)端口數(shù)pikaredis案例