2022騰訊大數據技術架構

⑩業(yè)務需求⑩基礎平臺架構··千萬->10億并發(fā)請求用戶響應·秒->毫秒機器規(guī)?！で?>萬->10萬級機器規(guī)?！で?>萬->10萬級基礎平臺架構維分析/…實時計算離線計算資源調度資源管理Ⅲ89并行計算框架資源調度管理資源調度管理●支持多種并行計算框架在規(guī)模為1萬節(jié)點，1萬作業(yè)，1200隊列時，Gaia-資源調度器優(yōu)化-sfair調度器ContainerContainerContainerContainerContainerNodeManager經過優(yōu)化，在大規(guī)模環(huán)境下，調度器的平均吞吐率從20提高到1000,提高50倍?！獭獭獭叹W絡入帶寬管理bakhung·資源超發(fā)：提高資源使用率·高優(yōu)先級作業(yè)的服務質量得以保證內存管理●多維度資源管理：新增NetworkIO、DiskIO等資源管理維度，提升了隔離性●豐富的用戶api:為業(yè)務提供更便捷的容災、擴容、縮容和升級等方式⑩計費在線業(yè)務能力要求計費平臺在線業(yè)務能力要求·7*24不間斷服務(99.999%)安戶嘗銷結算交易稽核全賬淘寶分布式數據層datasource實現(xiàn)，主要解決分庫分表對應用透明和異構DB間的數據復制●集中式數據源信息管理和動態(tài)變更●讀寫次數、并發(fā)度流程控制，動態(tài)變更②●從庫負載均衡●自動摘除宕機的DB●為第三方開發(fā)人員提供的DB存儲解決方案●DBaas,即申請即使用●通過Mysql客戶端和API直接訪問和管理Mysql實例，無需改造代碼的IP/Port不變，應用層無需修項目用戶接口分庫分表單表單表功能不嚴格保障不嚴格保障不嚴格保障主備；自動切換主備；自動切換主備；自動切換容災跨IDC跨IDC跨IDC半手工/—鍵擴容半手工半手工預分表/手工預分表/手工預分表/手工分鐘分鐘分鐘手工手工手工不支持不支持不支持●數據存儲&訪問●故障隔離&恢復●用戶接入用戶接入業(yè)務邏輯TDF:配置/日志/協(xié)議/路由/權限/容錯/容災分布式存儲Ⅲ主應用主GW(邏輯表)Mysql(物理表)GW(邏輯表)Mysql(物理表)2—2—n初始態(tài)：邏輯表=物理表擴容后：邏輯表=N個物理表容量：自動伸縮●整表遷移●子表分裂●在一個集群中，每次表分裂，會導致集群表數量的增加；集群中表的數量就是路由的條數，表數量越多，路由的效率就會越低●一個實例上面的表越多，對該實例運行環(huán)境的判斷就越復雜：同一實例上的子表，表現(xiàn)各異，交叉影響的評估難度增大，可能導致連鎖反應整表遷移>子表分裂子表合并>整表搬遷●scheduler:檢測到主故障，通知主降級●scheduler:通知備升級為主●gw:路由切換至新的主機●切換完成圖4-3主備切換流程示章圖數據安全●存儲安全●熱備：至少雙份●冷備：快照+binlog●訪問安全●兼容MySQL權限控制●用戶級別的數據隔離、訪問控制命令行MySQL一樣全兼容報表一切還像原來，只是更加簡單用戶接入行注冊賬戶表空間查看狀態(tài)查看狀態(tài)令行什么備置機器、配置部署、擴容切換等等，通通不需要了—讓一切回歸簡單項目用戶接口分庫分表單表單表功能不嚴格保障不嚴格保障不嚴格保障主備；自動切換主備；自動切換主備；自動切換容災跨IDC跨IDC跨IDC手工/一鍵擴容半手工半手工自動手工手工手工分鐘分鐘分鐘自動手工手工手工不支持不支持不支持●建設一個統(tǒng)一的業(yè)務開發(fā)框架，用以●降低開發(fā)、測試、運維的復雜度，提升服務質量具備快速、靈活的業(yè)務支持能力，提升服務效率器器器器器配置…3+1結構：資源管理、服務管理、開發(fā)框架+集群控制臺TAM應用管理-流量調度業(yè)務請求調度規(guī)則正式●跨集群的業(yè)務訪問：如一筆交易，批價在深圳，發(fā)貨在上海；這種跨集群的訪問需要跨集群的路由●每個集群保存一個全局元數據(主要包括調用關系和iplist)群的元數據變更同步到所有集群的全局元數據中zk授權策略路由上上報日志配置日志路由業(yè)務邏輯1業(yè)務邏輯1業(yè)務邏輯n業(yè)務邏輯n概況概況機器數量應用數量資源使用率資源使用情況⑩大數據平臺之基礎架構⑩大數據應用之實時精準推薦月活躍用戶8.3億，最高同時在線2.1億；月活躍用戶8.3億，最高同時在線2.1億；在線人際關系鏈超X000億；月活躍4.4億；月活躍用戶數6.5億；騰訊游戲月活躍用戶超X億；手機游戲月活躍用戶超X億；日均uv超X千萬，手機側超X千萬；42實時精準推薦平臺1000億21億實時精準