aftership大規(guī)模任務(wù)調(diào)度在的高可用實(shí)踐

大規(guī)模任務(wù)調(diào)度在AfterShip個(gè)人介紹 分布式 主導(dǎo)的開源項(xiàng)主導(dǎo)的開源項(xiàng)AfterShip-由單?產(chǎn)品 SaaS產(chǎn)品閉 「以訂單更新為例，需要定時(shí)輪詢各個(gè)平臺(tái)，不同平臺(tái)的優(yōu)先級(jí)不一樣 「以包 為例，需要定時(shí)去輪詢合作的快遞物流商，同時(shí)?戶查詢?nèi)蝿?wù)優(yōu)先級(jí)更? 連接的?商很多，每天需要反復(fù)調(diào)度任務(wù)數(shù)量到 千萬級(jí)基礎(chǔ)設(shè)施分布在全球各地帶來的?延時(shí)，需 異步不同?商的服務(wù)SLA?保障，需 可重狀態(tài)更新都需要主動(dòng)輪詢，需 延時(shí)調(diào)不同?商服務(wù)性能不一樣，需 “主動(dòng)保護(hù)“(Rate不同?商任務(wù)優(yōu)先級(jí)不一樣，需 優(yōu)先級(jí)功需要一個(gè)能運(yùn)?“千萬級(jí)別“優(yōu)先級(jí)任務(wù)的 基于FIFO處理波峰任務(wù)需 核?問題是什么在FIFO服務(wù)之上實(shí)現(xiàn)了一如何解決「引入任務(wù)隊(duì)列來解決延時(shí)和優(yōu)先級(jí)的功能，同時(shí)解耦業(yè)務(wù)邏輯?持隊(duì)列RateRabbitMQ功能和性能滿足需求，Beanstalkd功能和性能滿足需求，單副本?法滿足Kafka延時(shí)功能?法滿足，從設(shè)計(jì)上MQ-優(yōu)先級(jí)功能?法滿足，?程復(fù)雜不太適合引Pulsar優(yōu)先級(jí)功能?法滿足，?程復(fù)雜不太適合引入，但社區(qū)活躍，tfy 功能和性能滿足需求，設(shè) 簡單，適合中短期引選 Y的原「功能和性能滿足的前提下，選擇系統(tǒng)設(shè)計(jì)簡單、可靠且符合團(tuán)隊(duì)技術(shù)棧的選型Y通過RestfulAPI任務(wù)? TTL、延時(shí)和?動(dòng)重通 Namespace?持多租?持容量橫向擴(kuò)容以 遷可擴(kuò)展多 引擎，目前只? 為什么是基于Redis數(shù)據(jù)結(jié)構(gòu)和命令豐富，適合來實(shí)現(xiàn)任務(wù)狀態(tài)遷任務(wù)隊(duì)列的本ReachMax注TTRTimeToY-ReadyQueue(listTimerSet(zset)-?來實(shí)現(xiàn)延遲任務(wù)的排序，由 ReadyQueue??DeadLetter(list存放重試次數(shù)到達(dá)上JobPool(string)-單獨(dú) JobID?不拷?任務(wù)，從?節(jié)省 Y任務(wù)寫在不搶占過多Redis資源前提下盡量做到實(shí)原子遷A,B，那么A??如果有任務(wù)則會(huì)優(yōu) 必須需要直接從TimerSet消費(fèi)也可以，使?ReadyQueue是為了 可以依賴RedisBlockingPop實(shí)現(xiàn)多隊(duì)列消費(fèi)和 timeout等待功能Cluster ClusterCluster

ClusterCluster 引擎，目前?持Redis和 appendonlyyes開啟AOF，避免重 noeviction-Redis作 no-appendfsync-on-rewriterewrite時(shí)做fsync避免阻塞主進(jìn)程導(dǎo)致超appendfsyncalways對(duì)于數(shù)據(jù)可靠性要求?較?時(shí)使?，一般是repl-backlog-size-根據(jù)寫入量適當(dāng)調(diào)大，減少full使 RedisSentinel做故障?動(dòng)切設(shè)置Redis最大FY單個(gè)隊(duì)列最大?度受限于單 Redis容目前只?持 ?持磁 服務(wù)作為二? RedisCluster模 特性:指數(shù)回退重架構(gòu)設(shè)計(jì)簡架構(gòu)設(shè)計(jì)簡消費(fèi)者實(shí)例數(shù)量降低問題定 分鐘級(jí)延時(shí)降 可擴(kuò)展容 容 以 擴(kuò)

容 以 擴(kuò)系統(tǒng)可觀察性包含什么明確最核?指標(biāo)，太多符合問題定位邏輯，先統(tǒng) 組織要有邏輯，「有指標(biāo)但組織地不好約等于沒有細(xì) Tracing容易在異步化流程被中斷，最好是在基 SDK去做好串為了保證數(shù)據(jù)完整性我們通過業(yè)務(wù)層去做了數(shù)據(jù)追蹤，再根據(jù)這些數(shù)據(jù)容 以 擴(kuò)遷