面向系統(tǒng)內(nèi)部的訪(fǎng)問(wèn)頻率限制服務(wù)模型

面向系統(tǒng)內(nèi)部的訪(fǎng)問(wèn)頻率限制服務(wù)模型

一、業(yè)務(wù)維護(hù)及管理問(wèn)題對(duì)于大型開(kāi)放應(yīng)用程序，現(xiàn)有服務(wù)接口經(jīng)常被外部調(diào)用。在不添加訪(fǎng)問(wèn)頻率的控制策略上，這些接口可能會(huì)被過(guò)度調(diào)用。給系統(tǒng)帶來(lái)額外的負(fù)擔(dān)。過(guò)度調(diào)用,會(huì)導(dǎo)致兩方面的后果:接口調(diào)用者通過(guò)對(duì)服務(wù)接口的多次調(diào)用間接獲取系統(tǒng)安全信息,對(duì)系統(tǒng)造成隱患,常見(jiàn)的有:短時(shí)間內(nèi)對(duì)登陸服務(wù)接口,通過(guò)枚舉組合,破解用戶(hù)系統(tǒng)密碼。另一方面,因?yàn)橛脩?hù)個(gè)體數(shù)量龐大,單個(gè)用戶(hù)對(duì)接口大量的調(diào)用,會(huì)影響其他用戶(hù)的服務(wù)質(zhì)量,降低系統(tǒng)的有效負(fù)荷。用戶(hù)訪(fǎng)問(wèn)數(shù)達(dá)到一定量級(jí)的系統(tǒng)平臺(tái)均會(huì)遇到上述問(wèn)題,并各自都有相應(yīng)的解決方法。但現(xiàn)成的方法是,把訪(fǎng)問(wèn)限制功能作為獨(dú)立的模塊,系統(tǒng)內(nèi)部需要使用此功能的業(yè)務(wù),就把該模塊的拷貝納入作為業(yè)務(wù)的子模塊。這種系統(tǒng)組織方式既不利于維護(hù),也不利于管理。而且訪(fǎng)問(wèn)約束所適用的類(lèi)型往往是固定的,不易于擴(kuò)展。用戶(hù)訪(fǎng)問(wèn)數(shù)據(jù)的存儲(chǔ)方面,已有的方式主要分兩種:客戶(hù)端記錄,或在服務(wù)端用數(shù)據(jù)庫(kù)存儲(chǔ)。前者的訪(fǎng)問(wèn)數(shù)據(jù)可能被篡改,有安全隱患;作為一種基礎(chǔ)功能模塊,后者的做法代價(jià)較為昂貴,可能會(huì)占用大量的數(shù)據(jù)庫(kù)連接,降低業(yè)務(wù)處理能力。針對(duì)上述問(wèn)題,本文提出一種輕型的訪(fǎng)問(wèn)頻率限制服務(wù)模型(AccessFrequencyRestrictServiceModel,AFRSM)。此模型本身是一種面向平臺(tái)內(nèi)部的私有服務(wù)接口。系統(tǒng)邊界以?xún)?nèi)的一切需要進(jìn)行訪(fǎng)問(wèn)頻率限制的模塊和對(duì)外服務(wù)接口均可通過(guò)簡(jiǎn)單的協(xié)議共同使用此服務(wù)(FrequencyRestrictService,FRS)。最終達(dá)到統(tǒng)一管理和使用訪(fǎng)問(wèn)頻率限制服務(wù)的目的。二、fysm總結(jié)2.1mmap文件群頻率限制服務(wù)(FrequencyRestrictService,FRS)作為CGI、Web-Service等公共服務(wù)接口的依賴(lài)服務(wù),自身對(duì)性能有較高的要求。在設(shè)計(jì)模型時(shí)我們偏重其并發(fā)處理能力以及輕型的數(shù)據(jù)存儲(chǔ)。圖1是本文提出的頻率限制服務(wù)模型的簡(jiǎn)要架構(gòu),它由三大塊組成:微服務(wù)器框架、MMAP文件群以及一組配置文件。其中服務(wù)器我們采用了并發(fā)度較高的epoll模型,除守護(hù)進(jìn)程外還可配置n個(gè)子進(jìn)程進(jìn)一步增加其并發(fā)性能。服務(wù)只處理兩種類(lèi)型的請(qǐng)求:Query和Update,分別對(duì)應(yīng)FRS的查詢(xún)接口和更新接口。公共服務(wù)(記為PS)通過(guò)FRS的查詢(xún)接口可以獲知:當(dāng)前用戶(hù)/當(dāng)前IP是否仍對(duì)于該服務(wù)(PS)有使用權(quán),如有權(quán)使用則表示該用戶(hù)在服務(wù)(PS)中沒(méi)有被限制;反之,則表示該用戶(hù)在服務(wù)(PS)中已被約束。在FRS的核心處理模塊中,包含了一些核心算法,用以訪(fǎng)問(wèn)和更新MMAP文件群。Config-Cache是FRS的重要組成部分之一,在守護(hù)進(jìn)程啟動(dòng)時(shí),指定配置文件內(nèi)容機(jī)會(huì)被緩存在中,之后每次訪(fǎng)問(wèn)配置文件實(shí)際上都會(huì)在內(nèi)存中命中需獲取的配置項(xiàng)。配置文件在此分兩種類(lèi)型:(1)服務(wù)器相關(guān)的配置(srv.xml),用于指定服務(wù)器的子進(jìn)程數(shù),所綁定的主機(jī)端口等;(2)業(yè)務(wù)配置(map.xml),用于注冊(cè)各個(gè)業(yè)務(wù)的頻率限制細(xì)則:業(yè)務(wù)標(biāo)識(shí)、時(shí)間間隔、間隔內(nèi)最大訪(fǎng)問(wèn)次數(shù)。2.2應(yīng)用層協(xié)議的構(gòu)建FRS采用TCP協(xié)議,并在此基礎(chǔ)之上構(gòu)建應(yīng)用層協(xié)議。由于FRS是內(nèi)部服務(wù),不對(duì)外公開(kāi),因此不存在數(shù)據(jù)包的保密問(wèn)題;同時(shí)FRS屬于輕型服務(wù),在一次服務(wù)請(qǐng)求過(guò)程中不會(huì)傳輸過(guò)多數(shù)據(jù),因此不需要考慮數(shù)據(jù)包壓縮的問(wèn)題。應(yīng)用層協(xié)議的構(gòu)建原則是:簡(jiǎn)單并易于擴(kuò)展。HTTP-XML協(xié)議是我們所采用的應(yīng)用層協(xié)議。即,使用HTTP頭描述數(shù)據(jù)包體的長(zhǎng)度、請(qǐng)求命令類(lèi)型等信息。具體請(qǐng)求/響應(yīng)數(shù)據(jù)則采用XML協(xié)議描述,以便在此基礎(chǔ)上進(jìn)行擴(kuò)展修改。圖2是一個(gè)請(qǐng)求協(xié)議包的模板樣例。其中cmd_type={“query”,”update”};Key是調(diào)用業(yè)務(wù)的主體標(biāo)識(shí)(用戶(hù)ID,IP等);而B(niǎo)iz_id則是在FRS中注冊(cè)的業(yè)務(wù)標(biāo)識(shí)。圖3為響應(yīng)協(xié)議包的模板樣例,其中result標(biāo)示查詢(xún)或更新后的結(jié)果:(1)Resultquery={0:”無(wú)約束”,1:”已約束”}由于返回字段Msg中可能包含中文字符,因此響應(yīng)協(xié)議包使用UTF-8編碼。2.3frs的使用模式FRS作為一種內(nèi)部服務(wù),其使用者是位于系統(tǒng)最外層的CGI、Web-Service、其他Server等公開(kāi)服務(wù)接口。通用的HTTP-XML協(xié)議使得其它服務(wù)的邏輯中可以很方便實(shí)現(xiàn)對(duì)FRS的調(diào)用。FRS的客戶(hù)端使用模式相對(duì)固定,主要分=兩個(gè)步驟:a.Query,b.Update,如圖4所示:當(dāng)且僅當(dāng)key在服務(wù)(BizID)中沒(méi)有被約束,調(diào)用者key才能繼續(xù)使用該業(yè)務(wù),并在使用完畢后,必須更新記錄key對(duì)這次業(yè)務(wù)的使用情況。由于從步驟(02)開(kāi)始需要依賴(lài)步驟(01)的結(jié)果,步驟(01)必須使用同步模式請(qǐng)求FRS。如該業(yè)務(wù)采用異步I/O模型的可能在此進(jìn)行特殊處理,采取局部的同步請(qǐng)求。圖中描述可知FRS使用過(guò)程相對(duì)固定,并且部署的層次也比較統(tǒng)一,均在系統(tǒng)外層的公共服務(wù),因此,凡使用到FRS的業(yè)務(wù)服務(wù)不妨使用AOP模式對(duì)此功能進(jìn)行部署。三、.關(guān)鍵分析3.1關(guān)鍵節(jié)點(diǎn)的檢索FRS中的訪(fǎng)問(wèn)記錄我們采用輕型的MMAP存儲(chǔ),使用時(shí)只需把文件數(shù)據(jù)映射到內(nèi)存中即可。然而遍歷文件找到真正需要的數(shù)據(jù)是一項(xiàng)耗時(shí)的操作,尤其在文件較大的情況下。為此,本文采用泛型的鍵值索引,將MMAP文件平均劃分為m塊存儲(chǔ)區(qū)域(稱(chēng)為關(guān)鍵節(jié)點(diǎn),key-node),在目標(biāo)數(shù)據(jù)存儲(chǔ)或檢索之前,預(yù)先為其估算出一個(gè)關(guān)鍵節(jié)點(diǎn),使MMAP可以快速定位到該區(qū)域。鍵值不同的數(shù)據(jù)有可能會(huì)被安排在同一個(gè)關(guān)鍵節(jié)點(diǎn)中,稱(chēng)為估算沖突。沖突的數(shù)據(jù)會(huì)被安排在該關(guān)鍵節(jié)點(diǎn)的一條沖突鏈上,進(jìn)行小區(qū)域遍歷檢索。圖5上側(cè)描述的是單個(gè)MMAP文件存儲(chǔ)。垂直排布示意的是關(guān)鍵節(jié)點(diǎn),與其緊連的是該節(jié)點(diǎn)的沖突鏈。沖突鏈?zhǔn)怯虚L(zhǎng)度限制的,因?yàn)閙=1的極端情況下,沖突鏈將占滿(mǎn)整個(gè)文件,檢索算法會(huì)退化為文件遍歷檢索。較為理想的情況是盡量減少?zèng)_突鏈的長(zhǎng)度,盡可能一次命中。當(dāng)某條沖突鏈用盡的時(shí)候,我們需要考慮采用淘汰算法,將過(guò)期的節(jié)點(diǎn)抹掉/復(fù)用。假定允許的沖突長(zhǎng)度為L(zhǎng)engthconflict(包含關(guān)鍵節(jié)點(diǎn)本身),每個(gè)節(jié)點(diǎn)存儲(chǔ)大小為sizenode,則可計(jì)算出MMAP文件的大小:上述的泛型是指FRS的擴(kuò)展性。在FRS中通過(guò)編程擴(kuò)展可以支持:以不同數(shù)據(jù)類(lèi)型作為索引主鍵,只要實(shí)現(xiàn)該種數(shù)據(jù)類(lèi)型的索引估算接口,和比較接口即可。其中,索引估算接口在知道關(guān)鍵節(jié)點(diǎn)總量m的前提下,用來(lái)計(jì)算關(guān)鍵節(jié)點(diǎn)。如:Integer類(lèi)型的鍵值可以采用求模運(yùn)算得到關(guān)鍵節(jié)點(diǎn)索引,而String類(lèi)型則可以使用現(xiàn)成的BobHash算法;而比較接口則是在沖突鏈上用來(lái)進(jìn)行鍵值比較,最終定位到目標(biāo)數(shù)據(jù)。圖5下側(cè)是MMAP集群,由多個(gè)同構(gòu)的MMAP文件構(gòu)成。它適用于更大數(shù)據(jù)量存儲(chǔ)。假定一個(gè)MMAP群當(dāng)中有n個(gè)存儲(chǔ)文件。即相當(dāng)于將數(shù)據(jù)存儲(chǔ)容量擴(kuò)展了n倍。根據(jù)上述說(shuō)明,可得出總的數(shù)據(jù)存儲(chǔ)大小為總體看來(lái),使用MMAP群模式對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)檢索,實(shí)際上使用了2級(jí)檢索:第一級(jí),索引到文件;第二級(jí),索引到關(guān)鍵節(jié)點(diǎn)。為了使用方便,我們把上述對(duì)MMAP的訪(fǎng)問(wèn)步驟封裝成一組操作:Init-MMAP、Find-Node、Erase-Node、Update-Node。由于MMAP是多進(jìn)程共享訪(fǎng)問(wèn)的,因此這些操作(尤其是修改文件數(shù)據(jù)的操作)都需要使用信號(hào)量互斥處理。Init-MMAP:在守護(hù)進(jìn)程啟動(dòng)時(shí),根據(jù)配置文件初始化MMAP/MMAP群的規(guī)模。Create-Node:創(chuàng)建新節(jié)點(diǎn)。Find-Node:找到目標(biāo)數(shù)據(jù)節(jié)點(diǎn)。Erase-Node:刪除目標(biāo)節(jié)點(diǎn)。通常在淘汰處理時(shí)調(diào)用。Update-Node:更新目標(biāo)數(shù)據(jù)節(jié)點(diǎn)。3.2非預(yù)期情況下的控制策略頻率限制是FRS的核心模塊之一。在保證它的有效性的前提下,我們盡量簡(jiǎn)化了它的實(shí)現(xiàn)邏輯。它基于以下簡(jiǎn)單的數(shù)據(jù)結(jié)構(gòu)和算法(圖6):其中Interval和Max分別是某業(yè)務(wù)ID所對(duì)應(yīng)的時(shí)間間隔和限制次數(shù)(于配置文件中設(shè)定)。這兩個(gè)參數(shù)控制了個(gè)體在一個(gè)時(shí)間段內(nèi)訪(fǎng)問(wèn)業(yè)務(wù)的次數(shù)。由算法可知,在Interval時(shí)間段內(nèi):第1次訪(fǎng)問(wèn)一個(gè)業(yè)務(wù)時(shí),會(huì)通過(guò)FRS創(chuàng)建一個(gè)新的記錄節(jié)點(diǎn)(記為node),并把node.Start和node.End更新為當(dāng)前時(shí)間戳,node.Count記為1;第n次(n<=Max)訪(fǎng)問(wèn)該業(yè)務(wù),則保持node.Start不變,node.End更新為當(dāng)前時(shí)間戳,node.Count記為n;第n次(n>Max)訪(fǎng)問(wèn)該業(yè)務(wù),仍然繼續(xù)保持node.Start的值不變,node.End更新為當(dāng)前時(shí)間戳,但由于node.Count已到達(dá)極限值,訪(fǎng)問(wèn)被拒絕。當(dāng)且僅當(dāng),在下次訪(fǎng)問(wèn)時(shí)滿(mǎn)足:解除時(shí)間間隔約束(node.end-node.start>=Interval)條件,node.start才會(huì)重置為當(dāng)前時(shí)間戳?；氐教幚淼?次訪(fǎng)問(wèn)邏輯的狀態(tài)。有兩種情況會(huì)促使FRS調(diào)用Create-Node去創(chuàng)建一個(gè)新節(jié)點(diǎn):(1)第一次訪(fǎng)問(wèn);(2)因?yàn)楣?jié)點(diǎn)過(guò)舊而被淘汰,需要新建。圖7展現(xiàn)了FS算法在的時(shí)間軸上可能的考察角度。情況I,在此稱(chēng)為預(yù)期情況:業(yè)務(wù)被訪(fǎng)問(wèn)的次數(shù)(n)在一個(gè)區(qū)間(t)的時(shí)間內(nèi)尚未到達(dá)極限值(max);或者在n=max的情況下,n次訪(fǎng)問(wèn)均以較為均勻的分布出現(xiàn)在區(qū)間中,都屬于正常情況?？疾靸蓚€(gè)連續(xù)區(qū)間:[Tx,Tx+t)、[Tx+t,Tx+2t),仍然是在n=max的條件下,并假定訪(fǎng)問(wèn)分布集中在[Tx+t/2,Tx+t)、[Tx+t,Tx+3t/2),則可能得出新區(qū)間[Tx+t/2,Tx+3t/2)的訪(fǎng)問(wèn)次數(shù)超出max的結(jié)論。從系統(tǒng)外界看來(lái),區(qū)間[Tx+t/2,Tx+3t/2)的訪(fǎng)問(wèn)次數(shù)可以超過(guò)設(shè)定的極限值,因此稱(chēng)為II.非預(yù)期情況?？梢酝ㄟ^(guò)控制訪(fǎng)問(wèn)時(shí)機(jī)構(gòu)造出II的極端情況:第1次訪(fǎng)問(wèn)在時(shí)間點(diǎn)Tx發(fā)生;剩余的(max-1)次訪(fǎng)問(wèn)控制在[Tx+t/2,Tx+t)完成;在Tx+t的時(shí)候,區(qū)間約束講被解除,并使新一輪max次的訪(fǎng)問(wèn)全部在[Tx+t,Tx+3t/2)完成。此時(shí)在區(qū)間[Tx+t/2,Tx+3t/2)上可訪(fǎng)問(wèn)的次數(shù)可達(dá)max*2-1次,將近是限定值的2倍。出現(xiàn)此情況,是因?yàn)樵谖覀兛疾煸L(fǎng)問(wèn)區(qū)間分布時(shí),將2個(gè)連續(xù)獨(dú)立區(qū)間聯(lián)合起來(lái)構(gòu)造新區(qū)間,并在此區(qū)間做局部分析。在訪(fǎng)問(wèn)發(fā)生時(shí)間分布均勻的情況下,任意抽取時(shí)間軸區(qū)間,可滿(mǎn)足n<max;而在分布極不均勻的情況下只能確保滿(mǎn)足:n<=(max*2-1),這是此算法的不足。但考察III.總體呈現(xiàn),要達(dá)到極端值(max*2-1)必須由2個(gè)連續(xù)區(qū)間構(gòu)成。也就是說(shuō)連續(xù)2個(gè)區(qū)間內(nèi),可以控制n<=(max*2-1)。由III.總體呈現(xiàn)可知:我們總體去考察時(shí)間軸,此算法依然可以把訪(fǎng)問(wèn)頻率限制為maxaverage=(max*2-1)/2