一條風(fēng)控策略的生命周期

一條風(fēng)控策略的生命周期在進(jìn)行內(nèi)容治理時(shí)，我們需要考慮需要治理的對(duì)象及其方式，本文從12個(gè)維度出發(fā)，談?wù)勆暇€一條策略、一條規(guī)則的完整流程，希望對(duì)你有所幫助。本文基于智能驗(yàn)證碼和延時(shí)審核的背景，聊聊上線一條策略、一條規(guī)則的完整流程，本文目錄如下圖。這是一本書中的一個(gè)規(guī)則挖掘流程，下文的流程可以理解為這個(gè)流程的完整版，在他的基礎(chǔ)上有一些補(bǔ)充。一、價(jià)值觀1.業(yè)務(wù)類不管是內(nèi)容治理還是業(yè)務(wù)治理，第一步要確定的是，我們需要治理什么。不同公司業(yè)務(wù)不同，在業(yè)務(wù)側(cè)需要治理的內(nèi)容也大不相同。例如美團(tuán)點(diǎn)評(píng)可能需要治理虛假評(píng)價(jià)、惡意差評(píng)等公信力問題。只有真實(shí)、對(duì)用戶有幫助的內(nèi)容才能留得住用戶的信任，下圖來自美團(tuán)在拉勾的招聘要求。例如微博可能需要在各個(gè)環(huán)節(jié)控制不良內(nèi)容的產(chǎn)生和消費(fèi)。例如知乎可能需要治理不友善、抄襲、男女權(quán)等氛圍向的內(nèi)容。在58同城社區(qū)模塊，則需要能夠提升用戶對(duì)業(yè)務(wù)認(rèn)知，及能夠提升留存的內(nèi)容。所以相應(yīng)的需要治理掉虛假信息、低質(zhì)內(nèi)容、重復(fù)內(nèi)容、改寫抄襲、水帖等。2.底線類對(duì)于底線類的內(nèi)容各公司相差不會(huì)太大，都是來自外部倒逼的治理：指令、輿情。1.21指令指令有兩種，第一種是國(guó)家部門公開發(fā)布的清查、政治指令。這類指令一般描述得較為抽象和寬泛，需要專業(yè)的政府關(guān)系部門和風(fēng)控部門共同進(jìn)行研判解讀后，基于平臺(tái)定位制定具體的執(zhí)行范圍和方向。比如：6月15日，中央網(wǎng)信辦宣布在全國(guó)范圍內(nèi)開展“清朗·‘飯圈’亂象整治”專項(xiàng)行動(dòng)。豆瓣開始對(duì)違規(guī)賬號(hào)、問題小組等進(jìn)行刪除和解散，愛奇藝對(duì)集資、打榜徹底“自查自糾”。另一種是國(guó)家部門直接給企業(yè)下達(dá)的查殺的指令，比如互聯(lián)網(wǎng)舉報(bào)中心收到xx舉報(bào)，命令平臺(tái)處理，這類指令必須執(zhí)行。1.2.2輿情輿情一般指用戶或媒體在站外對(duì)平臺(tái)出現(xiàn)的內(nèi)容進(jìn)行負(fù)面評(píng)價(jià)，并達(dá)到一定傳播量，如果不及時(shí)處理，可能對(duì)平臺(tái)品牌形象、聲譽(yù)有惡劣影響。官媒發(fā)出的負(fù)面評(píng)價(jià)，嚴(yán)肅程度不亞于指令。比如：9月末，《新京報(bào)》和《央視網(wǎng)》等多家媒體報(bào)道了社交媒體的“佛媛”現(xiàn)象，一時(shí)間上了熱搜。各個(gè)社區(qū)在第一時(shí)間進(jìn)行了清查，抖音共處罰利用“佛媛”形象營(yíng)造人設(shè)開展虛假營(yíng)銷行為相關(guān)賬號(hào)48個(gè)，其中永久封禁賬號(hào)7個(gè)，同時(shí)，清理違規(guī)視頻148條。小紅書第一時(shí)間已啟動(dòng)專項(xiàng)檢查，清理違規(guī)筆記70篇，封禁賬號(hào)3個(gè)。10月，很多人假期出游后，在社交網(wǎng)絡(luò)上吐槽小紅書“濾鏡景點(diǎn)”，一時(shí)沖上了熱搜，之后小紅書進(jìn)行了公開道歉。對(duì)于外部倒逼的指令、輿情，一般由企業(yè)內(nèi)專業(yè)的公關(guān)部門，政府關(guān)系部門進(jìn)行快速交涉和判斷，給出應(yīng)對(duì)措施到各個(gè)部門執(zhí)行落地，進(jìn)行生態(tài)治理是其中必備的措施之一。二、如何發(fā)現(xiàn)未發(fā)現(xiàn)的問題需要治理的問題可以分為兩類，一類是已知的問題，我們知道這個(gè)問題存在，只是考慮如何更好的識(shí)別、如何識(shí)別變形、如何引導(dǎo)用戶不發(fā)違規(guī)內(nèi)容、需要治理到什么程度、如何處罰、如何教育等，例如治理重復(fù)內(nèi)容、改寫內(nèi)容。但還有一類是，我們不需要的內(nèi)容，但是我們當(dāng)前并未發(fā)現(xiàn)這個(gè)這個(gè)問題，如何才能更好的發(fā)現(xiàn)這個(gè)問題。例如我們最近治理過的一類型問題，雖然在寫自己經(jīng)歷，但我們分析后發(fā)現(xiàn)這類型帖子極易出現(xiàn)詐騙行為。這類型就屬于之前未關(guān)注到，但很明確這類型類容是我們不需要的，需要新發(fā)現(xiàn)這個(gè)問題。我們常用的幾種發(fā)現(xiàn)未發(fā)現(xiàn)的問題包括：監(jiān)控體系/預(yù)警體系：通過對(duì)某些核心指標(biāo)的監(jiān)控，例如提現(xiàn)金額、發(fā)帖頻率、發(fā)帖量、頻繁切換賬號(hào)等的監(jiān)控，如果指標(biāo)出現(xiàn)異常，則去排查相應(yīng)的問題，順藤摸瓜可能又會(huì)挖出一系列黑產(chǎn)。離線數(shù)據(jù)分析：定期或非定期的分析歷史數(shù)據(jù)，也可以發(fā)現(xiàn)一些未發(fā)現(xiàn)的問題。例如我們?cè)治鰵v史數(shù)據(jù)發(fā)現(xiàn)有一批用戶從5月份開始，頻繁的在評(píng)論中發(fā)布「新年快樂」相關(guān)內(nèi)容，經(jīng)分析，發(fā)現(xiàn)是一個(gè)哈爾濱的黑產(chǎn)團(tuán)隊(duì)。臥底在黑產(chǎn)群內(nèi)：平時(shí)多關(guān)注黑產(chǎn)作弊方式，臥底在相應(yīng)群內(nèi)，及時(shí)發(fā)現(xiàn)新型違規(guī)方式，然后再回來完善自己產(chǎn)品的風(fēng)控體系。用戶反饋：時(shí)常關(guān)注用戶反饋，從用戶反饋中發(fā)現(xiàn)平臺(tái)方未關(guān)注到的問題。舉報(bào)：也算是用戶反饋的一種。建立審核團(tuán)隊(duì)反饋case流程：平臺(tái)人員很清楚知道哪些是需要的內(nèi)容，哪些是不需要的內(nèi)容，但見的case一定沒有審核人員多。審核人員見過足夠多的case，但是規(guī)則未包含的內(nèi)容他們并不清楚哪些是不需要的。雙方各有優(yōu)劣勢(shì)，所以可以將平臺(tái)的價(jià)值觀，即第一步的問題也同步到審核團(tuán)隊(duì)，他們可以把規(guī)則暫時(shí)未包含到的，但是他們覺得可能不需要的case提供給平臺(tái)人員，即可發(fā)現(xiàn)某些不知道的問題。每日瀏覽社區(qū)：是對(duì)上一步的補(bǔ)充，既然平臺(tái)人員對(duì)case了解的不夠多，那就去加強(qiáng)了解。建立紅線內(nèi)容快速反應(yīng)流程：這個(gè)主要是針對(duì)一些緊急的輿情事件，例如李易峰事件、唐山打人事件等（這兩個(gè)案例雖說常遇到，但比較輕，平時(shí)需要處理的更多是更緊急更嚴(yán)重的不適合在公眾號(hào)舉例的輿情事件，會(huì)被刪文）。除了上面提到的，還有其他還未成方法論的方式，只是偶爾用來發(fā)現(xiàn)問題。發(fā)現(xiàn)問題后需要對(duì)問題有個(gè)初步評(píng)估，這個(gè)問題的嚴(yán)重性、涉及量、如果治理對(duì)業(yè)務(wù)的影響、需要多大成本來治理等，此時(shí)需要有個(gè)大概預(yù)估。例如涉黃、詐騙、危害青少年的內(nèi)容，可能占比很低，也很不好識(shí)別，但結(jié)果很嚴(yán)重，所以必須得解決。例如發(fā)帖時(shí)很多內(nèi)容使用相同圖片，對(duì)消費(fèi)用戶體感不好，量級(jí)可能也大，但是影響程度較輕，且可通過降權(quán)分發(fā)，或分發(fā)打散，只需要不讓同一個(gè)人看到相同圖片即可，所以可不治理，或優(yōu)先級(jí)很低。三、收集樣本不管是已知的問題，還是新發(fā)現(xiàn)的問題，在制定規(guī)則、策略前，都需要大量的樣本，而根據(jù)不同問題類型可能會(huì)有不同的收集樣本，例如：巡檢團(tuán)隊(duì)提供，把篩選樣本標(biāo)準(zhǔn)給到巡檢團(tuán)隊(duì)，找出更多樣本。不同公司也可能是標(biāo)注、質(zhì)檢、審核團(tuán)隊(duì)，也有可能是產(chǎn)品自己來篩選。自己跑SQL，如果有可量化的標(biāo)準(zhǔn)，即自己就可初篩樣本。例如滿足最近3天發(fā)帖量≥20&所發(fā)帖觸發(fā)≥3個(gè)不同職業(yè)標(biāo)簽&注冊(cè)時(shí)間晚于2022年1月1日。四、特征分析這一步得有點(diǎn)刨根問底，順藤摸瓜的精神，以及對(duì)數(shù)據(jù)敏感性、對(duì)業(yè)務(wù)足夠理解、對(duì)用戶足夠理解。所以，雖然是屬于數(shù)據(jù)分析范疇，但產(chǎn)品往往會(huì)比數(shù)據(jù)分析做得更好。這一步能說出來的方法論屬于流程性的，不具有實(shí)際操作性，具有實(shí)操性的又沒有固定的方法論，我以兩個(gè)案例來講是咋做的吧。1.案例一，多設(shè)備多賬號(hào)問題介紹，我們通過知識(shí)圖譜發(fā)現(xiàn)部分賬號(hào)和設(shè)備之間存在關(guān)聯(lián)關(guān)系，例如同一個(gè)賬號(hào)短時(shí)間內(nèi)在多個(gè)設(shè)備上登錄過，同一個(gè)設(shè)備短時(shí)間內(nèi)登錄過多個(gè)賬號(hào)，且他們相互之間還存在金額轉(zhuǎn)移行為、帖子內(nèi)容質(zhì)量低、抄襲、大量刪帖等問題。注：下面案例中所涉及數(shù)字，并非我做分析時(shí)實(shí)際取的數(shù)字，為了公司策略安全，下面數(shù)字我隨意寫的，可根據(jù)自己產(chǎn)品實(shí)際情況做調(diào)整。具體分析這個(gè)問題，我們就取最近3個(gè)月內(nèi)，同一個(gè)設(shè)備上登錄≥5個(gè)uid，及同一個(gè)uid在≥3個(gè)設(shè)備上登錄過，兩個(gè)條件作為兩個(gè)問題單獨(dú)分析。先針對(duì)同設(shè)備商登錄多個(gè)uid這個(gè)問題，具體分析時(shí)需注意：做好用戶分群：按登錄uid數(shù)量做用戶分層，例如≥20個(gè)，10-20個(gè)，5-10個(gè)。結(jié)合其他數(shù)據(jù)：針對(duì)這三個(gè)用戶群再看對(duì)應(yīng)的金額轉(zhuǎn)移情況，以及內(nèi)容違規(guī)情況。最終會(huì)形成一個(gè)矩陣，類似RFM模型中的矩陣。例如一段時(shí)間內(nèi)同一個(gè)設(shè)備上登錄uid數(shù)量5-10個(gè)，則金額轉(zhuǎn)移違規(guī)的概率17%，內(nèi)容違規(guī)的概率27%。例如一段時(shí)間內(nèi)同一個(gè)設(shè)備上登錄uid數(shù)量≥20個(gè)，則金額轉(zhuǎn)移違規(guī)的概率93%，內(nèi)容違規(guī)的概率73%。例如一段時(shí)間內(nèi)同一個(gè)設(shè)備上登錄uid數(shù)量5-10個(gè)，但是這部分uid有37%的uid在同一段時(shí)間內(nèi)在≥3個(gè)設(shè)備上登錄過。給不同處罰：結(jié)合上面矩陣，根據(jù)不同嚴(yán)重情況基于用戶不同處罰。例如違規(guī)嚴(yán)重且識(shí)別準(zhǔn)確，則直接拉黑。違規(guī)不嚴(yán)重但識(shí)別準(zhǔn)確，則限制功能。違規(guī)嚴(yán)重但識(shí)別不準(zhǔn)確，則送人審。這里所說的「嚴(yán)重、不嚴(yán)重」「準(zhǔn)確、不準(zhǔn)確」，都是在數(shù)據(jù)分析的結(jié)果下有確定的數(shù)值的。2.案例二，信用卡詐騙規(guī)則提供篩選規(guī)則給巡檢團(tuán)隊(duì)，他們?cè)谝欢ǚ秶鷥?nèi)的內(nèi)容中篩選出xx條可能有問題的內(nèi)容給我，我在通過瀏覽分析出其中的特性，再針對(duì)特性做一些延展，例如包含追債、網(wǎng)貸、催更等關(guān)鍵詞，圖片包含手寫、聊天截圖、蓋章合同簽字、信用卡相關(guān)的海報(bào)等。下一步制定規(guī)則時(shí)就會(huì)根據(jù)這些特定，并再做一些拓展即可（MECE原則）制定規(guī)則。在排查他們的其他行為，以及內(nèi)容，是否存在比較高概率也存在相同問題，先接受些誤傷，在支持用戶做申訴。五、制定策略/規(guī)則/模型在分析出一些特征后，我可能會(huì)通過規(guī)則、策略、模型來解決。1.策略/規(guī)則/模型之間的關(guān)系策略：通常指機(jī)審的策略，例如最常見的觸發(fā)某些關(guān)鍵詞就不通過。規(guī)則：通常指人審的規(guī)則，作為策略的補(bǔ)充，包含部分策略，但又無(wú)法完全包含策略，他們是下圖的關(guān)系。機(jī)審策略有，人審規(guī)則無(wú)。例如針對(duì)識(shí)別重復(fù)文本，需要和歷史庫(kù)內(nèi)進(jìn)行對(duì)比，人工則不可能做到這件事。機(jī)審策略有，人審規(guī)則有。例如針對(duì)男子裸露上體，策略不一定能夠很準(zhǔn)確，如果漏過，則需要人審時(shí)識(shí)別出來。機(jī)審策略無(wú)，人審規(guī)則有。例如以語(yǔ)氣助詞出現(xiàn)的不文明用語(yǔ)，如：他們的看老子穿裙子還叫老子爬樹（語(yǔ)氣助詞）可能基于成本，或算法成熟度等原因，會(huì)把某些規(guī)則僅讓人工來識(shí)別，之后可能逐漸的也會(huì)替換成機(jī)器識(shí)別。模型：模型可以是作為策略的一個(gè)工具，例如我們需要根據(jù)帖子和話題相關(guān)度來決定帖子是否需要獎(jiǎng)勵(lì)，或者是否需要分發(fā)，可能就會(huì)開發(fā)一個(gè)相關(guān)度模型，根據(jù)相關(guān)度不同，配置不同的策略處理方式。也可以將多條策略融合之后開發(fā)的模型，直接用于對(duì)內(nèi)容的判斷。注：不要一味地相信模型，模型可解釋性遠(yuǎn)低于策略，開發(fā)周期長(zhǎng)，效果不一定比簡(jiǎn)單配置一條策略好。2.策略篩選用戶做策略則是一個(gè)不停地切蛋糕的過程，而使用的刀便是由用戶特征組成的規(guī)則，5.2下面內(nèi)容來自知乎。5.2.1用戶情況5.2.2策略方法一：?jiǎn)我?guī)則變量刀單變量組成的規(guī)則，就是一把切出頭的刀，一切到底。一刀切當(dāng)然是不夠的，我們需要多切幾刀。通過上面兩刀我們留在中間的用戶，只有兩個(gè)壞用戶，壞賬率控制在了15%。通過率則到了。5.2.3策略方法二：多變量規(guī)則刀單變量規(guī)則刀切的顆粒度刀，對(duì)于變量要求高，一刀切就怕切大了。所以，從維度上看，可以用多個(gè)維度的變量去切樣本，例如二變量。二變量的刀便成為了矩形刀。多變量能夠把區(qū)域區(qū)分得更加細(xì)膩，如上圖按面積計(jì)算的通過率就提升了。5.2.4策略方法三：模型透視鏡嘗試完各種初級(jí)變量刀之后，就可以將模型透視鏡引入了。模型透視鏡的作用不在于切，而在于給凌亂不堪的樣本帶來秩序–排序能力。在用了模型透視鏡之后，再配合變量刀就容易得多了。5.2.5策略方法四：用戶分層刀以上的方法都是基于一塊蛋糕來操作的，在原有的基礎(chǔ)上不斷的切：所有人都被切了同樣的刀。但是，我們有時(shí)候可能想做得更加細(xì)膩一些，商品推薦有千人千面，策略當(dāng)然也能做。這時(shí)候就需要用用戶分層刀了。用戶分層刀將一個(gè)蛋糕變成了兩塊，兩塊分別過刀。有了不同的分群，我們?cè)賮硪粋€(gè)個(gè)多刀。當(dāng)然實(shí)際中策略同學(xué)還有更多的方法，我羅列了幾種常見武器。探索最佳策略的過程，也是不斷挑選武器，不斷嘗試應(yīng)用武器的過程。3.策略處理方式通過上一步篩選出用戶或內(nèi)容或行為，或其他任何東西。我們還需要對(duì)不同場(chǎng)景、不同類型、不同嚴(yán)重程度、不同用戶分群等等等基于不同的處罰?？赡苁遣煌ㄟ^、可能是封號(hào)、可能是做挑戰(zhàn)、可能是送人審等。隨著業(yè)務(wù)發(fā)展，策略和處理方式都會(huì)逐漸的精細(xì)化。4.制定規(guī)則/策略注意點(diǎn)5.4.1豐富性策略多樣：審核標(biāo)準(zhǔn)的落地應(yīng)在視頻、?頻、?本、圖?、直播等不同內(nèi)容形態(tài)下具備靈活性，滿?內(nèi)容安全的前提下還要符合不同產(chǎn)品形態(tài)、內(nèi)容形態(tài)的傳播特點(diǎn)。避免?硬：審核標(biāo)準(zhǔn)要能最?限度保護(hù)內(nèi)容、尤其是優(yōu)質(zhì)創(chuàng)作者的內(nèi)容，審核標(biāo)準(zhǔn)的?不?是為了規(guī)避?險(xiǎn)，也要充分滿?平臺(tái)的發(fā)展需要；規(guī)則上不應(yīng)該只有刪除和通過，也應(yīng)包含提醒、退回、限制、分地區(qū)等等多種策略。5.4.2前瞻性前瞻視?：審核標(biāo)準(zhǔn)的制定應(yīng)盡量前置于?險(xiǎn)的發(fā)?，這也需要制定者有豐富的業(yè)務(wù)經(jīng)驗(yàn)與?險(xiǎn)意識(shí)；舉一反三：出現(xiàn)一個(gè)問題，需梳理出同類型的問題一并制定規(guī)則。發(fā)展眼光：審核標(biāo)準(zhǔn)應(yīng)盡量???遠(yuǎn)并能持續(xù)執(zhí)?，避免頻繁改動(dòng)，這樣會(huì)過于消耗業(yè)務(wù)資源、同時(shí)也會(huì)影響執(zhí)?效果。5.4.3清晰易懂，主要針對(duì)人審規(guī)則條款清晰：審核標(biāo)準(zhǔn)的撰寫要措辭準(zhǔn)確、??簡(jiǎn)潔，對(duì)于操作者也要便于理解、便于操作，忌諱晦澀難懂與執(zhí)?脫節(jié)。案例得當(dāng)：除?字規(guī)則外，需要搭配適當(dāng)案例?便理解與對(duì)標(biāo)實(shí)操。5.4.4易于執(zhí)行，主要針對(duì)人審規(guī)則換位思考：審核標(biāo)準(zhǔn)不是為了有?有，應(yīng)本著?便執(zhí)?的原則，?條審核標(biāo)準(zhǔn)要輻射到?百、上千名審核同學(xué)，應(yīng)有敬畏之?，換位思考，制定過程要始終站位落地層?。操作便捷：審核標(biāo)準(zhǔn)不僅僅是紙?上的?字，應(yīng)充分考慮執(zhí)?的便捷性、判斷的準(zhǔn)確性。例如，我們需要治理虛假信息，不能說看起來像假的，或者在你的價(jià)值觀中是假的，得細(xì)分場(chǎng)景，例如對(duì)于曬工資，對(duì)于滴滴司機(jī)/外賣員/快遞員崗位，若月薪≥一定值，則認(rèn)為這是條虛假信息。因?yàn)橛行袠I(yè)數(shù)據(jù)，行業(yè)內(nèi)只有不到x%的人高于這個(gè)數(shù)值，我們接受這個(gè)誤傷，并且針對(duì)這個(gè)誤傷我們也不是直接干掉，給他的處罰只是不分發(fā)而已。例如，我們某條規(guī)則針對(duì)嬰兒不執(zhí)行，規(guī)則描述中不能說嬰兒或1歲以下的人，因?yàn)閷徍巳藛T無(wú)法判斷?？梢杂盟砩系哪承?biāo)志，例如還不能走路的小孩。5.4.5注意誤傷制定一個(gè)策略時(shí)，需注意可能的誤傷，如果誤傷量級(jí)過大，會(huì)影響業(yè)務(wù)。5.4.5做好平衡例如我們有一個(gè)安保方案，監(jiān)管讓我們?cè)谀承┨厥鈺r(shí)期，針對(duì)某些類型賬號(hào)不允許發(fā)布內(nèi)容，發(fā)現(xiàn)對(duì)業(yè)務(wù)的流量影響過大，我們會(huì)設(shè)置更嚴(yán)格的策略，以確保在安全的前提下盡量小的對(duì)業(yè)務(wù)造成影響。例如我們一個(gè)策略，觸發(fā)「xxx」相關(guān)的某些內(nèi)容刪除，因?yàn)槿菀状嬖陲L(fēng)險(xiǎn)，且對(duì)應(yīng)內(nèi)容對(duì)業(yè)務(wù)無(wú)價(jià)值，所以在用用戶無(wú)感知的前提下，內(nèi)容有些誤傷也沒關(guān)系。六、預(yù)上線從嚴(yán)謹(jǐn)流程上來說，一條策略不允許直接上線，都得先經(jīng)過預(yù)上線，觀察一段時(shí)間數(shù)據(jù)，然后優(yōu)化，根據(jù)預(yù)上線的數(shù)據(jù)優(yōu)化后再上線。即使非常緊急，也只是縮短預(yù)上線觀察數(shù)據(jù)的時(shí)間而已。預(yù)上線定義：讓策略空跑一段時(shí)間，只需知道哪些用戶、哪些設(shè)備、哪些內(nèi)容等觸發(fā)了策略，但并不實(shí)際對(duì)他們?cè)斐商幜P。在預(yù)上線之后可以對(duì)策略分為兩種類型，看是否會(huì)對(duì)用戶行為鏈路受影響。如果風(fēng)控的動(dòng)作會(huì)導(dǎo)致用戶的行為鏈路受影響，建議進(jìn)行ABtest，例如處罰后就會(huì)出現(xiàn)滑塊驗(yàn)證。如果風(fēng)控的動(dòng)作對(duì)用戶操作無(wú)感知，建議染色標(biāo)記，例如海外ip在某些時(shí)間段內(nèi)發(fā)的內(nèi)容在某些場(chǎng)景不分發(fā)。七、評(píng)估及調(diào)優(yōu)我們?cè)诟鱾€(gè)環(huán)節(jié)都會(huì)存在評(píng)估，只是有的時(shí)候會(huì)嚴(yán)謹(jǐn)?shù)幕跀?shù)據(jù)來評(píng)估，有的時(shí)候會(huì)大概預(yù)估，這一步是指預(yù)上線、ABtest、染色標(biāo)記后，需觀察數(shù)據(jù)做好評(píng)估，以及調(diào)優(yōu)策略。但這一步所列的評(píng)估，也并不一定只在這一步使用，在前面決定要解決這個(gè)問題，制定策略時(shí)也可能會(huì)用到。常用評(píng)估方面包括召回率，準(zhǔn)確率，規(guī)則穩(wěn)定性等。對(duì)業(yè)務(wù)流量的影響，對(duì)審核人力的影響，對(duì)舉報(bào)申訴的影響等。不同業(yè)務(wù)可能還會(huì)有其他一些關(guān)注的指標(biāo)，例如影響發(fā)帖量、影響用戶量、影響頭部用戶量等。甚至還聽說過某公司Q4會(huì)選擇性把風(fēng)控放松一些，一方面影響年度目標(biāo)，一方面影響明年的業(yè)務(wù)預(yù)算，這也是需要評(píng)估的方面之一。指標(biāo)評(píng)估后，會(huì)根據(jù)對(duì)策略的目標(biāo)決定是否需要調(diào)優(yōu)，若已滿足需求，則可以進(jìn)入下一階段，策略正式上線。八、策略正式上線策略由預(yù)上線變?yōu)檎缴暇€，在功能上可能只需要在一個(gè)btn上調(diào)整下狀態(tài)，但在流程上還有很多事需要做。1.上線前做好各方同步一條新策略上線之前，需要同步到相關(guān)的各方。我們業(yè)務(wù)曾經(jīng)發(fā)生過，策略運(yùn)營(yíng)上線一條策略，導(dǎo)致大量?jī)?nèi)容推到人審，人審出現(xiàn)積壓，然后策略運(yùn)營(yíng)和審核主管出現(xiàn)吵架。2.繼續(xù)觀察數(shù)據(jù)當(dāng)策略穩(wěn)定后還需要關(guān)注一定周期內(nèi)的數(shù)據(jù)，例如1天，3天，7周后的治理效果。這個(gè)問題是否在減少，用戶是否會(huì)變形方式在違規(guī)，是否還有進(jìn)一步優(yōu)化空間，有沒有引入新的問題等。例如不允許發(fā)布聯(lián)系方式，上線一個(gè)治理聯(lián)系方式的策略，用戶是否以其他變形的聯(lián)系方式在違規(guī)，這個(gè)都是需要上線后需要相應(yīng)關(guān)注的。用戶是否有負(fù)面反饋，舉報(bào)申訴量是否有相應(yīng)變化，觸發(fā)量級(jí)是否也預(yù)上線時(shí)一致。九、策略監(jiān)控及優(yōu)化在整個(gè)風(fēng)控系統(tǒng)中包括一個(gè)子系統(tǒng)「監(jiān)控預(yù)警」，這個(gè)系統(tǒng)監(jiān)控的其中一塊是對(duì)策略的監(jiān)控，包括策略穩(wěn)定性、召準(zhǔn)率等。詳細(xì)監(jiān)控可到那個(gè)模塊時(shí)再來寫對(duì)策略的監(jiān)控，這里說說日常人工的觀察。在策略上線后，人工在瀏覽產(chǎn)品時(shí)也需要主要相應(yīng)內(nèi)容是否又被解決，是否有漏掉，是否有變形。例如我們?cè)?jīng)有條策略是禁止男子裸露上體，某一天發(fā)現(xiàn)海爾兄弟也被審核人員干掉，但這并非我們本意，所以完善規(guī)則，這條規(guī)則僅針對(duì)真人適用。例如我們?cè)?jīng)有條策略是同一個(gè)人發(fā)布相同圖片超過一定次數(shù)，則后續(xù)發(fā)包含這張圖片的帖子會(huì)有一定處罰，上線后發(fā)現(xiàn)誤傷比預(yù)上線狀態(tài)大，高于預(yù)期，所以調(diào)整閾值。例如我們?cè)?jīng)有條策略是不允許多賬號(hào)多設(shè)備這種行為，策略上線后發(fā)現(xiàn)某類特殊人群是有多賬號(hào)多設(shè)備需求的，且平臺(tái)也允許，所以選擇性放過這類人群。十、策略調(diào)整及下線在不同時(shí)間段，或者遇到了某些問題之后，可能會(huì)將策略下線及合并。1.特殊時(shí)期在某些特殊時(shí)期，我們可能會(huì)將策略更嚴(yán)，例如國(guó)慶、七一、春節(jié)，以及某些歷史事件日期。此時(shí)策略就會(huì)涉及到上下線，例如某些特殊期間，針對(duì)不同等級(jí)的賬號(hào)、不同渠道來源的內(nèi)容、不同屬性的內(nèi)容，審核策略會(huì)不同。如對(duì)于境外ip以及中國(guó)的某些省份發(fā)的內(nèi)容需要全部經(jīng)過人審，甚至全部可能全部干掉這些內(nèi)容。2.策略整合及下線隨著業(yè)務(wù)發(fā)展，策略人員的變動(dòng)，新開發(fā)模型，業(yè)務(wù)變化等原因。就一定會(huì)出現(xiàn)策略逐漸龐大復(fù)雜，策略間出現(xiàn)交集、并集，或需要多策略聯(lián)動(dòng)處理，以及一些模型可覆蓋策略，需將策略下線等情況。此時(shí)就需要定期的復(fù)盤歷史策略，將需要廢棄的廢棄，多條策略需要合并的做合并。在新上線一條策略時(shí)也需要注意看看是否歷史已有類似策略，是否可以合并到之前的某條策略上。感觸：雖然上面這樣說，但具體實(shí)操時(shí)大家往往不敢去干這件事，就像新來的程序