python實現(xiàn)過濾敏感詞

第python實現(xiàn)過濾敏感詞關(guān)于敏感詞過濾可以看成是一種文本反垃圾算法，例如

題目：敏感詞文本文件filtered_words.txt，當(dāng)用戶輸入敏感詞語，則用星號*替換，例如當(dāng)用戶輸入「北京是個好城市」，則變成「**是個好城市」

代碼：

#coding=utf-8

deffilterwords(x):

withopen(x,'r')asf:

text=f.read()

printtext.split('\n')

userinput=raw_input('myinput:')

foriintext.split('\n'):

ifiinuserinput:

replace_str='*'*len(i.decode('utf-8'))

word=userinput.replace(i,replace_str)

returnword

printfilterwords('filtered_words.txt')

再例如反黃系列：

開發(fā)敏感詞語過濾程序，提示用戶輸入評論內(nèi)容，如果用戶輸入的內(nèi)容中包含特殊的字符：

敏感詞列表li=["蒼老師","東京熱",”武藤蘭”,”波多野結(jié)衣”]

則將用戶輸入的內(nèi)容中的敏感詞匯替換成***，并添加到一個列表中；如果用戶輸入的內(nèi)容沒有敏感詞匯，則直接添加到上述的列表中。

content=input('請輸入你的內(nèi)容：')

li=["蒼老師","東京熱","武藤蘭","波多野結(jié)衣"]

i=0

whilei4:

forli[i]incontent:

li1=content.replace('蒼老師','***')

li2=li1.replace('東京熱','***')

li3=li2.replace('武藤蘭','***')

li4=li3.replace('波多野結(jié)衣','***')

else:

pass

i+=1

實戰(zhàn)案例：

一道bat面試題：快速替換10億條標題中的5萬個敏感詞，有哪些解決思路？

有十億個標題，存在一個文件中，一行一個標題。有5萬個敏感詞，存在另一個文件。寫一個程序過濾掉所有標題中的所有敏感詞，保存到另一個文件中。

1、DFA過濾敏感詞算法

在實現(xiàn)文字過濾的算法中，DFA是比較好的實現(xiàn)算法。DFA即DeterministicFiniteAutomaton，也就是確定有窮自動機。

算法核心是建立了以敏感詞為基礎(chǔ)的許多敏感詞樹。

python實現(xiàn)DFA算法：

#-*-coding:utf-8-*-

importtime

time1=time.time()

#DFA算法

classDFAFilter():

def__init__(self):

self.keyword_chains={}

self.delimit='\x00'

defadd(self,keyword):

keyword=keyword.lower()

chars=keyword.strip()

ifnotchars:

return

level=self.keyword_chains

foriinrange(len(chars)):

ifchars[i]inlevel:

level=level[chars[i]]

else:

ifnotisinstance(level,dict):

break

forjinrange(i,len(chars)):

level[chars[j]]={}

last_level,last_char=level,chars[j]

level=level[chars[j]]

last_level[last_char]={self.delimit:0}

break

ifi==len(chars)-1:

level[self.delimit]=0

defparse(self,path):

withopen(path,encoding='utf-8')asf:

forkeywordinf:

self.add(str(keyword).strip())

deffilter(self,message,repl="*"):

message=message.lower()

ret=[]

start=0

whilestartlen(message):

level=self.keyword_chains

step_ins=0

forcharinmessage[start:]:

ifcharinlevel:

step_ins+=1

ifself.delimitnotinlevel[char]:

level=level[char]

else:

ret.append(repl*step_ins)

start+=step_ins-1

break