金融數(shù)據(jù)分析 課件 第12章 文本數(shù)據(jù)分析

第十二章

文本數(shù)據(jù)分析

學(xué)習(xí)目標(biāo)

了解文本數(shù)據(jù)挖掘流程；掌握文本數(shù)據(jù)采集、文本切分和文本特征詞選擇的常用方法；掌握文本情感分析方法并能將該方法運(yùn)用于金融市場(chǎng)分析。

本章導(dǎo)讀

金融大數(shù)據(jù)為金融業(yè)態(tài)創(chuàng)新注入了新的活力，被銀行、證券、保險(xiǎn)等多個(gè)行業(yè)廣泛應(yīng)用于交易欺詐識(shí)別、精準(zhǔn)營銷、信貸風(fēng)險(xiǎn)評(píng)估、智能投顧、風(fēng)險(xiǎn)定價(jià)等具體業(yè)務(wù)中。未來金融業(yè)的核心競(jìng)爭(zhēng)力將很大程度上依賴于從數(shù)據(jù)資產(chǎn)向市場(chǎng)競(jìng)爭(zhēng)力轉(zhuǎn)化的速度與能力，而這種速度和能力，取決于數(shù)據(jù)分析、挖掘和應(yīng)用水平。上一章將詳細(xì)介紹金融大數(shù)據(jù)的特征以及大數(shù)據(jù)處理流程，且重點(diǎn)研究幾類常用的數(shù)據(jù)挖掘方法，本章重點(diǎn)介紹文本數(shù)據(jù)挖掘相關(guān)技術(shù)及其在金融風(fēng)險(xiǎn)計(jì)量中的應(yīng)用。通過本章內(nèi)容學(xué)習(xí)，學(xué)生應(yīng)掌握文本數(shù)據(jù)分析的基本知識(shí)與技術(shù)，進(jìn)一步提升運(yùn)用大數(shù)據(jù)技術(shù)分析和解決金融實(shí)際問題的能力。通過金融文本挖掘技術(shù)的學(xué)習(xí)，了解中國政府保持金融穩(wěn)定的決心和信心。12.1文本獲取12.2文本預(yù)處理12.3文本表示12.4文本特征選擇12.5模式挖掘12.6專題12金融網(wǎng)絡(luò)輿情指數(shù)構(gòu)建與應(yīng)用目錄CONTENTS文本獲取12.112.1文本數(shù)據(jù)挖掘概述文本數(shù)據(jù)挖掘流程可概括為如下七個(gè)步驟：（1）文本獲取；（2）文本預(yù)處理；（3）文本表示；（4）文本特征選擇；（5）模式挖掘；（6）結(jié)果評(píng)價(jià)；（7）模式輸出與應(yīng)用。12.1文本獲取網(wǎng)絡(luò)爬蟲的本質(zhì)即模擬瀏覽器向網(wǎng)站服務(wù)器發(fā)送請(qǐng)求，然后從服務(wù)器返回的相應(yīng)數(shù)據(jù)中篩選目標(biāo)數(shù)據(jù)。Python是最為常用的爬蟲程序語言之一，利用Python爬蟲獲取文本數(shù)據(jù)的基本工作流程包含四個(gè)步驟：發(fā)起HTTP請(qǐng)求；獲取HTTP響應(yīng)；解析內(nèi)容；保存數(shù)據(jù)。12.1文本獲取例12.1Python簡單爬蟲實(shí)例

運(yùn)用Python爬取2023年政府工作報(bào)告全文。在爬取數(shù)據(jù)前應(yīng)先觀察數(shù)據(jù)所在的網(wǎng)站結(jié)構(gòu)。進(jìn)入2023年政府工作報(bào)告網(wǎng)頁，在瀏覽器中按F12鍵打開開發(fā)者模式（有些電腦需同時(shí)按下Fn與F12鍵），查看網(wǎng)頁的“元素”菜單，如圖12-2所示?？梢钥吹?，想要爬取政府工作報(bào)告正文內(nèi)容，只需將其從HTML文檔中提取出來即可。最終采集的政府工作報(bào)告文本輸出結(jié)果如圖12-3所示。圖12-22023年政府工作報(bào)告網(wǎng)頁HTML文檔圖12-3采集的政府工作報(bào)告文本數(shù)據(jù)12.1文本獲取例12.1Python簡單爬蟲實(shí)例Python代碼演示importrequestsfrombs4importBeautifulSoup#導(dǎo)入BeautifulSoup4importosos.chdir(r'E:/jrj1/Chapter12/')#修改工作目錄head={'Host':'','User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/99.0.4844.74Safari/537.36Edg/99.0.1150.55'}url='/zhuanti/2023lhzfgzbg/index.htm'#1發(fā)起HTTP請(qǐng)求r=requests.get(url,headers=head);print(r)#2獲取HTTP響應(yīng)html=r.content.decode('utf-8')#設(shè)置編碼方式為utf-8以正確顯示中文;print(html)#3解析內(nèi)容soup=BeautifulSoup(html,"html.parser")#HTML文件解析content=soup.find("div",class_="zhj-bbqw-cont").text#篩選目標(biāo)print(content)#4儲(chǔ)存文件file=open('政府工作報(bào)告.txt','w',encoding="utf-8")file.write(content)file.close()12.2文本預(yù)處理分詞分詞，也稱詞條化（Tokenization），即將文檔切分為詞匯的單位。英語、法語、西班牙語等拉丁文語系的語言最小單位均是獨(dú)立的詞語，例如“Iamastudent”，詞與詞可通過空格符切分。而中文文本中，詞與詞之間沒有固定的間隔符，因此需要分詞處理。當(dāng)前主要的分詞技術(shù)可劃分為三個(gè)流派：基于詞典的分詞技術(shù)（也稱機(jī)械分詞方法、基于理解的分詞技術(shù)、基于統(tǒng)計(jì)的分詞技術(shù)。隨著大規(guī)模語料庫的建立以及統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的研究和發(fā)展，基于統(tǒng)計(jì)的中文分詞方法逐漸成為主流。Python的中文分詞工具有很多，較為流行的有jieba（結(jié)巴分詞）、THULAC（清華大學(xué)自然語言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室）、pkuseg（北京大學(xué)語言計(jì)算與機(jī)器學(xué)習(xí)研究組）、SnowNLP等。12.2文本預(yù)處理2.停用詞過濾在漢語中，有一類沒有多少實(shí)際意義的詞，例如“啊”“阿”“的”“以及”等詞，被稱為停用詞。停用詞對(duì)理解文本沒有太大作用，因此，在進(jìn)行自然語言處理時(shí)一般將停用詞過濾掉。停用詞過濾一方面可以對(duì)文本數(shù)據(jù)降維，另一方面也可提高文本的信息含量。過濾停用詞可通過建立停用詞表來實(shí)現(xiàn)，如果詞匯位于停用詞表中，則將其刪除。常用的停用詞表有哈工大停用詞詞庫、四川大學(xué)機(jī)器學(xué)習(xí)智能實(shí)驗(yàn)室停用詞庫、百度停用詞表等。12.2文本預(yù)處理例12.2對(duì)《中國金融穩(wěn)定報(bào)告（2022）》（節(jié)選）文本進(jìn)行預(yù)處理本例選取《中國金融穩(wěn)定報(bào)告（2022）》（節(jié)選）文本進(jìn)行預(yù)處理。首先利用jieba工具包進(jìn)行分詞，然后利用停用詞表stopword.txt對(duì)停用詞進(jìn)行過濾。預(yù)處理后結(jié)果如圖12-4所示?？梢钥吹?，返回的result對(duì)象中為過濾掉停用詞后的詞匯組合。圖12-4《中國金融穩(wěn)定報(bào)告（2022）》（節(jié)選）文本預(yù)處理結(jié)果12.2文本預(yù)處理例12.2對(duì)《中國金融穩(wěn)定報(bào)告（2022）》（節(jié)選）文本進(jìn)行預(yù)處理Python代碼演示importjieba#使用jieba分詞fileContent=open(r'E:/jrj1/Chapter12/金融穩(wěn)定報(bào)告節(jié)選.txt','r',encoding="utf-8").read()words=jieba.lcut(fileContent)#分詞后返回一個(gè)列表stopwords=[line.strip()forlineinopen('stopword.txt','r',encoding='UTF-8').readlines()]#加載停用詞表result=""forwinwords:ifwnotinstopwords:#停用詞過濾

ifwnotin'\n\t\r\f':#去除特殊符號(hào)

result+=w+""print(result)12.3文本表示

圖12-5向量空間模型12.3文本表示例12.3簡單向量空間模型的Python實(shí)現(xiàn)比較兩段文本d1“我喜歡投資,不喜歡消費(fèi)?！迸cd2“我不喜歡投資,也不喜歡消費(fèi)?！钡南嗨菩?。并在基于這兩段文本的向量空間模型基礎(chǔ)上，比較新句子d3“他討厭投資,但喜歡消費(fèi)。”與已有文本的相似性。在Python中可利用gensim庫構(gòu)建向量空間模型，并利用gensim.similarities模塊計(jì)算文本的余弦相似度。最后可得文本d1與d2的相似度為92.45%，即兩段文本高度相似。新文本d3與d1文本的余弦相似度為83.33%，與d2文本的相似度為69.34%。由于向量空間模型無法處理新詞，新文本d3與已有文本d1和d2之間的相似度大幅降低。12.3文本表示importjiebafromgensimimportcorpora,modelsfromgensim.similaritiesimportMatrixSimilarityd1="我喜歡投資,不喜歡消費(fèi)。"#1.讀取文檔d2=我不喜歡投資,也不喜歡消費(fèi)。"defstopword_filter(words):#2.分詞result=[]forwinwords:ifwnotin'，

。':result.append(w)returnresultw1=jieba.lcut(d1);w2=jieba.lcut(d2)w1=stopword_filter(w1)w2=stopword_filter(w2)texts=[w1,w2]#3.生成字典和向量語料dictionary=corpora.Dictionary(texts)#生成字典corpus=[dictionary.doc2bow(text)fortextintextstfidf=models.TfidfModel(corpus)#利用TF-IDF方法vector=tfidf[corpus[1]]#文本d2表達(dá)。#4.相似性比較featurenums=len(dictionary.token2id)index=MatrixSimilarity(corpus,num_features=featurenums)sim12=index[corpus[1]]#文本d2與文本d1和自身的余弦相似度。print('文本d2與文本d1余弦相似度為：')print(sim12[0])#5.比較新文本d3='他討厭投資,但喜歡消費(fèi)?！痺3=stopword_filter(jieba.lcut(d3))new3=dictionary.doc2bow(w3)sim=index[new3]print('文本d3與文本d1和文本d2的余弦相似度分別為:')print(sim) 12.3文本表示2.主題模型主題模型（TopicModel）是一種概率生成模型，旨在挖掘文本中隱含的主題或概念。主題可以定義為文檔集中具有相同詞境的詞的集合通過捕獲文本中的主題分布，主題模型可以部分地解決一詞多義和一義多詞的問題。同時(shí)，主題提供了一種高維文本數(shù)據(jù)維數(shù)的約減方式，將傳統(tǒng)向量空間模型中的高維稀疏向量轉(zhuǎn)化為低維稠密向量，以緩解維數(shù)災(zāi)難問題。代表性的主題模型有概率潛在語義分析（Probabilisticlatentsemanticanalysis，PLSA）和潛在狄利克雷分布（LatentDirichletallocation，LDA）。12.3文本表示2.主題模型（1）PLSA12.3文本表示2.主題模型（1）PLSA12.3文本表示例12.4LDA簡單模型的Python實(shí)現(xiàn)

在本例中，仍利用《中國金融穩(wěn)定報(bào)告（2022）》（節(jié)選）數(shù)據(jù)作為文檔集，抽取文檔集的主題。最后輸出結(jié)果如圖12-6所示，輸出結(jié)果中包含10個(gè)主題，每個(gè)主題囊括了該類別下最相關(guān)的5個(gè)詞語及該詞匯在主題中出現(xiàn)的概率。圖12-6LDA主題模型提取結(jié)果12.3文本表示Python代碼演示fromgensim.modelsimportLdaModel,TfidfModel;fromgensim.corporaimportDictionaryimportpandasaspd;importjieba;importrefileContent=open(r'E:/jrj1/Chapter12/金融穩(wěn)定報(bào)告節(jié)選.txt','r',encoding="utf-8").read()word=fileContent.split();word=pd.Series(word)jieba_output=(word.astype(str)).apply(jieba.lcut)stopwords=[line.strip()forlineinopen('stopword.txt','r',encoding='UTF-8').readlines()]#建立停用詞表df1=jieba_output.apply(lambdax:[iforiinxifinotinstopwords])#停用詞過濾

df1=df1.apply(lambdax:[re.sub('[\d]','',i)foriinx])texts=[wforwindf1];dictionary=Dictionary(texts)corpus=[dictionary.doc2bow(text)fortextintexts];tfidf=TfidfModel(corpus)lda=LdaModel(corpus=corpus,id2word=dictionary,num_topics=10,random_state=1)x1=lda.show_topics(num_words=5)print("LDA主題類,詞出現(xiàn)概率*詞")forxinx1:print(x)lda=LdaModel(corpus=tfidf[corpus],id2word=dictionary,num_topics=10,random_state=1)x2=lda.show_topics(num_words=5)print("LDA主題類（tfidf優(yōu)化）,詞出現(xiàn)概率*詞")forxinx2:print(x)12.3文本表示3.基于神經(jīng)網(wǎng)絡(luò)的詞嵌入模型12.3文本表示例12.5利用Word2vec對(duì)股票的文本評(píng)論進(jìn)行詞向量編碼本例中利用文件comment_sample.csv進(jìn)行詞向量訓(xùn)練，comment_sample.csv是東方財(cái)富網(wǎng)上證股指股吧中2022年的20000條評(píng)論，數(shù)據(jù)結(jié)構(gòu)如表12-2所示。12.3文本表示例12.5利用Word2vec對(duì)股票的文本評(píng)論進(jìn)行詞向量編碼

利用gensim.modelsm模塊中的Word2Vec模塊，采用CBOW模型進(jìn)行詞向量訓(xùn)練，在訓(xùn)練完模型后輸出詞語“漲”的詞向量，以及與“漲”最相關(guān)的10個(gè)詞語。輸出結(jié)果如圖12-7所示?？梢钥吹剑罱K詞向量中一共包含6078個(gè)詞，特征向量維度為100。與“漲”最相關(guān)的十個(gè)詞分別是“指數(shù)”“個(gè)股”“紅”“股票”“跌成”。圖12-7利用Word2vec對(duì)股票的文本評(píng)論進(jìn)行詞向量編碼12.3文本表示Python代碼演示fromgensim.modelsimportWord2Vecimportpandasaspd;

importjieba;importredf=pd.read_csv(r'E:/jrj1/Chapter12/comment_sample.csv',encoding='utf-8')jieba_output=(df['標(biāo)題'].astype(str)).apply(jieba.lcut)stopwords=[line.strip()forlineinopen('stopword.txt','r',encoding='UTF-8').readlines()]#建立停用詞表df1=jieba_output.apply(lambdax:[iforiinxifinotinstopwords])#停用詞過濾

df1=df1.apply(lambdax:[re.sub('[\d]','',i)foriinx])common_texts=[wforwindf1]model=Word2Vec(sentences=common_texts,vector_size=100,window=5,min_count=2,workers=4)print(model)#summarizevocabularywords=list(model.wv.key_to_index)#print(words[:10])model.save("word2vec.model")model=Word2Vec.load("word2vec.model")vector=model.wv['漲']#getnumpyvectorofawordprint('“漲”的詞向量為：')print(vector)sims=model.wv.most_similar('漲',topn=5)print('和“漲”最相關(guān)的5個(gè)詞：')forwinsims:print(w)12.4文本特征選擇TF-IDF法如果某個(gè)文本特征詞在某文檔中出現(xiàn)的頻率高，并且在其他文檔中很少出現(xiàn)，則認(rèn)為該詞具有很好的類別其區(qū)分能力，適合用來分類。在TF-IDF中，TF代表文本特征詞w在文檔Di中出現(xiàn)的頻率；IDF表示如果包含文本特征詞w的文檔越少，則說明w具有很好的類別區(qū)分能力。表達(dá)式如下所示：12.4文本特征選擇2.互信息法3.信息增益法在文本挖掘中，信息增益代表文本中包含某一文本特征詞時(shí)文本類型的平均信息量，體現(xiàn)了某一個(gè)特征詞的存在與否對(duì)類別預(yù)測(cè)的影響能力。因此，一個(gè)特征詞w能夠?yàn)橄到y(tǒng)帶來的信息越多，則表示特征詞w越重要。在文本分析中，信息增益的計(jì)算式可定義為熵與條件熵的差值：12.4文本特征選擇

12.4文本特征選擇12.4文本特征選擇例12.6文本特征選擇下面介紹基于jieba.analyse.extract_tags()方法的文本特征選擇，從《中國金融穩(wěn)定報(bào)告（2022）》（節(jié)選）中抽出TF-IDF權(quán)重最大的20個(gè)關(guān)鍵詞。抽取結(jié)果如圖12-8所示。圖12-8文本特征選擇結(jié)果示例12.4文本特征選擇Python代碼演示importjiebaimportjieba.analysefileContent=open(r'E:/jrj1/Chapter12/金融穩(wěn)定報(bào)告節(jié)選.txt','r',encoding="utf-8").read()keywords=jieba.analyse.extract_tags(fileContent,topK=20,withWeight=True,allowPOS=('n','nr','ns'))foriteminkeywords:print(item[0],item[1])12.5模式挖掘1.情感分析例如，“雖然目前大盤處于上升周期，但這支股票仍在下跌，投資者極其不看好它，認(rèn)為不能扭虧為盈”，這樣一條評(píng)論對(duì)應(yīng)的消費(fèi)者情緒是積極的還是消極的？（1）對(duì)評(píng)論進(jìn)行分詞：“雖然/目前/大盤/處于/上升/周期/，但/這支/股票/仍/在/下跌/，投資者/極其/不/看好/它/，認(rèn)為/不能/扭虧為盈”。（2）找出句子中的情感詞，并對(duì)其賦值。積極的情感詞如“好”“好看”“上漲”等,消極的情感詞如“差”“爛”“下跌”等,出現(xiàn)一個(gè)積極詞分值加1,出現(xiàn)一個(gè)消極詞分值就減1。（3）往情緒詞前查找程度副詞，并為程度副詞設(shè)置調(diào)整權(quán)重。例如，當(dāng)存在“太”、“無比”等反映強(qiáng)情感的程度副詞時(shí)，該詞權(quán)重設(shè)定為2；存在“僅僅”、“有點(diǎn)”等反映弱情感的程度副詞時(shí)，該詞權(quán)重設(shè)為0.5。（4）尋找情感詞前是否存在否定詞，如存在，則情感傾向發(fā)生改變，將該條評(píng)論的情感權(quán)重設(shè)定為-1。（5）計(jì)算一條評(píng)論所有分詞的情感值，記錄下來。例句最后綜合情感得分為-3分，即該評(píng)論中負(fù)面情緒占主導(dǎo)地位。12.5模式挖掘例12.7用Python實(shí)現(xiàn)對(duì)一段評(píng)論文本的情感分析

利用情感詞典對(duì)評(píng)論文本進(jìn)行情感分析。Python代碼演示importpandasaspd;importjieba;importosos.chdir(r'E:/jrj1/Chapter12/')#修改工作目錄#加載詞典score=pd.read_table("emotion1.txt",header=None,delimiter=",",encoding='utf-8',names=['word','score'])adv_words=pd.read_csv("fdandcd.txt",header=None,delimiter="\t",encoding='utf-8',names=['term','score'])stopwords=[line.strip()forlineinopen('stopwords.txt','r',encoding='UTF-8').readlines()]#建立停用詞表#找出語料a中的情感詞和程度副詞，計(jì)算句子的情感得分defcount_score(a):b=pd.DataFrame(a,columns=['word'])b_score=pd.merge(b,score,how='left',left_on='word',right_on='word')c_score=pd.merge(b_score,adv_words,how='left',left_on='word',right_on='term')delc_score['term']ind=c_score['score_y'].notnull()#布爾向量c_score.loc[ind,'score_x']=012.5模式挖掘Python代碼演示（續(xù)）ind2=[iforiinrange(len(c_score))ifind[i]]#定位程度副詞#程度副詞調(diào)整foriinind2:ifi!=(len(c_score)-1):c_score.loc[i+1,'score_x']=c_score.loc[i+1,'score_x']*c_score.loc[i,'score_y']returnc_score['score_x'].sum()#文本預(yù)處理得到語料comment=‘雖然目前大盤處于上升周期，但這支股票仍在下跌，投資者極其不看好它，認(rèn)為不能扭虧為盈'words=jieba.lcut(comment)result=[]forwinwords:ifwnotinstopwords:result.append(w)#調(diào)用count_score()函數(shù)計(jì)算情感得分emo=count_score(result)print('當(dāng)前情感得分值為：'+str(emo))12.5模式挖掘2.可視化詞云例12.8用Python生成“詞云”圖在本例中，利用《中國金融穩(wěn)定報(bào)告（2022）》（節(jié)選）文本數(shù)據(jù)，構(gòu)建詞云提取報(bào)告中的關(guān)鍵詞，運(yùn)行結(jié)果如圖12-9所示?？梢钥吹健巴瑯I(yè)業(yè)務(wù)”“銀行”“業(yè)務(wù)”“金融機(jī)構(gòu)”等詞均為報(bào)告中的高頻詞匯，凸顯出防范化解金融風(fēng)險(xiǎn)的重要性。圖12-9“詞云”運(yùn)行結(jié)果12.5模式挖掘Python代碼演示

fromwordcloudimportWordCloudimportcollections#詞頻統(tǒng)計(jì)庫importjiebaimportmatplotlib.pyplotaspltimportosos.chdir(r'E:/jrj1/Chapter12/')#文本預(yù)處理fileContent=open(r'E:/jrj1/Chapter12/金融穩(wěn)定報(bào)告節(jié)選.txt','r',encoding="utf-8").read()#去除特殊符號(hào)forchin"'，。“”、?。ǎ?+-《》":fileContent=fileContent.replace(ch,"")#使用分詞工具分詞#jieba.add_word("中國特色社會(huì)主義",freq=883634)jieba.load_userdict('fc.txt')words=jieba.lcut(fileContent)#利用jieba庫cut方法進(jìn)行分詞#去除停用詞stopwords=[line.strip()forlineinopen('stopwords.txt','r',encoding='UTF-8').readlines()]#建立停用詞表12.5模式挖掘Python代碼演示（續(xù)）terms=[]#print(words)forwordinwords:ifwordnotinstopwords:ifwordnotin'\n\t\r\f':terms.append(word)#開始詞頻統(tǒng)計(jì)

word_counts=collections.Counter(terms)word_counts_top10=word_counts.most_common(10)print(word_counts_top10)#根據(jù)詞頻詞云繪制w=WordCloud(font_path="/Fonts/simhei.ttf",max_words=100)w=w.generate_from_frequencies(word_counts)w.to_file("govreport.png")plt.imshow(w)#對(duì)圖像進(jìn)行處理，并顯示其格式plt.axis("off")#隱藏坐標(biāo)軸

plt.show()#顯示詞云圖片專題12金融網(wǎng)絡(luò)輿情指數(shù)構(gòu)建與應(yīng)用

12.6金融網(wǎng)絡(luò)輿情指數(shù)構(gòu)建與應(yīng)用伴隨互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)輿情借助論壇、博客等平臺(tái)快速傳播發(fā)酵。有別于電視廣播、報(bào)刊等傳統(tǒng)媒體，網(wǎng)絡(luò)輿情具有相對(duì)自由性、傳播迅速性、覆蓋廣泛性、情緒非理性、真假交互性以及信息可測(cè)性等六個(gè)特點(diǎn)。目前，網(wǎng)絡(luò)輿情與股票市場(chǎng)之間的強(qiáng)關(guān)聯(lián)性已引起業(yè)界與學(xué)界諸多關(guān)注。網(wǎng)絡(luò)輿情可通過影響投資者關(guān)注與投資者情緒作用于股票收益率與波動(dòng)率。事實(shí)上，網(wǎng)絡(luò)輿情對(duì)系統(tǒng)性金融風(fēng)險(xiǎn)起到推波助瀾的作用。金融危機(jī)時(shí)期，