第7章 基于TipDM數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)唐詩(shī)生成

基于TipDM數(shù)據(jù)挖掘建模平臺(tái)實(shí)現(xiàn)唐詩(shī)生成1實(shí)現(xiàn)唐詩(shī)生成目錄平臺(tái)簡(jiǎn)介2TipDM大數(shù)據(jù)挖掘建模平臺(tái)是由廣東泰迪智能科技股份有限公司自主研發(fā)，面向大數(shù)據(jù)挖掘項(xiàng)目的工具。平臺(tái)使用Java語(yǔ)言開發(fā)，采用B/S結(jié)構(gòu)，用戶不需要下載客戶端，可通過瀏覽器進(jìn)行訪問。平臺(tái)提供了基于Python、R以及Hadoop/Spark分布式引擎的大數(shù)據(jù)分析功能。平臺(tái)支持工作流，用戶可在沒有Scala、Python、R等編程語(yǔ)言基礎(chǔ)的情況下，通過拖曳的方式進(jìn)行操作，以流程化的方式將數(shù)據(jù)輸入輸出、統(tǒng)計(jì)分析，數(shù)據(jù)預(yù)處理、分析與建模等環(huán)節(jié)進(jìn)行連接，從而達(dá)成大數(shù)據(jù)分析的目的。讀者可通過訪問平臺(tái)查看具體的界面情況，訪問平臺(tái)的具體步驟如下。微信搜索公眾號(hào)“泰迪學(xué)院”或“TipDataMining”，關(guān)注公眾號(hào)。關(guān)注公眾號(hào)后，回復(fù)“建模平臺(tái)”，獲取平臺(tái)訪問方式。平臺(tái)簡(jiǎn)介平臺(tái)的界面如圖所示。平臺(tái)簡(jiǎn)介本章將以唐詩(shī)生成案例為例，介紹如何使用平臺(tái)實(shí)現(xiàn)案例的流程。在介紹之前，需要引入平臺(tái)的幾個(gè)概念。算法：將建模過程涉及的輸入/輸出、數(shù)據(jù)探索及預(yù)處理、建模、模型評(píng)估等算法分別進(jìn)行封裝，每一個(gè)封裝好的算法模塊稱之為算法。實(shí)訓(xùn)：為實(shí)現(xiàn)某一數(shù)據(jù)分析目標(biāo)，將各算法通過流程化的方式進(jìn)行連接，整個(gè)數(shù)據(jù)分析流程稱為一個(gè)實(shí)訓(xùn)。模板：用戶可以將配置好的實(shí)訓(xùn)，通過模板的方式，分享給其他用戶，其他用戶可以使用該模板，創(chuàng)建一個(gè)無需配置算法便可運(yùn)行的實(shí)訓(xùn)。平臺(tái)簡(jiǎn)介TipDM大數(shù)據(jù)挖掘建模平臺(tái)主要有以下幾個(gè)特點(diǎn)。平臺(tái)算法基于Python、R以及Hadoop/Spark分布式引擎，用于數(shù)據(jù)分析。Python、R以及Hadoop/Spark是目前最為流行的用于數(shù)據(jù)分析的語(yǔ)言，高度契合行業(yè)需求。用戶可在沒有Python、R或者Hadoop/Spark編程基礎(chǔ)的情況下，使用直觀的拖曳式圖形界面構(gòu)建數(shù)據(jù)分析流程，無須編程。提供公開可用的數(shù)據(jù)分析示例實(shí)訓(xùn)，一鍵創(chuàng)建，快速運(yùn)行。支持挖掘流程每個(gè)節(jié)點(diǎn)的結(jié)果在線預(yù)覽。Python算法包可分為10大類：統(tǒng)計(jì)分析、預(yù)處理、腳本分類、聚類、回歸、時(shí)間序列、關(guān)聯(lián)規(guī)則、文本分析、繪圖。Spark算法包可分為6大類：預(yù)處理、統(tǒng)計(jì)分析、分類、聚類、回歸、協(xié)同過濾。R語(yǔ)言算法包可分為8大類：統(tǒng)計(jì)分析、預(yù)處理、腳本、分類、聚類、回歸、時(shí)間序列、關(guān)聯(lián)規(guī)則。下面將對(duì)平臺(tái)【實(shí)訓(xùn)庫(kù)】【數(shù)據(jù)連接】【實(shí)訓(xùn)數(shù)據(jù)】【我的實(shí)訓(xùn)】【系統(tǒng)算法】和【個(gè)人算法】6個(gè)模塊進(jìn)行介紹。平臺(tái)簡(jiǎn)介登錄平臺(tái)后，用戶即可看到【實(shí)訓(xùn)庫(kù)】模塊系統(tǒng)提供的示例實(shí)訓(xùn)（模板），如圖所示。實(shí)訓(xùn)庫(kù)【實(shí)訓(xùn)庫(kù)】模塊主要用于標(biāo)準(zhǔn)大數(shù)據(jù)分析案例的快速創(chuàng)建和展示。通過【實(shí)訓(xùn)庫(kù)】模塊，用戶可以創(chuàng)建一個(gè)無須導(dǎo)入數(shù)據(jù)及配置參數(shù)就能夠快速運(yùn)行的實(shí)訓(xùn)。同時(shí)，每一個(gè)模板的創(chuàng)建者都具有模板的所有權(quán)，能夠?qū)δ０暹M(jìn)行管理。用戶可以將自己搭建的數(shù)據(jù)分析實(shí)訓(xùn)生成為模板，顯示在【實(shí)訓(xùn)庫(kù)】模塊，供其他用戶一鍵創(chuàng)建。實(shí)訓(xùn)庫(kù)【數(shù)據(jù)連接】模塊支持從DB2、SQLServer、MySQL、Oracle、PostgreSQL等常用關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)，如圖所示。數(shù)據(jù)連接【實(shí)訓(xùn)數(shù)據(jù)】模塊主要用于數(shù)據(jù)分析實(shí)訓(xùn)的數(shù)據(jù)導(dǎo)入與管理。支持從本地導(dǎo)入任意類型數(shù)據(jù)。如圖所示。實(shí)訓(xùn)數(shù)據(jù)除了導(dǎo)入本地的文件外，還可以通過連接的數(shù)據(jù)庫(kù)進(jìn)行導(dǎo)入數(shù)據(jù)，如圖所示。實(shí)訓(xùn)數(shù)據(jù)【我的實(shí)訓(xùn)】模塊主要用于數(shù)據(jù)分析流程化的創(chuàng)建與管理，如圖所示。通過【實(shí)訓(xùn)】模塊，用戶可以創(chuàng)建空白實(shí)訓(xùn)，進(jìn)行數(shù)據(jù)分析實(shí)習(xí)的配置，將數(shù)據(jù)輸入輸出、數(shù)據(jù)預(yù)處理、挖掘建模、模型評(píng)估等環(huán)節(jié)通過流程化的方式進(jìn)行連接，達(dá)到數(shù)據(jù)分析的目的。對(duì)于完成的優(yōu)秀的實(shí)訓(xùn)，可以將其保存為模板，讓其他使用者學(xué)習(xí)和借鑒。我的實(shí)訓(xùn)【系統(tǒng)算法】模塊主要用于大數(shù)據(jù)分析內(nèi)置常用算法的管理，提供Python、R語(yǔ)言、Spark三種算法包，如圖所示。系統(tǒng)算法Python算法包可分為10大類，具體如下?！窘y(tǒng)計(jì)分析】類提供對(duì)數(shù)據(jù)整體情況進(jìn)行統(tǒng)計(jì)的常用算法，包括因子分析、全表統(tǒng)計(jì)、正態(tài)性檢驗(yàn)、相關(guān)性分析、卡方檢驗(yàn)、主成分分析和頻數(shù)統(tǒng)計(jì)。【預(yù)處理】類提供對(duì)數(shù)據(jù)進(jìn)行清洗的算法，包括數(shù)據(jù)標(biāo)準(zhǔn)化、缺失值處理、表堆疊、數(shù)據(jù)篩選、行列轉(zhuǎn)置、修改列名、衍生變量、數(shù)據(jù)拆分、主鍵合并、新增序列、數(shù)據(jù)排序、記錄去重和分組聚合?！灸_本】類提供一個(gè)Python代碼編輯框。用戶可以在代碼編輯框中粘貼已經(jīng)寫好的程序代碼并直接運(yùn)行，無須再額外配置成算法?！痉诸悺款愄峁┏Ｓ玫姆诸愃惴?，包括樸素貝葉斯、支持向量機(jī)、CART分類樹、邏輯回歸、神經(jīng)網(wǎng)絡(luò)和K最近鄰?！揪垲悺款愄峁┏Ｓ玫木垲愃惴?，包括層次聚類、DBSCAN密度聚類和K-Means。系統(tǒng)算法【回歸】類提供常用的回歸算法，包括CART回歸樹、線性回歸、支持向量回歸和K最近鄰回歸。【時(shí)間序列】類提供常用的時(shí)間序列算法，包括ARIMA?！娟P(guān)聯(lián)規(guī)則】類提供常用的關(guān)聯(lián)規(guī)則算法，包括Apriori和FP-Growth?！疚谋痉治觥款愄峁?duì)文本數(shù)據(jù)進(jìn)行清洗、特征提取與分析的常用算法，包括TextCNN、seq2seq、jieba分詞、HanLP分詞與詞性、TF-IDF、doc2vec、word2vec、過濾停用詞、LDA、TextRank、分句、正則匹配和HanLP實(shí)體提取?！纠L圖】類提供常用的畫圖算法，包括柱形圖、折線圖、散點(diǎn)圖、餅圖和詞云圖。系統(tǒng)算法Spark算法包可分為6大類，具體如下?！绢A(yù)處理】類提供對(duì)數(shù)據(jù)進(jìn)行清洗的算法，包括數(shù)據(jù)去重、數(shù)據(jù)過濾、數(shù)據(jù)映射、數(shù)據(jù)反映射、數(shù)據(jù)拆分、數(shù)據(jù)排序、缺失值處理、數(shù)據(jù)標(biāo)準(zhǔn)化、衍生變量、表連接、表堆疊、啞變量和數(shù)據(jù)離散化?！窘y(tǒng)計(jì)分析】類提供對(duì)數(shù)據(jù)整體情況進(jìn)行統(tǒng)計(jì)的常用算法，包括行列統(tǒng)計(jì)、全表統(tǒng)計(jì)、相關(guān)性分析和卡方檢驗(yàn)?！痉诸悺款愄峁┏Ｓ玫姆诸愃惴ǎㄟ壿嫽貧w、決策樹、梯度提升樹、樸素貝葉斯、隨機(jī)森林、線性支持向量機(jī)和多層感知神經(jīng)網(wǎng)絡(luò)?！揪垲悺款愄峁┏Ｓ玫木垲愃惴?，包括K-Means聚類、二分K均值聚類和混合高斯模型?！净貧w】類提供常用的回歸算法，包括線性回歸、廣義線性回歸、決策樹回歸、梯度提升樹回歸、隨機(jī)森林回歸和保序回歸。【協(xié)同過濾】類提供常用的智能推薦算法，包括ALS算法。系統(tǒng)算法R語(yǔ)言算法包可分為8大類，具體如下?！窘y(tǒng)計(jì)分析】類提供對(duì)數(shù)據(jù)整體情況進(jìn)行統(tǒng)計(jì)的常用算法，包括卡方檢驗(yàn)、因子分析、主成分分析、相關(guān)性分析、正態(tài)性檢驗(yàn)和全表統(tǒng)計(jì)。【預(yù)處理】類提供對(duì)數(shù)據(jù)進(jìn)行清洗的算法，包括缺失值處理、異常值處理、表連接、表堆疊、數(shù)據(jù)標(biāo)準(zhǔn)化、記錄去重、數(shù)據(jù)離散化、排序、數(shù)據(jù)拆分、頻數(shù)統(tǒng)計(jì)、新增序列、字符串拆分、字符串拼接、修改列名和衍生變量?！灸_本】類提供一個(gè)R語(yǔ)言代碼編輯框。用戶可以在代碼編輯框中粘貼已經(jīng)寫好的程序代碼并直接運(yùn)行，無須再額外配置成算法。系統(tǒng)算法【分類】類提供常用的分類算法，包括樸素貝葉斯、CART分類樹、C4.5分類樹、BP神經(jīng)網(wǎng)絡(luò)、KNN、SVM和邏輯回歸?！揪垲悺款愄峁┏Ｓ玫木垲愃惴?，包括K-Means、DBSCAN和系統(tǒng)聚類?！净貧w】類提供常用的回歸算法，包括CART回歸樹、C4.5回歸樹、線性回歸、嶺回歸和KNN回歸?！緯r(shí)間序列】類提供常用的時(shí)間序列算法，包括ARIMA、GM(1,1)和指數(shù)平滑?！娟P(guān)聯(lián)分析】類提供常用的關(guān)聯(lián)規(guī)則算法，包括Apriori。系統(tǒng)算法【個(gè)人算法】模塊主要為了滿足用戶的個(gè)性化需求。在用戶使用過程中，可根據(jù)自己的需求定制算法，方便使用。目前個(gè)人算法支持通過Python和R語(yǔ)言進(jìn)行個(gè)人算法的定制，如圖所示。個(gè)人算法1實(shí)現(xiàn)唐詩(shī)生成目錄平臺(tái)簡(jiǎn)介2以唐詩(shī)生成案例為例，在TipDM數(shù)據(jù)挖掘建模平臺(tái)上配置對(duì)應(yīng)實(shí)訓(xùn)，展示流程的配置過程。詳細(xì)流程的配置過程，可訪問平臺(tái)進(jìn)行查看。在TipDM數(shù)據(jù)挖掘建模平臺(tái)上配置語(yǔ)音識(shí)別實(shí)訓(xùn)的總體流程如圖所示，主要包括以下4個(gè)步驟。對(duì)文本進(jìn)行預(yù)處理，包括標(biāo)識(shí)文本數(shù)據(jù)中詩(shī)句結(jié)束點(diǎn)、去除低頻詞和構(gòu)建映射。處理完文本后開始構(gòu)建網(wǎng)絡(luò)，包括設(shè)置配置項(xiàng)、生成訓(xùn)練數(shù)據(jù)和構(gòu)建LSTM網(wǎng)絡(luò)。先設(shè)置網(wǎng)絡(luò)的打印學(xué)習(xí)情況、生成詩(shī)句和訓(xùn)練網(wǎng)絡(luò)模塊，并通過主函數(shù)進(jìn)行整個(gè)網(wǎng)絡(luò)的訓(xùn)練。通過主函數(shù)的日志觀察網(wǎng)絡(luò)根據(jù)輸入文字生成的詩(shī)句。實(shí)現(xiàn)唐詩(shī)生成由于平臺(tái)上傳文件的限制，本章使用的數(shù)據(jù)為poetry.txt。使用TipDM數(shù)據(jù)挖掘建模平臺(tái)導(dǎo)入數(shù)據(jù)，步驟如下。新增數(shù)據(jù)集。單擊【實(shí)訓(xùn)數(shù)據(jù)】模塊，在【我的數(shù)據(jù)集】中選擇【新增數(shù)據(jù)集】，如圖所示。配置數(shù)據(jù)源設(shè)置新增數(shù)據(jù)集參數(shù)。在【封面圖片】中隨意選擇一張封面圖片，在【名稱】中填入“詩(shī)詞數(shù)據(jù)集”，【有效期（天）】項(xiàng)選擇【永久】，在【描述】中填入“唐詩(shī)生成”，【訪問權(quán)限】項(xiàng)選擇【私有】，單擊【單擊上傳】選擇需要上傳的文件，等待顯示成功后，單擊【確定】按鈕，即可上傳，如圖所示。配置數(shù)據(jù)源數(shù)據(jù)上傳完成后，新建一個(gè)命名為【唐詩(shī)生成】的空白實(shí)訓(xùn)，配置一個(gè)【輸入源】算法，步驟如下。拖曳【輸入源】算法。在【實(shí)訓(xùn)】欄的【算法】欄中，找到【系統(tǒng)算法】模塊中【內(nèi)置算法】下的【輸入/輸出】類。拖曳【輸入/輸出】類中的【輸入源】算法至畫布中。配置【輸入源】算法。單擊畫布中的【輸入源】算法，然后單擊畫布右側(cè)【參數(shù)配置】欄中的【數(shù)據(jù)集】框，輸入“詩(shī)詞數(shù)據(jù)集”，在彈出的下拉框中選擇【詩(shī)詞數(shù)據(jù)集】，在【名稱】框中勾選【poetry.txt】。右鍵單擊【輸入源】算法，選擇【重命名】并輸入“詩(shī)詞數(shù)據(jù)集”，如圖所示。配置數(shù)據(jù)源本章文本預(yù)處理主要是標(biāo)識(shí)詩(shī)句的結(jié)束點(diǎn)、去掉低頻的字和構(gòu)建映射，實(shí)現(xiàn)文本預(yù)處理的步驟如下。創(chuàng)建【文本預(yù)處理】算法。進(jìn)入【個(gè)人算法】模塊，單擊【個(gè)人算法】欄的加號(hào)新增個(gè)人算法，在【算法名稱】框中輸入算法名“文本預(yù)處理”，將文本預(yù)處理的代碼放入【算法代碼】框中，并在【#<editable>】行和【#</editable>】行之間插入輸入配置和輸出配置，如圖所示。文本預(yù)處理連接【文本預(yù)處理】算法。拖曳【文本預(yù)處理】算法至畫布中，并與【詩(shī)詞數(shù)據(jù)集】算法相連接，如圖所示。文本預(yù)處理1.設(shè)置配置項(xiàng)構(gòu)建網(wǎng)絡(luò)前需要先對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行配置，配置【設(shè)置配置項(xiàng)】算法的步驟如下。創(chuàng)建【設(shè)置配置項(xiàng)】算法。進(jìn)入【個(gè)人算法】模塊，單擊【個(gè)人算法】欄的加號(hào)新增個(gè)人算法，在【算法名稱】框中輸入算法名“設(shè)置配置項(xiàng)”，將設(shè)置配置項(xiàng)的代碼放入【算法代碼】框中，并在【#<editable>】行和【#</editable>】行之間插入輸入配置和輸出配置，如圖所示。構(gòu)建網(wǎng)絡(luò)完成了文本的預(yù)處理后即可開始構(gòu)建用于訓(xùn)練的網(wǎng)絡(luò)，構(gòu)建網(wǎng)絡(luò)主要包括設(shè)置配置項(xiàng)、生成訓(xùn)練數(shù)據(jù)、構(gòu)建LSTM網(wǎng)絡(luò)。連接【設(shè)置配置項(xiàng)】算法。拖曳【設(shè)置配置項(xiàng)】算法至畫布中，并與【文本預(yù)處理】算法相連接，如圖所示。構(gòu)建網(wǎng)絡(luò)除了設(shè)置網(wǎng)絡(luò)的參數(shù)外，在訓(xùn)練網(wǎng)絡(luò)前還需要，生成用于訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)。配置【生成訓(xùn)練數(shù)據(jù)】算法的步驟如下。創(chuàng)建【生成訓(xùn)練數(shù)據(jù)】算法。進(jìn)入【個(gè)人算法】模塊，單擊【個(gè)人算法】欄的加號(hào)新增個(gè)人算法，在【算法名稱】框中輸入算法名“生成訓(xùn)練數(shù)據(jù)”，將生成訓(xùn)練數(shù)據(jù)的代碼放入【算法代碼】框中，并在【#<editable>】行和【#</editable>】行之間插入輸入配置和輸出配置，如圖所示。構(gòu)建網(wǎng)絡(luò)2.生成訓(xùn)練數(shù)據(jù)連接【生成訓(xùn)練數(shù)據(jù)】算法。拖曳【生成訓(xùn)練數(shù)據(jù)】算法至畫布中，并與【設(shè)置配置項(xiàng)】算法相連接，如圖所示。構(gòu)建網(wǎng)絡(luò)配置【構(gòu)建LSTM網(wǎng)絡(luò)】算法的步驟如下。創(chuàng)建【構(gòu)建LSTM網(wǎng)絡(luò)】算法。進(jìn)入【個(gè)人算法】模塊，單擊【個(gè)人算法】欄的加號(hào)新增個(gè)人算法，在【算法名稱】框中輸入算法名“構(gòu)建LSTM網(wǎng)絡(luò)”，將構(gòu)建LSTM網(wǎng)絡(luò)的代碼放入【算法代碼】框中，并在【#<editable>】行和【#</editable>】行之間插入輸入配置和輸出配置，如圖所示。構(gòu)建網(wǎng)絡(luò)3.構(gòu)建LSTM網(wǎng)絡(luò)連接【構(gòu)建LSTM網(wǎng)絡(luò)】。拖曳【構(gòu)建LSTM網(wǎng)絡(luò)】算法至畫布中，并與【生成訓(xùn)練數(shù)據(jù)】算法相連接，如圖所示。構(gòu)建網(wǎng)絡(luò)1.打印學(xué)習(xí)情況配置【打印學(xué)習(xí)情況】算法步驟如下。創(chuàng)建【打印學(xué)習(xí)情況】算法。進(jìn)入【個(gè)人算法】模塊，單擊【個(gè)人算法】欄的加號(hào)新增個(gè)人算法，在【算法名稱】框中輸入算法名“打印學(xué)習(xí)情況”，將打印學(xué)習(xí)情況的代碼放入【算法代碼】框中，并在【#<editable>】行和【#</editable>】行之間插入輸入配置和輸出配置，如圖所示。訓(xùn)練網(wǎng)絡(luò)構(gòu)建好網(wǎng)絡(luò)之后需要將數(shù)據(jù)導(dǎo)入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練結(jié)束才能實(shí)現(xiàn)文本生成。連接【打印學(xué)習(xí)情況】算法。拖曳【打印學(xué)習(xí)情況】算法至畫布中，并與【構(gòu)建LSTM網(wǎng)絡(luò)】算法相連接，如圖所示。訓(xùn)練網(wǎng)絡(luò)配置【生成詩(shī)句】算法步驟如下。創(chuàng)建【生成詩(shī)句】算法。進(jìn)入【個(gè)人算法】模塊，單擊【個(gè)人算法】欄的加號(hào)新增個(gè)人算法，在【算法名稱】框中輸入算法名“生成詩(shī)句”，將生成詩(shī)句的代碼放入【算法代碼】框中，并在【#<editable>】行和【#</editable>】行之間插入輸入配置和輸出配置，如圖所示。訓(xùn)練網(wǎng)絡(luò)2.生成詩(shī)句拖曳【生成詩(shī)句】算法至畫布中，并與【打印學(xué)習(xí)情況】算法相連接，如圖所示。訓(xùn)練網(wǎng)絡(luò)配置【訓(xùn)練網(wǎng)絡(luò)】算法的步驟如下。創(chuàng)建【訓(xùn)練網(wǎng)絡(luò)】算法。進(jìn)入【個(gè)人算法】模塊，單擊【個(gè)人算法】欄的加號(hào)新增個(gè)人算法，在【算法名稱】框中輸入算法名“訓(xùn)練網(wǎng)絡(luò)”，將訓(xùn)練網(wǎng)絡(luò)的代碼放入【算法代碼】框中，并在【#<editable>】行和【#</editable>】行之間插入輸入配置和輸出配置，如圖所示。訓(xùn)練網(wǎng)絡(luò)3.訓(xùn)練網(wǎng)絡(luò)連接【