數(shù)據(jù)的讀入PPT課件

1、Clementine數(shù)據(jù)的讀入 Clementine數(shù)據(jù)挖掘是通過數(shù)據(jù)流方式實現(xiàn)的 數(shù)據(jù)流的核心是數(shù)據(jù) 數(shù)據(jù)流都是從數(shù)據(jù)的讀入開始，然后是數(shù)據(jù)的加工管理，繼而是數(shù)據(jù)的建模，最后以模型評價結(jié)束。第1頁/共80頁2.1 變量的類型 變量是數(shù)據(jù)讀入和分析的基本單位 明確變量的類型是數(shù)據(jù)管理和挖掘的第一步，是實現(xiàn)數(shù)據(jù)正確加工和分析的前提 變量類型可以從數(shù)據(jù)挖掘和數(shù)據(jù)存儲兩個角度劃分第2頁/共80頁2.1.1 從數(shù)據(jù)挖掘角度看變量類型 從數(shù)據(jù)挖掘角度看，變量類型反映了其代表事物的某種特征的類型。 從計量層次方面歸納，變量通常包括以下類型，即數(shù)值型變量、定類型變量和定序型變量，后兩個類型也統(tǒng)稱為分類型變量

2、。 例如 表示客戶年齡、家庭人口數(shù)的變量是數(shù)值型變量 表示性別、職業(yè)的變量是定類型變量 表示學(xué)歷和收入水平的變量是定序型變量第3頁/共80頁2.1.1 從數(shù)據(jù)挖掘角度看變量類型 為更細(xì)致地反映事物類型，Clementine將變量類型進一步細(xì)分為： 連續(xù)數(shù)值型(Range)，如年齡 離散數(shù)值型( Discrete)，如家庭人口數(shù) 二分類型( Flag)，如性別 多分類型( 集合，Set)，如職業(yè) 定序型( Ordered Sets)，如學(xué)歷和收入水平 缺省型( Default)：缺省型是一種尚未明確的變量類型第4頁/共80頁2.1.1 從數(shù)據(jù)挖掘角度看變量類型 缺省型：用戶定義變量時，如僅指定了

3、變量名稱而沒有輸入或讀入具體的變量值，此時系統(tǒng)并不能確定該變量的具體類型，于是默認(rèn)其為缺省型。 系統(tǒng)稱這樣的變量為非實例化變量。 當(dāng)用戶輸入或讀入變量值后，系統(tǒng)將根據(jù)所輸入數(shù)據(jù)自動將缺省型改為上述其他類型，此時稱變量已被實例化。第5頁/共80頁2.1.1 從數(shù)據(jù)挖掘角度看變量類型 無類型型( Typeless)：對變量值為文字等復(fù)雜數(shù)據(jù)的變量，系統(tǒng)無法將其歸到上述前五種類型中，所以指定為無類型型。 無類型型變量通常不參與數(shù)據(jù)建模。第6頁/共80頁2.1.2從數(shù)據(jù)存儲角度看變量類型 從數(shù)據(jù)存儲角度看，變量類型反映了數(shù)據(jù)在計算機中的存儲方式。 從存儲所占用字節(jié)上歸納，變量通常包括以下類型 整數(shù)型（

4、Interger） 實數(shù)型( Real) 字符串型(String) 時間型(Time) 日期型(Date) 時間戳型（Time Stamp）第7頁/共80頁2.1.2從數(shù)據(jù)存儲角度看變量類型 時間型和時間戳型的數(shù)據(jù)表示形式相同，如01:25:30，但含義不同。 時間型表示所持續(xù)的時間，如時間持續(xù)了1小時25分30秒 時間戳型則表示某個時刻，如某人登錄服務(wù)器的時間是1點25分30秒。第8頁/共80頁2.2讀入數(shù)據(jù) 數(shù)據(jù)挖掘中數(shù)據(jù)量通常較為龐大，一般存儲在數(shù)據(jù)庫中，或者以文本或其他類型的文件形式存儲。 數(shù)據(jù)流都是以從外部讀入數(shù)據(jù)開始的，數(shù)據(jù)讀入的節(jié)點放置在節(jié)點工具箱的數(shù)據(jù)源選項卡中，支持 自由格式

5、的文本文件 固定格式的文本文件 SPSS數(shù)據(jù)文件、SAS數(shù)據(jù)集 Excel電子表格 數(shù)據(jù)庫文件第9頁/共80頁讀自由格式的文本文件 自由格式 通常一行數(shù)據(jù)為一個樣本 每行數(shù)據(jù)有相同的列，分別依次對應(yīng)不同的變量 列之間以逗號等分隔符分隔 變量名一般存儲在文件的第一行上 讀自由格式的文本文件應(yīng)通過源選項卡中的可變文件節(jié)點實現(xiàn)第10頁/共80頁讀自由格式的文本文件 下面以藥物研究數(shù)據(jù)為例，該數(shù)據(jù)是自由格式的文本，文件名為DRUG.txt。 首先，選擇源選項卡中的可變文件選項節(jié)點并將其放置到數(shù)據(jù)流編輯區(qū)域中，右擊鼠標(biāo)，選擇彈出菜單中的編輯選項，顯示的參數(shù)設(shè)置窗口如下圖所示第11頁/共80頁第12頁/共

6、80頁讀自由格式的文本文件 可變文件節(jié)點的參數(shù)設(shè)置窗口包含文件、數(shù)據(jù)、篩選、類型和注釋五個選項卡。 文件選項卡：指定所讀入數(shù)據(jù)的基本格式。主要參數(shù)的含義如下。 文件：指定讀入文本文件所在的文件夾和文件名第13頁/共80頁讀自由格式的文本文件 文件選項卡：指定所讀入數(shù)據(jù)的基本格式。其中主要參數(shù)的含義如下。 讀取文件中的字段名：如果文件中的第一行是變量名，則選擇該項；否則不選。 指定字段數(shù)：指定文件中包含幾個變量列。由于文件中的列是以分隔符分隔的，系統(tǒng)可依此自動判斷列數(shù)，該選項通常忽略。第14頁/共80頁讀自由格式的文本文件 文件選項卡：指定所讀入數(shù)據(jù)的基本格式。 在定界符中指定文件中的列分隔符(

7、一般為逗號)和行分隔符(通常為新行)。第15頁/共80頁讀自由格式的文本文件 其余參數(shù)包括 指定文件中數(shù)據(jù)開始前是否有幾個說明性的字符，讀入數(shù)據(jù)時應(yīng)跳過 指定壓縮各列的前置空格和后置空格 對無效數(shù)據(jù)是忽略處理還是替換為指定的數(shù)值等第16頁/共80頁數(shù)據(jù)選項卡 指定所讀入數(shù)據(jù)的基本類型等。第17頁/共80頁數(shù)據(jù)選項卡 顯示將讀入數(shù)據(jù)的變量名，以及系統(tǒng)根據(jù)數(shù)據(jù)判斷出的變量存儲類型。 如需修改，先在某變量行的覆蓋項上畫勾，然后下拉存儲框，選擇所需的存儲類型。第18頁/共80頁過濾選項卡 過濾選項卡：指定讀數(shù)據(jù)時不讀哪些變量并可重新修改變量名。 如不希望讀入某變量，只需單擊相應(yīng)行的過濾項，打即可。第1

8、9頁/共80頁類型選項卡 指定所讀數(shù)據(jù)的變量類型、變量取值范圍等信息 允許指定變量缺省值，對取值合理性進行檢查，以及指定變量角色等第20頁/共80頁類型選項卡 數(shù)據(jù)尚未讀入時，系統(tǒng)粗略的判讀變量的計量類型 通過讀取值按鈕讀入數(shù)據(jù)，得到變量的準(zhǔn)確類型和變量取值范圍，稱為對節(jié)點進行實例化處理第21頁/共80頁實例化與重新實例化 實例化后，如用戶重新修改文本文件中的數(shù)據(jù)，類型選項卡窗口中的變量值范圍并不隨之動態(tài)更新 后續(xù)節(jié)點處理的數(shù)據(jù)并非更新后的新數(shù)據(jù) 系統(tǒng)稱實例化后的數(shù)據(jù)是靜態(tài)數(shù)據(jù) 為保持?jǐn)?shù)據(jù)流中的數(shù)據(jù)與文本文件相一致，需重新從頭執(zhí)行數(shù)據(jù)流。 此時流中的數(shù)據(jù)已更新，但用戶仍無法在類型選項卡的窗口中

9、看到正確的變量取值范圍，無疑會影響用戶對變量值合理性檢查的操作。第22頁/共80頁實例化與重新實例化 解決方法是重新實例化 第一步，按清除值或清除所有值鈕取消當(dāng)前的實例化，所有變量的值項自動改為讀取 第二步，按讀取值鈕再次實例化第23頁/共80頁實例化與重新實例化 如果文件中數(shù)據(jù)的更新只集中在某個變量上，只要對某個變量重新實例化即可。 操作時應(yīng)略去上述第一步，只在相應(yīng)變量行的值下拉框中手工選擇Read或Read+，執(zhí)行讀取 值下拉框中的當(dāng)前表示保持當(dāng)前的實例化不變，此時按讀取值鈕無效；Pass表示取消當(dāng)前變量的實例化（中文版中翻譯為傳遞）。第24頁/共80頁實例化與重新實例化第25頁/共80頁

10、注解選項卡 給節(jié)點命名和添加注釋性文字 名稱：自動，自定義第26頁/共80頁注解選項卡 工具提示文本 當(dāng)鼠標(biāo)指到數(shù)據(jù)流編輯區(qū)中的某個節(jié)點時，如希望隨之顯示關(guān)于該節(jié)點的簡短說明信息，可在此處輸入相關(guān)說明文字 大段說明應(yīng)在窗口中間的空白區(qū)域中輸入第27頁/共80頁注解選項卡 注解選項卡幾乎出現(xiàn)在Clementine的所有節(jié)點中，含義相同，以后不再贅述。 注意：可變文件節(jié)點只是一個數(shù)據(jù)讀入節(jié)點，沒有數(shù)據(jù)展示功能。 若希望瀏覽數(shù)據(jù)內(nèi)容，應(yīng)選擇輸出選項卡中的表節(jié)點并與該節(jié)點連接。執(zhí)行數(shù)據(jù)流，系統(tǒng)生成數(shù)據(jù)表格，自動打開數(shù)據(jù)表，并將表名列在流管理器的輸出選項卡中。第28頁/共80頁2.2.2讀Excel電子

11、表格數(shù)據(jù) 以一份學(xué)生參與某次社會公益活動的樣本數(shù)據(jù)為例 數(shù)據(jù)文件名為Students.xls，變量包括 學(xué)生編號 是否無償獻血 家庭人均年收入 在校綜合評價指數(shù) 家長是否鼓勵學(xué)生參與社會公益活動 學(xué)生是否參與某活動第29頁/共80頁2.2.2讀Excel電子表格數(shù)據(jù) 選擇源選項卡中的Excel節(jié)點并將其放置到數(shù)據(jù)流編輯區(qū)域中，打開節(jié)點的參數(shù)設(shè)置頁面第30頁/共80頁2.2.2讀Excel電子表格數(shù)據(jù) 在導(dǎo)入文件中輸入Excel電子表格文件所在的路徑 如果Excel中有多張工作表，要讀其中某張表的數(shù)據(jù)，應(yīng)在工作表的索引框中輸入工作表編號（從0開始）或在名稱框中輸入工作表名第31頁/共80頁2.2

12、.2讀Excel電子表格數(shù)據(jù) 如只讀工作表中某特定區(qū)域，如A1:B10中的數(shù)據(jù)，應(yīng)在數(shù)據(jù)范圍的明確范圍后的兩個框中分別輸入A1和B10，字母應(yīng)大寫。 Excel節(jié)點的參數(shù)設(shè)置窗口中還包括過濾選項卡和類型選項卡，含義同前。第32頁/共80頁2.2.3讀SPSS格式文件 SPSS數(shù)據(jù)文件擴展名為.sav，通過源卡中的SPSS 文件節(jié)點實現(xiàn)SPSS格式數(shù)據(jù)的讀入。 虛擬的電信客戶數(shù)據(jù)，Telephone.sav，變量包括 居住地、年齡、婚姻狀況、家庭月收入（百元） 受教育水平、性別、家庭人口 基本服務(wù)累計開通月數(shù)、是否申請無線轉(zhuǎn)移服務(wù)、上月基本費用、上月限制性免費服務(wù)項目的費用、無線服務(wù)費用 是否電

13、子支付、客戶所申請的服務(wù)套餐類型、是否流失(共15個變量)第33頁/共80頁2.2.3讀SPSS格式文件 選擇源選項卡中的SPSS文件節(jié)點并將其放置到數(shù)據(jù)流編輯區(qū)域中，在SPSS文件節(jié)點的界面上的導(dǎo)入文件中輸入SPSS文件的路徑第34頁/共80頁2.2.3讀SPSS格式文件 變量名稱選項： 讀取名稱和標(biāo)簽表示同時讀入SPSS文件的變量名和變量名標(biāo)簽 讀取標(biāo)簽作為名稱表示以SPSS文件中的變量名標(biāo)簽作為Clementine數(shù)據(jù)的變量名 SPSS文件中的變量名標(biāo)簽是對字段的說明文字第35頁/共80頁2.2.3讀SPSS格式文件 值選項 讀取數(shù)據(jù)和標(biāo)簽表示同時讀入SPSS文件的變量值和變量值標(biāo)簽 讀

14、取標(biāo)簽作為數(shù)據(jù)表示以SPSS文件中的變量值標(biāo)簽作為系統(tǒng)的變量值。 SPSS文件中的變量值標(biāo)簽類似于用“男”、“女”解釋實際的0、1取值的文本第36頁/共80頁2.2.4讀數(shù)據(jù)庫文件 商業(yè)數(shù)據(jù)庫種類繁多，但不同數(shù)據(jù)庫產(chǎn)品都遵循了開放式數(shù)據(jù)互聯(lián)（ ODBC ，Open DataBase Connectivity）標(biāo)準(zhǔn)，并通過ODBC實現(xiàn)數(shù)據(jù)庫的互訪。 Clementine通過ODBC方式訪問數(shù)據(jù)庫，需經(jīng)過兩個步驟完成： 第一步，建立數(shù)據(jù)源 第二步，通過數(shù)據(jù)源訪問數(shù)據(jù)庫第37頁/共80頁2.2.4讀數(shù)據(jù)庫文件 以一份記錄客戶瀏覽網(wǎng)頁的歷史記錄的Access數(shù)據(jù)庫文件WebData.mdb為例。 包括

15、三張數(shù)據(jù)表：Custmer1、Customer2、ClickPath。 Custerm1：記錄客戶基本信息，包括客戶編號、年齡、性別、婚姻狀況、受教育水平、平均每天在線時間、居住區(qū)域第38頁/共80頁2.2.4讀數(shù)據(jù)庫文件 Custerm2：記錄客戶上網(wǎng)的基本情況，包括客戶編號、平均日在線時間、平均夜在線時間、瀏覽器類型、平均收發(fā)郵件時間、平均網(wǎng)聊時間等： ClickPath：記錄客戶瀏覽網(wǎng)頁類型的數(shù)據(jù)。第39頁/共80頁2.2.4讀數(shù)據(jù)庫文件 第一步，在利用Clementine讀數(shù)據(jù)庫之前，應(yīng)首先通過Windows“控制面板”，依次選擇“管理工具”和“數(shù)據(jù)源ODBC”，添加一個關(guān)于客戶訪問網(wǎng)

16、頁的數(shù)據(jù)源。 注意，本例的數(shù)據(jù)源驅(qū)動是Microsoft Access Driver(*.mdb)，數(shù)據(jù)源命名為“網(wǎng)頁訪問數(shù)據(jù)”。第40頁/共80頁第41頁/共80頁第42頁/共80頁第43頁/共80頁2.2.4讀數(shù)據(jù)庫文件 第二步，選擇源選項卡中的數(shù)據(jù)庫節(jié)點并將其放置到數(shù)據(jù)流編輯區(qū)域中，打開參數(shù)設(shè)置窗口如圖。第44頁/共80頁第45頁/共80頁2.2.4讀數(shù)據(jù)庫文件 在數(shù)據(jù)源框中，在已添加的數(shù)據(jù)源中選擇“網(wǎng)頁訪問數(shù)據(jù)”，并通過選擇鈕選擇數(shù)據(jù)庫中數(shù)據(jù)表第46頁/共80頁2.4.1 數(shù)據(jù)的縱向合并 數(shù)據(jù)的縱向合并是在數(shù)據(jù)尾部不斷追加樣本的過程 通過記錄選項卡中的追加節(jié)點實現(xiàn) 以學(xué)生參與某次社會公

17、益活動的數(shù)據(jù)Students.xls為例，文件中包含兩張工作表，分別是老生和新生的數(shù)據(jù) 由于分析是針對所有學(xué)生的，需要向合并成一份新數(shù)據(jù)。建立的數(shù)據(jù)流如后圖所示第47頁/共80頁第48頁/共80頁2.4.1 數(shù)據(jù)的縱向合并 首先建立兩個Excel節(jié)點，讀入兩張工作表數(shù)據(jù) 然后，選擇源選項卡中的追加節(jié)點并將其連接到Excel節(jié)點的后面，右擊鼠標(biāo)，選擇彈出菜單中的編輯選項，所顯示的參數(shù)設(shè)置窗口如后圖所示第49頁/共80頁第50頁/共80頁2.4.1 數(shù)據(jù)的縱向合并 下圖顯示了兩個數(shù)據(jù)源節(jié)點的標(biāo)記、名稱以及所包含的字段個數(shù)。第51頁/共80頁2.4.1 數(shù)據(jù)的縱向合并 合并后樣本的排列順序?qū)⒁罁?jù)標(biāo)記

18、值，標(biāo)記值最小的表其數(shù)據(jù)排在最前，標(biāo)記值最大的表其數(shù)據(jù)排在最后?？赏ㄟ^右邊的上下按鈕調(diào)控這個順序。 系統(tǒng)默認(rèn)標(biāo)記值為1的表為主數(shù)據(jù)集，意味著如果兩份數(shù)據(jù)中的變量名不同或變量個數(shù)不一致，則默認(rèn)合并后新數(shù)據(jù)的變量名與主數(shù)據(jù)集相同。第52頁/共80頁追加選項卡第53頁/共80頁追加選項卡 包含字段來源選項中，僅主數(shù)據(jù)集表示合并后新數(shù)據(jù)的變量名只來自主數(shù)據(jù)集；所有數(shù)據(jù)集則表示來自所有表，是各表變量名的并集。 字段匹配依據(jù)選項中，位置表示按兩張表列的順序依次頭尾連接樣本，名稱表示按變量名對接。 如果不能夠保證兩份數(shù)據(jù)的變量排列順序完全一致，應(yīng)選擇名稱頊。第54頁/共80頁追加選項卡 通過在字段中包含源數(shù)

19、據(jù)集來標(biāo)志記錄表示在新數(shù)據(jù)中自動增加一個變量名默認(rèn)為輸入的變量，存儲標(biāo)記值以說明樣本來自哪個數(shù)據(jù)源。第55頁/共80頁追加選項卡 注意：數(shù)據(jù)的縱向合，應(yīng)確保兩份或多份數(shù)據(jù)的合并是有實際意義的，相同含義的變量應(yīng)取相同的變量名，且變量的類型要一致。 為方便數(shù)據(jù)流的管理和瀏覽，可將縱向合并過程做成一個超節(jié)點。第56頁/共80頁第57頁/共80頁2.4.2數(shù)據(jù)的橫向合并 數(shù)據(jù)的橫向合并是在數(shù)據(jù)的右側(cè)不斷添加變量的過程。實現(xiàn)該功能的節(jié)點是記錄選項卡中的合并節(jié)點 以客戶瀏覽網(wǎng)頁的歷史記錄數(shù)據(jù)WebData.mdb為例，說明數(shù)據(jù)的縱向合并方法第58頁/共80頁2.4.2數(shù)據(jù)的橫向合并 WebData.mdb

20、 Custmerl1表（客戶編號、年齡、性別、婚姻狀況、受教育水平、平均每天在線時間、居住區(qū)域） Custmer2表（客戶編號、平均日在線時間、平均夜在線時間、瀏覽器類型、平均收發(fā)郵件時間、平均網(wǎng)聊時間） 將這兩張表橫向合并在一起，為分析諸如不同受教育水平的客戶的平均收發(fā)郵件時間是否有差異，網(wǎng)聊時間是否與性別、婚姻狀況相關(guān)等問題做準(zhǔn)備。第59頁/共80頁2.4.2數(shù)據(jù)的橫向合并 首先按讀入數(shù)據(jù)庫的操作方法建立兩個數(shù)據(jù)庫源節(jié)點，分別讀入兩張數(shù)據(jù)庫表 選擇記錄選項卡中的合并節(jié)點并將其連接到數(shù)據(jù)庫節(jié)點的后面第60頁/共80頁2.4.2數(shù)據(jù)的橫向合并 右擊鼠標(biāo)，選擇彈出菜單中的編輯選項，顯示參數(shù)設(shè)置窗

21、口如圖所示第61頁/共80頁2.4.2數(shù)據(jù)的橫向合并 圖中顯示源節(jié)點的標(biāo)記、名稱及所包含的字段個數(shù) 合并后樣本的排列順序?qū)⒁罁?jù)標(biāo)記值，標(biāo)記值最小的表其數(shù)據(jù)排在最左，標(biāo)記值最大的表其數(shù)據(jù)排在最右。可通過右邊的上下按鈕調(diào)整這個順序。 系統(tǒng)默認(rèn)標(biāo)記值為1的表為主數(shù)據(jù)集。第62頁/共80頁合并選項卡第63頁/共80頁合并選項卡 合并方法：順序表示兩份數(shù)據(jù)按樣本的前后順序一一左右對接，關(guān)鍵字表示按關(guān)鍵字合并。 如兩份數(shù)據(jù)樣本排列順不一致，應(yīng)選擇關(guān)鍵字項。 可能的關(guān)鍵字區(qū)域顯示了兩份數(shù)據(jù)中的同名變量，本例中為CustomerGud和 GeoLocation，這些變量名可能成為橫向合并的關(guān)鍵字。第64頁/共

22、80頁合并選項卡 用于合并的關(guān)鍵字區(qū)域顯示用戶指定的關(guān)鍵字，即如果依據(jù)關(guān)鍵字合并，則只有該關(guān)鍵字取值相同的樣本才可左右對接。 本例指定CustomerGuid為關(guān)鍵字。第65頁/共80頁合并選項卡 指定按關(guān)鍵字合并后，還需指定新表數(shù)據(jù)的來源，包括內(nèi)部連接、全外連接、局部外連接、相反連接四種。 內(nèi)部連接：表示如果對表A、B、C進行內(nèi)連接，則合并結(jié)果是那些關(guān)鍵字值在表A、B、C中均出現(xiàn)樣本，即各表的交集第66頁/共80頁合并選項卡 指定按關(guān)鍵字合并后，還需指定新表數(shù)據(jù)的來源，包括內(nèi)部連接、全外連接、局部外連接、相反連接四種。 完全外部連接：表示如果對表A、B、C全外連接，則合并結(jié)果是表A、B、C的

23、并集第67頁/共80頁合并選項卡 部分外部連接：表示如果表A和B與表C局部外連接，則合并結(jié)果一定包含表A、B中的所有樣本，同時還包括C表中那些關(guān)鍵字值也出現(xiàn)在A、B中的樣本，表C中的樣本通常不能全部進入新表。 可通過選擇按鈕，選擇樣本不能全部進入新表的表，如圖所示。第68頁/共80頁合并選項卡 可通過選擇按鈕，選擇樣本不能全部進入新表的表，如圖所示。第69頁/共80頁 A partial outer join includes all records matched using the key field as well as unmatched records from specified

24、tables. (Or, to put it another way, all records from some tables and only matching records from others.) Tables (such as A and B shown here) can be selected for inclusion in the outer join using the Select button on the Merge tab. Partial joins are also called left or right outer joins when only two

25、 tables are being merged. Since Clementine allows the merging of more than two tables, we refer to this as a partial outer join. 第70頁/共80頁合并選項卡 反連接：如果表A與表B、C反連接，則合并結(jié)果是表A中與其余表關(guān)鍵字值不相同的樣本。（A對于B與C的差集）第71頁/共80頁合并選項卡 兩份數(shù)據(jù)中均有CustomerGuid和GeoLocation變量，而合并結(jié)果中只能保留一個CustomerGuid和一個GeoLocation變量。 由于已指定CustomerGuid為關(guān)鍵