工業(yè)大數(shù)據(jù)分析-數(shù)據(jù)融合教學(xué)講義

任務(wù)2.5數(shù)據(jù)融合

任務(wù)概述

本節(jié)主要介紹常見的數(shù)據(jù)融合的原理和方法，并通過案例實(shí)現(xiàn)進(jìn)行實(shí)操演示。

數(shù)據(jù)集選用“工業(yè)用水處理投藥量數(shù)據(jù)”。

數(shù)據(jù)連接是基于連接字段按照給定的連接方式進(jìn)行兩個(gè)表格的字段組合得

到新的數(shù)據(jù)表，支持兩個(gè)數(shù)據(jù)表的單個(gè)或多個(gè)字段為連接字段的連接操作，連接

方式包括內(nèi)連接、外連接、左連接、右連接。

數(shù)據(jù)追加是針對(duì)原有業(yè)務(wù)數(shù)據(jù)庫(kù)系統(tǒng)分析基礎(chǔ)上提出的，它解決的是在數(shù)據(jù)

倉(cāng)庫(kù)初始數(shù)據(jù)轉(zhuǎn)載后，如何再向數(shù)據(jù)倉(cāng)庫(kù)輸入變化的數(shù)據(jù)的問題。它要求對(duì)原有

的業(yè)務(wù)系統(tǒng)作最小改造，并記錄在數(shù)據(jù)追加周期內(nèi)數(shù)據(jù)的變化過程減小由于提取

周期而影響數(shù)據(jù)分析展現(xiàn)，同時(shí)減少訪問整個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù)。''數(shù)據(jù)追加周期”是

指將操作型環(huán)境的變化反映到數(shù)據(jù)倉(cāng)庫(kù)中，會(huì)有一個(gè)時(shí)間延遲。

數(shù)據(jù)拆分即數(shù)據(jù)分割，是指把邏輯上是統(tǒng)一整體的數(shù)據(jù)分割成較小的、可以

獨(dú)立管理的物理單元進(jìn)行存儲(chǔ)，以便于重構(gòu)、重組和恢復(fù)，以提高創(chuàng)建索引和順

序掃描的效率。數(shù)據(jù)分割使數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)人員和使用者具有更大的靈活性。

通過本任務(wù)的學(xué)習(xí)：

（1）能夠選擇系統(tǒng)內(nèi)的數(shù)據(jù)源，通過數(shù)據(jù)融合的方式對(duì)數(shù)據(jù)進(jìn)行連接；

（2）能夠選擇系統(tǒng)內(nèi)的數(shù)據(jù)源，通過數(shù)據(jù)融合的方式對(duì)數(shù)據(jù)進(jìn)行追加；

（3）能夠選擇系統(tǒng)內(nèi)的數(shù)據(jù)源，通過數(shù)據(jù)融合的方式對(duì)數(shù)據(jù)進(jìn)行拆分。

任務(wù)實(shí)現(xiàn)

2.5.1數(shù)據(jù)連接

數(shù)據(jù)連接是基于連接字段按照給定的連接方式進(jìn)行兩個(gè)表格的字段組合，從

而得到新的數(shù)據(jù)表，支持多個(gè)數(shù)據(jù)表的單個(gè)或多個(gè)字段為連接字段的連接操作，

連接方式包括內(nèi)連接、外連接、左連接、右連接。

數(shù)據(jù)連接

?國(guó)+圖?

e

▲Q

圖2-5-1數(shù)據(jù)連接節(jié)點(diǎn)

數(shù)據(jù)連接案例操作步驟如下：

步驟1：在建模界面放置2個(gè)文件輸入節(jié)點(diǎn)，文件輸入節(jié)點(diǎn)中的數(shù)據(jù)文件選

擇“工業(yè)用水處理投藥量數(shù)據(jù)”，選擇“數(shù)據(jù)融合-數(shù)據(jù)連接”，拖入建模區(qū)進(jìn)行

連接，如圖2-5-2所示。

圖2-5-2數(shù)據(jù)連接建模

步驟2：雙擊打開“數(shù)據(jù)連接”節(jié)點(diǎn)，如圖2-5-3所示，配置兩個(gè)數(shù)據(jù)表的

連接關(guān)系。

數(shù)據(jù)連接x

點(diǎn)擊查看功能說明?

確定聰肖

圖2-5-3數(shù)據(jù)連接配置

步驟3：完成連接配置，點(diǎn)擊右上角“運(yùn)行”按鈕，如圖2-5-4所示。

圖2-5-4完成連接配置

步驟4：數(shù)據(jù)連接處理后，運(yùn)行結(jié)果如圖2-5-5所示。

圖2-5-5數(shù)據(jù)連接處理結(jié)果

2.5.2數(shù)據(jù)追加

數(shù)據(jù)追加支持將兩個(gè)或多個(gè)類似數(shù)據(jù)表的行進(jìn)行連接，追加成一個(gè)新的數(shù)據(jù)

集。匹配的屬性列必須具備同樣的數(shù)據(jù)類型。結(jié)果數(shù)據(jù)集包含各個(gè)輸入表中的每

行。

圖2-5-6數(shù)據(jù)追加節(jié)點(diǎn)

數(shù)據(jù)追加有“按列順序添加”和“自定義”兩種追加方法，如圖2-5-7所示。

數(shù)據(jù)追加X

跋口引去G按列順再氯1"；自定X

新屬性名稱下表

擊查看功能說明?

確定

圖2-5-7數(shù)據(jù)追加

數(shù)據(jù)追加提供將具有相同個(gè)數(shù)的屬性列的兩個(gè)輸入表的行記錄連接，以創(chuàng)建

一個(gè)輸出數(shù)據(jù)集。匹配的屬性列必須具備同樣的數(shù)據(jù)類型。作為結(jié)果的數(shù)據(jù)集包

含同樣多個(gè)屬性列以及各個(gè)輸入表中的每行。

參數(shù)說明:

?按列順序：將追加前的兩個(gè)或多個(gè)數(shù)據(jù)集中的屬性列按照順序合并成新

的列，依次追加相應(yīng)的行記錄。

?自定義：按照用戶指定的需求，將追加前的兩個(gè)或多個(gè)表的屬性列進(jìn)行

匹配，追加匹配列相應(yīng)的行記錄。支持新增或刪除屬性列，可進(jìn)行重復(fù)指派，部

分行沒有對(duì)應(yīng)字段時(shí)用空值填充o

數(shù)據(jù)追加案例操作步驟如下:

步驟1：參照下圖構(gòu)建模型：選擇“數(shù)據(jù)管理-文件輸入”，拖入2個(gè)“文件

輸入”節(jié)點(diǎn)到建模區(qū)；選擇“數(shù)據(jù)融合-數(shù)據(jù)追加”節(jié)點(diǎn)到建模區(qū)，建立連接，如

圖2-5-8所不。

圖2-5-8構(gòu)建模型

步驟2：分別將“工業(yè)用水投藥量數(shù)據(jù)1”和“工業(yè)用水投藥量數(shù)2”加載到

不同的“文件輸入”節(jié)點(diǎn)。如圖2-5-9和圖2-5-10所示。

工業(yè)用水處理投藥量數(shù)據(jù)1DX

選攜雌文件上傳刪除全部刪除

Q

數(shù)據(jù)內(nèi)容

3工^水處理投藥量數(shù)

血原水PH原水濁度出水濁度取水量PACK

婢1

2013/8/206:007.13623.461.156801.38

2013/8/207:007.12628.811.156602.01

2013/8/225:006.91294.810.785580112.01

2013/8/226:006.91293.290.785570120.65

口分區(qū)100000

點(diǎn)擊查看功能說明?

確定取消

圖2-5-9工業(yè)用水投藥量數(shù)據(jù)1

工業(yè)用水處理投藥量數(shù)據(jù)2□X

文件上傳刪除全部刪除

Q數(shù)據(jù)內(nèi)容

|6：Ok用水處理投藥量數(shù)

時(shí)間原水PH原水濁度出水濁度取水雖PAC耗

握2

2013/10/2323:007.228.010.78983929.68

2013/10/240:007.225.050.78985524.76

2013/10/241:007.216.910.71711427.41

2013/10/2522:007.21830.78978524.94

2013/10/2523:007.217.920.78978624.93

2013/10/260:007.216.010.74982829.81

□分區(qū)記錄條數(shù)100000

點(diǎn)功能弼@

確定I耽肖

圖2-5-10工業(yè)用水投藥量數(shù)據(jù)2

步驟3：數(shù)據(jù)追加配置界面如圖2-5-11所示。

數(shù)據(jù)追加x

追加方法?按列順序添加O自定義

新屬性名稱上表

時(shí)間時(shí)間

原水PH原水PH

JSzK；嫄

出水濁度出水濁度

取水量取水量

PAC耗PAC耗

點(diǎn)功的就?

確定耽肖

圖2-5-11數(shù)據(jù)追加配置

步驟4：數(shù)據(jù)追加“運(yùn)行”后，結(jié)果如圖2-5T2所示?！肮I(yè)用水投藥量數(shù)

2”追加合并到“工業(yè)用水投藥量數(shù)據(jù)1”后面。

圖2-5-12模型運(yùn)行結(jié)果

2.5.3數(shù)據(jù)拆分

數(shù)據(jù)拆分節(jié)點(diǎn)是將原始樣本集按照2個(gè)（訓(xùn)練集和測(cè)試集）或者3個(gè)（訓(xùn)練

集、測(cè)試集和驗(yàn)證集）方式，被拆分為2或3數(shù)據(jù)子集個(gè)數(shù)，拆分后各個(gè)子集的

比例總和小于等于100%o數(shù)據(jù)拆分經(jīng)常作為回歸或者分類算法節(jié)點(diǎn)的前置節(jié)點(diǎn)。

支持近似拆分和精確拆分，默認(rèn)為近似拆分。

數(shù)據(jù)拆分

0

▲Q

圖2-5-13數(shù)據(jù)拆分節(jié)點(diǎn)

注：

輸入類型：數(shù)值/字符/日期/文本

數(shù)據(jù)格式：Dataframe

空值檢測(cè)：檢測(cè)NULL值

校驗(yàn)規(guī)則：對(duì)拆分條件進(jìn)行檢驗(yàn)，輸入數(shù)據(jù)量〈拆分?jǐn)?shù)；拆分比例＞1.0

數(shù)據(jù)拆分案例操作步驟如下:

步驟1:建模區(qū)分別拖入文件輸入和數(shù)據(jù)拆分節(jié)點(diǎn)，連接兩者之間的邏輯關(guān)

系,對(duì)兩個(gè)節(jié)點(diǎn)進(jìn)行模型構(gòu)建，將“工業(yè)用水處理投藥量數(shù)據(jù)”加載到“文件輸

入節(jié)點(diǎn)”，如圖2-5-14所示。

圖2-5-14文件輸入和數(shù)據(jù)拆分節(jié)點(diǎn)模型

步驟2：雙擊數(shù)據(jù)拆分節(jié)點(diǎn)，進(jìn)行參數(shù)配置，拆分成2個(gè)數(shù)據(jù)集，訓(xùn)練集占

比80%,測(cè)試集占比2096,如圖2-5-15所示。

數(shù)據(jù)拆分X

吩陵I2個(gè):訓(xùn)練婚礴..▼|□娜例子||

名稱拆分比例(%)

訓(xùn)練集80

測(cè)共20

點(diǎn)擊查看功能說明?

確定取消

圖2-5-15數(shù)