數(shù)據(jù)清洗需求設(shè)計(jì)

1、數(shù)據(jù)清洗（時(shí)間序列數(shù)據(jù)TSD（time series Data）需求設(shè)計(jì)Data Cleaning ModuleDCM應(yīng)該屬于DAX的一個(gè)模塊。1、 數(shù)據(jù)清洗的目的原始采集的數(shù)據(jù)會(huì)受到傳感器、變送器、信號(hào)傳輸、環(huán)境干擾（電磁、潮濕、高熱）、人為造假等各種因素的影響，數(shù)據(jù)中會(huì)包含一些受到“污染”的數(shù)據(jù)。如果直接利用這些數(shù)據(jù)進(jìn)行控制、繪圖、制表、數(shù)據(jù)分析、數(shù)據(jù)挖掘，則不可避免的會(huì)影響分析過(guò)程和結(jié)果，總的來(lái)說(shuō)：低質(zhì)量的數(shù)據(jù)無(wú)法獲得高質(zhì)量的分析結(jié)果。任何規(guī)模的數(shù)據(jù)在分析以前，有必要對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，以使其達(dá)到必要的質(zhì)量，這個(gè)過(guò)程我們稱之為數(shù)據(jù)清洗。數(shù)據(jù)清洗后，一般有兩類用途，一是直接用于在線過(guò)程控

2、制，二是用于事后分析。那些數(shù)據(jù)需要清洗任何直接采集的數(shù)據(jù)都需要進(jìn)行清洗，利用清洗程序?qū)?shù)據(jù)處理后，會(huì)對(duì)數(shù)據(jù)的各種缺陷進(jìn)行標(biāo)記，對(duì)發(fā)現(xiàn)的有缺陷的數(shù)據(jù)進(jìn)行拋棄、估計(jì)、修改。很多工廠由于缺乏數(shù)據(jù)清洗這個(gè)環(huán)節(jié)，會(huì)大大影響過(guò)程控制的可靠性。低質(zhì)量的數(shù)據(jù)，在事后分析時(shí)會(huì)帶來(lái)很大的困難。不少環(huán)境監(jiān)測(cè)類的投資，由于缺乏數(shù)據(jù)質(zhì)量控制和數(shù)據(jù)清洗技術(shù)，會(huì)使投資回報(bào)大大降低。2、 通用性設(shè)計(jì)常見的原始數(shù)據(jù)問(wèn)題1) 數(shù)據(jù)缺失2) 跳點(diǎn)3) 干擾（白噪聲或其它）4) 漂移（線性與非線性）5) 超限6) 滯后造成的時(shí)間不同步7) 邏輯缺失（因果關(guān)系、相關(guān)關(guān)系）8)數(shù)據(jù)檢驗(yàn)的方法1) 上下限制檢驗(yàn)法 2) 斜率檢驗(yàn)法 3)

3、差值檢驗(yàn)法 4) 頻率檢驗(yàn)法 5) 時(shí)間區(qū)間檢驗(yàn)法 6) 人工數(shù)據(jù)修正 7) 關(guān)系檢驗(yàn)（因果、相關(guān)性）8)數(shù)據(jù)處理的方法1) 刪除法2) 補(bǔ)差法a) 取前點(diǎn)b) 均值插補(bǔ)c) 回歸插補(bǔ)d) 極大似然估計(jì)3) 回歸法4) 均值平滑法5) 離群點(diǎn)分析6) 小波去噪7) 人工修改8)對(duì)時(shí)間序列數(shù)據(jù)的定義1) 源數(shù)據(jù)序列（Origin TSD）：一般保存人工采集導(dǎo)入和自動(dòng)測(cè)報(bào)采集的原始數(shù)據(jù)，為確保該類型數(shù)據(jù)安全，數(shù)據(jù)設(shè)置只讀。2) 生產(chǎn)時(shí)序數(shù)據(jù)（Production TSD）：拷貝自源數(shù)據(jù)，加以校核和清洗。對(duì)數(shù)據(jù)的常規(guī)維護(hù)通常在這類序列上進(jìn)行。3) 衍生時(shí)序數(shù)據(jù)（Derived TSD）：一般是通過(guò)一

4、些標(biāo)準(zhǔn)方法計(jì)算的統(tǒng)計(jì)序列，例如日月年特征值等。3、 數(shù)據(jù)處理數(shù)據(jù)處理的過(guò)程是通過(guò)數(shù)據(jù)計(jì)算任務(wù)來(lái)執(zhí)行，數(shù)據(jù)清洗屬于計(jì)算任務(wù)的一部分。1) 用于在線過(guò)程控制的計(jì)算任務(wù)，此類計(jì)算任務(wù)的執(zhí)行實(shí)時(shí)性高，例如AVS，少人無(wú)人值守控制平臺(tái)，計(jì)算任務(wù)在常規(guī)自控的輪詢周期中。一般的刷新率是秒級(jí)或毫秒級(jí)。此類計(jì)算任務(wù)最好在PLC中處理，如無(wú)法再PLC中處理，就在上位機(jī)進(jìn)行計(jì)算。進(jìn)行數(shù)據(jù)清洗的計(jì)算任務(wù)，一般屬于此類，計(jì)算是實(shí)時(shí)進(jìn)行。2) 用于事后分析的計(jì)算任務(wù)，此類計(jì)算任務(wù)的實(shí)時(shí)性不高，用途主要是數(shù)據(jù)分析，例如各類KPI、周期性的數(shù)據(jù)整理、各類自定義的計(jì)算等等，大數(shù)據(jù)分析通常也是利用這些數(shù)據(jù)。此類數(shù)據(jù)的計(jì)算任務(wù)實(shí)時(shí)

5、性不高，可以在事后按照固定的周期或者條件進(jìn)行。4、 數(shù)據(jù)質(zhì)量（DQ）的定義：1) 完整性 Completeness完整性指的是數(shù)據(jù)信息是否存在缺失的狀況，數(shù)據(jù)缺失的情況可能是整個(gè)數(shù)據(jù)記錄缺失，也可能是數(shù)據(jù)中某個(gè)字段信息的記錄缺失。不完整的數(shù)據(jù)所能借鑒的價(jià)值就會(huì)大大降低，也是數(shù)據(jù)質(zhì)量最為基礎(chǔ)的一項(xiàng)評(píng)估標(biāo)準(zhǔn)。2) 一致性 Consistency一致性是指數(shù)據(jù)是否遵循了統(tǒng)一的規(guī)范（這些規(guī)范可以是格式，數(shù)位，或者是數(shù)據(jù)的統(tǒng)計(jì)性特征），研判數(shù)據(jù)集合是否保持了統(tǒng)一的規(guī)范。數(shù)據(jù)質(zhì)量的一致性主要體現(xiàn)在數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)是否符合邏輯。規(guī)范可以特指：一項(xiàng)數(shù)據(jù)存在它特定的格式，例如手機(jī)號(hào)碼一定是13位的數(shù)字，IP

6、地址一定 是由 4個(gè)0到255間的數(shù)字加上”.”組成的。規(guī)范也可以特指，多項(xiàng)數(shù)據(jù)間存在著固定的邏輯關(guān)系，例如PV一定是大于等于UV的，跳出率一定是在0到1之間的，還有數(shù)據(jù)統(tǒng)計(jì)性特征，比如儀表測(cè)量的數(shù)據(jù)和人為偽造的數(shù)據(jù)的統(tǒng)計(jì)特征是顯著不同的。3) 準(zhǔn)確性 Accuracy準(zhǔn)確性是指數(shù)據(jù)記錄的信息是否存在異常或錯(cuò)誤。和一致性不一樣，存在準(zhǔn)確性問(wèn)題的數(shù)據(jù)不僅僅只是規(guī)則上的不一致。最為常見的數(shù)據(jù)準(zhǔn)確性錯(cuò)誤就如亂碼。其次，異常的大或者小的數(shù)據(jù)也是不符合條件的數(shù)據(jù)。一般而言，僅僅靠一些簡(jiǎn)單規(guī)則無(wú)法判斷數(shù)據(jù)的準(zhǔn)確性，通常會(huì)借助人工或自動(dòng)系統(tǒng)的檢驗(yàn)，或者在檢測(cè)過(guò)程中增加一些標(biāo)準(zhǔn)樣的測(cè)量。比較特定樣品的檢測(cè)值就

7、可以判斷該批次檢測(cè)的數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量的準(zhǔn)確性可能存在于個(gè)別記錄，也可能存在于整個(gè)數(shù)據(jù)集，例如數(shù)量級(jí)記錄錯(cuò)誤。這類錯(cuò)誤則可以使用多種方法去審核。一般數(shù)據(jù)都符合正態(tài)分布的規(guī)律，如果一些占比少的數(shù)據(jù)存在問(wèn)題，則可以通過(guò)比較其他數(shù)量少的數(shù)據(jù)比例，來(lái)做出判斷。4) 及時(shí)性 Timeliness不同的應(yīng)用場(chǎng)景對(duì)數(shù)據(jù)的及時(shí)性要求不同，在線控制條件下，假如某個(gè)關(guān)鍵性的輸入數(shù)據(jù)無(wú)法及時(shí)獲得，會(huì)影響后后續(xù)的過(guò)程控制。在事后分析中，對(duì)及時(shí)性的要求就大大降低。5) 合理性 Validation6) 關(guān)聯(lián)性 Integration7) 絕對(duì)質(zhì)量8) 過(guò)程質(zhì)量數(shù)據(jù)標(biāo)注的方法源數(shù)據(jù)序列ODSN = Normal正常U =

8、 Unchecked未檢驗(yàn)E = Estimated 估計(jì)數(shù)據(jù)M = Missing 丟失數(shù)據(jù)生產(chǎn)數(shù)據(jù)序列 PDSG= Good 優(yōu)質(zhì)E= Estimated估計(jì)，包括自動(dòng)修改及人工修改，標(biāo)注方法 S= Suspect 可疑數(shù)據(jù)U= Unchecked未檢查L(zhǎng)= Loss 丟失數(shù)據(jù)M= Manual input人工輸入數(shù)據(jù)C= CheckPoint 質(zhì)控檢查點(diǎn)（用于和鴻海配合）衍生時(shí)序數(shù)據(jù) DDSD = Derived 衍生的，這個(gè)部分設(shè)計(jì)請(qǐng)參考測(cè)點(diǎn)數(shù)據(jù)管理（計(jì)算任務(wù)）數(shù)據(jù)標(biāo)記除了上述表述數(shù)據(jù)分析結(jié)果的項(xiàng)次外，建議還記錄標(biāo)記數(shù)據(jù)的算法名稱、版本、計(jì)算時(shí)間等。對(duì)時(shí)間序列數(shù)據(jù)整體質(zhì)量的定義時(shí)間序列

9、數(shù)據(jù)表現(xiàn)為按照一定頻率不斷記錄的數(shù)據(jù)，如每秒記錄1次的時(shí)間序列數(shù)據(jù)在1小時(shí)內(nèi)會(huì)有3600個(gè)記錄，每分鐘記錄1次的數(shù)據(jù)每天會(huì)有1440個(gè)記錄。需要有一種方法整體性的評(píng)估某個(gè)時(shí)間區(qū)間內(nèi)的時(shí)間序列數(shù)據(jù)的整體質(zhì)量。例如：某個(gè)采集頻率為1/min的源數(shù)據(jù)在10天時(shí)間內(nèi)的整體數(shù)據(jù)質(zhì)量，根據(jù)自動(dòng)檢驗(yàn)的方法檢驗(yàn)后，結(jié)果為：正常88.2%，丟失11.3%，估計(jì)數(shù)據(jù)0.5%，檢測(cè)率100%；沒(méi)有經(jīng)過(guò)自動(dòng)檢測(cè)的數(shù)據(jù)，統(tǒng)計(jì)標(biāo)記為未檢測(cè)。某個(gè)采集頻率為1/min的生產(chǎn)序列數(shù)據(jù)在10天時(shí)間內(nèi)的整體數(shù)據(jù)質(zhì)量，根據(jù)自動(dòng)檢驗(yàn)的方法檢驗(yàn)后，結(jié)果為：優(yōu)質(zhì)83.5%，估計(jì)15.7%，可疑0.8% ，檢測(cè)率100%；沒(méi)有經(jīng)過(guò)自動(dòng)檢測(cè)的

10、數(shù)據(jù)，統(tǒng)計(jì)標(biāo)記為未檢測(cè)。根據(jù)數(shù)據(jù)的自動(dòng)檢測(cè)情況，可以將源數(shù)據(jù)或者生產(chǎn)序列數(shù)據(jù)分類為優(yōu)質(zhì)、正常、較差、不可用等類別【這個(gè)部分尚需討論】。在后續(xù)的大數(shù)據(jù)分析中，如果采用了較差、不可用等標(biāo)記的數(shù)據(jù)，會(huì)極大的影響分析結(jié)果，導(dǎo)致錯(cuò)誤的結(jié)論。用于在線控制的數(shù)據(jù)清洗功能在線數(shù)據(jù)清洗的基本功能如下：1) 數(shù)據(jù)清洗任務(wù)應(yīng)該在輪巡任務(wù)中，循環(huán)一周，該任務(wù)就會(huì)執(zhí)行一次。2) 該場(chǎng)景下的數(shù)據(jù)清洗任務(wù)主要是目標(biāo)是加工生成：生產(chǎn)序列數(shù)據(jù)。3) 如當(dāng)前某測(cè)點(diǎn)的檢測(cè)結(jié)果生成的數(shù)據(jù)標(biāo)記，對(duì)應(yīng)措施如下表：數(shù)據(jù)標(biāo)記措施風(fēng)險(xiǎn)類型G采用原值小PDSE采用估計(jì)值較小PDSS采用上一個(gè)標(biāo)記為G的原值較小PDSU不做清洗處理，采用原值大PD

11、SM無(wú)無(wú)4) 每個(gè)控制器既可以有自控程序判斷啟動(dòng)，也可以由人工啟動(dòng)（S2）；5) 當(dāng)前控制器的某一路信號(hào)被判斷為不可信時(shí)，系統(tǒng)可以用虛擬信號(hào)替代（S2）6) 需要有一張圖，可以呈現(xiàn)所有的控制器的在用狀態(tài)，最好采用自控中的標(biāo)準(zhǔn)圖形和標(biāo)注方法（S2）注：這里后面標(biāo)記為S2的需求，以后并入少人無(wú)人值守系統(tǒng)設(shè)計(jì)的需求中。用于事后數(shù)據(jù)分析的數(shù)據(jù)清洗用于事后分析數(shù)據(jù)清洗的基本功能如下：1) 數(shù)據(jù)清洗任務(wù)根據(jù)任務(wù)特點(diǎn)，選擇定時(shí)清洗、逢變清洗、條件清洗等，常見的事后處理規(guī)則是間隔一定時(shí)間后批處理。處理時(shí)需要考慮依賴關(guān)系，即首先是對(duì)ODS數(shù)據(jù)處理，然后是PDS、DDS，其它的再加工應(yīng)該在上述任務(wù)之后。2) 數(shù)據(jù)

12、清洗任務(wù)應(yīng)該在專用的數(shù)據(jù)處理程序中進(jìn)行，在大任務(wù)量情況下支持多機(jī)部署。3) 數(shù)據(jù)清洗應(yīng)該可以并入DAX平臺(tái)中，作為一個(gè)必要的功能模塊。4) 支持對(duì)第三方數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，第三方數(shù)據(jù)必須符合DAX的數(shù)據(jù)規(guī)范，導(dǎo)入DAX數(shù)據(jù)庫(kù)中，進(jìn)行清洗選項(xiàng)的配置，啟動(dòng)清洗，生成結(jié)果，結(jié)果導(dǎo)出。5) 支持第三方軟件通過(guò)接口，條件是這些數(shù)據(jù)應(yīng)該在被合理的配置過(guò)了，獲取我們的清洗后數(shù)據(jù)結(jié)果，作為一個(gè)數(shù)據(jù)服務(wù)。6) 其它數(shù)據(jù)應(yīng)用程序在使用清洗過(guò)的數(shù)據(jù)時(shí)，可以根據(jù)讀到的數(shù)據(jù)標(biāo)記，制定自己的處理規(guī)則。7) DAX中的報(bào)表功能，推薦使用PDS和DDS作為源數(shù)據(jù)。8) DAX中的曲線繪制功能，在讀取數(shù)據(jù)標(biāo)記后，繪制PDS和DD

13、S趨勢(shì)曲線時(shí)，可以解析不同的標(biāo)記，并在曲線上顯示出來(lái) 參見數(shù)據(jù)清洗的管理.1。9) DAX中曲線繪制功能中的數(shù)據(jù)列表選項(xiàng)，應(yīng)該能夠?qū)Ξ惓?shù)據(jù)做出醒目標(biāo)記。10) 可以接收特定質(zhì)控?cái)?shù)據(jù)（如鴻海），將數(shù)據(jù)和某一個(gè)TSD進(jìn)行合并分析。接收的方法推薦由鴻海直接采集進(jìn)我們的DAX數(shù)據(jù)庫(kù)，其次允許數(shù)據(jù)導(dǎo)入后分析。11) 數(shù)據(jù)脫敏.12)5、 數(shù)據(jù)清洗的管理數(shù)據(jù)清洗是DAX功能的一部分，但在一些特定情況下，可以單獨(dú)使用。數(shù)據(jù)清洗后需要呈現(xiàn)以下幾個(gè)場(chǎng)景1) 針對(duì)單測(cè)點(diǎn)的時(shí)間序列數(shù)據(jù)（選定的時(shí)間段內(nèi)）a) 可以用趨勢(shì)圖，或者用數(shù)據(jù)表的形式，展示該數(shù)據(jù)中存在問(wèn)題的數(shù)據(jù)點(diǎn)，并可以把這些數(shù)據(jù)點(diǎn)用特殊的圖形、符號(hào)或顏色

14、標(biāo)記出來(lái)。b) 可以用餅圖或者百分比的數(shù)字，表現(xiàn)出某段時(shí)間區(qū)間內(nèi)的存在問(wèn)題的數(shù)據(jù)比例，并分類展示。c) 可以用統(tǒng)計(jì)性的指標(biāo)，如方差、分布特征等，特殊情況下這些統(tǒng)計(jì)性指標(biāo)可以作為時(shí)間序列數(shù)據(jù)的數(shù)據(jù)指紋，用于判定不同期限的數(shù)據(jù)是否一致。因測(cè)量方法、傳感器器更換、傳感器位置更換可能會(huì)帶來(lái)一致性的不同。一般而言，人工偽造的數(shù)據(jù)，不符合正態(tài)分布，比較容易識(shí)別。d) 在趨勢(shì)圖下面X軸下部，有個(gè)色帶可以用不同的顏色標(biāo)記不同質(zhì)量數(shù)據(jù)的顏色，進(jìn)而呈現(xiàn)出分布情況。i. 例如綠色是優(yōu)質(zhì)數(shù)據(jù)，黃色是未檢驗(yàn)數(shù)據(jù)，紅色是可疑數(shù)據(jù)等等2) 針對(duì)多測(cè)點(diǎn)的時(shí)間序列數(shù)據(jù)（選定的時(shí)間段內(nèi)）a) 在一個(gè)數(shù)據(jù)表中，可以用不同的標(biāo)記（顏

15、色、）表現(xiàn)出不同的測(cè)點(diǎn)數(shù)據(jù)的質(zhì)量情況，參見對(duì)時(shí)間序列數(shù)據(jù)整體質(zhì)量的定義。數(shù)據(jù)質(zhì)量低于某個(gè)指標(biāo)，需要顯著的標(biāo)記為不可用。排序中的不同的列，可以是單測(cè)點(diǎn)數(shù)量質(zhì)量的某個(gè)維度。b) 可以用排序的方法羅列出數(shù)據(jù)表中數(shù)據(jù)質(zhì)量從高到低，或者從低到高的排序。c) 檢驗(yàn)多測(cè)點(diǎn)時(shí)間的相關(guān)性，并采用適合表達(dá)相關(guān)性的圖表方式（參考某些BI軟件，如SPSS）進(jìn)行表達(dá)。根據(jù)不同的相關(guān)性群組，進(jìn)一步可以進(jìn)行聚類分析，因果檢驗(yàn)等。d)3) 為后續(xù)數(shù)據(jù)挖掘和分析做好數(shù)據(jù)基礎(chǔ)a) 了解行業(yè)排名前三的數(shù)據(jù)分析和挖掘軟件，了解他們的數(shù)據(jù)結(jié)構(gòu)，DCM應(yīng)該能夠輸出和他們匹配的數(shù)據(jù)結(jié)構(gòu)，有這些軟件的用戶可以直接使用DAX。b) 4) 數(shù)據(jù)清洗的配置a) 提供為任意一個(gè)單測(cè)點(diǎn)進(jìn)行數(shù)據(jù)清洗所需的配置項(xiàng)，內(nèi)容包括需要進(jìn)行的自動(dòng)檢測(cè)，需要檢測(cè)的項(xiàng)目進(jìn)行勾選，某些檢測(cè)項(xiàng)勾選后還需要填充必要的參數(shù)。該配置項(xiàng)可以并入DAX的數(shù)據(jù)基礎(chǔ)配置中。b) 任何已經(jīng)配置好的清洗選項(xiàng)，在使用過(guò)程中可以修改，修改后可以選擇立即啟用，或某具體時(shí)間后啟用。建議可以給用戶提供演算功能，