不一致數(shù)據(jù)處理

主講教師：張鑫浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院數(shù)據(jù)采集與處理不一致數(shù)據(jù)處理案例導(dǎo)入不一致數(shù)據(jù)的定義不一致數(shù)據(jù)的原因不一致數(shù)據(jù)的解決方法010203041、案例導(dǎo)入小明在一家大型的電商企業(yè)做數(shù)據(jù)分析師工作，近期，他接到一個要分析企業(yè)銷售額為什么會下降的任務(wù)，首先，小明通過外部以及內(nèi)部數(shù)據(jù)采集工具對銷售相關(guān)數(shù)據(jù)進行了采集，但是，他發(fā)現(xiàn)采集得到的數(shù)據(jù)中，有一些問題，比如，銷售部門采集到的商品ID數(shù)據(jù)，和倉儲部門采集的商品ID完全是兩套編碼規(guī)則，本來小明還想從倉儲那里分析銷售額下降的原因，這下卻不知如何是好。2、不一致數(shù)據(jù)的定義數(shù)據(jù)是對現(xiàn)實世界的描述，應(yīng)該符合一定的語義規(guī)則和邏輯常識，但實際應(yīng)用中，由于各種原因，有些數(shù)據(jù)違反了這樣的語義規(guī)則，表現(xiàn)為數(shù)據(jù)值異常、不完整或相互矛盾，對于關(guān)系數(shù)據(jù)而言，還有實體異常(多條記錄對應(yīng)同一實體)、包含異常(多表之間記錄不滿足包含關(guān)系)等，所有這類“臟”數(shù)據(jù)我們稱之為不一致數(shù)據(jù)。數(shù)據(jù)不一致性是指數(shù)據(jù)的矛盾性、不相容性。2、不一致數(shù)據(jù)的定義剛才的案例中，小明從銷售部門采集到的商品ID編碼規(guī)則是A開頭，然而，從倉儲部分采集到的商品ID編碼規(guī)則是B開頭，兩者出現(xiàn)了不一致情況，類似這種還有很多，像這種數(shù)據(jù)不一致的情況給小明的數(shù)據(jù)分析工作加大了難度。銷售部門倉儲部門3、不一致數(shù)據(jù)的原因01020301數(shù)據(jù)冗余數(shù)據(jù)冗余的出現(xiàn)往往是由于重復(fù)存放的數(shù)據(jù)未能進行一致性地更新造成的02并發(fā)控制不當(dāng)并發(fā)控制不當(dāng)是由于多用戶共享數(shù)據(jù)庫，而更新操作未能保持同步進行而引起03各種故障、錯誤造成當(dāng)由于某種原因（如硬件故障或軟件故障）而造成數(shù)據(jù)丟失或數(shù)據(jù)損壞3、不一致數(shù)據(jù)的原因如何解決數(shù)據(jù)不一致的問題呢？4、不一致數(shù)據(jù)的解決方法常見的解決方法有以下幾點：完善數(shù)據(jù)庫系統(tǒng)01基于標(biāo)記的查詢回答02聚類03建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)04完善數(shù)據(jù)庫系統(tǒng)01在考慮了各種破壞數(shù)據(jù)一致性的因素基礎(chǔ)上，采取相應(yīng)的措施來維護數(shù)據(jù)庫系統(tǒng)的一致性。聚類03將數(shù)據(jù)集劃分為聚類，然后通過聚類來表示數(shù)據(jù)集。基于標(biāo)記的查詢回答02不一致性被看作是數(shù)據(jù)的一個屬性，并能使用標(biāo)記符號加以說明建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)04定義數(shù)據(jù)標(biāo)準(zhǔn)體系框架