重復(fù)數(shù)據(jù)處理

主講教師：張鑫浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院數(shù)據(jù)采集與處理重復(fù)數(shù)據(jù)處理案例導(dǎo)入重復(fù)數(shù)據(jù)的定義重復(fù)數(shù)據(jù)的查找重復(fù)數(shù)據(jù)的處理010203041、案例導(dǎo)入小明在一家大型的電商企業(yè)做數(shù)據(jù)分析師工作，近期，他接到一個(gè)要分析企業(yè)銷售額為什么會下降的任務(wù)，首先，小明通過外部以及內(nèi)部數(shù)據(jù)采集工具對銷售相關(guān)數(shù)據(jù)進(jìn)行了采集，但是，他發(fā)現(xiàn)采集得到的數(shù)據(jù)中，有很多條數(shù)據(jù)重復(fù)了，對此，他要對重復(fù)數(shù)據(jù)進(jìn)行處理。2、重復(fù)數(shù)據(jù)的定義簡單來說就是數(shù)據(jù)的值出現(xiàn)了重復(fù)，在數(shù)據(jù)庫中，屬性值相同的記錄被認(rèn)為是重復(fù)記錄。要從海量的數(shù)據(jù)中，一下子找到重復(fù)數(shù)據(jù)并不是一件容易的事，下面，我們使用EXCEL軟件為大家演示一下如何使用軟件查找重復(fù)數(shù)據(jù)。3、重復(fù)數(shù)據(jù)的查找我們來看，這是一張商品銷售表，總共有兩列，一列是商品的ID，一列是商品銷售數(shù)量：有什么不同？3、重復(fù)數(shù)據(jù)的查找（1）使用函數(shù)這里我們主要用到的是COUNTIF（range,criterial）條件計(jì)數(shù)函數(shù)。這個(gè)函數(shù)比較簡單，在使用時(shí)主要用到兩個(gè)參數(shù)。一個(gè)參數(shù)是range，一個(gè)參數(shù)是criterialRange是指要計(jì)數(shù)的單元格范圍Criterial是指要計(jì)數(shù)的條件3、重復(fù)數(shù)據(jù)的查找（1）使用函數(shù)首先，我們在D2單元格中輸入函數(shù)：=COUNTIF($A$2:$A$15,A2)，然后下拉至D15。3、重復(fù)數(shù)據(jù)的查找（1）使用函數(shù)然后我們便可以看出，重復(fù)的商品ID的計(jì)數(shù)變成了3，沒有重復(fù)的還是1。通過這種方式，我們便可以很快找到重復(fù)的單元格數(shù)據(jù)以及重復(fù)的次數(shù)和位置。3、重復(fù)數(shù)據(jù)的查找（2）條件格式首先選中所要查詢的列，然后在【開始】功能區(qū)找到【條件格式】，然后在【突出顯示單元格規(guī)則】下找到【重復(fù)值】。3、重復(fù)數(shù)據(jù)的查找（2）條件格式對重復(fù)值的單元格設(shè)置格式，這里選擇默認(rèn)為：淺紅填充色深紅色文本。點(diǎn)擊確定后我們可以看到如下效果：3、重復(fù)數(shù)據(jù)的查找（3）數(shù)據(jù)透視表Excel中的數(shù)據(jù)透視表功能非常強(qiáng)大，我們可以通過數(shù)據(jù)透視表來進(jìn)行重復(fù)值的查找，在【插入】功能選項(xiàng)卡中，我們插入一個(gè)數(shù)據(jù)透視表3、重復(fù)數(shù)據(jù)的查找（3）數(shù)據(jù)透視表然后我們將商品ID分別加入到行標(biāo)簽和數(shù)值中（圖左），然后我們可以看到數(shù)據(jù)透視表（圖右）中A023221的計(jì)數(shù)是3，意味著該值重復(fù)了三次。3、重復(fù)數(shù)據(jù)的查找是不是非常簡單，重復(fù)數(shù)據(jù)被找到了，接下來該怎么進(jìn)行操作呢？4、重復(fù)數(shù)據(jù)的處理通常的操作方法：合并或者清除。通過判斷記錄間的屬性值是否相等來檢測記錄是否相等，相等的記錄合并為一條記錄，并將重復(fù)的數(shù)據(jù)進(jìn)行清除。4、重復(fù)數(shù)據(jù)的處理在Excel中，有一個(gè)功能可以幫我們快速實(shí)現(xiàn)重復(fù)值的刪除。就在Excel【數(shù)據(jù)】功能選項(xiàng)卡下面，有一個(gè)【刪除重復(fù)項(xiàng)】選項(xiàng)。首先我們選中A