2023學(xué)年完整公開課版重復(fù)值清洗

數(shù)據(jù)采集與處理

重復(fù)值清洗數(shù)據(jù)采集與處理課程教學(xué)團(tuán)隊(duì)識(shí)別重復(fù)數(shù)據(jù)刪除重復(fù)數(shù)據(jù)（1）函數(shù)法（2）高級(jí)篩選法（3）條件格式法（4）數(shù)據(jù)透視法（1）通過菜單刪除重復(fù)項(xiàng)（2）通過排序刪除重復(fù)項(xiàng)（3）通過篩選刪除重復(fù)項(xiàng)（4）通過Powerquery刪除重復(fù)項(xiàng)識(shí)別重復(fù)數(shù)據(jù)（1）函數(shù)法函數(shù)：=countif（范圍,條件）可以看出在列字段為A的范圍內(nèi)，“男”重復(fù)4次，“女”重復(fù)4次。識(shí)別重復(fù)數(shù)據(jù)在countif函數(shù)中調(diào)節(jié)范圍即可：=COUNTIF(A$2:A2,A2)----------A$2固定從A列的第二行開始，A2會(huì)變動(dòng)，下拉時(shí)會(huì)變成A3,A4,A5...;||A$2:Ai：范圍從A的第2行到第i行?？梢訡2：男出現(xiàn)一次，C3：當(dāng)下，男出現(xiàn)2次，C4：自此，男出現(xiàn)3次。C5:女第一次出現(xiàn)，C6:自此，女出現(xiàn)兩次了。識(shí)別重復(fù)數(shù)據(jù)該函數(shù)的語(yǔ)法規(guī)則如下：countif（range，criteria）參數(shù)：range要計(jì)算其中非空單元格數(shù)目的區(qū)域參數(shù)：criteria以數(shù)字、表達(dá)式或文本形式定義的條件用法編輯(1)求真空單元格個(gè)數(shù):=COUNTIF(數(shù)據(jù)區(qū),"=")(2)非真空單元格個(gè)數(shù):=COUNTIF(數(shù)據(jù)區(qū),"<>")相當(dāng)于counta()函數(shù)(3)文本型單元格個(gè)數(shù):=COUNTIF(數(shù)據(jù)區(qū),"*")假空單元格也是文本型單元格(4)區(qū)域內(nèi)所有單元格個(gè)數(shù):=COUNTIF(數(shù)據(jù)區(qū),"<>"""),如果數(shù)據(jù)區(qū)內(nèi)有",該公式不成立.(5)邏輯值為TRUE的單元格數(shù)量=COUNTIF(數(shù)據(jù)區(qū),TRUE)Countif用法識(shí)別重復(fù)數(shù)據(jù)（2）高級(jí)篩選法開始--排序與篩選--篩選（高級(jí)）結(jié)果是：為什么會(huì)出現(xiàn)兩個(gè)“男”呢？識(shí)別重復(fù)數(shù)據(jù)第一次做高級(jí)篩選時(shí)，沒有表頭，此時(shí)進(jìn)行，會(huì)將第一個(gè)單元格的內(nèi)容作為表頭一起復(fù)制過去。識(shí)別重復(fù)數(shù)據(jù)（3）條件格式法選擇區(qū)域--開始--條件格式--重復(fù)值選擇自己需要的標(biāo)識(shí)方式。選第一種，可以看到，有重復(fù)的標(biāo)紅了。識(shí)別重復(fù)數(shù)據(jù)（4）數(shù)據(jù)透視法插入--數(shù)據(jù)透視表--創(chuàng)建數(shù)據(jù)透視表:選擇用的區(qū)域和透視表放置區(qū)域---設(shè)置透視表：把表頭拖到行和列的字段選擇在當(dāng)前的工作表匯總匯總透視表識(shí)別重復(fù)數(shù)據(jù)透視表框架出現(xiàn)在框架的最右邊，可以設(shè)置透視表的行、列字段。將行字段設(shè)置為表頭對(duì)應(yīng)的內(nèi)容，不難看出，每行的字段將為：男、女和未知。將列字段設(shè)置為表頭的內(nèi)容，列字段對(duì)應(yīng)的是計(jì)數(shù)項(xiàng)，所以內(nèi)容應(yīng)為男、女和未知對(duì)應(yīng)的個(gè)數(shù)。識(shí)別重復(fù)數(shù)據(jù)數(shù)據(jù)透視表創(chuàng)建成功：可以看出：“男”的重復(fù)個(gè)數(shù)為4，“女”的重復(fù)個(gè)數(shù)為14，“未知”的為1，總個(gè)數(shù)為19.識(shí)別重復(fù)數(shù)據(jù)數(shù)據(jù)透視表創(chuàng)建成功：可以看出：“男”的重復(fù)個(gè)數(shù)為4，“女”的重復(fù)個(gè)數(shù)為14，“未知”的為1，總個(gè)數(shù)為19.識(shí)別重復(fù)數(shù)據(jù)函數(shù)法：根據(jù)范圍選擇不同，可以看到重復(fù)的個(gè)數(shù)，也可以得到這是第幾個(gè)重復(fù)值。高級(jí)篩選法：將多余的去除，只留下唯一一個(gè)。條件格式法：將有重復(fù)項(xiàng)的標(biāo)記，可以直觀看出哪些有重復(fù)項(xiàng)。缺點(diǎn)是只能看到該內(nèi)容是重復(fù)的，不能區(qū)分不同的內(nèi)容的重復(fù)項(xiàng)。但可以靈活運(yùn)用，如果重復(fù)項(xiàng)過多，將條件設(shè)為找唯一項(xiàng)，可以很快找唯一項(xiàng)也不錯(cuò)。數(shù)據(jù)透視法：將計(jì)算重復(fù)項(xiàng)這個(gè)工作直接做成表格，可以直觀看到每個(gè)字段的重復(fù)個(gè)數(shù)?？偨Y(jié)：刪除重復(fù)數(shù)據(jù)數(shù)據(jù)--數(shù)據(jù)工具--刪除重復(fù)項(xiàng)可包括表頭，共有20行，表頭還是作為表頭，內(nèi)容為19個(gè)，結(jié)果是刪除了16個(gè)重復(fù)值，留下了唯一值：男、女、和未知。（高級(jí)篩選法也可以有這個(gè)效果）（1）通過菜單刪除重復(fù)項(xiàng)刪除重復(fù)數(shù)據(jù)排序--刪除（2）通過排序刪除重復(fù)項(xiàng)對(duì)第一列，也就是我們想刪除重復(fù)項(xiàng)的內(nèi)容排序，將相同內(nèi)容放在一起，通過countif，標(biāo)記每個(gè)內(nèi)容是第幾個(gè)重復(fù)值，這幾個(gè)重復(fù)值就是我們所需的第一列排序的效果是，女全在前面，男全在后面，countif的結(jié)果排序，效果是女列或者男這列，它們按屬于第幾個(gè)重復(fù)值排好序刪除重復(fù)數(shù)據(jù)

刪除大于1的

；同理刪除“女”的大于1的刪除重復(fù)數(shù)據(jù)countif排序---排序--篩選--刪除重復(fù)項(xiàng)（3）通過篩選刪除重復(fù)項(xiàng)具體如下：通過countif，標(biāo)記每個(gè)內(nèi)容是第幾個(gè)重復(fù)值，這幾個(gè)重復(fù)值就是我們所需的數(shù)據(jù)--排序和篩選：排序點(diǎn)擊排序，出現(xiàn)下拉格刪除重復(fù)數(shù)據(jù)因?yàn)榭康谌凶龊Y選，所以點(diǎn)擊第三列下拉框，會(huì)出現(xiàn)下面選項(xiàng)，把除了1以外的全部去掉留下的就是唯一的了，把灰色篩選那個(gè)點(diǎn)一下，就變成不是灰色了，結(jié)果就出來(lái)了。刪除重復(fù)數(shù)據(jù)數(shù)據(jù)---從表格—Powerquery編輯器（4）通過powerquery刪除重復(fù)項(xiàng)選擇“區(qū)域”列，刪除重復(fù)項(xiàng)刪除重復(fù)數(shù)據(jù)通過菜單刪除重復(fù)項(xiàng)：快