任務(wù)1.4數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域

ETL數(shù)據(jù)預(yù)處理技術(shù)主講人：曾凡晉任務(wù)一了解數(shù)據(jù)預(yù)處理基礎(chǔ)1.4數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域大數(shù)據(jù)時(shí)代，海量數(shù)據(jù)分析處理應(yīng)用于多個(gè)領(lǐng)域不僅僅限于文字，而向語(yǔ)音、圖像領(lǐng)域擴(kuò)展1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域數(shù)據(jù)質(zhì)量管理數(shù)據(jù)挖掘數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)清洗應(yīng)用領(lǐng)域1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域質(zhì)量管理領(lǐng)域1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域質(zhì)量管理領(lǐng)域含義是一個(gè)循環(huán)管理過(guò)程，其終極目標(biāo)是通過(guò)可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價(jià)值，并最終為企業(yè)贏得經(jīng)濟(jì)效益評(píng)估數(shù)據(jù)質(zhì)量評(píng)估管理評(píng)估四個(gè)方面影響因素1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域質(zhì)量管理領(lǐng)域完整性Completeness：完整性用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用規(guī)范性Conformity：規(guī)范性用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲(chǔ)一致性Consistency：一致性用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的準(zhǔn)確性Accuracy：準(zhǔn)確性用于度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的唯一性Uniqueness：唯一性用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復(fù)的關(guān)聯(lián)性Integration：關(guān)聯(lián)性用于度量哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引。質(zhì)量評(píng)估1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域質(zhì)量管理領(lǐng)域配置管理培訓(xùn)驗(yàn)證和確認(rèn)監(jiān)督和監(jiān)控管理評(píng)估1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域質(zhì)量管理領(lǐng)域信息因素技術(shù)因素流程因素管理因素?cái)?shù)據(jù)質(zhì)量的影響因素1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域數(shù)據(jù)挖掘領(lǐng)域含義數(shù)據(jù)挖掘是指從數(shù)據(jù)庫(kù)的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值的信息的非平凡過(guò)程步驟數(shù)據(jù)準(zhǔn)備規(guī)律尋找規(guī)律表示關(guān)聯(lián)分析、聚類分析分類分析、異常分析特異群組分析、演變分析任務(wù)1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域數(shù)據(jù)挖掘領(lǐng)域關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)文本多媒體數(shù)據(jù)空間數(shù)據(jù)時(shí)序數(shù)據(jù)Web數(shù)據(jù)挖掘?qū)ο?、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域數(shù)據(jù)挖掘領(lǐng)域神經(jīng)網(wǎng)絡(luò)算法決策樹(shù)法遺傳算法粗糙集法模糊集法關(guān)聯(lián)規(guī)則法典型算法1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域含義指決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。主要研究和解決從數(shù)據(jù)庫(kù)中獲取信息的問(wèn)題特征面向主題集成性穩(wěn)定性時(shí)變性并行分區(qū)數(shù)據(jù)壓縮用途1、數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)是本身不生產(chǎn)數(shù)據(jù)，也不最終消費(fèi)數(shù)據(jù)。按照數(shù)據(jù)流入流出數(shù)倉(cāng)的過(guò)程進(jìn)行分層，理論上數(shù)據(jù)分為三個(gè)層，操作型數(shù)據(jù)層（ODS）、數(shù)據(jù)倉(cāng)庫(kù)層(DW)和數(shù)據(jù)應(yīng)用層(DA)。2、行業(yè)發(fā)展大數(shù)據(jù)產(chǎn)業(yè)已提升到國(guó)家戰(zhàn)略的高度，隨著創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略的實(shí)施，逐步帶動(dòng)產(chǎn)業(yè)鏈上下游，形成萬(wàn)眾創(chuàng)新的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)環(huán)境。數(shù)據(jù)清洗屬于大數(shù)據(jù)產(chǎn)業(yè)鏈中關(guān)鍵的一環(huán)。視頻圖像處理領(lǐng)域文本清洗領(lǐng)域地理信息處理領(lǐng)域語(yǔ)音數(shù)據(jù)加工領(lǐng)域小結(jié)數(shù)據(jù)預(yù)處理應(yīng)用領(lǐng)域數(shù)據(jù)質(zhì)量