大數(shù)據(jù)建模概述

大數(shù)據(jù)建模概述演講人：通用名大數(shù)據(jù)建模應(yīng)遵循的規(guī)律以業(yè)務(wù)目標(biāo)作為實(shí)現(xiàn)目標(biāo)業(yè)務(wù)知識(shí)是每一步的核心做好數(shù)據(jù)預(yù)處理試驗(yàn)對(duì)尋找解決方案是必要的數(shù)據(jù)中總含有模式數(shù)據(jù)挖掘增大對(duì)業(yè)務(wù)的認(rèn)識(shí)與猜測(cè)提高了信息作用能力大數(shù)據(jù)建模的價(jià)值不在于預(yù)測(cè)的準(zhǔn)確率模式因業(yè)務(wù)變化而變化大數(shù)據(jù)建模技術(shù)，是為了解決業(yè)務(wù)流程問題。數(shù)據(jù)建模的核心：業(yè)務(wù)目標(biāo)。我們要什么樣的數(shù)據(jù)挖掘模型業(yè)務(wù)調(diào)研

問題定位

可解釋、有實(shí)際業(yè)務(wù)涵義、可使用的

制定目標(biāo)

①以業(yè)務(wù)目標(biāo)作為實(shí)現(xiàn)目標(biāo)

→↓↓←②業(yè)務(wù)知識(shí)是每一步的核心

業(yè)務(wù)知識(shí)是理解問題的基礎(chǔ)。例如大數(shù)據(jù)分析“飲食與疾病的關(guān)系”“糖尿病與高血壓發(fā)病關(guān)系”，這些分析都需要對(duì)醫(yī)學(xué)相關(guān)知識(shí)有一定了解才能建模。數(shù)據(jù)分布數(shù)據(jù)質(zhì)量指標(biāo)選擇衍生指標(biāo)→→→③做好數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理比數(shù)據(jù)挖掘其他任何一個(gè)過(guò)程都重要且費(fèi)力，數(shù)據(jù)預(yù)處理的目的是把數(shù)據(jù)挖掘問題轉(zhuǎn)化為格式化的數(shù)據(jù)，使得分析技術(shù)更容易利用它。數(shù)據(jù)預(yù)處理兩種方法

第一種方法是將數(shù)據(jù)轉(zhuǎn)化為可以分析的完全格式化的數(shù)據(jù)，比如，大多數(shù)數(shù)據(jù)挖掘算法需要單一表格形式的數(shù)據(jù)，一個(gè)記錄就是一個(gè)樣例。數(shù)據(jù)挖掘者都知道什么樣的算法需要什么樣的數(shù)據(jù)形式，因此可以將數(shù)據(jù)轉(zhuǎn)化為一個(gè)合適的格式。第二種方法是使得數(shù)據(jù)能夠含有業(yè)務(wù)問題的更多的信息，通過(guò)這些領(lǐng)域的知識(shí)，數(shù)據(jù)挖掘者可能可以找到一個(gè)合適的技術(shù)解決方案。數(shù)據(jù)提取數(shù)據(jù)清洗數(shù)據(jù)審核數(shù)據(jù)集成→→→④試驗(yàn)對(duì)尋找解決方案是必要的

挖掘過(guò)程中往往通過(guò)算法和業(yè)務(wù)知識(shí)結(jié)合進(jìn)行多次試驗(yàn)，才能揭示數(shù)據(jù)隱藏的規(guī)則。了解業(yè)務(wù)知識(shí)對(duì)模式有更好的理解，模式也對(duì)業(yè)務(wù)知識(shí)有貢獻(xiàn)。模型初步構(gòu)建模型優(yōu)化模型帶動(dòng)業(yè)務(wù)業(yè)務(wù)帶動(dòng)模型→→→⑤數(shù)據(jù)中總含有模式

在一個(gè)與業(yè)務(wù)相關(guān)的數(shù)據(jù)集中，即使一些期望的模式不能被發(fā)現(xiàn)，但其他的一些有用的東西可能會(huì)被發(fā)現(xiàn)。一些數(shù)據(jù)挖掘項(xiàng)目失敗是因?yàn)殚_始的數(shù)據(jù)采集存在問題。⑥數(shù)據(jù)挖掘增大對(duì)業(yè)務(wù)的認(rèn)識(shí)

為什么數(shù)據(jù)挖掘必須是一個(gè)業(yè)務(wù)過(guò)程而不是一個(gè)技術(shù)過(guò)程？

業(yè)務(wù)問題是由人而非算法解決的。

數(shù)據(jù)挖掘算法揭示的模式通常不是人類以正常的方式所能認(rèn)識(shí)到的，幫助業(yè)務(wù)專家解決他們不能單獨(dú)完成的業(yè)務(wù)問題。如：通過(guò)大數(shù)據(jù)分析幫學(xué)校找到學(xué)生學(xué)習(xí)困難的原因。⑦與猜測(cè)提高了信息作用能力

數(shù)據(jù)挖掘算法揭示的模式通常不是人類以正常的方式所能認(rèn)識(shí)到的。聚類和關(guān)聯(lián)模型也有預(yù)測(cè)特征。聚類：預(yù)測(cè)一個(gè)個(gè)體屬于哪個(gè)群體。eg：預(yù)測(cè)個(gè)別交易是否為欺詐。關(guān)聯(lián)：基于已知基本屬性預(yù)測(cè)更多屬性。eg：預(yù)測(cè)客戶行為。⑧大數(shù)據(jù)建模的價(jià)值不在于預(yù)測(cè)的準(zhǔn)確率

準(zhǔn)確性和穩(wěn)定性是預(yù)測(cè)模型常用的兩個(gè)度量。準(zhǔn)確性是指正確的預(yù)測(cè)結(jié)果所占的比例；穩(wěn)定性是指當(dāng)創(chuàng)建模型的數(shù)據(jù)改變時(shí)，其預(yù)測(cè)結(jié)果變化有多大。一個(gè)好的大數(shù)據(jù)是為了改變企業(yè)的行為以及預(yù)測(cè)的結(jié)果來(lái)改善企業(yè)的行為，會(huì)不會(huì)適應(yīng)業(yè)務(wù)發(fā)展需要才是它的衡量標(biāo)準(zhǔn)。⑨模式因業(yè)務(wù)變化而變化

模式的變化