神通BI產(chǎn)品介紹

1、神通商業(yè)智能匯報匯報人：黃瑞神通全系系產(chǎn)品2神通數(shù)據(jù)據(jù)庫（標(biāo)準(zhǔn)版版|企業(yè)版|安全版）BI套件行業(yè)定制制版本核心平臺臺KSTORE|嵌入式數(shù)數(shù)據(jù)庫|軍用數(shù)據(jù)據(jù)庫神通xCluster集群件K-Miner（數(shù)據(jù)挖挖掘系統(tǒng)統(tǒng)）K-Cuber（OLAP系統(tǒng)）K-Front（智能報報表系統(tǒng)統(tǒng) ）K-Fusion（ETL系統(tǒng)）集群套件件神通BI與企業(yè)數(shù)數(shù)據(jù)分析析3知識可視視化數(shù)據(jù)倉庫庫分析模型型業(yè)務(wù)展現(xiàn)現(xiàn)平面文件件關(guān)系數(shù)據(jù)據(jù)庫應(yīng)用系統(tǒng)統(tǒng)數(shù)據(jù)集市市儀表盤多維報表表數(shù)據(jù)挖掘掘模型OLAP模型基礎(chǔ)數(shù)據(jù)據(jù)數(shù)據(jù)倉庫庫標(biāo)準(zhǔn)報表表zzK-Miner分類、預(yù)預(yù)測、聚聚類、關(guān)聯(lián)K-Cuber切片切塊塊、上鉆鉆下鉆、同比環(huán)比比

2、、指標(biāo)標(biāo)預(yù)警K-Front報表的設(shè)設(shè)計、生成、展展現(xiàn)、打打印K-Fusion抽取、轉(zhuǎn)轉(zhuǎn)換、加加載神通BIK-Miner分類、預(yù)預(yù)測、聚聚類、關(guān)聯(lián)K-Cuber切片切塊塊、上鉆鉆下鉆、同比環(huán)比比、指標(biāo)標(biāo)預(yù)警K-Front報表的設(shè)設(shè)計、生成、展展現(xiàn)、打打印K-Fusion抽取、轉(zhuǎn)轉(zhuǎn)換、加加載神通BI神通K-Fusion5可視化流流程定義義50多種數(shù)據(jù)據(jù)源，支支持關(guān)系系數(shù)據(jù)庫庫、文本本數(shù)據(jù)、分布式式文件系系統(tǒng)等30多種數(shù)據(jù)據(jù)轉(zhuǎn)換節(jié)節(jié)點全表比對對、時間間戳、自自增字段段、數(shù)據(jù)據(jù)庫日志志、觸發(fā)發(fā)器等增增量抽取取策略分布式部部署支持用戶戶自定義義節(jié)點執(zhí)行過程程可視化化監(jiān)控ETL元數(shù)據(jù)管管理功能能神通K-F

3、usion：面向多多種數(shù)據(jù)據(jù)源抽取取和加載載通用型數(shù)據(jù)庫平面文件定長文件數(shù)據(jù)倉庫庫數(shù)據(jù)源K-Fusion抽取、轉(zhuǎn)轉(zhuǎn)換數(shù)據(jù)倉庫神通K-Fusion：ETL流程Demo7神通K-Fusion：ETL流程Demo8查找表數(shù)據(jù)：修改前：修改后：條件：性別ISNOTNULL神通K-Fusion：增量ETL91北京30002上海40001北京350023南京6500全表比對對時間戳序列觸發(fā)器DB日志分析數(shù)據(jù)庫（T0）數(shù)據(jù)倉庫庫1北京3000初始2010-5-3 00:00:00.0002上海4000初始2010-5-3 00:00:00.0001北京3200更新2010-5-8 17:50:23.0002

4、上海4000刪除2010-5-8 17:50:23.0003南京6500新增2010-5-8 17:50:32.000數(shù)據(jù)庫（T1）神通K-Fusion：所見即所所得的流流程設(shè)計計10順序分支循環(huán)（邏輯）神通K-Fusion：ETL流程的執(zhí)執(zhí)行(調(diào)度)11神通K-Fusion：ETL流程的執(zhí)執(zhí)行(監(jiān)控)12神通K-Fusion：可擴(kuò)展的的ETL能力(節(jié)點層面面)13神通K-Fusion：豐富的性性能提升升機(jī)制14性能提升機(jī)制數(shù)據(jù)庫批批量加載載（OCI等原生驅(qū)驅(qū)動加載載）節(jié)點間并并行處理理數(shù)據(jù)分片片11112341324K-Miner分類、預(yù)預(yù)測、聚聚類、關(guān)聯(lián)K-Cuber切片切塊塊、上鉆鉆下鉆

5、、同比環(huán)比比、指標(biāo)標(biāo)預(yù)警K-Front報表的設(shè)設(shè)計、生成、展展現(xiàn)、打打印K-Fusion抽取、轉(zhuǎn)轉(zhuǎn)換、加加載神通BI神通K-Cuber16快速建模模工具和和專家建建模工具具鉆取、行行列互轉(zhuǎn)轉(zhuǎn)、預(yù)警警等多維維操作自動聚合合技術(shù)分塊緩存存策略多維元數(shù)數(shù)據(jù)管理理數(shù)據(jù)權(quán)限限管理神通K-Cuber：多維建建模工具具17快速建模模工具QuickDesigner可實現(xiàn)5步建模；專家建模模工具ExpertDesigner可滿足高高級用戶戶建立復(fù)復(fù)雜OLAP模型；支持星型型和雪花花型模型型。將ER關(guān)系模型型轉(zhuǎn)為OLAP模型多維元數(shù)數(shù)據(jù)管理神通K-Cuber：立方體體和多維維分析18切塊切片建模時間1季度2季度3

6、季度品類地區(qū)華南華北東北家電食品衣物時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物6月廣西 水果5月4月飲料肉類廣東海南神通K-Cuber：數(shù)據(jù)分分析流程程應(yīng)用場景景：某企企業(yè)訂單單分析 19序號維度1品類2價格帶3地區(qū)4時間5職業(yè)6年齡7年收入8性別9學(xué)歷序號度量1總訂單數(shù)量2有效訂單數(shù)量3訂單有效率4有效訂單金額5凈訂單金額6凈訂單數(shù)量7換貨單金額8換貨單數(shù)量9拒收訂單金額神通K-Cuber：選取維維度20神通K-Cuber：選取指指標(biāo)21神通K-Cuber：有效性性分析22指標(biāo)維度神通K-Cuber：多維分分析(品類)23神通

7、K-Cuber：縮小分分析范圍圍24神通K-Cuber：多角度度細(xì)化分分析25神通K-Cuber：選擇分分析數(shù)據(jù)據(jù)范圍26神通K-Cuber：縮小數(shù)數(shù)據(jù)范圍圍27神通K-Cuber：圖表分分析(省級)28神通K-Cuber：圖形細(xì)細(xì)化分析析粒度29神通K-Cuber：圖表分分析(市級)30神通K-Cuber：月環(huán)比比分析312010年4月和5月環(huán)比總訂單金金額環(huán)比比增長率率神通K-Cuber：日同比比分析322009年2月8日和3月8日同比總訂單金金額的同同比增長長率神通K-Cuber：原子數(shù)數(shù)據(jù)列表表33神通K-Cuber：圖形分分析34鉆取貴州州省，并選擇畢節(jié)節(jié)地區(qū)鉆取廚房用用品神通K-C

8、uber：圖形分分析35鉆取貴州州省，并選擇畢節(jié)節(jié)地區(qū)鉆取廚房用用品K-Miner分類、預(yù)預(yù)測、聚聚類、關(guān)聯(lián)K-Cuber切片切塊塊、上鉆鉆下鉆、同比環(huán)比比、指標(biāo)標(biāo)預(yù)警K-Front報表的設(shè)設(shè)計、生成、展展現(xiàn)、打打印K-Fusion抽取、轉(zhuǎn)轉(zhuǎn)換、加加載神通BI神通K-Miner3740種算法MPP+SMP并行計算算架構(gòu)算法性能能高效靈活的任任務(wù)調(diào)度度模型生命命周期管管理B/S架構(gòu)挖掘元數(shù)數(shù)據(jù)管理理神通K-Miner：并行計計算架構(gòu)構(gòu)(1)38全節(jié)點采采用MPP架構(gòu)，實實現(xiàn)多任任務(wù)的并并行和部部分算法法單任務(wù)務(wù)粗粒度度并行；單節(jié)點采采用SMP架構(gòu)，實實現(xiàn)所有有算法的的細(xì)粒度度并行，并確保保內(nèi)存的

9、的節(jié)約。K-Miner為唯一一一款所有有算法實實現(xiàn)并行行的數(shù)據(jù)據(jù)挖掘軟軟件?；贓-As（調(diào)度引引擎-挖掘代理理）的分分布式挖挖掘架構(gòu)構(gòu)Master-Slaver(s)算子模式式的并行行挖掘算算法節(jié)點內(nèi)并并行和跨跨節(jié)點并并行相結(jié)結(jié)合基于數(shù)據(jù)據(jù)分布的的負(fù)載均均衡數(shù)據(jù)就近近挖掘策策略對HDFS、神通數(shù)數(shù)據(jù)庫集集群等數(shù)數(shù)據(jù)源的的支持及及擴(kuò)展神通K-Miner：并行計計算架構(gòu)構(gòu)(2)基礎(chǔ)數(shù)據(jù)據(jù)層數(shù)據(jù)倉庫庫/數(shù)據(jù)集市市調(diào)度引擎擎消息服務(wù)單節(jié)點并行調(diào)度度認(rèn)證服務(wù)集群日志負(fù)載均衡挖掘代理理建模分析析服務(wù)實時響應(yīng)應(yīng)服務(wù)數(shù)據(jù)轉(zhuǎn)換換服務(wù)資料庫元數(shù)據(jù)管管理服務(wù)管理理模型管理理開發(fā)接口口層本地應(yīng)用用APIWebSer

10、vice接口圖形API網(wǎng)絡(luò)協(xié)議議接口應(yīng)用層應(yīng)用程序序基于數(shù)據(jù)據(jù)挖掘的的報表引擎監(jiān)管管與監(jiān)控控第三方應(yīng)應(yīng)用數(shù)據(jù)挖掘掘核心日志管理理數(shù)據(jù)挖掘掘算法統(tǒng)計分析析算法模型監(jiān)控控預(yù)警多節(jié)點并行調(diào)度度神通K-Miner：架構(gòu)K-Miner分布式挖挖掘拓?fù)鋼鋱D數(shù)據(jù)挖掘?qū)傩院Y選選分類預(yù)測測回歸預(yù)測測聚類分析析關(guān)聯(lián)分析析時間序列列屬性篩選選屬性重要要性打分分基于信息息增益的的屬性打打分主成分分分析決策樹分類回歸歸樹神經(jīng)網(wǎng)絡(luò)絡(luò)分類支撐向量量機(jī)分類類分類組合合模型多元線性性回歸神經(jīng)網(wǎng)絡(luò)絡(luò)回歸支撐向量量機(jī)回歸歸回歸組合合模型K均值聚類類分布估計計聚類基于K均值的層層次聚類類購物籃分分析屬性關(guān)聯(lián)聯(lián)分析序列模式式分析ARX

11、時間序列列ARMA時間序列列基于卡方方檢驗的的屬性篩篩選樸素貝葉葉斯貝葉斯網(wǎng)網(wǎng)絡(luò)邏輯回歸歸廣義線性性回歸兩階段聚聚類統(tǒng)計分析描述性統(tǒng)統(tǒng)計數(shù)據(jù)探測測異常檢測測層次聚類類方差分析析歸納分析析列聯(lián)表相關(guān)分析析分布估計計函數(shù)擬合合因子分析析單因子方方差分析析雙因子方方差分析析樣本層次次聚類屬性層次次聚類K-sigma異常檢測測線箱圖異異常檢測測離散化K-Miner算法神通K-Miner：算法列列表共計40個神通K-Miner：海量數(shù)數(shù)據(jù)處理理能力神通K-Miner：高效的的執(zhí)行速速度44大部分算算法執(zhí)行行速度遠(yuǎn)遠(yuǎn)快于國國外相同同算法45分類算法法準(zhǔn)確率對對比，準(zhǔn)確率越越高越好好?；貧w算法法準(zhǔn)確率對對比

12、，相關(guān)系數(shù)數(shù)越高越越好。算法準(zhǔn)確確度和SPSS Modeler相當(dāng)，有的K-Miner略好，有有的Modeler略好神通K-Miner：和領(lǐng)袖袖廠商相相當(dāng)?shù)乃闼惴?zhǔn)確確度46神通K-Miner：靈活的的任務(wù)監(jiān)監(jiān)管和調(diào)調(diào)度策略略47神通K-Miner：模型快快速發(fā)布布、預(yù)警警及更新新機(jī)制48元數(shù)據(jù)管管理主流數(shù)據(jù)據(jù)挖掘工具具對比項大類對比項神通K-Miner5.0SAS EM5.3（SAS9.2的）SPSS Modeler14算法算法數(shù)量27+13=401429執(zhí)行速度高中中預(yù)測精度高高高其他功能數(shù)據(jù)源主流數(shù)據(jù)庫、TXT、CSV、Excel等主流數(shù)據(jù)庫、TXT、CSV、Excel等主流數(shù)據(jù)庫、TX

13、T、CSV、Excel等任務(wù)調(diào)度支持，且強(qiáng)大模型管理模型庫CRISP-DM擴(kuò)展性并行計算架構(gòu)B/SC/SC/S調(diào)用接口API、WebServiceAPIAPI第三方系統(tǒng)整合易用性可視化好中好建模方式向?qū)焦ぷ髁鞴ぷ髁鹘ｋy度容易略復(fù)雜容易幫助文檔可讀性較好差好服務(wù)與價格價格中高，租賃模式高，每增加一個用戶還需購買一個客戶端原廠技術(shù)服務(wù)定制開發(fā)支持對比測試試-測試環(huán)境境CPU:英特爾E74502.4GHz6核心*4內(nèi)存：64G節(jié)點數(shù)：1硬件環(huán)境境操作系統(tǒng)統(tǒng)環(huán)境：Windows 2003Server64bit集群并行行數(shù)據(jù)庫庫環(huán)境：神通xCluster3.5*1神通KSTORE3.5*2實例數(shù)據(jù)挖

14、掘掘?qū)Ρ犬a(chǎn)產(chǎn)品：神通K-Miner5.0IBM旗下SPSS Modeler15軟件環(huán)境境分類測試試：電信客戶戶流失(103萬行)稅務(wù)稽查查選案（20萬行）中彩客戶戶分析（678萬行）UCI運動檢測測（230萬行）回歸測試試：增值稅預(yù)預(yù)測（72萬行）聚類測試試：中彩客戶戶分群（220萬行）數(shù)據(jù)環(huán)境對比測試試-測試結(jié)果果151測試算法分類回歸樹測試數(shù)據(jù)中彩在線客戶行為變更分析數(shù)據(jù)電信小靈通客戶流失分析數(shù)據(jù)稅務(wù)偷漏稅分析數(shù)據(jù)物理活動檢測數(shù)據(jù)用例編號6.66.76.96.106.116.126.136.14對比項ModelerK-Miner串行ModelerK-Miner串行ModelerK-Mine

15、r 8線程ModelerK-Miner 8線程速度數(shù)據(jù)加載時間(s)340234.48467.489.21816634.62516547.875建?？倳r間(s)2442.782415.6481568.751385.6255512.73304.3916146.53447.25總時間(s)2782.782650.1321636.151476.5945678.73340.8446311.53497.485速度倍數(shù)1.051.116.712.7精度分類準(zhǔn)確率95.38%95.41%95.00%95.09%100%100%98.27%98.74%測試算法K均值測試數(shù)據(jù)中彩在線客戶分群數(shù)據(jù)用例編號6.16

16、.2對比項Modeler串行K-Miner串行數(shù)據(jù)加載時間（s）87.752.157建?？倳r間(s)482.28172.25總時間(s)569.98225.797對比測試試-測試結(jié)果果252測試算法線性回歸測試數(shù)據(jù)稅務(wù)增值稅預(yù)測數(shù)據(jù)用例編號6.156.16對比項ModelerK-Miner 串行速度數(shù)據(jù)加載時間(s)2430.296建模總時間(s)97.7214.031總時間(s)121.7245.766速度倍數(shù)2.66精度最大誤差29171.31428812.9129絕對平均誤差1603.0221611.153945標(biāo)準(zhǔn)差3556.6493540.277038線性相關(guān)0.9990.99886

17、.96倍對比測試試-SMP并行測試試53測試算法K均值測試數(shù)據(jù)中彩在線客戶分群數(shù)據(jù)用例編號6.26.3對比項K-Miner串行K-Miner 8線程SMP相對加速比絕對加速比數(shù)據(jù)加載時間(s)52.15712.1090.5384115124.307292097建模總時間(s)172.2531.610.6811531165.449224929總時間(s)225.79745.1720.6248256664.998605331K-Miner分類、預(yù)預(yù)測、聚聚類、關(guān)聯(lián)K-Cuber切片切塊塊、上鉆鉆下鉆、同比環(huán)比比、指標(biāo)標(biāo)預(yù)警K-Front報表的設(shè)設(shè)計、生成、展展現(xiàn)、打打印K-Fusion抽取、轉(zhuǎn)轉(zhuǎn)換

18、、加加載神通BI神通K-Front55可視化報報表設(shè)計計器支持中國國式報表表和各種種復(fù)雜報報表支持30多種圖形形和地圖圖支持多維維分析模模型和數(shù)數(shù)據(jù)挖掘掘模型支持領(lǐng)導(dǎo)導(dǎo)儀表盤盤制作神通K-Front：主要功功能所見即所所得的設(shè)設(shè)計風(fēng)格格，拖拽式報報表布局局加快開開發(fā)進(jìn)度度支持生成Html、Word、Excel、PPT、PDF等格式支持多樣樣的可視視化報表表元素，包括網(wǎng)網(wǎng)格、表表、圖片片、圖表表和交叉叉表等支持設(shè)計計各種復(fù)復(fù)雜型報報表內(nèi)置豐富的數(shù)數(shù)據(jù)處理理函數(shù)，滿足制制作報表表的需求支持關(guān)系系型數(shù)據(jù)據(jù)、多維維數(shù)據(jù)、數(shù)據(jù)挖挖掘模型型等數(shù)據(jù)源支持樣式式模版、資源庫庫的可重重用的報報表部件件，加快快報表開開發(fā)效率率56神通K-Front：圖表式式報表圖表式報報表表格圖形柱形圖、餅圖、折線圖圖、面積積圖、條條形圖、散列圖圖等雷達(dá)圖、儀表盤盤等神通K-Front：主從報報表58主從報表表可基于單單元格鉆鉆取可基于圖圖元素鉆鉆取任意深度度鉆取神通K-Front：主從報報表59主從報表表可基于單單元格鉆鉆取可基于圖圖元素鉆鉆取任意深度度鉆取神通K-Front：交叉報報表交叉報表表斜線表格格橫向擴(kuò)展展、縱向向擴(kuò)展60斜線表頭頭61神通K-Front：