列式數(shù)據(jù)庫(kù)介紹課件

1、列式數(shù)據(jù)庫(kù)u列式數(shù)據(jù)庫(kù)的發(fā)展歷史u列式數(shù)據(jù)庫(kù)GBase 8auGbase 8a成功案例 1、項(xiàng)目背景 2、需求分析 3、解決方案u列式數(shù)據(jù)庫(kù)的存儲(chǔ)原理u列式數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)u列式數(shù)據(jù)庫(kù)的缺陷u列式數(shù)據(jù)庫(kù)適合存儲(chǔ)的數(shù)據(jù) 1994年10月Sybase收購(gòu)了Expressway Technologies，該公司只是做提高Sybase數(shù)據(jù)庫(kù)報(bào)表查詢方面的技術(shù)，其中使用的技術(shù)便是一種按列存儲(chǔ)的技術(shù)。該公司被購(gòu)買后更名為Sybase IQ Accelerator。 最早的商業(yè)列式數(shù)據(jù)庫(kù)是1996年發(fā)布的Sybase IQ，但是直到1999年左右才慢慢穩(wěn)定到投入生產(chǎn)環(huán)境。列式數(shù)據(jù)庫(kù)的發(fā)展歷史 GBase 8a是

2、南大通用公司自主研發(fā)，面向海量數(shù)據(jù)查詢分析應(yīng)用領(lǐng)域的一款高性能國(guó)產(chǎn)新型數(shù)據(jù)庫(kù)產(chǎn)品，用于滿足各個(gè)數(shù)據(jù)密集型行業(yè)日益增大的數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)備份等數(shù)據(jù)存儲(chǔ)、管理和處理需求，可用做數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)的承載數(shù)據(jù)庫(kù)。 GBase 8a采用了列存儲(chǔ)、自適應(yīng)壓縮、智能索引等核心技術(shù)，GBase 8a集群基于Shared Nothing架構(gòu)，采用MPP（大規(guī)模并行處理）等關(guān)鍵技術(shù)，并內(nèi)嵌了高性能的全文檢索和分布式文件系統(tǒng)，實(shí)現(xiàn)了高效的大數(shù)據(jù)存儲(chǔ)管理和查詢分析。列式數(shù)據(jù)庫(kù)GBase 8a 項(xiàng)目背景 現(xiàn)場(chǎng)檢查是銀監(jiān)會(huì)對(duì)金融機(jī)構(gòu)業(yè)務(wù)活動(dòng)及其風(fēng)險(xiǎn)狀況進(jìn)行評(píng)估的重要手段，當(dāng)前

3、現(xiàn)場(chǎng)檢查工作存在很大問題：銀行業(yè)務(wù)量急劇膨脹，復(fù)雜程度大大提高，傳統(tǒng)的手工檢查方式效率低下，難以保證現(xiàn)場(chǎng)檢查工作的質(zhì)量和全面性，使用高效的分析型數(shù)據(jù)庫(kù)系統(tǒng)對(duì)銀行海量數(shù)據(jù)進(jìn)行分析成為現(xiàn)場(chǎng)檢查工作的必然選擇。在這種背景下，迫切需要一套高效、實(shí)用的數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)用平臺(tái)對(duì)金融機(jī)構(gòu)海量業(yè)務(wù)數(shù)據(jù)實(shí)現(xiàn)安全存儲(chǔ)、高效分析、準(zhǔn)確評(píng)估，改進(jìn)傳統(tǒng)現(xiàn)場(chǎng)檢查模式，全面提高現(xiàn)場(chǎng)檢查工作的質(zhì)量和效率。Gbase 8a案例-銀監(jiān)會(huì)現(xiàn)場(chǎng)檢查系統(tǒng)項(xiàng)目 需求分析 本項(xiàng)目需求主要包括：對(duì)10TB數(shù)據(jù)進(jìn)行高效存儲(chǔ)；提高對(duì)金融數(shù)據(jù)的查詢、分析效率；金融數(shù)據(jù)屬國(guó)家敏感數(shù)據(jù)，系統(tǒng)要滿足高安全的要求；替換費(fèi)用高昂的小型機(jī)+磁陣系統(tǒng)，控制系統(tǒng)建設(shè)

4、成本。Gbase 8a案例-銀監(jiān)會(huì)現(xiàn)場(chǎng)檢查系統(tǒng)項(xiàng)目 解決方案 GBase 8a采用列存儲(chǔ)、先進(jìn)壓縮算法，對(duì)金融數(shù)據(jù)進(jìn)行高效壓縮存儲(chǔ)，同時(shí)結(jié)合智能索引等技術(shù)大大提升系統(tǒng)查詢、分析效率。通過采用基于X86癿PC-Server大大降低了建設(shè)成本。本系統(tǒng)架構(gòu)如下圖所示，以國(guó)產(chǎn)高容錯(cuò)計(jì)算機(jī)為硬件基礎(chǔ)平臺(tái)承載了GBase 8a，業(yè)務(wù)數(shù)據(jù)存儲(chǔ)管理系統(tǒng)通過接口平臺(tái)對(duì)銀行業(yè)務(wù)數(shù)據(jù)進(jìn)行訪問、抽取和加載。在GBase 8a的數(shù)據(jù)支撐下，數(shù)據(jù)分析平臺(tái)及軟件工具包通過Web UI向用戶提供業(yè)務(wù)模型、數(shù)據(jù)分析挖掘、數(shù)據(jù)提取、標(biāo)準(zhǔn)化數(shù)據(jù)和數(shù)據(jù)存儲(chǔ)等服務(wù)。Gbase 8a案例-銀監(jiān)會(huì)現(xiàn)場(chǎng)檢查系統(tǒng)項(xiàng)目 解決方案 Gbase 8

5、a案例-銀監(jiān)會(huì)現(xiàn)場(chǎng)檢查系統(tǒng)項(xiàng)目EmpldLastnameFirstnameSalary1SmithJoe400002JonesMary500003JohosonCathy44000列式數(shù)據(jù)庫(kù)的存儲(chǔ)原理數(shù)據(jù)庫(kù)以行、列的二維表的形式存儲(chǔ)數(shù)據(jù)，但是卻以一維字符串的方式存儲(chǔ)，例如以下的一個(gè)表：這個(gè)簡(jiǎn)單的表包括員工代碼，姓名字段，工資。這個(gè)表存儲(chǔ)在電腦的內(nèi)存和硬盤中。雖然內(nèi)存和硬盤在機(jī)制上不同，電腦的操作系統(tǒng)是以同樣的方式存儲(chǔ)的。數(shù)據(jù)庫(kù)必須把這個(gè)二維表存儲(chǔ)在一系列一維的“字節(jié)”中，操作系統(tǒng)再寫到內(nèi)存或硬盤中。行式數(shù)據(jù)庫(kù)把一行中的數(shù)據(jù)值串在一起存儲(chǔ)起來，然后再存儲(chǔ)下一行的數(shù)據(jù)，以此類推。1，Smith，J

6、oe，40000；2，Jones，Mary，50000；3，Johnson，Cathy，44000；列式數(shù)據(jù)庫(kù)把一列中的數(shù)據(jù)值串在一起存儲(chǔ)起來，然后再存儲(chǔ)下一列的數(shù)據(jù)，以此類推。1，2，3；Smith，Jones，Johnson；Joe，Mary，Cathy；40000，50000，44000；這是對(duì)列式數(shù)據(jù)庫(kù)的一個(gè)簡(jiǎn)化的說法。 極高的裝載速度(最高可以等于所有硬盤IO 的總和，基本是極限了) 適合大量的數(shù)據(jù)而不是小數(shù)據(jù) 實(shí)時(shí)加載數(shù)據(jù)僅限于增加(刪除和更新需要解壓縮Block 然后計(jì)算然后重新壓縮儲(chǔ)存) 高效的壓縮率，不僅節(jié)省儲(chǔ)存空間也節(jié)省計(jì)算內(nèi)存和CPU。 非常適合做聚合操作。列式數(shù)據(jù)庫(kù)的優(yōu)

7、點(diǎn) 不適合掃描小量的數(shù)據(jù) 不適合隨機(jī)的更新 不適合做含有刪除和更新的實(shí)時(shí)操作 只適合做聯(lián)機(jī)分析處理（OLAP），不適合做聯(lián)機(jī)事務(wù)處理（OLTP） 對(duì)中文的支持較差 比較復(fù)雜，安裝、部署和管理需要專門的精通它的數(shù)據(jù)庫(kù)管理專家來做列式數(shù)據(jù)庫(kù)的缺點(diǎn) 列式數(shù)據(jù)庫(kù)適合存儲(chǔ)的數(shù)據(jù)特點(diǎn) 1、在進(jìn)行大數(shù)據(jù)處理時(shí)，查詢性能要高于處理性能。（運(yùn)營(yíng)商的數(shù)據(jù)是一直在生成的，所以處理性能要高于查詢性能）。 2、數(shù)據(jù)處理完畢后最好不要對(duì)已完成處理的數(shù)據(jù)進(jìn)行更改（運(yùn)營(yíng)商的數(shù)據(jù)是有延時(shí)的，所以有時(shí)必須要修改已經(jīng)處理完成的數(shù)據(jù)）。列式數(shù)據(jù)庫(kù)適合存儲(chǔ)的數(shù)據(jù) 相同點(diǎn)： 1、都適合處理大數(shù)據(jù)，不適合小數(shù)據(jù)。 2、都具有高效的數(shù)據(jù)處理能力。 不同點(diǎn)： 1、Hadoop具有高