內(nèi)存數(shù)據(jù)庫的結(jié)構(gòu)體系1

1、內(nèi)存數(shù)據(jù)庫的結(jié)構(gòu)體系作者：林瑩瑩作者單位：寧波工程學(xué)院（315016）E-mail: 838159309摘 要：本文首先簡單介紹了內(nèi)存數(shù)據(jù)庫的發(fā)展歷史，使讀者了解內(nèi)存數(shù)據(jù)庫的發(fā)展和歷史。然后詳細(xì)介紹了內(nèi)存數(shù)據(jù)庫的結(jié)構(gòu)體系，主要是它的技術(shù)原理和索引規(guī)則。最后給出了目前常見的通用內(nèi)存數(shù)據(jù)庫。關(guān)鍵詞：內(nèi)存數(shù)據(jù)庫, 即時性, 查詢效率1. 引 言傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)把所有數(shù)據(jù)都放在磁盤上進(jìn)行管理，所以稱做磁盤數(shù)據(jù)庫（DRDB: Disk-Resident Database）。磁盤數(shù)據(jù)庫需要頻繁地訪問磁盤來進(jìn)行數(shù)據(jù)的操作，由于對磁盤讀寫數(shù)據(jù)的操作一方面要進(jìn)行磁頭的機(jī)械移動，另一方面受到系統(tǒng)調(diào)用（通常通過

2、CPU中斷完成，受到CPU時鐘周期的制約）時間的影響，當(dāng)數(shù)據(jù)量很大，操作頻繁且復(fù)雜時，就會暴露出很多問題。 2. 內(nèi)存數(shù)據(jù)庫歷史和發(fā)展從上個世紀(jì)60年代末到80年代初。在這個時期中，出現(xiàn)了主存數(shù)據(jù)庫的雛形。1969年IBM公司研制了世界上最早的數(shù)據(jù)庫管理系統(tǒng)基于層次模型的數(shù)據(jù)庫管理系統(tǒng)IMS，并作為商品化軟件投入市場。在設(shè)計IMS時，IBM考慮到基于內(nèi)存的數(shù)據(jù)管理方法，相應(yīng)推出了IMS/VS Fast Path。Fast Path是一個支持內(nèi)存駐留數(shù)據(jù)的商業(yè)化數(shù)據(jù)庫，但它同時也可以很好地支持磁盤駐留數(shù)據(jù)。在這個產(chǎn)品中體現(xiàn)了主存數(shù)據(jù)庫的主要設(shè)計思想，也就是將需要頻繁訪問，要求高響應(yīng)速度的數(shù)據(jù)直接

3、存放在物理內(nèi)存中訪問和管理。在這個階段中，包括網(wǎng)狀數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫等其他各種數(shù)據(jù)庫技術(shù)也都逐漸成型。1984年，D J DeWitt等人提出使用非易逝內(nèi)存或預(yù)提交和成組提交技術(shù)作為主存 數(shù)據(jù)庫的提交處理方案，使用指針實現(xiàn)主存數(shù)據(jù)庫的存取訪問。1985年，IBM推出了IBM 370上運(yùn)行的OBE主存數(shù)據(jù)庫。1986年，RB Hagman提出了使用檢查點技術(shù)實現(xiàn)主存數(shù)據(jù)庫的恢復(fù)機(jī)制。威斯康星大學(xué)提出了按區(qū)雙向鎖定模式解決主存數(shù)據(jù)庫中的并發(fā)控制問題。并設(shè)計出MM-DBMS主存數(shù)據(jù)庫。貝爾實驗室推出了DALI主存數(shù)據(jù)庫模型。 1987年，ACM SIGMOD會議中提出了以堆文件（HEAP FILE）

4、作為主存數(shù)據(jù)庫的數(shù)據(jù)存儲結(jié)構(gòu)。Southern Methodist大學(xué)設(shè)計出MARS主存數(shù)據(jù)庫模型。1988年普林斯頓大學(xué)設(shè)計出TPK主存數(shù)據(jù)庫。1990年普林斯頓大學(xué)又設(shè)計出System M主存數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)的發(fā)展，越來越多的網(wǎng)絡(luò)應(yīng)用系統(tǒng)需要能夠支持大用戶量并發(fā)訪問、高響應(yīng)速度的的數(shù)據(jù)庫系統(tǒng)，主存數(shù)據(jù)庫市場成熟。半導(dǎo)體技術(shù)快速發(fā)展，半導(dǎo)體內(nèi)存大規(guī)模生產(chǎn)，動態(tài)隨機(jī)存取存儲器（DRAM）的容量越來越大，而價格越來越低，這無疑為計算機(jī)內(nèi)存的不斷擴(kuò)大提供了硬件基礎(chǔ)，使得主存數(shù)據(jù)庫的技術(shù)可行性逐步成熟。1994年美國OSE公司推出了第一個商業(yè)化的，開始實際應(yīng)用的主存數(shù)據(jù)庫產(chǎn)品Polyhedra。1

5、998年德國SoftwareAG推出了Tamino Database。1999年日本UBIT會社開發(fā)出XDB主存數(shù)據(jù)庫產(chǎn)品。韓國Altibase推出Altibase。2000年奧地利的QuiLogic公司推出了SQL-IMDB。2001年美國McObject推出eXtremeDB。加拿大Empress公司推出EmpressDB。3. 內(nèi)存數(shù)據(jù)庫的技術(shù)原理3.1. 內(nèi)存數(shù)據(jù)庫與內(nèi)存共享技術(shù)的區(qū)別在數(shù)據(jù)庫技術(shù)中，目前主要有兩種方法來使用大量的內(nèi)存。一種是在傳統(tǒng)的數(shù)據(jù)庫中，增大緩沖池，將一個事務(wù)所涉及的數(shù)據(jù)都放在緩沖池中，組織成相應(yīng)的數(shù)據(jù)結(jié)構(gòu)來進(jìn)行查詢和更新處理，也就是常說的共享內(nèi)存技術(shù)，這種方法優(yōu)

6、化的主要目標(biāo)是最小化磁盤訪問。另一種就是內(nèi)存數(shù)據(jù)庫技術(shù)，就是干脆重新設(shè)計一種數(shù)據(jù)庫管理系統(tǒng)，對查詢處理、并發(fā)控制與恢復(fù)的算法和數(shù)據(jù)結(jié)構(gòu)進(jìn)行重新設(shè)計，以更有效地使用CPU周期和內(nèi)存，這種技術(shù)近乎把整個數(shù)據(jù)庫放進(jìn)內(nèi)存中，因而會產(chǎn)生一些根本性的變化。兩種技術(shù)的區(qū)別如下表：內(nèi)存數(shù)據(jù)庫內(nèi)存共享技術(shù)成熟度成熟的商業(yè)軟件單一用戶定制化開發(fā)通用的商業(yè)軟件，采用開放標(biāo)準(zhǔn)和通用接口專用軟件，封閉系統(tǒng)擴(kuò)展性支持IPC，TCP/IP，DOMAIN等多種的連接方式，應(yīng)用可以很方便地擴(kuò)展。一般只支持IPC方式，應(yīng)用和內(nèi)存必須嚴(yán)格綁定在同一臺主機(jī)上，難以擴(kuò)展其他應(yīng)用安全性系統(tǒng)或主機(jī)異常情況處理的數(shù)據(jù)和歷史數(shù)據(jù)不會丟失，可以

7、進(jìn)行恢復(fù)，運(yùn)用檢查點機(jī)制進(jìn)行數(shù)據(jù)備份和恢復(fù)。提供完備的日志級別保證數(shù)據(jù)的完整性和安全性。處理的數(shù)據(jù)以及歷史記錄會丟失，需要重新數(shù)據(jù)導(dǎo)入。不間斷服務(wù)數(shù)據(jù)可以分布在不同的主機(jī)系統(tǒng)上使用，可以自動切換。數(shù)據(jù)無法自動切換，影響系統(tǒng)的穩(wěn)定性。進(jìn)程故障通過回滾和日志文件可以恢復(fù)數(shù)據(jù)。不能夠恢復(fù)數(shù)據(jù)，當(dāng)前處理的數(shù)據(jù)會完全丟失，為處理此故障需要手工處理，效率低。兼容性支持開放業(yè)界標(biāo)準(zhǔn)，如SQL，JDBC和ODBC，開發(fā)簡單方便不支持SQL語句，不支持ODBC，代碼復(fù)制，不利于軟件開發(fā)和系統(tǒng)的穩(wěn)定運(yùn)行。穩(wěn)定性由數(shù)據(jù)庫系統(tǒng)提供內(nèi)存的管理，降低了應(yīng)用開發(fā)的復(fù)雜度，增加了系統(tǒng)的穩(wěn)定性。需要通過應(yīng)用程序來處理復(fù)雜的內(nèi)存

8、管理過程，容易產(chǎn)生過多的內(nèi)存碎片，導(dǎo)致系統(tǒng)的不穩(wěn)定。開發(fā)復(fù)雜度（開發(fā)接口）提供標(biāo)準(zhǔn)應(yīng)用的開發(fā)接口，大大縮短了開發(fā)周期，原來在磁盤數(shù)據(jù)庫下做的運(yùn)用程序可以方便移植。不提供標(biāo)準(zhǔn)開發(fā)接口，開發(fā)效率低。內(nèi)存數(shù)據(jù)庫系統(tǒng)帶來的優(yōu)越性能不僅僅在于對內(nèi)存讀寫比對磁盤讀寫快上，更重要的是，從根本上拋棄了磁盤數(shù)據(jù)管理的許多傳統(tǒng)方式，基于全部數(shù)據(jù)都在內(nèi)存中管理進(jìn)行了新的體系結(jié)構(gòu)的設(shè)計，并且在數(shù)據(jù)緩存、快速算法、并行操作方面也進(jìn)行了相應(yīng)的改進(jìn)，從而使數(shù)據(jù)處理速度一般比傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)處理速度快很多，一般都在10倍以上，理想情況甚至可以達(dá)到1000倍。 而使用共享內(nèi)存技術(shù)的實時系統(tǒng)和使用內(nèi)存數(shù)據(jù)庫相比有很多不足，由于優(yōu)

9、化的目標(biāo)仍然集中在最小化磁盤訪問上，很難滿足完整的數(shù)據(jù)庫管理的要求，設(shè)計的非標(biāo)準(zhǔn)化和軟件的專用性造成可伸縮性、可用性和系統(tǒng)的效率都非常低，對于快速部署和簡化維護(hù)都是不利的。3.2. 與磁盤數(shù)據(jù)庫同步把實時數(shù)據(jù)值保存到歷史數(shù)據(jù)庫的過程所采用的方式與實時內(nèi)存數(shù)據(jù)庫實時化過程所采用的方式是一個相反的過程?？紤]到不同的點可以設(shè)置不同的存儲周期，若單個點定義存盤，則在歷史數(shù)據(jù)庫中該點對應(yīng)一個表，當(dāng)點數(shù)較多時，數(shù)據(jù)庫中的表就會很多，這樣很不合理。如果所有的點對應(yīng)一個表進(jìn)行存儲，那么將造成表的臃腫，同時由于存儲數(shù)據(jù)的存儲周期不同會使很多字段為空值。 因此， 應(yīng)首先按照不同的存儲周期把點進(jìn)行分組，然后每一組對

10、應(yīng)一個表來對數(shù)據(jù)進(jìn)行存儲。由于需要對點進(jìn)行分組，所以歷史數(shù)據(jù)庫中數(shù)據(jù)點的表結(jié)構(gòu)是不固定的，需要組態(tài)生成。隨著同一存儲周期的點的增加或減少，表的字段也可以動態(tài)地增加或減少。系統(tǒng)中同一存儲周期的同一類型點存儲表建立的具體實現(xiàn)過程為：1訪問系統(tǒng)中的ODBC；2設(shè)定連接的數(shù)據(jù)庫；3設(shè)定訪問該數(shù)據(jù)庫的數(shù)據(jù)源名稱；4設(shè)定要生成的存儲表的名稱；5設(shè)定該表的存儲周期；6訪問實時內(nèi)存數(shù)據(jù)庫定義的該類型表； 7選擇該類型表中與第（5）步中設(shè)定的存儲周期相同的點作為第（4）步中要生成的表的字段；8生成存儲表； 9生成存儲表成功后，向存儲管理表中添加相應(yīng)的記錄。3.3. 索引規(guī)則數(shù)據(jù)庫中的索引與書籍中的索引類似。 在

11、一本書中， 利用索引可以快速查找所需信息，而無需閱讀整本書。在數(shù)據(jù)庫中，索引使數(shù)據(jù)庫程序無需對整個表進(jìn)行掃描便可以在其中找到所需的數(shù)據(jù)。書中的索引是一個詞語列表，其中注明了包含各個詞的頁碼。而數(shù)據(jù)庫中的索引是一張表，其中注明了表中包含各個值的“行”所在的存儲位置。創(chuàng)建索引可以大大提高應(yīng)用的系統(tǒng)性能、可以加快數(shù)據(jù)檢索速度、可以加速表與表之間的連接、可以減少分組和排序的時間。3.4.1 數(shù)據(jù)庫的索引原則 索引有助于提高檢索的性能，但索引的增加也有其不利的一面，過多的索引會導(dǎo)致系統(tǒng)效率的降低，這是因為創(chuàng)建和維護(hù)索引需要耗費(fèi)時間，同時需要占用一定的物理空間；數(shù)據(jù)進(jìn)行正常維護(hù)（添加、刪除和修改）時，索引

12、也要動態(tài)維護(hù)，因此會降低數(shù)據(jù)的維護(hù)速度。在數(shù)據(jù)庫開發(fā)過程中，若對具體的應(yīng)用考慮不夠周全，在設(shè)計索引時存在缺陷或索引類型選擇不當(dāng)，反而會影響系統(tǒng)的應(yīng)用效率。因此，在數(shù)據(jù)庫的應(yīng)用過程中，從設(shè)計階段到應(yīng)用實施階段，都要考慮索引優(yōu)化問題，通過合理的設(shè)計、選擇和調(diào)整索引來優(yōu)化數(shù)據(jù)庫性能。首先，在設(shè)計初期，應(yīng)考慮在相應(yīng)列上創(chuàng)建索引的必要性，一般應(yīng)遵循以下原則：1在很少使用的列上不要創(chuàng)建索引；2在具有極少數(shù)量的不同值的列上不要創(chuàng)建索引；3在類型為text、image和bit等類型的列上不要創(chuàng)建索引；4在UPDATE的性能遠(yuǎn)大于SELECT性能的列上不要創(chuàng)建索引。其次，在設(shè)計階段還要考慮如何選擇合理的索引技術(shù)

13、。盡管索引都能提高檢索和更新數(shù)據(jù)的速度，但不同的索引對于特定的任務(wù)可能有更高的效率。必須要根據(jù)數(shù)據(jù)和相關(guān)檢索任務(wù)的特點來選擇是采用聚集索引還是非聚集索引。在設(shè)計階段，應(yīng)根據(jù)數(shù)據(jù)庫中關(guān)系表結(jié)構(gòu)（數(shù)據(jù)特征）和相關(guān)應(yīng)用行為（動作特征）來設(shè)計索引。但由于在數(shù)據(jù)庫工程應(yīng)用中，數(shù)據(jù)之間的聯(lián)系往往非常復(fù)雜，實際應(yīng)用也是復(fù)雜多變的，這將導(dǎo)致在設(shè)計階段所設(shè)計的索引并不一定是最符合實際數(shù)據(jù)操作所需的。因此，在應(yīng)用過程中，必須通過追蹤、分析索引的相關(guān)信息，適當(dāng)調(diào)整索引來優(yōu)化索引性能，從而提高數(shù)據(jù)庫應(yīng)用性能。3.4.2 實時內(nèi)存數(shù)據(jù)庫數(shù)據(jù)的索引 普通的數(shù)據(jù)結(jié)構(gòu)，其查找方法都是建立在“比較”的基礎(chǔ)上，一般都是通過比較關(guān)

14、鍵字是否匹配來確定是否找到相應(yīng)的記錄，理想的情況是不經(jīng)過任何比較，一次存取便能得到所查記錄，那就必須在記錄的存儲位置和其關(guān)鍵字之間建立一個確定的對應(yīng)關(guān)系 f，使每個關(guān)鍵字和結(jié)構(gòu)中的一個唯一的存儲位置相對應(yīng)。因而，查找時就可以根據(jù)這個對應(yīng)關(guān)系f找到給定值K的f(K。為了查找和檢索方便，采用二級索引結(jié)構(gòu)的方式。第一級索引為功能塊索引數(shù)據(jù)結(jié)構(gòu)。按模擬量、數(shù)字量還是字符量這3種數(shù)據(jù)結(jié)構(gòu)分類，功能塊索引數(shù)據(jù)結(jié)構(gòu)中有功能塊數(shù)據(jù)結(jié)構(gòu)的索引標(biāo)識，有指向功能塊數(shù)據(jù)結(jié)構(gòu)的指針，而且存儲空間固定。第二級索引以存儲在實時數(shù)據(jù)庫中的對象本身來建立索引，以提高定位查找速度。為了方便多元化查找，可以節(jié)點號或節(jié)點名作為關(guān)鍵字

15、來建立索引，因為節(jié)點號和節(jié)點名都是唯一的。4. 目前幾種常見的通用內(nèi)存數(shù)據(jù)庫eXtremeDBeXtremeDB實時數(shù)據(jù)庫是McObject公司的一款特別為實時與嵌入式系統(tǒng)數(shù)據(jù)管理而設(shè)計的數(shù)據(jù)庫，只有50K到130K的開銷，速度達(dá)到微秒級。eXtremeDB完全駐留在主內(nèi)存中，不使用文件系統(tǒng)（包括內(nèi)存盤）。eXtremeDB采用了新的磁盤融合技術(shù)，將內(nèi)存拓展到磁盤，將磁盤當(dāng)做虛擬內(nèi)存來用，實時性能保持微秒級的同時，數(shù)據(jù)管理量在32BIT下能達(dá)到20G。Oracle TimesTenOracle TimesTen是Oracle從TimesTen公司收購的一個內(nèi)存優(yōu)化的關(guān)系數(shù)據(jù)庫，它為應(yīng)用程序提供

16、了實時企業(yè)和行業(yè)（例如電信、資本市場和國防）所需的即時響應(yīng)性和非常高的吞吐量。Oracle TimesTen可作為高速緩存或嵌入式數(shù)據(jù)庫被部署在應(yīng)用程序?qū)又?，它利用?biāo)準(zhǔn)的 SQL 接口對完全位于物理內(nèi)存中的數(shù)據(jù)存儲區(qū)進(jìn)行操作。SolidDBSolid Information Technology 成立于 1992 年，全球總部位于加州Cupertino，Solid數(shù)據(jù)管理平臺將基于內(nèi)存和磁盤的全事務(wù)處理數(shù)據(jù)庫引擎、載體級高可用性及強(qiáng)大的數(shù)據(jù)復(fù)制功能緊密地融為一體。AltibaseALTIBASE公司從1999年就一直致力于內(nèi)存數(shù)據(jù)庫軟件和其應(yīng)用的開發(fā)，提供高性能和高可用性的軟件解決方案。特別適

17、合通信、網(wǎng)上銀行、證券交易、實時應(yīng)用和嵌入式系統(tǒng)領(lǐng)域。目前占據(jù)80%以上內(nèi)存數(shù)據(jù)庫市場，可以說是當(dāng)今數(shù)據(jù)庫軟件技術(shù)的領(lǐng)導(dǎo)者。目前Altibase在國內(nèi)成功案例也比較多，尤其是在電信行業(yè)，已經(jīng)得到了廣泛認(rèn)可。5. 小結(jié)傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)是關(guān)系型數(shù)據(jù)庫，開發(fā)這種數(shù)據(jù)庫的目的，是處理永久、穩(wěn)定的數(shù)據(jù)。關(guān)系數(shù)據(jù)庫強(qiáng)調(diào)維護(hù)數(shù)據(jù)的完整性、一致性，但很難顧及有關(guān)數(shù)據(jù)及其處理的定時限制，不能滿足工業(yè)生產(chǎn)管理實時應(yīng)用的需要，因為實時事務(wù)要求系統(tǒng)能較準(zhǔn)確地預(yù)報事務(wù)的運(yùn)行時間。內(nèi)存數(shù)據(jù)庫所處理的數(shù)據(jù)通常是“短暫”的，即有一定的有效時間，過時則有新的數(shù)據(jù)產(chǎn)生，而當(dāng)前的決策推導(dǎo)變成無效。所以，實際應(yīng)用中采用內(nèi)存數(shù)據(jù)庫來處

18、理實時性強(qiáng)的業(yè)務(wù)邏輯處理數(shù)據(jù)。而傳統(tǒng)數(shù)據(jù)庫旨在處理永久、穩(wěn)定的數(shù)據(jù)，其性能目標(biāo)是高的系統(tǒng)吞吐量和低的代價，處理數(shù)據(jù)的實時性就要考慮的相對少一些。實際應(yīng)用中利用傳統(tǒng)數(shù)據(jù)庫這一特性存放相對實時性要求不高的數(shù)據(jù)。在實際應(yīng)用中這兩種數(shù)據(jù)庫常常結(jié)合使用，而不是以內(nèi)存數(shù)據(jù)庫替代傳統(tǒng)數(shù)據(jù)庫。參考文獻(xiàn)1 肖迎元, 劉云生, 廖國瓊. 主動實時內(nèi)存數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)交換策略及實現(xiàn), 2004.2 晏燕. 嵌入式內(nèi)存數(shù)據(jù)庫引擎的研究與實現(xiàn)J, 2004.3 谷國棟. 內(nèi)存數(shù)據(jù)庫相關(guān)技術(shù)的研究與分析J, 2007.4 武波. 實時內(nèi)存數(shù)據(jù)庫的設(shè)計與實現(xiàn)J, 2005.5 文篤石, 段玉清. 基于 SCDMA 內(nèi)存數(shù)據(jù)庫的設(shè)計與實現(xiàn)J, 2010.The memory of the structure system. DatabaseAuthor: LinYingYingThe author unit: ningbo engineering instituteAbstract：This paper first introduces the development history of memory, da