數(shù)據(jù)庫基礎知識

數(shù)據(jù)庫基礎知識數(shù)據(jù)庫的基本概念口數(shù)據(jù)庫(Database,DB)的定義·定義1:數(shù)據(jù)庫，就是存放數(shù)據(jù)的倉庫?！ざx2:數(shù)據(jù)庫，是數(shù)據(jù)及數(shù)據(jù)間邏輯關系的集合體?！ざx3:數(shù)據(jù)庫，是按照某種模型組織起來的，可以被各種用戶或應用共享的數(shù)據(jù)的集合?！?shù)據(jù)的解釋是對數(shù)據(jù)的說明。數(shù)據(jù)需要經(jīng)過解釋才能明確其表達的含義?？跀?shù)據(jù)庫管理系統(tǒng)(DBMS)·DBMS對數(shù)據(jù)進行統(tǒng)一控制管理，以保證數(shù)據(jù)的完整性和安全性。DBA終端用戶終端用戶應用程序口數(shù)據(jù)庫管理系統(tǒng)(DBMS)·數(shù)據(jù)庫管理員：擁有所有對象的所有權(quán)限，根據(jù)實際情況不同的權(quán)限授予不同的用戶。數(shù)據(jù)庫應用程序數(shù)據(jù)庫(DB)口數(shù)據(jù)庫管理系統(tǒng)(DBMS)的主要功能口數(shù)據(jù)庫的作用口數(shù)據(jù)庫的特點數(shù)據(jù)庫可以將數(shù)據(jù)持久地存儲在硬盤上。即使關機或斷電，數(shù)據(jù)也不會丟失。數(shù)據(jù)庫提供了強大的查詢語言和索引功能，可以輕松地檢索和更新存儲的數(shù)據(jù)。數(shù)據(jù)庫提供了各種機制來確保數(shù)據(jù)的完整性。可以定義約束條件，例如主鍵約束、唯一約束和外鍵約束，以防止數(shù)據(jù)的重復、不一致或無效。數(shù)據(jù)庫提供了安全性功能?？梢栽O置訪問權(quán)限和用戶身份驗證機制，控制讀取、寫入或修改權(quán)限?？跀?shù)據(jù)管理技術(shù)的發(fā)展階段1950年代后期-1960年代可以將數(shù)據(jù)交給系統(tǒng)進行程序和數(shù)據(jù)有了一定的獨需要更加高效的數(shù)據(jù)管理口數(shù)據(jù)庫的發(fā)展階段分析型數(shù)據(jù)庫1993分析型數(shù)據(jù)庫199319981970年代數(shù)據(jù)庫市場化開始萌芽；對象型、分析型2022混合事務/分析處理20052014200520142011開源、分布式、非關系型2000年代互聯(lián)網(wǎng)進一步推動數(shù)據(jù)庫可擴展、高性能、云口數(shù)據(jù)庫的發(fā)展階段：關系型數(shù)據(jù)庫崛起(1960-2000)口數(shù)據(jù)庫的發(fā)展階段：非關系型數(shù)據(jù)庫崛起(2000-2010)NoSQL數(shù)據(jù)庫)?？跀?shù)據(jù)庫的發(fā)展階段：新興數(shù)據(jù)庫技術(shù)涌現(xiàn)(2010-現(xiàn)在)口數(shù)據(jù)庫的模型文檔模型(Document-OrientedModel)時序模型(Time-SeriesModel)口數(shù)據(jù)庫的模型(1)—層次數(shù)據(jù)模型·層次數(shù)據(jù)模型：是用樹狀“層次”結(jié)構(gòu)來組織數(shù)據(jù)的數(shù)據(jù)模型?！D形表示就是一個倒立生長的樹?！っ總€節(jié)點表示一個記錄類型對應與實體的概念，記錄類型的各個字段對應實體的各個屬性。各個記錄類型及其字段都必須記錄。醫(yī)生編號醫(yī)生姓名病歷號病人姓名病歷單口數(shù)據(jù)庫的模型(2)—網(wǎng)狀數(shù)據(jù)模型部門公司項目參與者工作記錄口數(shù)據(jù)庫的模型(3)—關系數(shù)據(jù)模型借閱時間小明男3月4日女5月7日男10月11日男12月3日口數(shù)據(jù)庫的模型(3)—關系數(shù)據(jù)模型口數(shù)據(jù)庫的模型(3)—關系數(shù)據(jù)模型SQL語句的分類口數(shù)據(jù)庫的模型(3)—關系數(shù)據(jù)模型ACID特性口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型規(guī)模數(shù)據(jù)處理需求。同時，部分非關系型數(shù)據(jù)庫，在金融證券、公共衛(wèi)生、社交網(wǎng)絡等涉及復雜關系溯源、關系鏈條跟蹤等關系表數(shù)據(jù)集(鍵值JSON文檔/哈希表/其他)模式結(jié)構(gòu)結(jié)構(gòu)化、提前定義表結(jié)構(gòu)動態(tài)調(diào)整模式，非結(jié)構(gòu)化擴展方式縱向擴展，提高處理能力橫向擴展、增加分布式節(jié)點數(shù)據(jù)查詢標準通用的查詢語言SQL非標準非結(jié)構(gòu)化的查詢語言(UnQL)ACIDCAP、BASE主要優(yōu)勢結(jié)構(gòu)化、事務處理、易于維護使用擴展性、靈活調(diào)整、大數(shù)據(jù)分析主要劣勢擴展性、高并發(fā)場景、大數(shù)據(jù)分析事務支持較弱，標準不統(tǒng)一口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型主要的非關系型數(shù)據(jù)庫數(shù)據(jù)庫類型主要特點應用場景典型開源產(chǎn)品鍵值數(shù)據(jù)庫使用哈希表存儲鍵和指向特定的數(shù)據(jù)的指針內(nèi)容緩存、購物車Redis列族數(shù)據(jù)庫鍵仍然存在，但指針指向多個列，以列簇式存儲相關數(shù)據(jù)分布式文件系統(tǒng)、大數(shù)據(jù)分析HBase文檔數(shù)據(jù)庫以文檔形式(JSON/BSON/XML)存取數(shù)據(jù)，Schema-Free弱模式結(jié)構(gòu)應用日志系統(tǒng)、網(wǎng)站/博客平臺MongoDB以圖存儲數(shù)據(jù)、實體頂點，邊代表關系社交網(wǎng)絡、推薦引擎Neo4J時序數(shù)據(jù)庫按時間順序收集、存儲和處理數(shù)據(jù)物聯(lián)網(wǎng)應用/事件跟蹤搜索引擎數(shù)據(jù)庫搜索保存在其他存儲和服務中的數(shù)據(jù)網(wǎng)頁、索引查詢口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型ValueValueValueValue口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型文檔數(shù)據(jù)庫Tables口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型口數(shù)據(jù)庫的模型(4)—非關系數(shù)據(jù)模型時序數(shù)據(jù)庫TimeTime11:21:2311:21:3511:21:3811:21:42 ValueValue口數(shù)據(jù)庫的業(yè)務承載類型·主要任務是確保數(shù)據(jù)庫的完整性和一致性，并執(zhí)行大量的讀寫操作(簡短的、小規(guī)模);用戶進程服務器進程共享池Java池stream池數(shù)據(jù)庫高速緩存大池重做日志緩沖區(qū)后臺進程結(jié)構(gòu)參數(shù)文件密碼文件控制文件數(shù)據(jù)文件重做日志文件歸檔日志文件口數(shù)據(jù)庫的部署方式口數(shù)據(jù)庫的架構(gòu)分類單機數(shù)據(jù)庫架構(gòu)口數(shù)據(jù)庫的架構(gòu)分類主從復制架構(gòu)從數(shù)據(jù)庫主數(shù)據(jù)庫從數(shù)據(jù)庫口數(shù)據(jù)庫的架構(gòu)分類分布式數(shù)據(jù)庫架構(gòu)口數(shù)據(jù)庫的架構(gòu)分類需要處理分片之間的數(shù)據(jù)分布和一致性問題。Collection1Collection1256GBCollection1Collection1256GB256GB256GB256GB口數(shù)據(jù)庫的架構(gòu)分類多主復制架構(gòu)口數(shù)據(jù)庫的架構(gòu)分類混合架構(gòu)口數(shù)據(jù)庫的分類(按存儲介質(zhì))·特點：內(nèi)存訪問速度快，適合需要高性能的場景。數(shù)據(jù)在斷電或故障后會丟失，需要定期持久化到磁盤?？跀?shù)據(jù)庫的設計和部署流程架構(gòu)規(guī)劃產(chǎn)品選型容災規(guī)劃安全規(guī)劃2集群部署容災部署數(shù)據(jù)庫遷移數(shù)據(jù)庫整合十3應急演練技能培訓性能優(yōu)化口數(shù)據(jù)庫的設計流程·需求分析：準確了解和分析用戶需求(包括數(shù)據(jù)和處理)。·概念結(jié)構(gòu)設計：通過對用戶需求進行綜合、歸納與抽象，形成一個獨立于具體DBMS的概念模型?！み壿嫿Y(jié)構(gòu)設計：將概念結(jié)構(gòu)轉(zhuǎn)換為某個DBMS所支持的數(shù)據(jù)模型，并對其進行優(yōu)化?！の锢斫Y(jié)構(gòu)設計：為邏輯數(shù)據(jù)模型選取一個最適合應用環(huán)境的物理結(jié)構(gòu)(包括存儲結(jié)構(gòu)和存取方法)?！?shù)據(jù)庫實施：根據(jù)邏輯設計和物理設計的結(jié)果建立數(shù)據(jù)庫，編制與調(diào)試應用程序，組織數(shù)據(jù)入庫并·數(shù)據(jù)庫運行和維護：在數(shù)據(jù)庫投入正式使用后，不斷地對其進行評價、調(diào)整與修改?？跀?shù)據(jù)庫的安全機制審計制度(Auditsystem)啟用一個專用的審計日志(AuditLog),將用戶對數(shù)據(jù)庫的所有操作記錄在上面。審計員利用審計日志監(jiān)控數(shù)據(jù)庫中的各種行口數(shù)據(jù)庫的典型產(chǎn)品RSI(甲骨文公司前身)MySQLAB(瑞典)。2008年，MySQL被Oracle加州大學伯克利分校(UCB)微軟與Ashton-Tate和Sybase合作推出鍵值數(shù)據(jù)庫Powerset公司，后成為ApacheHadoop項目的一個子項目基于云的數(shù)據(jù)倉庫平臺Teradata(NCR的一個部門，2007年獨立出來)Greenplum公司(2010年被EMC收購，現(xiàn)為VMware的一部分)Databricks公司分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫口數(shù)據(jù)庫的典型產(chǎn)品VersantHadapt即服務aaS即服務aaSDynamo列儲存 Dynamo列儲存 形r口數(shù)據(jù)庫的產(chǎn)業(yè)鏈傳統(tǒng)數(shù)據(jù)庫廠商新興數(shù)據(jù)庫廠商云廠商ICT跨界廠商事務型數(shù)據(jù)庫分析型數(shù)據(jù)庫鍵值型內(nèi)存數(shù)據(jù)庫搜索型數(shù)據(jù)庫時序數(shù)據(jù)庫時空數(shù)據(jù)庫全密態(tài)數(shù)據(jù)庫數(shù)據(jù)庫遷移工具數(shù)據(jù)庫備份恢復工具數(shù)據(jù)庫管理平臺數(shù)據(jù)庫開發(fā)工具數(shù)據(jù)庫服務規(guī)劃設計實施部署運維運營用戶個人家庭消費者政府部門金融證券教育醫(yī)療工業(yè)制造農(nóng)林牧漁交通運輸科學研究口數(shù)據(jù)庫的市場規(guī)模部分數(shù)據(jù)來源：《數(shù)據(jù)庫發(fā)展研究報告(2024年)》,中國通信標準化協(xié)會口國內(nèi)數(shù)據(jù)庫的發(fā)展歷程口國產(chǎn)數(shù)據(jù)庫的代表產(chǎn)品類別廠商產(chǎn)品傳統(tǒng)數(shù)據(jù)庫廠商達夢數(shù)據(jù)庫DMB人大金倉KSOne,KingbaseES,KingbaseAnalyticsDBGBASEGbase8a,Gbase8s,Gbase8c,GbaseXDM萬里數(shù)據(jù)庫GreatDBCluster神舟通用神通數(shù)據(jù)庫，OSCAR新興數(shù)據(jù)庫廠商PingCAPTiDB巨杉數(shù)據(jù)庫SequoiaDB星環(huán)科技TRANSWARPArgoDB,KunDB熱璞科技HOTPUHotDB極數(shù)云舟ArkDBOCEANBASEOceanbase易鯨捷EsgynDB天云數(shù)據(jù)Hubble云和恩墨MogDB愛可生ACTION云樹RDS,云樹Shard云廠商騰訊云TDSQL,TencentDB,TcaplusDB阿里云PolarDB,Lindorm,AnalyticDB華為GaussDB,OpenGauss,TaurusDB金山云Dragonbase,KingDB,KRDS百度智能云GaiaDB,Palo京東云StarDB天麗云TeleDBICT跨界廠商ZTE中興GoldenDBInspur浪潮ZNBase,K-DB新華三H3CSeaSQL口數(shù)據(jù)庫的發(fā)展趨勢·21世紀以來，非關系型數(shù)據(jù)庫發(fā)展非常迅猛。但根據(jù)目前最新的數(shù)據(jù)，關系數(shù)據(jù)庫仍占據(jù)80%以上的市場份額。在可預見的數(shù)據(jù)庫市場中，關系型數(shù)據(jù)庫仍將占據(jù)主導地位?！つ壳暗膫鹘y(tǒng)主流數(shù)據(jù)庫，都以關系模型為主，同時可支持其它非關系模型的數(shù)據(jù)庫類型?！ぴ谛艅?chuàng)戰(zhàn)略下，國產(chǎn)數(shù)據(jù)庫廠商和品類不斷增加，技術(shù)不斷走向成熟，市場份額有顯著的提升?？跀?shù)據(jù)庫發(fā)展所面臨的挑戰(zhàn)(1)——數(shù)據(jù)量急劇增長口數(shù)據(jù)庫發(fā)展所面臨的挑戰(zhàn)(2)——實時性要求口數(shù)據(jù)庫發(fā)展所面臨的挑戰(zhàn)(3)——安全與隱私口數(shù)據(jù)庫發(fā)展所面臨的挑戰(zhàn)(4)——一致性和可靠性口數(shù)據(jù)庫發(fā)展所面臨的挑戰(zhàn)(5)——多模與跨平臺口數(shù)據(jù)庫發(fā)展所面臨的挑戰(zhàn)(6)——管理和運維挑戰(zhàn)解決方案口開源數(shù)據(jù)庫·開源數(shù)據(jù)庫通常是免費的社區(qū)數(shù)據(jù)庫，其源代碼對外開放，開發(fā)人員可以在其原始設計基礎上修改或使用。·優(yōu)勢：規(guī)避了高昂的授權(quán)費用和服務費用，成本較低、產(chǎn)品豐富，有活躍的社區(qū)支持?！ち觿荩阂子眯圆蛔?，配套能力、服務能力跟不上，產(chǎn)品功能完善度不足?！ぎ斍叭蜷_源關系型數(shù)據(jù)庫主要有MySQL和PostgreSQL,開源非關系型數(shù)據(jù)庫主要有MongoDB、Hbase、Cassandra、CouchDB、Redis等?？跀?shù)據(jù)庫+云計算·在商業(yè)模式上，其可簡單劃分為公有云部署和私有云部署模式?！す性茢?shù)據(jù)庫多以云廠商自有產(chǎn)品和開源產(chǎn)品為主。在金融、政府、運營商等關鍵應用領域中，本地部署(含私有云)的優(yōu)勢較為明顯，成為客戶的首選?？诙嗄?shù)據(jù)庫(Multi-ModelDatabase)·多模數(shù)據(jù)庫是指能夠支持處理多種數(shù)據(jù)模式混合(例如關系、KV、文檔、圖、時序等)的數(shù)據(jù)庫?！ざ嗄?shù)據(jù)庫支持靈活的數(shù)據(jù)存儲類型，將各種類型的數(shù)據(jù)進行集中存儲、查詢和處理，可以同時滿足應用程序?qū)τ诮Y(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理需求?！の磥矶嗄?shù)據(jù)