鯤鵬智能計(jì)算導(dǎo)論 課件 第5章 鯤鵬openGauss數(shù)據(jù)庫

第5章

鯤鵬openGauss數(shù)據(jù)庫鯤鵬智能計(jì)算導(dǎo)論5.1數(shù)據(jù)庫基礎(chǔ)知識5.2openGauss數(shù)據(jù)庫5.3openGauss的安裝學(xué)習(xí)要點(diǎn)5.1.1 數(shù)據(jù)庫的發(fā)展史相較于數(shù)據(jù)管理的人工管理階段和文件系統(tǒng)階段，數(shù)據(jù)庫系統(tǒng)階段具有以下特點(diǎn)。整體數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)共享度高易擴(kuò)充物理獨(dú)立性邏輯獨(dú)立性具有統(tǒng)一的管理與控制5.1.1 數(shù)據(jù)庫的發(fā)展史自數(shù)據(jù)庫管理系統(tǒng)發(fā)展以來，誕生了多種數(shù)據(jù)庫模型，其中典型的數(shù)據(jù)庫模型有層次模型、網(wǎng)狀模型和關(guān)系模型等。層次模型網(wǎng)狀模型關(guān)系模型5.1.1 數(shù)據(jù)庫的發(fā)展史層次模型的優(yōu)點(diǎn)在于擁有簡單、清晰的數(shù)據(jù)結(jié)構(gòu)和較高的查詢效率，但在多對多的情況下，會出現(xiàn)數(shù)據(jù)冗余，以及無法清晰描述現(xiàn)實(shí)世界中的非層次關(guān)系的問題。網(wǎng)狀模型具有較好的存取性能，也能應(yīng)對復(fù)雜的多對多的現(xiàn)實(shí)場景，但隨著業(yè)務(wù)增多，結(jié)構(gòu)會越來越復(fù)雜。相較于以上兩種模型，關(guān)系模型雖然存取效率不高，但是建立在嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)上，能夠使用關(guān)系來表示實(shí)體與實(shí)體之間的關(guān)系，并且具有較高的獨(dú)立性和保密性，能簡化程序員的開發(fā)工作。因此，關(guān)系模型以其強(qiáng)大的靈活性和適應(yīng)性成了開發(fā)者的首選數(shù)據(jù)庫模型。典型的關(guān)系數(shù)據(jù)庫有DB2、Oracle、MySQL、GaussDB、OceanBase、TiDB等。非關(guān)系數(shù)據(jù)庫的誕生是為了解決大規(guī)模數(shù)據(jù)集合、多重?cái)?shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題。NoSQL一詞最早出現(xiàn)于1998年，是卡羅·斯特羅茲開發(fā)的一個(gè)輕量級、開源、不提供SQL功能的基于Shell的關(guān)系數(shù)據(jù)庫。2009年，NoSQL再次被提出時(shí)，其概念已經(jīng)改變了，現(xiàn)在被廣泛接受的NoSQL，其含義是“NotOnlySQL”，是對不同于傳統(tǒng)關(guān)系數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)的統(tǒng)稱。5.1.1 數(shù)據(jù)庫的發(fā)展史NoSQL多采用對數(shù)據(jù)進(jìn)行分區(qū)或者分布的方式，對數(shù)據(jù)進(jìn)行分散，同時(shí)利用大量節(jié)點(diǎn)并行處理獲得高性能；NoSQL用于超大規(guī)模數(shù)據(jù)的存儲，這些類型的數(shù)據(jù)存儲不需要固定的模式，無須多余操作就可以橫向擴(kuò)展；對于NoSQL的事務(wù)，降低原子性、一致性、隔離性和持久性（ACID）一致性約束，允許出現(xiàn)暫時(shí)不一致，接受最終一致，多采用一致性、可用性和分區(qū)容錯(cuò)性（CAP）理論和BASE原則。BASE原則CAP理論任何分布式系統(tǒng)無法同時(shí)滿足一致性、可用性和分區(qū)容錯(cuò)性，最多只能滿足其中的兩個(gè)?；究捎茫˙asicallyAvailable），系統(tǒng)能夠基本運(yùn)行、一直提供服務(wù)；軟狀態(tài)（Soft-State），系統(tǒng)不要求一直保持強(qiáng)一致狀態(tài)；最終一致性（EventualConsistency），系統(tǒng)需要在某一時(shí)刻后達(dá)到一致性要求。CAP理論5.1.1 數(shù)據(jù)庫的發(fā)展史常見NoSQL數(shù)據(jù)庫類型NewSQL被定義為下一代數(shù)據(jù)庫，是對各種新的可擴(kuò)展/高性能數(shù)據(jù)庫的統(tǒng)稱，兼具NoSQL數(shù)據(jù)庫的海量存儲管理能力和關(guān)系數(shù)據(jù)庫的ACID特性及SQL便利性。支持關(guān)系模型使用SQL作為主要接口滿足分布式數(shù)據(jù)庫5.1.1 數(shù)據(jù)庫的發(fā)展史NewSQL的新特性主要表現(xiàn)在對關(guān)系數(shù)據(jù)庫事務(wù)特性和SQL機(jī)制的支持，以及對分布式數(shù)據(jù)庫特性的支持。架構(gòu)：代表數(shù)據(jù)庫有GoogleSpanner、VoltDB、Clustrix、NuoDB。這類數(shù)據(jù)庫工作在分布式節(jié)點(diǎn)集群上，數(shù)據(jù)分片存儲，SQL查詢在不同節(jié)點(diǎn)上分片計(jì)算。SQL引擎：代表數(shù)據(jù)庫有TokuDB、MemSQL。這類數(shù)據(jù)庫有高度優(yōu)化的SQL引擎。分片模式：代表數(shù)據(jù)庫有ScaleBase、dbShards、ScaleArc。這類數(shù)據(jù)庫提供分片中間件層，數(shù)據(jù)自動分布在多個(gè)節(jié)點(diǎn)上運(yùn)行。5.1.1 數(shù)據(jù)庫的發(fā)展史云數(shù)據(jù)庫和AI原生數(shù)據(jù)庫也屬于NewSQL，特點(diǎn)是將云和AI能力融入數(shù)據(jù)庫技術(shù)。隨著云計(jì)算技術(shù)的大規(guī)模應(yīng)用，傳統(tǒng)的各類軟件都開始由獨(dú)自部署模式向云服務(wù)模式轉(zhuǎn)變。其中，數(shù)據(jù)庫作為信息系統(tǒng)的核心軟件，逐漸被數(shù)據(jù)庫企業(yè)附加云化能力，形成云數(shù)據(jù)庫，以服務(wù)或產(chǎn)品形式對外提供技術(shù)支撐。云數(shù)據(jù)庫也將作為未來數(shù)據(jù)庫的發(fā)展形態(tài)，以支撐各類業(yè)務(wù)場景。隨著AI技術(shù)的發(fā)展，AI與數(shù)據(jù)庫的融合越來越緊密。為了提高數(shù)據(jù)庫處理AI相關(guān)數(shù)據(jù)的存取能力，數(shù)據(jù)庫中設(shè)計(jì)了更多適合AI調(diào)用的算法或函數(shù)；同時(shí)，為了提高數(shù)據(jù)庫的運(yùn)維能力，將AI相關(guān)技術(shù)融入數(shù)據(jù)庫運(yùn)維，形成數(shù)據(jù)庫的自治、自我優(yōu)化能力，使數(shù)據(jù)庫能夠更加智能運(yùn)行、維護(hù)和管理。目前AI原生數(shù)據(jù)庫還處于起步階段，面臨著許多挑戰(zhàn)，但也有部分?jǐn)?shù)據(jù)庫產(chǎn)品開始嘗試將AI技術(shù)融入數(shù)據(jù)庫。5.1.2 數(shù)據(jù)庫相關(guān)概念OLTPLTP系統(tǒng)用于基本的、日常的事務(wù)處理，如銀行儲蓄業(yè)務(wù)的存取交易、轉(zhuǎn)賬交易等。這類業(yè)務(wù)吞吐量大、并發(fā)度高，響應(yīng)要求接近實(shí)時(shí)。典型的OLTP系統(tǒng)有零售系統(tǒng)、金融交易系統(tǒng)、秒殺系統(tǒng)等。OLAPOLAP系統(tǒng)用于對數(shù)據(jù)進(jìn)行查詢和分析。查詢和分析操作所涉及的數(shù)據(jù)通常具有歷史周期長、數(shù)據(jù)量大的特點(diǎn)，并且需要在不同層級上進(jìn)行匯總、聚合操作，這些因素使得OLAP系統(tǒng)的事務(wù)處理操作比較復(fù)雜。OLAP系統(tǒng)主要面向復(fù)雜查詢，回答一些“戰(zhàn)略性”問題。在數(shù)據(jù)處理方面，OLAP系統(tǒng)聚焦于數(shù)據(jù)的聚合、匯總、分組計(jì)算、窗口計(jì)算等“分析型”數(shù)據(jù)加工和操作，從多維度去使用和分析數(shù)據(jù)。典型的OLAP系統(tǒng)有報(bào)表系統(tǒng)、數(shù)據(jù)集市、數(shù)據(jù)倉庫等。OLTP系統(tǒng)面向事務(wù)，而OLAP系統(tǒng)面向分析；OLTP系統(tǒng)處理的是業(yè)務(wù)系統(tǒng)交易的詳細(xì)數(shù)據(jù)，OLAP系統(tǒng)在基于詳細(xì)交易數(shù)據(jù)的基礎(chǔ)上，進(jìn)行匯總、聚合、關(guān)聯(lián)等提煉處理；OLTP系統(tǒng)用于處理瞬時(shí)發(fā)生的事務(wù)，OLAP系統(tǒng)用于分析長期歷史數(shù)據(jù)的變化趨勢；OLTP系統(tǒng)是事務(wù)驅(qū)動的，需求來自于業(yè)務(wù)要實(shí)現(xiàn)的事務(wù)性需求，以事務(wù)性需求來驅(qū)動應(yīng)用的開發(fā)，而OLAP系統(tǒng)主要用于滿足分析需求。5.1.2 數(shù)據(jù)庫相關(guān)概念數(shù)據(jù)庫實(shí)例數(shù)據(jù)庫實(shí)例（DatabaseInstance）指的就是操作系統(tǒng)中的一系列進(jìn)程及為這些進(jìn)程所分配的內(nèi)存塊，它是訪問數(shù)據(jù)庫的通道。通常來說，一個(gè)數(shù)據(jù)庫實(shí)例對應(yīng)一個(gè)數(shù)據(jù)庫。數(shù)據(jù)庫是物理存儲的數(shù)據(jù)，數(shù)據(jù)庫實(shí)例就是訪問數(shù)據(jù)的軟件進(jìn)程、線程和內(nèi)存的集合。部分?jǐn)?shù)據(jù)庫是基于進(jìn)程的（如Oracle數(shù)據(jù)庫），此時(shí)數(shù)據(jù)庫實(shí)例是一系列進(jìn)程，也有一些數(shù)據(jù)庫實(shí)例是一系列線程（如MySQL和openGauss），以及線程所關(guān)聯(lián)的內(nèi)存的集合。多實(shí)例就是指在一臺物理服務(wù)器上搭建、運(yùn)行的多個(gè)數(shù)據(jù)庫實(shí)例。每個(gè)實(shí)例使用不同端口，通過不同Socket監(jiān)聽，每個(gè)實(shí)例擁有獨(dú)立參數(shù)配置文件。5.1.2 數(shù)據(jù)庫相關(guān)概念分布式集群分布式集群是一組相互獨(dú)立的服務(wù)器通過高速網(wǎng)絡(luò)組成的一個(gè)計(jì)算機(jī)系統(tǒng)。分布式數(shù)據(jù)庫對外體現(xiàn)為統(tǒng)一的一個(gè)實(shí)例，一般不允許用戶直接連接數(shù)據(jù)節(jié)點(diǎn)上的實(shí)例。分布式集群中的每臺服務(wù)器中都可能有數(shù)據(jù)庫的一份完整副本或者部分副本，所有服務(wù)器通過網(wǎng)絡(luò)互連，共同組成一個(gè)完整的、全局的，邏輯上集中、物理上分布的大型數(shù)據(jù)庫。5.1.2 數(shù)據(jù)庫相關(guān)概念數(shù)據(jù)庫連接數(shù)據(jù)庫連接（Connection）是物理層面的通信連接，指的是通過一個(gè)網(wǎng)絡(luò)建立的客戶端和專有服務(wù)器（DedicatedServer）或調(diào)度器（Scheduler）之間的一個(gè)網(wǎng)絡(luò)連接。在建立連接的時(shí)候，需要指定連接的參數(shù)，如服務(wù)器主機(jī)名或者IP地址、端口號、連接的用戶名和密碼等。數(shù)據(jù)庫會話數(shù)據(jù)庫會話（Session）指的是客戶端和數(shù)據(jù)庫之間通信的邏輯連接。通信雙方從通信開始到通信結(jié)束期間的上下文（Context）記錄了本次連接的客戶端機(jī)器、對應(yīng)的應(yīng)用程序進(jìn)程號、對應(yīng)的用戶登錄等信息，它位于服務(wù)器端的內(nèi)存中。 會話和連接是同時(shí)建立的，兩者是對同一件事情不同層次的描述。簡單來說，連接是物理上的客戶端與服務(wù)器的通信鏈路，而會話指的是邏輯上用戶與服務(wù)器的通信交互。在數(shù)據(jù)庫連接中，專有服務(wù)器就是數(shù)據(jù)庫服務(wù)器上的實(shí)例。5.1.2 數(shù)據(jù)庫相關(guān)概念schemaschema是數(shù)據(jù)庫形式語言描述的一種結(jié)構(gòu)，是對象的集合，允許多個(gè)用戶使用同一個(gè)數(shù)據(jù)庫，而不干擾其他用戶。schema把數(shù)據(jù)庫對象組織成邏輯組，讓它們更便于管理，形成名稱空間，避免對象的名稱沖突。schema包含表及其他數(shù)據(jù)庫對象，如數(shù)據(jù)類型、函數(shù)、操作符等。5.1.2 數(shù)據(jù)庫相關(guān)概念表空間表空間是由一個(gè)或多個(gè)數(shù)據(jù)文件組成的，用戶可以通過表空間定義數(shù)據(jù)庫對象文件的存儲位置，數(shù)據(jù)庫中的所有對象在邏輯上都存放在表空間中，在物理上存儲在表空間所屬的數(shù)據(jù)文件中。表空間的作用是根據(jù)數(shù)據(jù)庫對象使用模式安排數(shù)據(jù)物理存儲位置，能夠提高性能?？梢酝ㄟ^表空間指定數(shù)據(jù)占用的物理磁盤空間，限制物理空間使用上限，避免磁盤空間被耗盡。因?yàn)楸砜臻g和物理數(shù)據(jù)文件相對應(yīng)，所以表空間實(shí)際上就能把數(shù)據(jù)和存儲關(guān)聯(lián)起來。表空間用來指定數(shù)據(jù)庫中表、索引等數(shù)據(jù)庫對象的存儲位置。管理員創(chuàng)建表空間后，可以在創(chuàng)建數(shù)據(jù)庫對象時(shí)引用它。5.1.2 數(shù)據(jù)庫相關(guān)概念數(shù)據(jù)庫表：在關(guān)系數(shù)據(jù)庫中，數(shù)據(jù)庫表是一系列二維數(shù)組的集合。表：通過表來描述實(shí)體，表中的每一行稱為一個(gè)記錄，由若干個(gè)字段組成。字段：字段也叫作屬性，表中的每一列可以稱為一個(gè)字段，字段包括列名和數(shù)據(jù)類型這兩個(gè)屬性。5.1.2 數(shù)據(jù)庫相關(guān)概念事務(wù)事務(wù)是用戶定義的數(shù)據(jù)操作序列，這些操作作為一個(gè)完整的工作單元執(zhí)行，數(shù)據(jù)庫中的數(shù)據(jù)是共享的，允許多用戶同時(shí)訪問相同數(shù)據(jù)，當(dāng)多個(gè)用戶同時(shí)對同一段數(shù)據(jù)進(jìn)行增加、刪除、修改、查詢（以下簡稱增刪改查）的操作時(shí)，如果不采取任何措施，則會造成數(shù)據(jù)異常。事務(wù)特征主要是指ACID特性，具體如下。原子性一致性持久性隔離性事務(wù)結(jié)束的標(biāo)記有兩個(gè)：正常結(jié)束，COMMIT（提交事務(wù)）；異常結(jié)束，ROLLBACK（回滾事務(wù)）。提交事務(wù)之后，事務(wù)的所有操作都會物理地保存在數(shù)據(jù)庫中，成為永久操作。事務(wù)回滾之后，事務(wù)中的全部操作都會被撤銷，數(shù)據(jù)庫又會回到事務(wù)開始之前的狀態(tài)。5.1.3 結(jié)構(gòu)查詢語言數(shù)據(jù)描述語言（DataDescriptionLanguage，DDL）語句01OPTION定義表空間：包括創(chuàng)建表空間（CreateTablespace）、修改表空間（AlterTablespace）、刪除表空間（DropTablespace）。定義表：包括創(chuàng)建表（CreateTable）、修改表屬性（AlterTable）、刪除表（DropTable）、刪除表中所有數(shù)據(jù)（TruncateTable）。定義索引：包括創(chuàng)建索引（CreateIndex）、修改索引屬性（AlterIndex）、刪除索引（DropIndex）。定義角色：包括創(chuàng)建角色（CreateRole）、刪除角色（DropRole）。定義用戶：包括創(chuàng)建用戶（CreateUser）、修改用戶屬性（AlterUser）、刪除用戶（DropUser）。定義視圖：包括創(chuàng)建視圖（CreateView）、刪除視圖（DropView）。定義事件：包括創(chuàng)建序列（CreateSequence）、修改序列（AlterSequence）、刪除序列（DropSequence）。定義數(shù)據(jù)庫：包括創(chuàng)建數(shù)據(jù)庫（CreateDatabase）、修改數(shù)據(jù)庫屬性（AlterDatabase）、刪除數(shù)據(jù)庫（DropDatabase）。5.1.3 結(jié)構(gòu)查詢語言數(shù)據(jù)操縱語言（DataManipulationLanguage，DML）語句02OPTION數(shù)據(jù)控制語言（DataControlLanguage，DCL）語句03OPTION插入數(shù)據(jù)（Insert）更新數(shù)據(jù)（Update）刪除數(shù)據(jù)（Delete）查詢數(shù)據(jù)（Select）授予權(quán)限（Grant）回收權(quán)限（Revoke）5.1數(shù)據(jù)庫基礎(chǔ)知識5.2openGauss數(shù)據(jù)庫5.3openGauss的安裝學(xué)習(xí)要點(diǎn)5.2.1 openGauss數(shù)據(jù)庫概述openGauss發(fā)展歷程年份發(fā)展概述2001—2011用作企業(yè)級內(nèi)存數(shù)據(jù)庫2011—2020GaussDB（DWS）華為云商用，支撐了公司內(nèi)部40多項(xiàng)主力業(yè)務(wù)，在全球擁有70多個(gè)運(yùn)營商，規(guī)模商用3萬多套，服務(wù)全球20多億人2019年5月15日，GaussDB向全球發(fā)布；構(gòu)筑GaussDB生態(tài)；兼容行業(yè)主流生態(tài)，完成與金融等行業(yè)的對接2020至今openGauss集中式版本開源，引領(lǐng)生態(tài)建設(shè)，促進(jìn)數(shù)據(jù)庫教育事業(yè)發(fā)展5.2.1 openGauss數(shù)據(jù)庫概述openGauss的技術(shù)特點(diǎn)基于多核架構(gòu)的并發(fā)控制技術(shù)、NUMA-Aware存儲引擎、SQL-Bypass智能選路執(zhí)行技術(shù)，釋放處理器多核擴(kuò)展能力，實(shí)現(xiàn)兩路鯤鵬128核場景150萬tpmC性能。tpmC值在國內(nèi)外被廣泛用于衡量計(jì)算機(jī)系統(tǒng)的事務(wù)處理能力，表示數(shù)據(jù)庫每分鐘能夠處理的事務(wù)數(shù)量。支持恢復(fù)時(shí)間目標(biāo)（RecoveryTimeObjective，RTO）低于10s的快速故障倒換、全鏈路數(shù)據(jù)保護(hù)，滿足安全性及可靠性要求。通過智能參數(shù)調(diào)優(yōu)、慢SQL診斷、多維性能自監(jiān)控、在線SQL時(shí)間預(yù)測等能力，使運(yùn)維化繁為簡。5.2.1 openGauss數(shù)據(jù)庫概述openGauss生態(tài)5.2.2 openGauss的特性高性能01OPTIONopenGauss根據(jù)鯤鵬處理器的多核NUMA架構(gòu)的特點(diǎn)，針對性地進(jìn)行了一系列與NUMA架構(gòu)相關(guān)的優(yōu)化，一方面盡量減少跨核內(nèi)存訪問的時(shí)延，另一方面充分發(fā)揮鯤鵬多核算力優(yōu)勢。openGauss使用了基于代價(jià)的優(yōu)化器（Cost-BasedOptimization，CBO）。除CBO外，基于規(guī)則的優(yōu)化器（Rule-BasedOptimization，RBO）是另一種優(yōu)化器。RBO根據(jù)數(shù)據(jù)庫制定好的規(guī)則，選擇對應(yīng)的執(zhí)行計(jì)劃，執(zhí)行SQL語句，如制訂涉及索引的SQL時(shí)，執(zhí)行計(jì)劃就一定要使用索引。openGauss同時(shí)支持行存與列存。行存表將數(shù)據(jù)按照行的形式進(jìn)行連續(xù)存儲，每行都具有所有屬性，如學(xué)員信息表的一行中會包含該學(xué)員的姓名、性別、年齡、學(xué)號、入學(xué)時(shí)間等信息，通過這個(gè)記錄就能刻畫出該學(xué)員的畫像。列存表將數(shù)據(jù)以列的方式進(jìn)行連續(xù)存儲，每列的多個(gè)記錄存儲到一起，如學(xué)員信息表的某段連續(xù)區(qū)域中存儲了所有學(xué)員的姓名，下一段連續(xù)區(qū)域中存儲了所有學(xué)員的性別。高可用性是指系統(tǒng)無中斷地執(zhí)行功能的能力，代表系統(tǒng)的可用性程度，是進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)的準(zhǔn)則之一。高可用性系統(tǒng)與構(gòu)成該系統(tǒng)的各個(gè)組件相比，可以更長時(shí)間的運(yùn)行。作為支撐系統(tǒng)的基礎(chǔ)軟件，openGauss使用主備架構(gòu)保障數(shù)據(jù)庫的高可用性。5.2.2 openGauss的特性高可用性02OPTIONopenGauss的主備架構(gòu)5.2.2 openGauss的特性高安全性03OPTION用戶、角色、權(quán)限的關(guān)系openGauss通過基于角色的訪問控制（Role-BasedAccessControl，RBAC）管理用戶對數(shù)據(jù)庫的訪問控制權(quán)限。RBAC通過為角色賦予權(quán)限，使用戶成為適當(dāng)?shù)慕巧玫竭@些角色的權(quán)限。使用RBAC可以極大地簡化對權(quán)限的管理。openGauss支持行級訪問控制。行級訪問控制特性是指將數(shù)據(jù)庫訪問控制精確到數(shù)據(jù)表行級別，使數(shù)據(jù)庫達(dá)到行級訪問控制的能力。不同用戶執(zhí)行相同的SQL查詢操作，讀取到的結(jié)果是不同的，受影響的SQL語句包括SELECT、UPDATE、DELETE等。5.2.2 openGauss的特性易維護(hù)性04OPTIONACBopenGauss提供負(fù)載診斷報(bào)告openGauss提供慢SQL診斷openGauss支