云數(shù)據(jù)庫(kù)方案設(shè)計(jì)

1、.云數(shù)據(jù)庫(kù)方案設(shè)計(jì)一、 云數(shù)據(jù)庫(kù)的云化改造面向云化環(huán)境，數(shù)據(jù)庫(kù)在多個(gè)方面需要進(jìn)行改造，包括快捷的安裝部署，提供數(shù)據(jù)庫(kù)的動(dòng)態(tài)伸縮和資源隔離，以及監(jiān)控、遷移、備份等一體化管理，以適應(yīng)云環(huán)境中自動(dòng)安裝部署、一體化監(jiān)控管理，資源動(dòng)態(tài)分配等需求。1. 快速安裝及部署1.1 一鍵部署和分鐘級(jí)實(shí)例的創(chuàng)建:1. 準(zhǔn)備好預(yù)置數(shù)據(jù)庫(kù)的docker鏡像 a. 初始化好空數(shù)據(jù)目錄（也支持根據(jù)場(chǎng)景預(yù)置數(shù)據(jù)） b. 數(shù)據(jù)庫(kù)配置文件放置在docker鏡像之外，通過(guò)映射的方式進(jìn)入鏡像內(nèi)部2. 用戶(hù)選擇實(shí)例資源后（CPU、內(nèi)存），系統(tǒng)自動(dòng)計(jì)算最佳設(shè)置 a. 用戶(hù)選擇實(shí)例的內(nèi)存、CPU數(shù)量，使用場(chǎng)景（OLTP、OLAP） b.

2、根據(jù)用戶(hù)選擇，自動(dòng)調(diào)整、優(yōu)化參數(shù)（共享緩存、work_mem、等等） 3. 使用docker鏡像加載外置配置文件啟動(dòng)數(shù)據(jù)1.2 多種部署方式 1. 單機(jī)（單獨(dú)的docker鏡像）2. 主備 和 負(fù)載均衡 a). 配置好的三個(gè)獨(dú)立docker鏡像，分別扮演主機(jī)、備機(jī)、讀寫(xiě)分離節(jié)點(diǎn) b). 三個(gè)節(jié)點(diǎn)配置文件都在外部，映射到內(nèi)部運(yùn)行 c). 啟動(dòng)時(shí)，根據(jù)用戶(hù)的資源選擇和網(wǎng)絡(luò)場(chǎng)景，自動(dòng)規(guī)劃配置文件內(nèi)容3. KADB 集群 a). 根據(jù)角色配置好獨(dú)立的docker鏡像，分別扮演數(shù)據(jù)節(jié)點(diǎn)、協(xié)調(diào)器節(jié)點(diǎn)等 b). 節(jié)點(diǎn)的配置文件都放在外部，映射到內(nèi)部運(yùn)行 c). 根據(jù)用戶(hù)設(shè)置的資源，場(chǎng)景，自動(dòng)分配節(jié)點(diǎn)數(shù)量，配

3、置節(jié)點(diǎn)參數(shù).2. 在線伸縮云環(huán)境中，支持在線調(diào)整任何一個(gè)實(shí)例使用的資源。對(duì)于數(shù)據(jù)庫(kù)而言，若分配的資源，包括CPU、內(nèi)存、磁盤(pán)等資源發(fā)生變化，數(shù)據(jù)庫(kù)同樣需要對(duì)于資源的變化實(shí)施生效。CPU變化時(shí)，主要影響數(shù)據(jù)庫(kù)的并發(fā)連接數(shù)和并行參數(shù)，在金倉(cāng)云數(shù)據(jù)庫(kù)中，并發(fā)連接數(shù)和并行參數(shù)可以動(dòng)態(tài)調(diào)整。內(nèi)存發(fā)生變化時(shí)，數(shù)據(jù)庫(kù)的共享內(nèi)存，排序內(nèi)存等內(nèi)存分配支持動(dòng)態(tài)調(diào)整，動(dòng)態(tài)擴(kuò)展。磁盤(pán)發(fā)生變化時(shí)，數(shù)據(jù)庫(kù)可以配置表空間的存儲(chǔ)，以及表存儲(chǔ)，分區(qū)的存儲(chǔ)，動(dòng)態(tài)使用新增資源。另外，隨著實(shí)際業(yè)務(wù)的增長(zhǎng)，數(shù)據(jù)庫(kù)集群的負(fù)載可能超出初始設(shè)計(jì)的承受能力，使得處理能力下降，不再滿(mǎn)足業(yè)務(wù)需求，所以數(shù)據(jù)庫(kù)集群支持在線擴(kuò)展能力，即在不影響系統(tǒng)正常

4、使用的情況下，增加數(shù)據(jù)庫(kù)的數(shù)據(jù)處理能力。3. 資源隔離KingbaseES云數(shù)據(jù)庫(kù)支持多租戶(hù)模式，以實(shí)現(xiàn)多個(gè)租戶(hù)之間的資源隔離。每個(gè)租戶(hù)創(chuàng)建自己的數(shù)據(jù)庫(kù)，各自的數(shù)據(jù)庫(kù)從元信息、用戶(hù)數(shù)據(jù)到內(nèi)存、以及日志信息，都是彼此隔離的。每個(gè)租戶(hù)的數(shù)據(jù)庫(kù)不可以彼此訪問(wèn)。各個(gè)租戶(hù)的數(shù)據(jù)庫(kù)可以方便的遷移和加載，支持各自的備份和恢復(fù)。4. 一體化管理使用 KEM 監(jiān)控?cái)?shù)據(jù)庫(kù)運(yùn)行狀態(tài) a). 支持自主監(jiān)控（由KEM主動(dòng)呈現(xiàn)） b). 支持將收集的數(shù)據(jù)匯集到其他管理平臺(tái)使用 WEB 對(duì)象管理工具管理數(shù)據(jù)庫(kù)對(duì)象a). 單機(jī)形式的數(shù)據(jù)庫(kù)對(duì)象管理b). 主備形式的數(shù)據(jù)庫(kù)對(duì)象管理c). KADB集群數(shù)據(jù)庫(kù)對(duì)象管理二、向非關(guān)系型

5、存儲(chǔ)、大數(shù)據(jù)處理進(jìn)行擴(kuò)展1. 通用數(shù)據(jù)庫(kù)通用數(shù)據(jù)庫(kù)按照處理業(yè)務(wù)的類(lèi)型，分為交易型數(shù)據(jù)庫(kù)和分析型數(shù)據(jù)庫(kù)。1. 交易數(shù)據(jù)庫(kù)主要用于交易類(lèi)型的業(yè)務(wù)處理，例如：業(yè)務(wù)流程電子化，其他業(yè)務(wù)系統(tǒng)。面向所有參與業(yè)務(wù)流程的人員。對(duì)數(shù)據(jù)的操作特點(diǎn)是：大量短、頻、快的增刪改操作。2. 分析型數(shù)據(jù)庫(kù)主要用于統(tǒng)計(jì)分析，數(shù)據(jù)挖掘應(yīng)用。面向決策者和分析人員。對(duì)數(shù)據(jù)庫(kù)的操作特點(diǎn)是：大量數(shù)據(jù)入庫(kù)，大量復(fù)雜查詢(xún)。云上的數(shù)據(jù)庫(kù)需要有這兩種數(shù)據(jù)庫(kù)，來(lái)應(yīng)對(duì)更多的用戶(hù)應(yīng)用需求。2. 與大數(shù)據(jù)平臺(tái)的互訪大數(shù)據(jù)計(jì)算平臺(tái)，例如Spark、HIVE等，需要支持大數(shù)據(jù)計(jì)算平臺(tái)與數(shù)據(jù)庫(kù)互訪。以大數(shù)據(jù)計(jì)算平臺(tái)為中心，建立分析平臺(tái)。1. 大數(shù)據(jù)計(jì)算平臺(tái)

6、訪問(wèn)數(shù)據(jù)庫(kù)a)大數(shù)據(jù)計(jì)算平臺(tái)Spark：可以提供JdbcRDD來(lái)訪問(wèn)單機(jī)數(shù)據(jù)庫(kù)系統(tǒng)，并且根據(jù)某列對(duì)表進(jìn)行分區(qū)，并行讀取，提升效率。對(duì)于集群數(shù)據(jù)庫(kù)，Spark工作進(jìn)程可以對(duì)每一個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)讀取，通過(guò)這種并行的方式提升效率。b)大數(shù)據(jù)計(jì)算平臺(tái)HIVE：需要在HIVE中注冊(cè)數(shù)據(jù)庫(kù)表信息，將數(shù)據(jù)庫(kù)的表映射成HIVE表，通過(guò)Hive-SQL進(jìn)行數(shù)據(jù)讀取，并在HIVE中進(jìn)行運(yùn)算。2. 數(shù)據(jù)庫(kù)訪問(wèn)大數(shù)據(jù)計(jì)算平臺(tái)大數(shù)據(jù)計(jì)算平臺(tái)可以將數(shù)據(jù)，例如計(jì)算結(jié)果，寫(xiě)入到數(shù)據(jù)庫(kù)中，再在數(shù)據(jù)庫(kù)中，利用SQL對(duì)數(shù)據(jù)進(jìn)行分析。3. 云數(shù)據(jù)集成3.1 與RDS的數(shù)據(jù)集成數(shù)據(jù)庫(kù)使用外部表技術(shù)，可以訪問(wèn)RDS中的其他數(shù)據(jù)。支持多種格式的數(shù)據(jù)；支持訪問(wèn)和更新數(shù)據(jù)。同時(shí)，使用遷移工具實(shí)現(xiàn)到RDS的數(shù)據(jù)集成。3.2.與大數(shù)據(jù)存儲(chǔ)平臺(tái)的數(shù)據(jù)集成數(shù)據(jù)庫(kù)提供外部表技術(shù)，可以將交易型和分析型數(shù)據(jù)庫(kù)與其他存儲(chǔ)平臺(tái)對(duì)接，在數(shù)據(jù)庫(kù)內(nèi)部，通過(guò)外部表訪問(wèn)大數(shù)據(jù)存儲(chǔ)平臺(tái)中的數(shù)據(jù)，包括：a)與HDFS對(duì)接：外部表訪問(wèn)引擎（讀寫(xiě)模塊），通過(guò)調(diào)用HDFS的訪問(wèn)接口（InputFormat，OutputFormat），對(duì)Textfile，Avrofile，ParquetFile的文件進(jìn)行讀寫(xiě)?？梢栽跀?shù)據(jù)庫(kù)中對(duì)HDF