云數(shù)據(jù)庫方案設(shè)計

1、云數(shù)據(jù)庫方案設(shè)計云數(shù)據(jù)庫方案設(shè)計一、一、云云數(shù)據(jù)庫的云化改造數(shù)據(jù)庫的云化改造面向云化環(huán)境，數(shù)據(jù)庫在多個方面需要進(jìn)行改造， 包括快捷的安裝部署，提供數(shù)據(jù)庫的動態(tài)伸縮和資源隔離，以及監(jiān)控、遷移、備份等一體化管理，以適應(yīng)云環(huán)境中自動安裝部署、一體化監(jiān)控管理，資源動態(tài)分配等需求。1. 1. 快速安裝及部署快速安裝及部署1.11.1 一鍵部署和分鐘級實(shí)例的創(chuàng)建一鍵部署和分鐘級實(shí)例的創(chuàng)建: :1. 準(zhǔn)備好預(yù)置數(shù)據(jù)庫的 docker 鏡像 a. 初始化好空數(shù)據(jù)目錄（也支持根據(jù)場景預(yù)置數(shù)據(jù)） b. 數(shù)據(jù)庫配置文件放置在 docker 鏡像之外，通過映射的方式進(jìn)入鏡像內(nèi)部2. 用戶選擇實(shí)例資源后（cpu、內(nèi)存）

2、 ，系統(tǒng)自動計算最佳設(shè)置 a. 用戶選擇實(shí)例的內(nèi)存、 cpu 數(shù)量， 使用場景 （oltp、 olap） b. 根據(jù)用戶選擇，自動調(diào)整、優(yōu)化參數(shù)（共享緩存、work_mem、等等） 3. 使用 docker 鏡像加載外置配置文件啟動數(shù)據(jù)1.21.2 多種部署方式多種部署方式1. 單機(jī)（單獨(dú)的 docker 鏡像）2. 主備 和 負(fù)載均衡 a). 配置好的三個獨(dú)立 docker 鏡像，分別扮演主機(jī)、備機(jī)、讀寫分離節(jié)點(diǎn) b). 三個節(jié)點(diǎn)配置文件都在外部，映射到內(nèi)部運(yùn)行 c). 啟動時，根據(jù)用戶的資源選擇和網(wǎng)絡(luò)場景，自動規(guī)劃配置文件內(nèi)容3. kadb 集群 a). 根據(jù)角色配置好獨(dú)立的 docker

3、 鏡像， 分別扮演數(shù)據(jù)節(jié)點(diǎn)、協(xié)調(diào)器節(jié)點(diǎn)等 b). 節(jié)點(diǎn)的配置文件都放在外部，映射到內(nèi)部運(yùn)行 c). 根據(jù)用戶設(shè)置的資源，場景，自動分配節(jié)點(diǎn)數(shù)量，配置節(jié)點(diǎn)參數(shù).2. 2. 在線伸縮在線伸縮云環(huán)境中，支持在線調(diào)整任何一個實(shí)例使用的資源。對于數(shù)據(jù)庫而言，若分配的資源，包括cpu、內(nèi)存、磁盤等資源發(fā)生變化，數(shù)據(jù)庫同樣需要對于資源的變化實(shí)施生效。cpu 變化時，主要影響數(shù)據(jù)庫的并發(fā)連接數(shù)和并行參數(shù)，在金倉云數(shù)據(jù)庫中，并發(fā)連接數(shù)和并行參數(shù)可以動態(tài)調(diào)整。內(nèi)存發(fā)生變化時，數(shù)據(jù)庫的共享內(nèi)存，排序內(nèi)存等內(nèi)存分配支持動態(tài)調(diào)整，動態(tài)擴(kuò)展。磁盤發(fā)生變化時，數(shù)據(jù)庫可以配置表空間的存儲，以及表存儲，分區(qū)的存儲，動態(tài)使用新增

4、資源。另外，隨著實(shí)際業(yè)務(wù)的增長，數(shù)據(jù)庫集群的負(fù)載可能超出初始設(shè)計的承受能力，使得處理能力下降，不再滿足業(yè)務(wù)需求，所以數(shù)據(jù)庫集群支持在線擴(kuò)展能力，即在不影響系統(tǒng)正常使用的情況下， 增加數(shù)據(jù)庫的數(shù)據(jù)處理能力。3. 3. 資源隔離資源隔離kingbasees 云數(shù)據(jù)庫支持多租戶模式，以實(shí)現(xiàn)多個租戶之間的資源隔離。每個租戶創(chuàng)建自己的數(shù)據(jù)庫，各自的數(shù)據(jù)庫從元信息、用戶數(shù)據(jù)到內(nèi)存、以及日志信息，都是彼此隔離的。每個租戶的數(shù)據(jù)庫不可以彼此訪問。各個租戶的數(shù)據(jù)庫可以方便的遷移和加載，支持各自的備份和恢復(fù)。4. 4. 一體化管理一體化管理使用 kem 監(jiān)控數(shù)據(jù)庫運(yùn)行狀態(tài) a). 支持自主監(jiān)控（由 kem 主動呈

5、現(xiàn)） b). 支持將收集的數(shù)據(jù)匯集到其他管理平臺使用 web 對象管理工具管理數(shù)據(jù)庫對象a). 單機(jī)形式的數(shù)據(jù)庫對象管理b). 主備形式的數(shù)據(jù)庫對象管理c). kadb 集群數(shù)據(jù)庫對象管理二、向非關(guān)系型存儲、大數(shù)據(jù)處理進(jìn)行擴(kuò)展二、向非關(guān)系型存儲、大數(shù)據(jù)處理進(jìn)行擴(kuò)展1. 1. 通用數(shù)據(jù)庫通用數(shù)據(jù)庫通用數(shù)據(jù)庫按照處理業(yè)務(wù)的類型， 分為交易型數(shù)據(jù)庫和分析型數(shù)據(jù)庫。1. 交易數(shù)據(jù)庫主要用于交易類型的業(yè)務(wù)處理，例如：業(yè)務(wù)流程電子化，其他業(yè)務(wù)系統(tǒng)。面向所有參與業(yè)務(wù)流程的人員。對數(shù)據(jù)的操作特點(diǎn)是：大量短、頻、快的增刪改操作。2. 分析型數(shù)據(jù)庫主要用于統(tǒng)計分析，數(shù)據(jù)挖掘應(yīng)用。面向決策者和分析人員。對數(shù)據(jù)庫的操

6、作特點(diǎn)是：大量數(shù)據(jù)入庫，大量復(fù)雜查詢。云上的數(shù)據(jù)庫需要有這兩種數(shù)據(jù)庫，來應(yīng)對更多的用戶應(yīng)用需求。2. 2. 與大數(shù)據(jù)平臺的互訪與大數(shù)據(jù)平臺的互訪大數(shù)據(jù)計算平臺，例如 spark、hive 等，需要支持大數(shù)據(jù)計算平臺與數(shù)據(jù)庫互訪。以大數(shù)據(jù)計算平臺為中心，建立分析平臺。1. 大數(shù)據(jù)計算平臺訪問數(shù)據(jù)庫a)大數(shù)據(jù)計算平臺 spark：可以提供 jdbcrdd 來訪問單機(jī)數(shù)據(jù)庫系統(tǒng)， 并且根據(jù)某列對表進(jìn)行分區(qū)，并行讀取，提升效率。對于集群數(shù)據(jù)庫，spark 工作進(jìn)程可以對每一個存儲節(jié)點(diǎn)進(jìn)行數(shù)據(jù)讀取，通過這種并行的方式提升效率。b)大數(shù)據(jù)計算平臺 hive：需要在hive中注冊數(shù)據(jù)庫表信息， 將數(shù)據(jù)庫的表

7、映射成hive表，通過 hive-sql 進(jìn)行數(shù)據(jù)讀取，并在 hive 中進(jìn)行運(yùn)算。2. 數(shù)據(jù)庫訪問大數(shù)據(jù)計算平臺大數(shù)據(jù)計算平臺可以將數(shù)據(jù)，例如計算結(jié)果，寫入到數(shù)據(jù)庫中，再在數(shù)據(jù)庫中，利用 sql 對數(shù)據(jù)進(jìn)行分析。3. 3. 云數(shù)據(jù)集成云數(shù)據(jù)集成3.13.1 與與 rdsrds 的數(shù)據(jù)集成的數(shù)據(jù)集成數(shù)據(jù)庫使用外部表技術(shù)，可以訪問 rds 中的其他數(shù)據(jù)。支持多種格式的數(shù)據(jù)；支持訪問和更新數(shù)據(jù)。同時，使用遷移工具實(shí)現(xiàn)到 rds 的數(shù)據(jù)集成。3.2.3.2.與大數(shù)據(jù)存儲平臺的數(shù)據(jù)集成與大數(shù)據(jù)存儲平臺的數(shù)據(jù)集成數(shù)據(jù)庫提供外部表技術(shù)， 可以將交易型和分析型數(shù)據(jù)庫與其他存儲平臺對接，在數(shù)據(jù)庫內(nèi)部，通過外部表訪問大數(shù)據(jù)存儲平臺中的數(shù)據(jù)，包括：a)與 hdfs 對接：外部表訪問引擎（讀寫模塊） ，通過調(diào)用 hdfs的訪問接口 （inputformat， outputformat） ， 對 textfile， avrofile，parquetfile 的文件進(jìn)行讀寫?？梢栽跀?shù)據(jù)庫