企業(yè)數(shù)據(jù)庫面臨的核心挑戰(zhàn)及發(fā)展趨勢解讀

企業(yè)數(shù)字化轉(zhuǎn)型大背景下，數(shù)據(jù)庫面臨的核心挑戰(zhàn)及發(fā)展趨勢解讀

【摘要】在數(shù)字化轉(zhuǎn)型的大背景下，企業(yè)對數(shù)據(jù)使用呈現(xiàn)多樣化特點且針對特性能力提出更高要求。相應(yīng)的也對數(shù)據(jù)底層基礎(chǔ)設(shè)施之一的數(shù)據(jù)庫提出了相應(yīng)的要求。本文辨析了數(shù)據(jù)、數(shù)字化及數(shù)字化轉(zhuǎn)型，并分析了業(yè)務(wù)場景的變化對數(shù)據(jù)庫帶來的挑戰(zhàn)及發(fā)展趨勢。數(shù)字化及數(shù)字化轉(zhuǎn)型，是近些年來非?；馃岬脑掝}。本文將從這一角度切入，談?wù)剶?shù)字化場景下對數(shù)據(jù)庫發(fā)展趨勢帶來的影響。1.數(shù)據(jù)、數(shù)字化、數(shù)字化轉(zhuǎn)型1)數(shù)據(jù)數(shù)據(jù)，是數(shù)字化實現(xiàn)的新引擎。數(shù)據(jù)是企業(yè)開展數(shù)字化創(chuàng)新和構(gòu)建企業(yè)數(shù)字化基因的核心要素。通過對于服務(wù)對象、行為及相關(guān)經(jīng)營數(shù)據(jù)的分析，能夠幫助企業(yè)對業(yè)務(wù)發(fā)展形成全方位視角，進而提升決策質(zhì)量與業(yè)績表現(xiàn)。可以說，數(shù)據(jù)正在扮演著愈發(fā)重要的作用。僅僅從數(shù)據(jù)總量的發(fā)展，就可以簡單看到這一趨勢。2）數(shù)字化數(shù)字化，是指利用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、區(qū)塊鏈、人工智能等新一代信息技術(shù)，來對企業(yè)、政府等各類主體的戰(zhàn)略、架構(gòu)、運營、管理、生產(chǎn)、營銷等各個層面，進行系統(tǒng)性的、全面的變革，強調(diào)的是數(shù)字技術(shù)對整個組織的重塑，數(shù)字技術(shù)能力不再只是單純的解決降本增效問題，而成為賦能模式創(chuàng)新和業(yè)務(wù)突破的核心力量。與傳統(tǒng)的信息化相比，數(shù)字化是在信息化高速發(fā)展的基礎(chǔ)上誕生和發(fā)展的，但與傳統(tǒng)信息化條塊化服務(wù)業(yè)務(wù)的方式不同，數(shù)字化更多的是對業(yè)務(wù)和商業(yè)模式的系統(tǒng)性變革、重塑。數(shù)字化作用數(shù)字化打通了企業(yè)信息孤島釋放了數(shù)據(jù)價值。信息化是充分利用信息系統(tǒng)，將企業(yè)的生產(chǎn)過程、事務(wù)處理、現(xiàn)金流動、客戶交互等業(yè)務(wù)過程，加工生成相關(guān)數(shù)據(jù)、信息、知識來支持業(yè)務(wù)的效率提升，更多是一種條塊分割、煙囪式的應(yīng)用，而數(shù)字化則是利用新一代ICT技術(shù)，通過對業(yè)務(wù)數(shù)據(jù)的實時獲取、網(wǎng)絡(luò)協(xié)同、智能應(yīng)用，打通了企業(yè)數(shù)據(jù)孤島，讓數(shù)據(jù)在企業(yè)系統(tǒng)內(nèi)自由流動，數(shù)據(jù)價值得以充分發(fā)揮。數(shù)字化以數(shù)據(jù)為主要生產(chǎn)要素。數(shù)字化，以數(shù)據(jù)作為企業(yè)核心生產(chǎn)要素，要求將企業(yè)中所有的業(yè)務(wù)、生產(chǎn)、營銷、客戶等有價值的人、事、物全部轉(zhuǎn)變?yōu)閿?shù)字存儲的數(shù)據(jù)，形成可存儲、可計算、可分析的數(shù)據(jù)、信息、知識，并和企業(yè)獲取的外部數(shù)據(jù)一起，通過對這些數(shù)據(jù)的實時分析、計算、應(yīng)用來指導(dǎo)企業(yè)生產(chǎn)、運營等各項業(yè)務(wù)。數(shù)字化變革了企業(yè)生產(chǎn)關(guān)系，提升了企業(yè)生產(chǎn)力。數(shù)字化讓企業(yè)從傳統(tǒng)生產(chǎn)要素，轉(zhuǎn)向以數(shù)據(jù)為生產(chǎn)要素，從傳統(tǒng)部門分工轉(zhuǎn)向網(wǎng)絡(luò)協(xié)同的生產(chǎn)關(guān)系，從傳統(tǒng)層級驅(qū)動轉(zhuǎn)向以數(shù)據(jù)智能化應(yīng)用為核心驅(qū)動的方式，讓生產(chǎn)力得到指數(shù)級提升，使企業(yè)能夠?qū)崟r洞察各類動態(tài)業(yè)務(wù)中的一切信息，實時做出最優(yōu)決策，使企業(yè)資源合理配置，適應(yīng)瞬息萬變的市場經(jīng)濟競爭環(huán)境，實現(xiàn)最大的經(jīng)濟效益。數(shù)字化發(fā)展階段隨著數(shù)字化技術(shù)及應(yīng)用日趨成熟，當前全行業(yè)已經(jīng)進入數(shù)字化全面發(fā)展的新時期，數(shù)字化在國家層面得到了前所未有的重視及推動。但不同企業(yè)在數(shù)字化推進發(fā)展差異較大。下圖為紅杉中國針對國內(nèi)16個行業(yè)222家企業(yè)在數(shù)字化推進的調(diào)查。從中可見，企業(yè)間發(fā)展差異巨大，大部分企業(yè)處于探索及加速推進階段；尚未廣泛應(yīng)用而取得成效。數(shù)字經(jīng)濟發(fā)展迅速近些年來，數(shù)字經(jīng)濟發(fā)展迅速。從總體來看，數(shù)字經(jīng)濟在整體國民經(jīng)濟中的比例不斷提升。

摘自2020年艾瑞數(shù)字化報告從發(fā)展來看，數(shù)字化進程已經(jīng)逐步走到第二階段，從早期數(shù)字產(chǎn)業(yè)化占據(jù)主導(dǎo)，逐步過渡產(chǎn)業(yè)數(shù)字化占據(jù)主導(dǎo)。隨著不同產(chǎn)業(yè)數(shù)字化進程深入，其必將迸發(fā)出巨大的潛能。產(chǎn)業(yè)數(shù)字化，是指基于互聯(lián)網(wǎng)技術(shù)和生態(tài)，對各個垂直產(chǎn)業(yè)的產(chǎn)業(yè)鏈和內(nèi)部的價值鏈進行重塑和改造，從而形成的互聯(lián)網(wǎng)生態(tài)和形態(tài)，簡稱為產(chǎn)業(yè)互聯(lián)網(wǎng)。產(chǎn)業(yè)互聯(lián)網(wǎng)是一種新的經(jīng)濟形態(tài)，利用信息技術(shù)與互聯(lián)網(wǎng)平臺，充分發(fā)揮互聯(lián)網(wǎng)在生產(chǎn)要素配置中的優(yōu)化和集成作用，實現(xiàn)互聯(lián)網(wǎng)與傳統(tǒng)產(chǎn)業(yè)深度融合，將互聯(lián)網(wǎng)的創(chuàng)新應(yīng)用成果深化于國家經(jīng)濟、科技、軍事、民生等各項經(jīng)濟社會領(lǐng)域中，最終提升國家的生產(chǎn)力。從當前這個產(chǎn)業(yè)來看，以金融行業(yè)為代表走到前列。但即使這樣，其數(shù)字化程度仍存在巨大空間。3）數(shù)字化轉(zhuǎn)型數(shù)字化轉(zhuǎn)型，是指企業(yè)利用新一代數(shù)字技術(shù)，將某個生產(chǎn)經(jīng)營環(huán)節(jié)乃至整個業(yè)務(wù)流程的物理信息鏈接起來，形成有價值的數(shù)字資產(chǎn)，通過計算反饋有效信息，最終賦能到企業(yè)商業(yè)價值的過程。

摘自2020年艾瑞數(shù)字化報告數(shù)字化轉(zhuǎn)型，是業(yè)務(wù)轉(zhuǎn)型的演變，從當前數(shù)字化世界的技術(shù)進步中獲益。企業(yè)能夠以全新的方式進行價值的創(chuàng)新和創(chuàng)造，以建立可持續(xù)的競爭優(yōu)勢。其是建立在數(shù)字化轉(zhuǎn)換、數(shù)字化升級基礎(chǔ)上，進一步觸及公司核心業(yè)務(wù)，以新建一種商業(yè)模式為目標的高層次轉(zhuǎn)型，是開發(fā)數(shù)字化技術(shù)及支持能力以新建一個富有活力的數(shù)字化商業(yè)模式。數(shù)字化轉(zhuǎn)型表明，只有企業(yè)對其業(yè)務(wù)進行系統(tǒng)性、徹底的（或重大和完全的）重新定義—而不僅僅是IT，而是對組織活動、流程、業(yè)務(wù)模式和員工能力的方方面面進行重新定義的時候，成功才會得以實現(xiàn)。數(shù)字化階段從上面描述可見，數(shù)字化是存在階段性的，通過對數(shù)據(jù)應(yīng)用層次的升級，最終達到業(yè)務(wù)全面數(shù)字化，實現(xiàn)真正的數(shù)字化轉(zhuǎn)型。4）綜述：信息化、數(shù)字化與智能化2.數(shù)字化下數(shù)據(jù)庫面臨挑戰(zhàn)在數(shù)字化轉(zhuǎn)型的大背景下，企業(yè)對數(shù)據(jù)使用呈現(xiàn)多樣化特點且針對特性能力提出更高要求。相應(yīng)的也對數(shù)據(jù)底層基礎(chǔ)設(shè)施之一的數(shù)據(jù)庫提出了相應(yīng)的要求。下面分析下業(yè)務(wù)場景的變化及對應(yīng)數(shù)據(jù)庫帶來的挑戰(zhàn)及發(fā)展趨勢。1）實時性在數(shù)字化趨勢下，數(shù)據(jù)會更多參與到企業(yè)決策、業(yè)務(wù)調(diào)整甚至驅(qū)動業(yè)務(wù)變化。數(shù)據(jù)的鮮活性，對企業(yè)價值意義完全不同。實時的交易處理、實時的反饋、實時的匯聚、實時的洞察成為全場景數(shù)字化的必備。例如在金融場景中，金融需求與生活場景相融合，實時風控的復(fù)雜度以及時效性要求隨場景服務(wù)的發(fā)展不斷增長，通常需要秒級完成業(yè)務(wù)流程。翻譯成技術(shù)語言，即要求支持對數(shù)據(jù)高頻實時多點寫入、對多類信息實時匯聚分析處理。于是近些年來，在數(shù)據(jù)流式處理、HTAP、高性能計算等領(lǐng)域的發(fā)展，正是為迎合這一訴求。2）敏捷性數(shù)字化轉(zhuǎn)型下，各種業(yè)務(wù)形態(tài)不斷涌現(xiàn)且單業(yè)務(wù)內(nèi)變化也很大，這對底層基礎(chǔ)設(shè)施提出了敏捷性要求。即具備快速響應(yīng)能力，滿足各類業(yè)務(wù)應(yīng)用需求。作為傳統(tǒng)的以靜態(tài)、固定資源供給方式，過渡到以動態(tài)、可調(diào)節(jié)的資源供給方式。這其中以云、容器化、Serverless、存算分離為代表的技術(shù)能力，正是為滿足這類需求而誕生。即使是以較為傳統(tǒng)架構(gòu)的資源供給方式，也更為強調(diào)彈性、可定制能力，滿足客戶此方面需求。3）安全性數(shù)據(jù)安全，是近些年來的熱門話題。從監(jiān)管方的頻頻出臺各項政策，可見一斑。作為承載數(shù)據(jù)的主體，數(shù)據(jù)庫首當其沖需要更為重視安全問題。從數(shù)據(jù)存儲、數(shù)據(jù)訪問、數(shù)據(jù)傳輸、數(shù)據(jù)應(yīng)用等多角度解決數(shù)據(jù)安全問題。特別是過去一二十年開源數(shù)據(jù)庫蓬勃發(fā)展，但開源數(shù)據(jù)庫自身在安全方面是否能達到商用標準，值得關(guān)注。此外，考慮到復(fù)雜的國際產(chǎn)業(yè)環(huán)境，開源協(xié)議本身的合法合規(guī)性也值得關(guān)注。以下摘自艾瑞報告。4）可用性可用性要求，一直是數(shù)據(jù)庫提供的基本能力之一。隨著數(shù)字化深入，越來越多的數(shù)據(jù)參與到企業(yè)經(jīng)營管理之中，這些對于可用性要求提出了更高的要求。從數(shù)據(jù)庫的角度來看，之前單機架構(gòu)或集中式架構(gòu)，一般是通過高可用硬件+軟件來解決；對于新興的分布式架構(gòu)來說，其組件更多也更為復(fù)雜，且對于硬件也無較多要求，這就要求軟件本身提供更高要求。5）經(jīng)濟性隨著數(shù)據(jù)存儲規(guī)模越來越大，對數(shù)據(jù)計算要求越來越高，整體數(shù)據(jù)存儲和計算的成本也整體提高。如何提供更具經(jīng)濟性的方案，對客戶能否大規(guī)模使用意義很大。這其中云數(shù)據(jù)庫、存算分離、數(shù)據(jù)分層等技術(shù)，正是為了應(yīng)對這一訴求。云作為一種新的資源供給方式，可以帶來更為切合需求的資源消耗。存算分離，則提供一種按計算和存儲獨立擴展能力，避免冗余浪費。數(shù)據(jù)分層，則可根據(jù)數(shù)據(jù)熱度等因素提供不同的能力，滿足個性化需求。6）智能化由上述變化可見，對于數(shù)據(jù)庫而言，無論從使用規(guī)模、復(fù)雜程度都會帶來很大調(diào)整。針對這一問題，一方面可以通過工具化、平臺化的方式來滿足管理問題；而更為優(yōu)雅的方式是在數(shù)據(jù)庫端提供內(nèi)置的智能管理能力，例如智能調(diào)優(yōu)、索引推薦、自我診斷、故障自愈等，可協(xié)助DBA降低運維難度，大幅提升管理效率。7）海量并發(fā)這是兩個需求，一個是數(shù)據(jù)規(guī)模問題，提供海量數(shù)據(jù)支撐能力；一個是數(shù)據(jù)計算問題，提供高并發(fā)訪問支持。這些都是數(shù)字化會帶來業(yè)務(wù)變化的必然。對應(yīng)于技術(shù)而言，分布式數(shù)據(jù)庫無疑是一種很好的方式，也是其主要面對解決的場景之一。8）統(tǒng)一管理隨著數(shù)字化深入，對數(shù)據(jù)庫的種類與數(shù)量、企業(yè)的IT體系等都發(fā)生了不少變化。這些變化沖擊了傳統(tǒng)的數(shù)據(jù)庫生態(tài)，第一數(shù)據(jù)庫選型自身呈現(xiàn)多元化趨勢；第二隨著分布式、存算分離等新興架構(gòu)，對管理也帶來了管理難題；第三隨著對安全性、可靠性等方面的更高要求，也帶來了不少難點。面對上述問題，為數(shù)據(jù)庫提供統(tǒng)一管理和運維的平臺型工具也逐漸走向臺前，變得越來越重要。9）自主可控對基礎(chǔ)軟件來說，自主可控非常關(guān)鍵。作為數(shù)字化的載體，數(shù)據(jù)庫的自主可控能力尤為重要。近些年國產(chǎn)化訴求日益高漲，也有著這方面的考慮。這其中值得關(guān)注的一點是關(guān)于開源的使用。根據(jù)近期的調(diào)研，開源數(shù)據(jù)庫份額已經(jīng)超越商業(yè)數(shù)據(jù)庫；但對于開源數(shù)據(jù)庫的把控能力，卻有著較大差異。特別是某些商業(yè)數(shù)據(jù)庫，底層也是基于開源產(chǎn)品的，尤其值得關(guān)注。10）開放生態(tài)數(shù)字化深入，帶來的更多的場景、更多的方案、更多的產(chǎn)品。如何能做到產(chǎn)品之間的很好的融合，發(fā)揮最大的作用，開放生態(tài)非常重要。對于數(shù)據(jù)庫而言，過去數(shù)十年來以國外商用數(shù)據(jù)庫產(chǎn)品為主，已經(jīng)培育自己的生態(tài)圈；而對于國內(nèi)產(chǎn)品而言，還需要走過這一過程。比較可喜的是，開源軟件的使用可大大加速這一過程。以MySQL、PG為代表的開源軟件，具有較為完備的生態(tài)，國內(nèi)產(chǎn)品可通過兼容開源產(chǎn)品，復(fù)用其生態(tài)，大大加速這一進程。11）簡化融合如之前所說，數(shù)字化深化帶來的技術(shù)需求的多元化，與之對應(yīng)的產(chǎn)品方案也呈現(xiàn)同樣的態(tài)勢。雖然可以通過統(tǒng)一管理角度去簡化管理，但對于用戶而言仍然不得不去面對復(fù)雜的管理和使用問題。如果能通過單一平臺提供所需能力，無疑對用戶非常有吸引力。這就是簡化融合的訴求的來源。近些年來，包括混合事務(wù)與分析處理（HTAP）、湖倉一體、流批一體等，都是代表著用戶追求“簡化、融合”技術(shù)棧的需求。此外，云也是一種簡化融合的體現(xiàn)，通過一站式的產(chǎn)品+方案，解決用戶復(fù)雜管理和使用問題。12）消費