大數(shù)據全生命周期管理分析

大數(shù)據全生命周期管理分析

一、大數(shù)據行業(yè)發(fā)展背景

(-)大數(shù)據時代下傳統(tǒng)數(shù)據管理軟件面臨多種挑戰(zhàn)

近年來隨著互聯(lián)網、移動互聯(lián)網、物聯(lián)網、5G等信息通信技術及

產業(yè)的不斷發(fā)展，全球數(shù)據量呈爆發(fā)式增長態(tài)勢。數(shù)據作為和土地、

資本、勞動力、技術一樣的生產要素，在數(shù)字經濟不斷深入發(fā)展的過

程中，地位愈發(fā)凸顯。我國是數(shù)據資源大國，IDC研究報告指出，到

2020年，中國數(shù)據量約12.6ZB,較2015年增長7倍，年復合增長率

為124%O

2025年中國的數(shù)據量預計達到48.6ZB,約占全球數(shù)據總量的30%。

數(shù)據資源總體呈現(xiàn)出4V的特點，即海量的數(shù)據規(guī)模(Volume),多樣

的數(shù)據類型(Variety)、價值密度低(Value)、快速的數(shù)據流轉

(Velocity)。

海量的數(shù)據規(guī)模指數(shù)據量大，包括采集、存儲和計算過程中所涉

及數(shù)據量都非常大。大數(shù)據的起始計量單位通常是PB(約1,000TB).

EB(約100萬TB)或ZB(約10億TB)。

多樣的數(shù)據類型指數(shù)據種類和來源多樣化，包括結構化、半結構

化和非結構化數(shù)據，具體表現(xiàn)為關系型數(shù)據、日志、音頻、視頻、文

本、圖片、地理位置信息等類型數(shù)據，多類型的數(shù)據對數(shù)據的處理能

力提出了更高的要求。

價值密度低指有價值數(shù)據所占比例低。隨著互聯(lián)網以及物聯(lián)網的

廣泛應用，信息感知無處不在，信息海量，但價值密度較低，通過結

合業(yè)務邏輯并通過強大的機器算法來挖掘數(shù)據價值，是大數(shù)據時代需

要解決的重要問題之一。

快速的數(shù)據流轉指數(shù)據增長速度快，處理速度要求快，時效性要

求高。例如實時監(jiān)測場景中，企業(yè)需要對物聯(lián)網設備數(shù)據進行實時處

理并做出反應；零售電子商務應用類軟件將消費者所持的移動設備的

地理位置信息和其個人偏好相結合，推送有針對性的促銷信息。這是

大數(shù)據區(qū)別于傳統(tǒng)數(shù)據使用的顯著特征。

隨著信息技術以及實際業(yè)務需求的快速發(fā)展，傳統(tǒng)數(shù)據管理軟件

在處理大數(shù)據場景時不能很好適應數(shù)據的4V特性，面臨較多技術挑戰(zhàn)。

因此，傳統(tǒng)數(shù)據管理軟件迫切需要技術革新。

(二)傳統(tǒng)集中式軟件棧向新興分布式軟件棧演進

1970-2000年，數(shù)據管理軟件主要為集中式架構的關系型數(shù)據庫，

其軟件產品具備不可分割性(atomicity)、一致性(consistency)、

隔離性(isolation,又稱獨立性)、持久性(durability)即ACID

功能特性，占據了數(shù)據管理軟件的主導地位。關系型數(shù)據庫技術出現(xiàn)

在20世紀70年代，經過二十余年的發(fā)展，到90年代已經成熟。市場

上具有代表性的集中式架構關系型數(shù)據庫產品包括Oracle、IBMDB2以

及微軟SQLServer等。

2000年以來，隨著互聯(lián)網和計算機技術的快速發(fā)展，需要處理的

數(shù)據量更大、類型更豐富、速度要求更快，傳統(tǒng)集中式計算架構已無

法適應數(shù)據海量、異構、多源等特點，在部署的擴展性、容錯性、經

濟性、靈活性等方面有一定局限性。谷歌于2003年-2006年間的三篇

論文奠定了分布式存儲和計算的基礎，而后行業(yè)從業(yè)者基于以上理論

建立了Hadoop、Spark等大數(shù)據分布式系統(tǒng)框架，并交由Apache軟件

基金會托管；2009年，在JohanOskarsson開源分布式數(shù)據庫的討論中,

來自Rackspace的EricEvans重提NoSQL概念，用以指代非關系型的

分布式數(shù)據存儲系統(tǒng)。針對于不同的場景，分別產生了圖數(shù)據庫、搜

索引擎、文檔數(shù)據庫、鍵值數(shù)據庫等NoSQL數(shù)據庫，代表性NoSQL數(shù)

據庫提供商包括MongoDB、Elastic等。

2010年以來，隨著數(shù)字化轉型的逐步深化，快速變化的業(yè)務場景

呈現(xiàn)了復雜化、多樣化的態(tài)勢。復雜的業(yè)務場景往往需要使用多種數(shù)

據模型，以及數(shù)據模型間的融合。

這個時期的，行業(yè)內大部分數(shù)據庫都是面向單一數(shù)據模型而設計

的，用以解決特定業(yè)務場景的特定問題。例如，使用傳統(tǒng)的關系型數(shù)

據庫解決結構化數(shù)據的存儲和處理問題、使用圖數(shù)據庫解決圖相關的

存儲和處理問題、使用文檔數(shù)據庫解決文本相關的存儲和處理問題。

由于結構化數(shù)據和非結構化數(shù)據通常以不同的格式和模式存儲，單模

型數(shù)據庫雖然優(yōu)化了數(shù)據存儲和處理，卻難以滿足日趨增長的、多樣

的業(yè)務場景需求。當同一業(yè)務需要用到不同類型數(shù)據的時候，受限于

單模型數(shù)據庫的處理能力，客戶往往需要部署多個相互獨立的單模型

數(shù)據庫，在對不同模型數(shù)據進行聯(lián)合處理的時候，需要對數(shù)據進行搬

遷或融合，導致架構復雜度高、開發(fā)成本高、運維成本高以及數(shù)據處

理效率低。由此，催生了從單一數(shù)據管理系統(tǒng)到融合型、多模型數(shù)據

管理系統(tǒng)的技術需求。

此外，隨著云計算技術的大規(guī)模應用，傳統(tǒng)各類軟件產品都開始

由獨立部署模式向云服務模式轉變。其中數(shù)據庫作為信息系統(tǒng)核心軟

件，逐漸附加云化能力形成云原生數(shù)據庫，以服務的形式對外提供技

術支撐。云原生數(shù)據庫按照部署方式可以分為公有云部署和私有云部

署。其中，私有云部署模式由企業(yè)提供云數(shù)據庫依賴的底層物理資源,

數(shù)據庫服務商負責部署云原生數(shù)據庫軟件，后期企業(yè)和數(shù)據庫服務商

約定運維維護工作的具體職責分工等，特點是自有資源池化，數(shù)據不

外流等。相比公有云部署下的云數(shù)據庫，私有云模式更加關注信息安

全，能夠實現(xiàn)對數(shù)據安全性和服務質量最有效控制，僅限于企業(yè)員工

和取得授權的合作伙伴使用。

多模型數(shù)據庫云原生相關技術已經成為信息產業(yè)的未來發(fā)展方向,

促使大數(shù)據軟件進一步革新，規(guī)模呈現(xiàn)快速增長趨勢，代表性企業(yè)如

Snowflake、AWS等。相較于國內外的現(xiàn)狀，私有云在面向國計民生的

相關行業(yè)更受客戶歡迎，面向私有云模式的云原生數(shù)據庫預計在未來

將獲得快速增長。

隨著技術不斷成熟，分布式架構將逐漸成為主流。自底向上，傳

統(tǒng)的集中式資源管理調度逐漸向基于云原生技術的分布式統(tǒng)一資源管

理平臺發(fā)展；數(shù)據管理軟件技術架構也會因為計算模式的轉變發(fā)生重

大變革，傳統(tǒng)的集中式數(shù)據庫逐漸向分布式、多模型數(shù)據庫發(fā)展；傳

統(tǒng)數(shù)據分析軟件逐漸向新型的分布式數(shù)據開發(fā)和智能分析軟件發(fā)展。

（三）國產基礎軟件迎來爆發(fā)式增長階段

當前，中國大數(shù)據軟件領域處于發(fā)展的歷史機遇期，我國高度重

視大數(shù)據在經濟社會發(fā)展中的作用，十八屆五中全會提出實施國家大

數(shù)據戰(zhàn)略，《促進大數(shù)據發(fā)展行動綱要》指出，建立安全可信的大數(shù)

據技術體系是推進大數(shù)據產業(yè)基礎研究和核心技術攻關的重要目標。

十四五規(guī)劃和2035年遠景目標綱要提出，培育壯大人工智能、大數(shù)據

等新興數(shù)字產業(yè)，充分發(fā)揮海量數(shù)據和豐富應用場景優(yōu)勢，促進數(shù)字

技術與實體經濟深度融合，賦能傳統(tǒng)行業(yè)轉型升級，打造數(shù)字經濟新

優(yōu)勢。全球新一代信息產業(yè)處于加速變革期，大數(shù)據相關底層技術處

于創(chuàng)新突破期，國內市場需求處于爆發(fā)期，為國內基礎軟件廠商帶來

明確的增長機遇。同時，隨著國內基礎軟件人才的不斷增加，在應對

新一代場景，不斷積累技術經驗過程中，國內已形成具備自主研發(fā)實

力且能與國外廠商競爭的基礎軟件廠商，并開始實現(xiàn)規(guī)模產業(yè)化落地。

二、大數(shù)據全生命周期管理

大數(shù)據生命周期進一步細分為大數(shù)據集成、存儲和處理、治理、

建模、挖掘和流通等階段。

（一）大數(shù)據集成

大數(shù)據集成包括大數(shù)據采集和大數(shù)據整合。大數(shù)據采集主要是通

過各種技術手段將分散的海量內容數(shù)據（文本、音頻、視頻等）、行

為數(shù)據（訪問、查詢、搜索、會話、表單等）、工業(yè)生產數(shù)據（傳感

器數(shù)據、監(jiān)控數(shù)據）等從業(yè)務系統(tǒng)中收集出來。由于大數(shù)據本身具有

分散、海量、高速、異質的特征，采集難度較大，因此保證數(shù)據采集

的穩(wěn)定性、可靠性、高效性、可用性和可擴展性等是主要的技術目標,

越來越多的企業(yè)開始選用專業(yè)的數(shù)據采集服務。大數(shù)據整合的目標是

將各種分布的、異構的數(shù)據源中的數(shù)據抽取后，進行清洗、轉換，最

后加載到數(shù)據倉庫或數(shù)據集市中，作為數(shù)據分析處理和挖掘的基礎；

這個過程常常也被稱為ETL(Extract/抽取，Transform/轉換，Load/

加載)，通常ETL占到整個數(shù)據倉庫開發(fā)時間的60Q80%。大數(shù)據時代,

數(shù)據整合軟件的市場也開始了整體的技術升級，主要解決兩個主要技

術問題，一是獨立的ETL應用服務器的計算能力普遍不足，二是無法

處理半結構化和非結構化數(shù)據。經過幾年的技術發(fā)展，ETL過程逐步演

進為ELT,即數(shù)據抽取后直接加載(Load)到大數(shù)據平臺中，再基于大

數(shù)據平臺的計算能力來實現(xiàn)數(shù)據轉換(Transform),不再依賴ETL應

用服務器做抽取和轉化工作，這樣可以解決ETL應用服務器的處理能

力不足問題，充分利用大數(shù)據平臺的分布式計算能力提升數(shù)據集成的

效率和穩(wěn)定性。

(二)大數(shù)據存儲和處理

大數(shù)據存儲與處理要用用服務器及相關設備把采集到的數(shù)據存儲

起來，使得數(shù)據能夠被高效地訪問和運算。由于數(shù)據量的爆發(fā)式增長,

尤其是非結構化數(shù)據的大量涌現(xiàn)，傳統(tǒng)的單機系統(tǒng)性能出現(xiàn)瓶頸，單

純地提高硬件配置已經難以跟上業(yè)務的需求，產生的海量數(shù)據沒有合

適的存儲場所，企業(yè)被迫放棄大量有價值的數(shù)據；數(shù)據處理的速度和

性能出現(xiàn)瓶頸，業(yè)務的深度和廣度受到限制。因此，過去十年間，計

算機系統(tǒng)逐步從集中式向分布式架構發(fā)展。分布式架構及相關技術通

過增加服務器的數(shù)量來提升系統(tǒng)的處理能力，每個節(jié)點都是一個可獨

立運行的單元，單個節(jié)點失效時不會影響應用整體的可用性。分布式

系統(tǒng)在擴展性、容錯性、經濟性、靈活性、可用性和可維護性方面具

有明顯優(yōu)勢。

（三）數(shù)據治理

根據國際數(shù)據管理協(xié)會的定義，數(shù)據治理是對數(shù)據資產管理形式

權利和控制的活動集合。數(shù)據治理是一個管理體系，包括組織、制度、

流程和工具，隨著集成和存儲的數(shù)據量增加，數(shù)據治理的難度也逐漸

增加，牽扯的關聯(lián)方也越來越多，因此需要一套適合企業(yè)的方法論來

開展工作。業(yè)界逐漸形成了DAMA、DCMM等較完整的數(shù)據治理體系框架,

一般包括制定數(shù)據治理戰(zhàn)略、定義數(shù)據治理工作機制、通過各個業(yè)務

專題來落實相關數(shù)據治理工作內容，并最終落實到數(shù)據治理工具上來

實現(xiàn)高效持續(xù)的數(shù)據治理的執(zhí)行流程。具體到數(shù)據治理的內容，一般

包括元數(shù)據管理（包括元數(shù)據采集、血緣分析、影響分析等）、數(shù)據

標準管理（包括標準定義、查詢與發(fā)布等）、數(shù)據質量管理（包括質

量規(guī)則定義、質量檢查、質量報告等）、數(shù)據資產管理（包括數(shù)據資

產編目、數(shù)據資產服務、資產審批等）、數(shù)據安全管理（包括數(shù)據權

限管理、數(shù)據脫敏、數(shù)據加密等）、數(shù)據生命周期管理（包括數(shù)據歸

檔、數(shù)據銷毀等）以及主數(shù)據管理（包括主數(shù)據申請、發(fā)布、分發(fā)等）

這幾個主要的部分。

（四）數(shù)據建模

數(shù)據建模是構建企業(yè)數(shù)據倉庫、數(shù)據湖和數(shù)據集市的重要過程,

其通過一個業(yè)務級別的數(shù)據模型設計，將分散在不同數(shù)據源中的數(shù)據

集成在一起，并通過一種面向業(yè)務主題的方式將數(shù)據分門別類來做重

新組織和標準化，形成有明確業(yè)務意義的數(shù)據形式，統(tǒng)一為數(shù)據分析、

數(shù)據挖掘等提供可用的數(shù)據。面向業(yè)務主題（如客戶主題、賬戶主題

等）的數(shù)據組織管理方式便于業(yè)務人員對數(shù)據的理解和綜合使用。具

體到技術層面，數(shù)據建模一般包括業(yè)務調研、架構設計、數(shù)據模型設

計、數(shù)據庫SQL開發(fā)與測試、業(yè)務集成上線等幾個階段，架構設計是

整個工作的核心，一般會面向不同的行業(yè)來設計相關行業(yè)的邏輯數(shù)據

模型。在數(shù)據建模過程中使用的工具主要包括：數(shù)據模型設計與管理

工具、SQL開發(fā)工具、任務調度工具等。

（五）數(shù)據分析和挖掘

大數(shù)據分析和數(shù)據挖掘的核心目標是對客觀事實規(guī)律進行描述、

展示和總結、刻畫、推廣，可以從大量的數(shù)據中通過算法來揭示出隱

含的、未知的并有潛在價值信息，并對客觀規(guī)律進行溯源和解釋，從

而幫助決策者做出正確的預測和決策。圍繞這個目標，大數(shù)據分析和

挖掘的手段可以分為模型驅動、數(shù)據驅動等，一般通過統(tǒng)計、在線分

析、情報檢索、機器學習和專家系統(tǒng)等在內的多種方法來實現(xiàn)這一目

標?，F(xiàn)階段在面對大數(shù)據4V問題時，大數(shù)據分析和數(shù)據挖掘工具對傳

統(tǒng)數(shù)據分析和挖掘工具做進一步自動化和智能化；與此同時，近年來

深度學習的興起又為大數(shù)據分析提供了新的手段，其做為當前計算機

行業(yè)的熱點研究方向之一，其本質的目標是從大量數(shù)據中提取模式和

知識，其要處理的對象包括結構化數(shù)據、半結構化數(shù)據和非結構化數(shù)

據在內的所有類型數(shù)據，例如近年來在視頻、語音等非結構化數(shù)據的

分析需求快速增加，相應的深度學習技術也取得了飛速發(fā)展。

（六）數(shù)據流通

數(shù)據流通是按照一定規(guī)則，將存儲的數(shù)據或者數(shù)據分析、挖掘得

到的信息作為流通對象，從供應方傳遞到需求方的過程。數(shù)據流通的

具體內容包括可視化的分析報告、面向運營人員的數(shù)據標簽、面向應

用可以直接調用的數(shù)據指標API、面向數(shù)據分析人員的數(shù)據集、面向數(shù)

據挖掘人員的數(shù)據特征、和面向業(yè)務建模人員的單方或多方的建模模

型等?；跀?shù)據水印、數(shù)據加密和脫敏、隱私計算、聯(lián)邦學習的數(shù)據

流通安全技術，可以提高數(shù)據流通的完整性和保密性。

三、大數(shù)據行業(yè)的挑戰(zhàn)

（-）技術創(chuàng)新與支撐能力有待進一步提高

技術創(chuàng)新是推動大數(shù)據產業(yè)發(fā)展的內在動力，但是目前我國技術

創(chuàng)新對于大數(shù)據產業(yè)的引領作用仍然不強。一方面，國內企業(yè)對大數(shù)

據核心技術、開源技術和相關生態(tài)系統(tǒng)影響力總體較弱。另一方面，

大多數(shù)大數(shù)據企業(yè)的創(chuàng)新仍以模仿性、漸進性創(chuàng)新為主，突破性、顛

覆性創(chuàng)新偏少，自主研發(fā)具有國際影響力的先進技術較少，同質化競

爭日益加劇。此外，由于我國基礎科學技術水平研發(fā)投入相對不足，

大數(shù)據底層技術投入與國外存在較大差距，雖然具有大數(shù)據應用的需

求，但較少通過扎實的底層技術手段來推動創(chuàng)新，我國大數(shù)據技術創(chuàng)

新能力有待持續(xù)提高。

（二）對開源體系的依賴程度相對較高

基于開源的數(shù)據庫技術，或部分開源的功能方案，已經成為當前

眾多企業(yè)的軟件技術建設重要模式，目前數(shù)據庫開源體系由國外主導。

眾多軟件開發(fā)者對于開源軟件的認知較有限，甚至誤以為開源軟件等

同于免費軟件，可以不受限制地隨意使用。事實上，開源軟件的著作

權既沒有被放棄也沒有過期，開源軟件知識產權風險分為版權侵權風

險，專利侵權風險、商標侵權風險三大類。因此市場對待目前開源體

系的法律風險意識有待提高，自主研發(fā)的國產數(shù)據庫軟件市場占有率

有待進一步提升，降低對國外開源體系的依賴。

（三）企業(yè)對于數(shù)據價值的認知及運用能力有待提高

近年來，越來越多企業(yè)認識到數(shù)字化轉型的必要性，但是對于數(shù)

據管理的認知水平較多停留在收集數(shù)據、存儲管理數(shù)據的層面，對于

如何把數(shù)據有效運用及相關認知有待提高，對數(shù)據平臺、數(shù)據技術的

資源投入不足。企業(yè)往往只是在部分業(yè)務實現(xiàn)數(shù)字智能化，各個板塊

的協(xié)同不足，各個部門的信息孤島現(xiàn)象明顯，整個企業(yè)的數(shù)智化缺乏

完整規(guī)劃，企業(yè)對數(shù)字化轉型的目標和路徑不夠清晰。在此環(huán)境下，

中國數(shù)據管理軟件服務廠商在聚焦于內部產品研發(fā)和技術迭代的同時,

也需加強對下游實際的業(yè)務場景和大數(shù)據使用需求的逐步理解、適配,

使得更多企業(yè)可以容易的運用大數(shù)據解決發(fā)展面臨的數(shù)字化轉型需求。

（四）專業(yè)人才短缺問題成發(fā)展瓶頸

我國仍存在嚴峻的大數(shù)據人才短缺問題，尤其緊缺基礎技術研發(fā)、

專業(yè)咨詢、數(shù)據分析挖掘等方面的專業(yè)人才以及兼具專業(yè)運營能力、

行業(yè)動態(tài)理解力、解決問題能力的多學科復合型人才，難以滿足大數(shù)

據產業(yè)的高速發(fā)展需求。一方面，我國高科技人才儲備不足，高科技

人才儲備難以應對與日俱增的大數(shù)據人才市場需求。另一方面，我國

大數(shù)據人才培養(yǎng)體系不完善，大數(shù)據人才培養(yǎng)體系起步晚，規(guī)模小，

層次和模式相對單一，技能知識和理念落后，難以有效匹配產業(yè)發(fā)展

速率。雖然近幾年隨著我國產業(yè)數(shù)字化轉型的發(fā)展，數(shù)字科技行業(yè)的

從業(yè)人員逐步增多，但從事基礎軟件領域研究的專業(yè)人員仍然稀缺，

尚不能滿足大數(shù)據行業(yè)對于高端專業(yè)人才的需求。大數(shù)據人才的不足

一定程度上影響到大數(shù)據產業(yè)的發(fā)展，業(yè)內為爭取優(yōu)秀人才，造成行

業(yè)內人才競爭不斷加劇。

四、全球大數(shù)據市場發(fā)展情況

全球大數(shù)據市場規(guī)模由2015年231億美元增長至2019年的496

億美元，年復合增長率約為21.1%,全球整體市場規(guī)模有望在2024年

超過800億美元，2019至2024年復合增長率約為11.8%o在2015年,

大數(shù)據服務仍然是全球大數(shù)據市場最大的收入來源，約為91億美元，

而硬件和軟件收入分別達到73億美元和67億美元。隨著硬件成本的

下降以及軟件附加值的提升，預計未來全球大數(shù)據市場中硬件及服務

收入貢獻占比將逐漸減少，軟件將超過服務和硬件，成為全球大數(shù)據

市場最主要的收入來源。

全球大數(shù)據軟件市場規(guī)模由2015年的67億美元增長至2019年的

170億美元，年復合增長率為26.2%,超過硬件和服務收入增速，并

且預計軟件市場規(guī)模將在2024年達到377億美元，年復合增長率約為

17.3%o在大數(shù)據軟件中，隨著大數(shù)據管理平臺和數(shù)據應用中間件產

品的成熟，未來將貢獻更多的收入占比。

五、大數(shù)據行業(yè)面臨的機遇

（一）產業(yè)政策集中出臺，多層次政策體系日益健全

十八屆五中全會提出實施國家大數(shù)據戰(zhàn)略以來，《促進大數(shù)據發(fā)

展行動綱要》指出，建立安全可信的大數(shù)據技術體系是推進大數(shù)據產

業(yè)基礎研究和核心技術攻關的重要目標。2021年3月，在我國十四五

規(guī)劃和2035年遠景目標綱要提出，培育壯大人工智能、大數(shù)據等新興

數(shù)字產業(yè)，充分發(fā)揮海量數(shù)據和豐富應用場景優(yōu)勢，促進數(shù)字技術與

實體經濟深度融合，賦能傳統(tǒng)行業(yè)轉型升級，打造數(shù)字經濟新優(yōu)勢。

加快數(shù)字化發(fā)展，打造數(shù)字經濟新優(yōu)勢，協(xié)同推進數(shù)字產業(yè)化和產業(yè)

數(shù)字化轉型，加快數(shù)字社會建設步伐，營造良好數(shù)字生杰，建設數(shù)字

中國。

2020年4月，國家發(fā)改委明確了新基建是以技術創(chuàng)新為驅動，以

信息網絡為基礎，面向高質量發(fā)展需要，提供數(shù)字轉型、智能升級、

融合創(chuàng)新等服務的基礎設施體系。其中，在新一代信息技術關鍵領域

鍛長板的重要舉措包括：推動新一代信息技術與制造業(yè)融合發(fā)展，加

速工業(yè)企業(yè)數(shù)字化、智能化轉型，提高制造業(yè)數(shù)字化、網絡化、智能

化發(fā)展水平，推進制造模式、生產方式以及企業(yè)形態(tài)變革，帶動產業(yè)

轉型升級。未來新興產業(yè)及數(shù)字經濟的發(fā)展將更依賴于數(shù)據資源，數(shù)

據基礎設施建設也是支撐5G、數(shù)據中心、工業(yè)互聯(lián)網等新一代信息技

術基礎設施的基礎，因此大數(shù)據是新基建的重要組成部分，也將推進

大數(shù)據底層軟件等核心國產軟件的快速發(fā)展。

（二）數(shù)據管理軟件國產化趨勢明顯，國產大數(shù)據產品有望實現(xiàn)

換道超車

國內數(shù)據管理軟件基本被Oracle、IBM和微軟為代表的國外關系

型數(shù)據庫廠商主導，國產軟件產品滲透率低。隨著國內客戶越來越重

視數(shù)據與信息安全，國產軟件產品在關鍵領域實現(xiàn)替代成為其中重要

環(huán)節(jié)，越來越多的客戶已經開始或計劃相關軟硬件的采購計劃。

大數(shù)據時代下，數(shù)據管理軟件正在逐步由集中式架構軟件向分布

式架構軟件演進，國產大數(shù)據產品有望實現(xiàn)換道超車，對國外數(shù)據管

理軟件進行替代。從功能來看，基于新興分布式架構的國產大數(shù)據產

品已經能滿足市面上絕大多數(shù)數(shù)據應用場景基礎需求。

但國產大數(shù)據產品能否在市場競爭中勝出、占據更多的市場份額,

仍然取決于國產大數(shù)據產品能否構建自主研發(fā)的生態(tài)以及產品的全球

競爭力。目前，為保障國家信息安全，自主研發(fā)的國產大數(shù)據生態(tài)體

系正在形成，此前國產軟硬件發(fā)展面臨的格局分散、生態(tài)基礎不完善、

規(guī)模用戶群體缺乏等障礙正被逐步攻克。隨著國產大數(shù)據生態(tài)體系進

入快速協(xié)同發(fā)展階段，國產大數(shù)據產品與服務迎來較好的發(fā)展機遇。

（三）數(shù)據成為新生產要素，各行業(yè)的大數(shù)據應用需求巨大

2020年4月，《關于構建更加完善的要素市場化配置體制機制的

意見》指出，數(shù)據已成為繼土地、勞動力、資本、技術之后的新一代

生產要素，是數(shù)字經濟發(fā)展的基礎性、關鍵性、決定性的生產要素，

對經濟發(fā)展、社會治理、人民生活產生著重大而深刻的影響。

激活數(shù)據要素潛能，加快數(shù)字經濟、數(shù)字社會，以數(shù)字化驅動生

產方式、生活方式和治理方式變革成為我國當下發(fā)展的重點。企業(yè)建

設數(shù)字化能力，高效解決企業(yè)運營中的問題，優(yōu)化企業(yè)業(yè)務流程、提

高效率，成為企業(yè)發(fā)展的核心競爭力之一，在金融、交通、能源、制

造等國民經濟重要領域實際提升數(shù)字化能力需求巨大。此外，在企業(yè)

數(shù)字化程度提高后，數(shù)據走向資源化是大勢所趨，在數(shù)據資源化的過

程中，建立行業(yè)間高效的數(shù)據交換機制，實現(xiàn)數(shù)據的互聯(lián)互通、信息

共享、業(yè)務協(xié)同，以成為整合信息資源，深度利用分散數(shù)據的有效途

徑。加快數(shù)字化轉型，構建數(shù)據共享服務體系，促進數(shù)據與業(yè)務應用

快速融合，將助力中國經濟從高速增長轉向高質量發(fā)展，推動數(shù)字中

國建設。

（四）大數(shù)據應用的快速發(fā)展，推動大數(shù)據管理平臺需求的快速

增長

近年來，大數(shù)據增長集中于物聯(lián)網設備、多媒體、日志、社交信

息等，這些數(shù)據具有數(shù)據類型多、數(shù)據量大、流轉速度快、價值密度

低的特點。傳統(tǒng)關系型數(shù)據庫無法滿足處理半結構化及非結構化數(shù)據

需要，具有綜合能力的大數(shù)據管理平臺有易于擴展、無序存儲、分布

式架構的特性，相比傳統(tǒng)關系型數(shù)據庫，更能滿足對這些數(shù)據的存儲

需求。大數(shù)據管理平臺不僅具有存儲管理海量數(shù)據能力、數(shù)據處理性

能高和易于擴展的特性，還可以保持傳統(tǒng)關系數(shù)據庫支持ACID和SQL

查詢等特性，支持關系數(shù)據模型。在大數(shù)據市場發(fā)展下，大數(shù)據管理

平臺需求快速增長。

（五）數(shù)據價值的深度挖掘需求將帶動智能分析工具的快速發(fā)展

智能分析工具主要專注于為數(shù)據預處理、特征工程、數(shù)據建模、

預測分析等數(shù)據分析挖掘關鍵過程提供工具和相關解決方案，是企業(yè)

實現(xiàn)對海量數(shù)據的深度挖掘的重要工具。隨著大數(shù)據環(huán)境下，數(shù)據分

析復雜程度的加深，數(shù)據科學平臺需要持續(xù)優(yōu)化其平臺流程、協(xié)作及

模型治理特性，以保持與軟件開發(fā)中最佳實踐一致。同時，數(shù)據科學

平臺廠商也將通過整合針對算法篩選、分布式模型訓練、模型管理、

知識圖譜和高性能推理等任務的創(chuàng)新解決方案來實現(xiàn)差異化競爭。為

了在大數(shù)據環(huán)境下快速幫助客戶實現(xiàn)人工智能賦能的商業(yè)決策，智能

分析工具將迎來快速發(fā)展機遇，在云原生、AI工程化、低代碼、隱私

安全、云邊一體等方面發(fā)揮更大的作用。

六、大數(shù)據市場構成

大數(shù)據行業(yè)主要解決大數(shù)據的存儲、處理、分析和價值發(fā)現(xiàn)等問

題，實現(xiàn)大數(shù)據的業(yè)務價值。從產品和服務來看，大數(shù)據市場產品和

服務包括三個主要部分，即大數(shù)據硬件、大數(shù)據軟件、大數(shù)據專業(yè)服

務。

其中，大數(shù)據軟件部分按照產品功能的不同可以被分為：大數(shù)據

管理平臺、數(shù)據應用中間件、數(shù)據智能分析工具、大數(shù)據應用四個部

分。

七、營銷調研的步驟

營銷調研的過程，通常包括五個步驟：確定問題與調研目標、擬

定調研計劃、收集信息、分析信息、提交報告。

（一）確定問題與調研目標

為保證營銷調研的成功和有效，首先要明確所要調研的問題，既

不可過于寬泛，也不宜過于狹窄，要有明確的界定并充分考慮調研成

果的實效性。其次，在確定問題的基礎上，提出特定調研目標。

（二）擬定調研計劃

設計能夠有效地收集所需要的信息的計劃，包括概述資料來源、

調研方法和工具等。

由于收集第一手資料花費較大，調研通常從收集第二手資料開始,

必要時再采用各種調研方法收集第一手資料，也可以從企業(yè)外部的商

業(yè)公司購買有關資料。調查表和儀器是收集第一手資料采用的主要工

具。抽樣計劃決定三方面的問題：抽樣單位指確定調查的對象，抽樣

范圍指確定樣本的多少，抽樣程序則是指如何確定受訪者的過程。接

觸方法是指如何與調查對象接觸的問題。

（三）收集信息

在擬定調研計劃后，可由本企業(yè)調研人員承擔收集信息的工作，

也可委托調研公司收集。面談訪問必須爭取被訪問者的友好和真誠合

作，才能收集到有價值的第一手資料。進行實驗調查時，調研人員必

須注意使實驗組和控制組匹配協(xié)調，在調查對象匯集時避免其相互影

響，并采用統(tǒng)一的方法對實驗進行處理和對外來因素進行控制。

（四）分析信息

從已獲取的有關信息中提煉出適合調研目標的調查結果。在分析

過程中，首先要明確這些信息數(shù)據是依據何種尺度進行測定、加工的,

然后借助多變量統(tǒng)計技術將數(shù)據中潛在的各種關系揭示出來，還可將

數(shù)據資料列成表格，制定一維和二維的頻率分布，對主要變量計算其

平均數(shù)和衡量離中趨勢。

（五）提交報告

調研人員向營銷主管提出與進行決策有關的主要調查結果。調研

報告應力求簡明、準確、完整、客觀，為科學決策提供依據。如能使

管理決策減少不確定因素，則此項營銷研究就是富有成效的。

八、市場營銷與企業(yè)職能

迄今為止，市場營銷的主要應用領域還是在企業(yè)。在下一節(jié)我們

將會看到，市場營銷學的形成和發(fā)展，與企業(yè)經營在不同時期所面臨

的問題及其解決方式是緊密聯(lián)系在一起的。

在市場經濟體系中，企業(yè)存在的價值在于它能不斷提供合適的產

品和服務，有效地滿足他人(顧客)需要。因此，管理大師彼得，德

魯克指出：“顧客是企業(yè)得以生存的基礎，企業(yè)的目的是創(chuàng)造顧客，

任何組織若沒有營銷或營銷只是其業(yè)務的一部分，則不能稱之為企

業(yè)?！薄笆袌鰻I銷和創(chuàng)新，這是企業(yè)的兩個功能?！逼渲?，“營銷是

企業(yè)與眾不同的獨一無二的職能”。這是因為：

(1)企業(yè)作為交換體系中的一個成員，必須以對方(顧客)的存

在為前提。沒有顧客，就沒有企業(yè)。

(2)顧客決定企業(yè)的本質。只有顧客愿意花錢購買產品和服務，

才能使企業(yè)資源變成財富。企業(yè)生產什么產品并不重要，顧客對他們

所購物品的感受與價值判斷才是最重要的。顧客的這些感覺、判斷及

購買行為，決定著企業(yè)命運。

(3)企業(yè)最顯著、最獨特的功能是市場營銷。企業(yè)的其他職能，

如生產、財務、人事職能，只有在實現(xiàn)市場營銷職能的情況下，才是

有意義的。因此，市場營銷不僅以其“創(chuàng)造產品或服務的市場”標準

將企業(yè)與其他組織區(qū)分開來，而且不斷促使企業(yè)將營銷觀念貫徹于每

一個部門。

在現(xiàn)實中，許多企業(yè)盡管對市場營銷及其方法頗為重視，但并未

真正把它作為企業(yè)核心職能進行全面貫徹。如一些經理認為營銷就是

“有組織地執(zhí)行銷售職能”。他們著眼于用“我們的產品"，尋求

“我們的市場”，而不是立足于顧客需求、欲望和價值的滿足。但是,

市場營銷并不等于銷售。市場營銷的核心是清楚地了解顧客，并使企

業(yè)所提供的產品（服務）適合顧客需要。不做好這一工作，即使拼命

推銷，顧客也不可能積極購買。因此，企業(yè)盡管也需要做銷售工作，

但市場營銷的目標卻是要減少推銷工作，甚至使得銷售行為變得多余。

全面構建和貫徹面向市場（顧客）的企業(yè)職能，關系到企業(yè)能否

生存和健康成長。

九、市場需求測量

（-）不同層次的市場

市場作為營銷領域的范疇，是指某一產品的實際購買者和潛在購

買者的總和，是對該產品有興趣的顧客群體，也稱潛在市場。潛在市

場的規(guī)模，取決于現(xiàn)實顧客與潛在顧客人數(shù)的多少。

購買者身份的確認，一般依據三個特性，即興趣、收入和購買途

徑。興趣指購買需求和欲望，是采取購買行為的基礎。收入決定支付

能力，是采取購買行為的條件。市場規(guī)模是興趣與收入兩者的函數(shù)。

購買途徑決定購買者能否買到所需產品。有效市場是指對某種產品感

興趣、有支付能力并能獲得該產品的顧客群體。

同樣的產品，往往因購買者必須具備某一特定條件才能獲取，如

規(guī)定到一定年齡者才能購買汽車。有效市場中具備這種條件的顧客群

體，構成該產品的合格的有效市場。

企業(yè)可將營銷努力集中于合格有效市場的某一細分部分，這便成

為企業(yè)的目標市場。企業(yè)及競爭者的營銷努力，必能售出一定數(shù)量的

某種產品，購買該產品的顧客群體，便形成滲透市場。

(二)市場需求

某一產品的市場總需求，是指在一定的營銷努力水平下，一定時

期內在特定地區(qū)、特定營銷環(huán)境中，特定顧客群體可能購買的該種產

品總量。對需求的概念，可從八個方面考察。

(1)產品。首先確定所要測量的產品類別及范圍。

(2)總量?？捎脭?shù)量和金額的絕對數(shù)值來表述，也可用相對數(shù)值

來表述。

(3)購買。指訂購量、裝運量、收貨量、付款數(shù)量或消費數(shù)量。

(4)顧客群。要明確總市場的顧客群、某一層次市場的顧客群、

目標市場或某一細分市場的顧客群。

(5)地理區(qū)域。根據非常明確的地理界線測量一定的地理區(qū)域內

的需求。企業(yè)根據具體情況，合理劃分區(qū)域，測定各自的市場需求。

(6)時期。市場需求測量具有時間性，如年度、5年、10年的市

場需求。由于未來環(huán)境和營銷條件變化的不確定性，預測時間越長，

測量的準確性就越差。

(7)營銷環(huán)境。測量市場需求必須確切掌握宏觀環(huán)境中人口、經

濟、政治、法律、技術、文化諸因素的變化及其對需求的影響。

(8)營銷努力。市場需求也受可控制因素的影響。市場需求受產

品改良、產品價格、促銷和分銷方式等的影響，一般表現(xiàn)出某種程度

的彈性，不是一個固定的數(shù)值。因此，市場需求也稱為市場需求函數(shù)。

隨著行業(yè)營銷費用的增加，刺激消費的力度加大，市場需求一般

會隨之增大，但報酬率由遞增轉入遞減。當營銷費用超過一定水平后,

就不能進一步促進需求，市場需求所達到的極限值，稱為市場潛量。

由于市場環(huán)境變化深刻地影響著市場需求的規(guī)模、結構和時間等，所

以也會深刻地影響著市場潛量。

在基本銷售量與市場潛量之間，顯示了不同類型市場整體需求的

營銷敏感度。受產業(yè)營銷支出水平影響明顯者為可擴張市場，如保健

品市場；受產業(yè)營銷支出水平影響不大者為非擴張市場，如食鹽市場。

(三)企業(yè)需求

企業(yè)需求指在市場需求總量中企業(yè)所占的份額。

在市場競爭中，企業(yè)的市場占有率與其營銷努力成正比。

此外，如果營銷費用分配于廣告、促銷、分銷等方面，它們有不

同的效率及彈性。

（四）企業(yè)預測與企業(yè)潛量

企業(yè)預測指企業(yè)銷售預測，是與企業(yè)選定的營銷計劃和假定的營

銷環(huán)境相對應的銷售額，即預期的企業(yè)銷售水平。這里，銷售預測不

是為確定營銷計劃或營銷努力水平提供基礎，而是由營銷計劃所決定

的，它是既定的營銷費用計劃產生的結果。與銷售預測相關的還有兩

個概念：一個是銷售定額，即公司為產品線、事業(yè)部和推銷員確定的

銷售目標，是一種規(guī)范和激勵銷售隊伍的管理手段，分配的銷售定額

之和，一般應略高于銷售預測。另一個是銷售預算，主要是為當前采

購、生產和現(xiàn)金流量做決策。銷售預算一般略低于銷售預測，以避免

過高的風險。

企業(yè)潛量即企業(yè)銷售潛量，指公司的營銷努力相對于競爭者不斷

增大時，企業(yè)需求所達到的極限。當公司的市場占有率為100%時，企

業(yè)潛量也就是市場潛量，但這只是一種少見的極端情況。

十、市場導向戰(zhàn)略規(guī)劃

全面貫徹現(xiàn)代市場營銷觀念，要求企業(yè)不僅致力于創(chuàng)造近期的顧

客滿意，而且要積極適應市場環(huán)境的變遷，致力于創(chuàng)造長期、整體顧

客滿意，實施有效的市場導向戰(zhàn)略規(guī)劃與管理。

“戰(zhàn)略規(guī)劃的核心一在組織的目標和能力與不斷變化的市場機會

之間建立和維持戰(zhàn)略適配的過程?！薄皯?zhàn)略規(guī)劃的制定過程始于對整

體目標和使命的確定，使命隨即被轉化為詳細的目標以指導整個公司

的發(fā)展?！?/p>

市場導向戰(zhàn)略規(guī)劃的主要內容有以下幾方面。

(1)正確選擇和調整企業(yè)投資經營方向，并將企業(yè)的投資業(yè)務作

為一個組合來管理。企業(yè)必須根據環(huán)境及其變化的要求，綜合考慮顧

客、社會和企業(yè)利益，決定進入哪些領域生產經營，哪些業(yè)務項目

(經營單位)需要建立、保持、發(fā)展、收縮或撤銷，并據以配置企業(yè)

資源。

(2)根據市場增長率、企業(yè)定位及其組合，測算每項具體業(yè)務單

位的未來利潤潛力。企業(yè)必須根據發(fā)展動態(tài)，而不是依據目前的銷售

額或利潤來決定未來的業(yè)務發(fā)展方向。

(3)從長期發(fā)展的戰(zhàn)略高度制定規(guī)劃。企業(yè)要對每一項業(yè)務制定

一個“戰(zhàn)略方案”，以實現(xiàn)其長期目標。同時，企業(yè)還必須根據自己

在行業(yè)中的地位及它的目標、機會、能力和資源確定一個最有意義的

戰(zhàn)略規(guī)劃，并使各項業(yè)務戰(zhàn)略方案體現(xiàn)企業(yè)戰(zhàn)略規(guī)劃的基本要求。

在一些較大規(guī)模的企業(yè)，戰(zhàn)略規(guī)劃通常由四個組織層次構成。包

括企業(yè)層次、部門層次、業(yè)務層次和產品層次。企業(yè)總部負責設計企

業(yè)戰(zhàn)略規(guī)劃，指導整個企業(yè)進入有利的前景，決定給每個業(yè)務單位分

配多少資源以及要開展或取消哪些業(yè)務。部門層次的規(guī)劃，要對企業(yè)

給予的資源進行合理配置。各業(yè)務單位的戰(zhàn)略規(guī)劃則要保證該業(yè)務創(chuàng)

造價值和利潤。最后，每個業(yè)務單位內的每個產品層次（產品線、品

牌等），為了達到該產品特定市場的預定目標，也要制定營銷規(guī)劃。

以上這些規(guī)劃要由企業(yè)的不同層次機構分別執(zhí)行，并對執(zhí)行結果

進行檢查、評估，以及采取改正措施。

十一、消費者行為研究任務及內容

1、消費者行為

消費者行為指消費者在內在和外在因素影響下挑選、購買、使用

和處置產品和服務以滿足自身需要的過程。消費者行為直接決定了營

銷企業(yè)的產品研發(fā)、銷售、利潤乃至興衰。消費者市場研究實質就是

消費者行為研究。

2、消費者行為研究任務

消費者行為研究的任務有三個方面：一是揭示和描述消費者行為

的表現(xiàn)，即通過科學的方法發(fā)現(xiàn)和證實消費者存在哪些行為，也就是

觀察現(xiàn)象，描述事實，所謂“知其然"。二是揭示消費者行為產生的

原因，所謂“知其所以然”。把觀察到的已知事實組織起來、聯(lián)系起

來，提出一定的假說去說明這些事實發(fā)生的原因及其相互關系。三是

預測和引導消費者行為，即在影響因素既定的條件下預測消費者行為,

并通過設置或改變某些條件來引導和控制消費者行為。

3、消費者行為研究內容

消費者行為的研究內容分為消費者購買決策過程、消費者個體因

素、外在環(huán)境因