《工業(yè)互聯(lián)網(wǎng)微證書(shū)-大數(shù)據(jù)能力 》 課件-08工業(yè)大數(shù)據(jù)技術(shù)-數(shù)據(jù)倉(cāng)庫(kù)

08數(shù)據(jù)倉(cāng)庫(kù)工業(yè)互聯(lián)網(wǎng)微證書(shū)-大數(shù)據(jù)能力

數(shù)據(jù)倉(cāng)庫(kù)是企業(yè)數(shù)據(jù)戰(zhàn)略的核心，它幫助企業(yè)從海量數(shù)據(jù)中提煉出有價(jià)值的業(yè)務(wù)洞察，支持戰(zhàn)略規(guī)劃和運(yùn)營(yíng)決策。通過(guò)將數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖、數(shù)據(jù)集市等其他數(shù)據(jù)存儲(chǔ)技術(shù)結(jié)合，企業(yè)可以構(gòu)建一個(gè)全面的數(shù)據(jù)管理平臺(tái)，滿(mǎn)足不同業(yè)務(wù)場(chǎng)景的需求。內(nèi)容導(dǎo)入8.1數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的背景8.2數(shù)據(jù)倉(cāng)庫(kù)的定義8.3數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的內(nèi)容8.4數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵術(shù)語(yǔ)8.5數(shù)據(jù)倉(cāng)庫(kù)的核心組件8.6數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)8.7數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展8.8數(shù)據(jù)倉(cāng)庫(kù)的原理目錄了解數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的背景掌握數(shù)據(jù)倉(cāng)庫(kù)的定義熟悉數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的內(nèi)容、關(guān)鍵術(shù)語(yǔ)、核心組件掌握數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)了解數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展熟悉數(shù)據(jù)倉(cāng)庫(kù)的原理8.1數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生的背景

歷史數(shù)據(jù)積存。隨著時(shí)間的推移，歷史數(shù)據(jù)積壓對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)產(chǎn)生的影響，從而影響業(yè)務(wù)的正常運(yùn)行，企業(yè)需要定期將積壓的歷史數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫(kù)中轉(zhuǎn)移出去，存儲(chǔ)到一個(gè)專(zhuān)門(mén)存放歷史數(shù)據(jù)的倉(cāng)庫(kù)中。這就是數(shù)據(jù)倉(cāng)庫(kù)。

企業(yè)數(shù)據(jù)分析的需要。企業(yè)將歷史數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中后，這些數(shù)據(jù)不僅可以改善業(yè)務(wù)數(shù)據(jù)庫(kù)的性能；還可以用來(lái)進(jìn)行數(shù)據(jù)分析，從而輔助管理層進(jìn)行決策。8.2數(shù)據(jù)倉(cāng)庫(kù)的定義（1）數(shù)據(jù)倉(cāng)庫(kù)的定義

數(shù)據(jù)倉(cāng)庫(kù)，英文名稱(chēng)為DataWarehouse，可簡(jiǎn)寫(xiě)為DW或DWH。數(shù)據(jù)倉(cāng)庫(kù)，是為企業(yè)所有級(jí)別的決策制定過(guò)程，提供所有類(lèi)型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間、成本、質(zhì)量以及控制。---百度百科8.2數(shù)據(jù)倉(cāng)庫(kù)的定義（2）如何理解數(shù)據(jù)倉(cāng)庫(kù)

?

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向商務(wù)智能分析的數(shù)據(jù)管理系統(tǒng)，主要用于集中、整合來(lái)自多個(gè)來(lái)源的大量數(shù)據(jù)，以支持企業(yè)的決策制定和分析需求。數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)僅適用于查詢(xún)和分析操作，通常涉及大量的歷史數(shù)據(jù)。這些數(shù)據(jù)來(lái)自各種應(yīng)用日志文件和事務(wù)應(yīng)用等廣泛來(lái)源，經(jīng)過(guò)抽取、清洗、加工和匯總的過(guò)程，以確保數(shù)據(jù)的準(zhǔn)確性和一致性。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常不再進(jìn)行修改或刪除操作，而是以只讀格式保存，確保數(shù)據(jù)的穩(wěn)定性和安全性。此外，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按特定主題組織的，如客戶(hù)、產(chǎn)品或銷(xiāo)售等，這些主題反映了企業(yè)關(guān)心的領(lǐng)域或問(wèn)題。通過(guò)這些組織良好的數(shù)據(jù)，企業(yè)可以獲得業(yè)務(wù)洞察，改善決策過(guò)程，并對(duì)市場(chǎng)趨勢(shì)和客戶(hù)需求進(jìn)行定量分析和預(yù)測(cè)。?8.3數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的內(nèi)容20世紀(jì)80年代末，數(shù)據(jù)倉(cāng)庫(kù)開(kāi)始流行，主要用于存儲(chǔ)有關(guān)人員、產(chǎn)品和交易的信息。這些數(shù)據(jù)稱(chēng)為結(jié)構(gòu)化數(shù)據(jù)，具有整潔的結(jié)構(gòu)和格式，便于訪(fǎng)問(wèn)。但是，企業(yè)很快又想存儲(chǔ)、檢索并分析非結(jié)構(gòu)化數(shù)據(jù)，如文檔、圖像、視頻、電子郵件、社交媒體帖子以及來(lái)自機(jī)器傳感器的原始數(shù)據(jù)。現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)能夠同時(shí)兼容結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)8.4數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵術(shù)語(yǔ)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖都能夠存儲(chǔ)大數(shù)據(jù)，但卻是截然不同的存儲(chǔ)系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)主要存儲(chǔ)根據(jù)特定用途進(jìn)行格式化的數(shù)據(jù)，而數(shù)據(jù)湖則存儲(chǔ)未經(jīng)處理的原始數(shù)據(jù)，其數(shù)據(jù)用途尚不明確。8.4數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵術(shù)語(yǔ)數(shù)據(jù)集市數(shù)據(jù)集市是數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子部分，是專(zhuān)門(mén)針對(duì)某一部門(mén)或業(yè)務(wù)線(xiàn)（如銷(xiāo)售、營(yíng)銷(xiāo)或財(cái)務(wù)）劃分出來(lái)的。有些數(shù)據(jù)集市也可能是為了單獨(dú)的運(yùn)營(yíng)目的而創(chuàng)建。數(shù)據(jù)倉(cāng)庫(kù)是整個(gè)企業(yè)的數(shù)據(jù)存儲(chǔ)中心，而數(shù)據(jù)集市則為特定用戶(hù)群體提供相關(guān)數(shù)據(jù)。8.5數(shù)據(jù)倉(cāng)庫(kù)的核心組件數(shù)據(jù)集市典型的數(shù)據(jù)倉(cāng)庫(kù)包含4個(gè)核心組件：中央數(shù)據(jù)庫(kù)、ETL（提取、轉(zhuǎn)換、加載）工具、元數(shù)據(jù)和訪(fǎng)問(wèn)工具。8.5數(shù)據(jù)倉(cāng)庫(kù)的核心組件數(shù)據(jù)集市中央數(shù)據(jù)庫(kù)數(shù)據(jù)集成元數(shù)據(jù)213數(shù)據(jù)庫(kù)是數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)。這些數(shù)據(jù)庫(kù)都是在本地或云端運(yùn)行的標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)。企業(yè)可以通過(guò)數(shù)據(jù)集成方法從源系統(tǒng)中提取數(shù)據(jù)。數(shù)據(jù)集成方法包括ETL（提取、轉(zhuǎn)換和加載）和ELT、實(shí)時(shí)數(shù)據(jù)復(fù)制、批量加載處理、數(shù)據(jù)轉(zhuǎn)換以及數(shù)據(jù)質(zhì)量和豐富服務(wù)。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，規(guī)定了數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)集的來(lái)源、使用、價(jià)值和其他特性。業(yè)務(wù)元數(shù)據(jù)描述的是數(shù)據(jù)情境信息，技術(shù)元數(shù)據(jù)描述的是如何訪(fǎng)問(wèn)數(shù)據(jù)，包括數(shù)據(jù)的位置和結(jié)構(gòu)。數(shù)據(jù)倉(cāng)庫(kù)訪(fǎng)問(wèn)工具4訪(fǎng)問(wèn)工具包括查詢(xún)和報(bào)告工具、應(yīng)用開(kāi)發(fā)工具、數(shù)據(jù)挖掘工具、聯(lián)機(jī)分析處理(OLAP)工具等。8.6數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)8.6數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)數(shù)據(jù)層語(yǔ)義層分析層通過(guò)ETL工具從數(shù)據(jù)源中提取數(shù)據(jù)，然后進(jìn)行轉(zhuǎn)換并加載到底層。底層包括數(shù)據(jù)庫(kù)服務(wù)器、數(shù)據(jù)集市和數(shù)據(jù)湖。元數(shù)據(jù)就是在這一層創(chuàng)建，數(shù)據(jù)集成工具（比如數(shù)據(jù)虛擬化工具）用于對(duì)數(shù)據(jù)進(jìn)行無(wú)縫整合和匯總。在中間層，聯(lián)機(jī)分析處理(OLAP)和聯(lián)機(jī)事務(wù)處理(OLTP)服務(wù)器會(huì)重組數(shù)據(jù)，支持快速、復(fù)雜的查詢(xún)和分析。這一層部署了數(shù)據(jù)倉(cāng)庫(kù)訪(fǎng)問(wèn)工具，支持用戶(hù)與數(shù)據(jù)交互、創(chuàng)建儀表盤(pán)和報(bào)表、監(jiān)控KPI、挖掘和分析數(shù)據(jù)、構(gòu)建應(yīng)用等。分析層通常包含工作臺(tái)或沙箱區(qū)域，用于支持?jǐn)?shù)據(jù)挖掘和新數(shù)據(jù)模型開(kāi)發(fā)。8.7數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展1.云數(shù)據(jù)倉(cāng)庫(kù)的崛起2.實(shí)時(shí)數(shù)據(jù)分析的需求增長(zhǎng)3.大數(shù)據(jù)和人工智能的整合4.數(shù)據(jù)隱私和安全的重視5.數(shù)據(jù)湖的興起8.8數(shù)據(jù)倉(cāng)庫(kù)的原理數(shù)據(jù)倉(cāng)庫(kù)的原理主要是通過(guò)數(shù)據(jù)集成、轉(zhuǎn)換、存儲(chǔ)和查詢(xún)等過(guò)程，將來(lái)自多個(gè)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)整合到一個(gè)統(tǒng)一的數(shù)據(jù)集合中，以支持管理決策制定。通過(guò)數(shù)據(jù)清洗和轉(zhuǎn)換等處理，將源數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)倉(cāng)庫(kù)模型的數(shù)據(jù)格式，并存儲(chǔ)在專(zhuān)門(mén)的存儲(chǔ)系統(tǒng)中，以便進(jìn)行復(fù)雜的數(shù)據(jù)分析和查詢(xún)。這些分析和查詢(xún)可以通過(guò)SQL語(yǔ)言進(jìn)行，還可以支持高級(jí)的OLAP和數(shù)據(jù)挖掘功能，為決策者提供多維度的數(shù)據(jù)分析支持。數(shù)據(jù)倉(cāng)庫(kù)的原理是將分散的、異構(gòu)的源數(shù)據(jù)整合