《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項(xiàng)目四 深入結(jié)構(gòu)化數(shù)據(jù)存儲

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》實(shí)戰(zhàn)篇大數(shù)據(jù)存儲技術(shù)與應(yīng)用1970年，IBM的研究員（“關(guān)系數(shù)據(jù)庫之父”埃德加·弗蘭克·科德（E.F.Codd））發(fā)表了題為“ARelationalModelofDataforLargeSharedDataBanks（大型共享數(shù)據(jù)庫的關(guān)系模型）”的論文，首次提出了數(shù)據(jù)庫的關(guān)系模型。篇章引入章節(jié)任務(wù)大數(shù)據(jù)存儲技術(shù)與應(yīng)用項(xiàng)目四深入結(jié)構(gòu)化存儲任務(wù)一走進(jìn)結(jié)構(gòu)化數(shù)據(jù)存儲Swift的特性？Swift的應(yīng)用工作場景？CAP定義？CAP理論？回顧任務(wù)引入-MPP技術(shù)Greenplum。該公司成立于2003年，2006年推出了首款產(chǎn)品，其主營業(yè)務(wù)關(guān)注在數(shù)據(jù)倉庫和商業(yè)智能方面，GreenplumDW/BI軟件可以在虛擬化x86服務(wù)器上運(yùn)行無分享（shared-nothing）的大規(guī)模并行處理（MPP）架構(gòu)。任務(wù)描述:本節(jié)任務(wù)從認(rèn)識結(jié)構(gòu)化數(shù)據(jù)、關(guān)系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言SQL開始。任務(wù)教學(xué)目標(biāo)：領(lǐng)會關(guān)系數(shù)據(jù)庫理論基礎(chǔ)。掌握關(guān)系數(shù)據(jù)庫模型設(shè)計(jì)。應(yīng)用結(jié)構(gòu)化數(shù)據(jù)存儲。任務(wù)概要教學(xué)內(nèi)容結(jié)構(gòu)化數(shù)據(jù)存儲介紹結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線一二結(jié)構(gòu)化數(shù)據(jù)存儲介紹知識點(diǎn)一

安裝依賴（53&54）結(jié)構(gòu)化數(shù)據(jù)是指可以使用關(guān)系型數(shù)據(jù)庫表示和存儲，表現(xiàn)為二維形式的數(shù)據(jù)。通常，采用關(guān)系數(shù)據(jù)庫查詢語言SQL來操作結(jié)構(gòu)化數(shù)據(jù)。（一）結(jié)構(gòu)化數(shù)據(jù)典型的結(jié)構(gòu)化數(shù)據(jù)包括：身份證號碼、日期、數(shù)量、金額、地址、電話等。主要應(yīng)用領(lǐng)域：教務(wù)系統(tǒng)、學(xué)工系統(tǒng)、CRM系統(tǒng)、一卡通系統(tǒng)等。結(jié)構(gòu)化數(shù)據(jù)通常以行為單位，一行數(shù)據(jù)表示一個(gè)實(shí)體的信息，每一行數(shù)據(jù)的屬性是相同的。

安裝依賴（53&54）建立在E-R（Entity-Relationship，實(shí)體-關(guān)系模型）基礎(chǔ)上的數(shù)據(jù)庫，典型的關(guān)系數(shù)據(jù)庫如：PostgreSQL、MySQL等。（二）關(guān)系數(shù)據(jù)庫

安裝依賴（53&54）結(jié)構(gòu)化查詢語言(StructuredQueryLanguage)簡稱SQL，SQL從功能上可以分為3部分：DDL（DataDefinitionLanguage，數(shù)據(jù)定義語言）、DML（datamanipulationlanguage，數(shù)據(jù)操縱語言）DCL（DataControlLanguage，數(shù)據(jù)控制語言）。（三）結(jié)構(gòu)化查詢語言結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線知識點(diǎn)一

安裝依賴（53&54）大數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線有三種：采用關(guān)系數(shù)據(jù)庫存儲架構(gòu)；采用MPP并行數(shù)據(jù)存儲架構(gòu)；基于Hadoop的技術(shù)擴(kuò)展和封裝。國內(nèi)已經(jīng)廣泛應(yīng)用于行業(yè)各種數(shù)據(jù)庫，鎖定行業(yè)應(yīng)用特性，提供數(shù)據(jù)存儲整體解決方案，如華為GaussDB數(shù)據(jù)庫、中興GoldenDB分布式數(shù)據(jù)庫、南大通用GBase數(shù)據(jù)庫、TiDB數(shù)據(jù)庫、武漢達(dá)夢數(shù)據(jù)庫、人大金倉KingbaseES數(shù)據(jù)庫等。結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線

安裝依賴（53&54）1.關(guān)系數(shù)據(jù)庫存儲架構(gòu)采用關(guān)系數(shù)據(jù)庫存儲架構(gòu)技術(shù)來存儲結(jié)構(gòu)化數(shù)據(jù)，通過對關(guān)系數(shù)據(jù)庫系統(tǒng)的優(yōu)化來解決大數(shù)據(jù)工程項(xiàng)目中的海量數(shù)據(jù)的存儲和大量用戶的并行訪問問題。如：對開源關(guān)系數(shù)據(jù)庫MySQL進(jìn)行優(yōu)化，構(gòu)建MySQL數(shù)據(jù)庫集群來存儲海量結(jié)構(gòu)化數(shù)據(jù)；部署開源關(guān)系對象數(shù)據(jù)庫PostgreSQL系統(tǒng)，構(gòu)建海量結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)；結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線賴（53&54）2.MPP并行數(shù)據(jù)存儲架構(gòu)MPP（也被稱為SharedNothing架構(gòu)），指有兩個(gè)或者多個(gè)處理器協(xié)同執(zhí)行一個(gè)操作的并行系統(tǒng)，每一個(gè)處理器都有其自己的內(nèi)存、操作系統(tǒng)和磁盤。結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線

安裝依賴（53&54）Hadoop開源大數(shù)據(jù)技術(shù)，擴(kuò)展、封裝，衍生出適合特定應(yīng)用場景的存儲系統(tǒng)和存儲產(chǎn)品。Hadoop技術(shù)擴(kuò)展和封裝任務(wù)小結(jié)通過本節(jié)任務(wù)的學(xué)習(xí)，我們認(rèn)識了什么是結(jié)構(gòu)化數(shù)據(jù)、關(guān)系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言。對結(jié)構(gòu)化數(shù)據(jù)的存儲技術(shù)路線進(jìn)行了系統(tǒng)的探討和學(xué)習(xí)。拓展訓(xùn)練PostgreSQL獨(dú)立學(xué)習(xí)起源于加利福尼亞大學(xué)伯克利分校的PostgreSQL作為世界上最先進(jìn)的開源數(shù)據(jù)庫，已經(jīng)有30多年的歷史，并且以無與倫比的開發(fā)速度繼續(xù)發(fā)展。PostgreSQL的成熟功能不僅與頂級商業(yè)數(shù)據(jù)庫系統(tǒng)匹配，而且在高級數(shù)據(jù)庫功能、可擴(kuò)展性、安全性和穩(wěn)定性方面超過了它們。學(xué)習(xí)postgresql官方文檔：/v2/document1.什么是結(jié)構(gòu)化數(shù)據(jù)？2.結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項(xiàng)目四深入結(jié)構(gòu)化存儲任務(wù)二深入PostgreSQL存儲技術(shù)什么是結(jié)構(gòu)化數(shù)據(jù)？什么是MPP？結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？Hadoop？回顧任務(wù)引入-MPP技術(shù)Greenplum。該公司成立于2003年，2006年推出了首款產(chǎn)品，其主營業(yè)務(wù)關(guān)注在數(shù)據(jù)倉庫和商業(yè)智能方面，GreenplumDW/BI軟件可以在虛擬化x86服務(wù)器上運(yùn)行無分享（shared-nothing）的大規(guī)模并行處理（MPP）架構(gòu)。任務(wù)描述:本節(jié)任務(wù)從認(rèn)識結(jié)構(gòu)化數(shù)據(jù)、關(guān)系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言SQL開始。任務(wù)教學(xué)目標(biāo)：領(lǐng)會關(guān)系數(shù)據(jù)庫理論基礎(chǔ)。掌握關(guān)系數(shù)據(jù)庫模型設(shè)計(jì)。應(yīng)用結(jié)構(gòu)化數(shù)據(jù)存儲。任務(wù)概要教學(xué)內(nèi)容PostgreSQL概述PostgreSQL安裝配置一二PostgreSQL數(shù)據(jù)類型PostgreSQL數(shù)據(jù)庫設(shè)計(jì)三四PostgreSQL數(shù)據(jù)表操作PostgreSQL數(shù)據(jù)操作五六PostgreSQL應(yīng)用案例七PostgreSQL概述知識點(diǎn)一

安裝依賴（53&54）PostgreSQL是以加州大學(xué)伯克利分校計(jì)算機(jī)系開發(fā)的POSTGRES，版本4.2為基礎(chǔ)的對象關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（ORDBMS）。POSTGRES領(lǐng)先的許多概念在很久以后才出現(xiàn)在一些商業(yè)數(shù)據(jù)庫系統(tǒng)中。（一）PostgreSQL概述PostgreSQL安裝配置知識點(diǎn)二

安裝依賴（53&54）/download/（二）PostgreSQL安裝配置

安裝依賴（53&54）~$psqlpsql(10.10.0)Type"help"forhelp.postgres=#（二）PostgreSQL安裝配置進(jìn)入PostgreSQL退出PostgreSQL\q~$PostgreSQL數(shù)據(jù)類型知識點(diǎn)三

安裝依賴（53&54）（三）PostgreSQL數(shù)據(jù)類型PostgreSQL數(shù)據(jù)庫設(shè)計(jì)知識點(diǎn)四

安裝依賴（53&54）以學(xué)生選課為例來學(xué)習(xí)PostgreSQL邏輯模型和物理模型的設(shè)計(jì)。學(xué)生信息表：學(xué)號、姓名、性別、年齡、所在系；課程信息表：課程號、課程名、學(xué)分；學(xué)生選課信息表：學(xué)號、課程號、成績。（四）PostgreSQL數(shù)據(jù)庫設(shè)計(jì)

安裝依賴（53&54）1.查看數(shù)據(jù)庫（四）PostgreSQL數(shù)據(jù)庫設(shè)計(jì)

安裝依賴（53&54）2.選擇數(shù)據(jù)庫（四）PostgreSQL數(shù)據(jù)庫設(shè)計(jì)

3.刪除數(shù)據(jù)庫PostgreSQL數(shù)據(jù)表操作知識點(diǎn)五

安裝依賴（53&54）1.創(chuàng)建學(xué)生信息表（五）PostgreSQL數(shù)據(jù)表操作PostgreSQL數(shù)據(jù)操作知識點(diǎn)六

安裝依賴（53&54）1.插入數(shù)據(jù)到學(xué)生信息表（六）PostgreSQL數(shù)據(jù)操作PostgreSQL應(yīng)用案例知識點(diǎn)七

安裝依賴（53&54）以學(xué)生選課為案例。學(xué)生信息表：學(xué)號、姓名、性別、年齡、所在班級；課程信息表：課程號、課程名、學(xué)分；學(xué)生選課信息表：學(xué)號、課程號、成績。本案例可以采用Postgres企業(yè)版本Stork集群實(shí)現(xiàn)，Stork是以Postgres為內(nèi)核，在此基礎(chǔ)上開發(fā)的數(shù)據(jù)庫系統(tǒng)；也可以采用開源PostgresSQL版本實(shí)現(xiàn)。（七）PostgreSQL應(yīng)用案例任務(wù)小結(jié)通過本節(jié)任務(wù)的學(xué)習(xí)，我們認(rèn)識了什么是結(jié)構(gòu)化數(shù)據(jù)、關(guān)系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言。對結(jié)構(gòu)化數(shù)據(jù)的存儲技術(shù)路線進(jìn)行了系統(tǒng)的探討和學(xué)習(xí)。擴(kuò)展訓(xùn)練PostgreSQL獨(dú)立學(xué)習(xí)起源于加利福尼亞大學(xué)伯克利分校的PostgreSQL作為世界上最先進(jìn)的開源數(shù)據(jù)庫，已經(jīng)有30多年的歷史，并且以無與倫比的開發(fā)速度繼續(xù)發(fā)展。PostgreSQL的成熟功能不僅與頂級商業(yè)數(shù)據(jù)庫系統(tǒng)匹配，而且在高級數(shù)據(jù)庫功能、可擴(kuò)展性、安全性和穩(wěn)定性方面超過了它們。學(xué)習(xí)postgresql官方文檔：/v2/document1.什么是結(jié)構(gòu)化數(shù)據(jù)？2.結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項(xiàng)目四深入結(jié)構(gòu)化存儲任務(wù)三深入MPP并行數(shù)據(jù)存儲技術(shù)什么是結(jié)構(gòu)化數(shù)據(jù)？什么是MPP？結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？Hadoop？回顧任務(wù)引入-MPP技術(shù)Greenplum。該公司成立于2003年，2006年推出了首款產(chǎn)品，其主營業(yè)務(wù)關(guān)注在數(shù)據(jù)倉庫和商業(yè)智能方面，GreenplumDW/BI軟件可以在虛擬化x86服務(wù)器上運(yùn)行無分享（shared-nothing）的大規(guī)模并行處理（MPP）架構(gòu)。任務(wù)描述:節(jié)以開源數(shù)據(jù)庫GreenPlum為基礎(chǔ)系統(tǒng)學(xué)習(xí)MPP并行數(shù)據(jù)存儲技術(shù)。在任務(wù)實(shí)踐過程中，可以選擇企業(yè)版本Teryx或開源GreenPlum版本進(jìn)行部署。任務(wù)教學(xué)目標(biāo)：領(lǐng)會關(guān)系數(shù)據(jù)庫理論基礎(chǔ)。掌握關(guān)系數(shù)據(jù)庫模型設(shè)計(jì)。應(yīng)用結(jié)構(gòu)化數(shù)據(jù)存儲。任務(wù)概要教學(xué)內(nèi)容MPP并行數(shù)據(jù)存儲概述Greenplum數(shù)據(jù)存儲架構(gòu)一二Greenplum數(shù)據(jù)存儲操作Greenplum應(yīng)用案例三四MPP并行數(shù)據(jù)存儲概述知識點(diǎn)一

安裝依賴（53&54）MPP（MassivelyParallelProcessing，大規(guī)模并行處理）也被稱為SharedNothing架構(gòu)，指有兩個(gè)或者多個(gè)處理器協(xié)同執(zhí)行一個(gè)操作的并行系統(tǒng)，每一個(gè)處理器都有其自己的內(nèi)存、操作系統(tǒng)和磁盤。GreenPlum使用這種高性能系統(tǒng)架構(gòu)來分布數(shù)T字節(jié)數(shù)據(jù)負(fù)載并且能夠使用系統(tǒng)的所有資源并行處理一個(gè)查詢。（一）MPP并行存儲概述Greenplum數(shù)據(jù)存儲操作知識點(diǎn)三

安裝依賴（53&54）GreenPlum數(shù)據(jù)庫是一種大規(guī)模并行處理（MPP）數(shù)據(jù)庫服務(wù)器，GreenPlum架構(gòu)特別適合大規(guī)模數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和AI。（二）Greenplum數(shù)據(jù)存儲架構(gòu)Greenplum數(shù)據(jù)存儲架構(gòu)知識點(diǎn)二

安裝依賴（53&54）（三）Greenplum數(shù)據(jù)庫操作1.創(chuàng)建數(shù)據(jù)庫CREATEDATABASEnew_dbname;2.克隆數(shù)據(jù)庫CREATEDATABASEnew_dbnameTEMPLATEold_dbname;3.創(chuàng)建不同Owner的數(shù)據(jù)庫CREATEDATABASEnew_dbnameWITHowner=new_user;4.修改數(shù)據(jù)庫ALTERDATABASEmydatabaseSETsearch_pathTOmyschema,public,pg_catalog;5.刪除數(shù)據(jù)庫DROPDATABASEmydatabase;

安裝依賴（53&54）（三）Greenplum數(shù)據(jù)操作1.Insert操作INSERT語句向GreenPlum數(shù)據(jù)表中添加數(shù)據(jù)。INSERTINTOStudents(SNo,SName,SClass)VALUES('2020101001','李**','2020級大數(shù)據(jù)1班');INSERTINTOStudentsVALUES('2020101001','李**','2020級大數(shù)據(jù)1班');INSERTINTOStudentsSELECT*FROMtmp_StudentsWHERESClass='2019級大數(shù)據(jù)1班';INSERTINTOStudents(SNo,SName,SClass)VALUES('2020101001','李**','2020級大數(shù)據(jù)1班')；

安裝依賴（53&54）（三）Greenplum數(shù)據(jù)操作UPDATE語句更新GreenPlum數(shù)據(jù)表中的數(shù)據(jù)。UPDATEStudentsSETSAge=21WHERESNo='2020101003';3.Delete操作DELETE語句從GreenPlum數(shù)據(jù)表中刪除行。DELETEFROMStudentsWHERESNo='2020101003';4.Truncate操作使用TRUNCATE語句可以快速地清空GreenPlum表中的所有數(shù)據(jù)。TRUNCATEtmp_Students;Greenplum應(yīng)用案例知識點(diǎn)四

安裝依賴（53&54）（四）Greenplum應(yīng)用案例Teryx是一款MPP架構(gòu)的分布式數(shù)據(jù)庫引擎，基于GreenPlum開源數(shù)據(jù)庫實(shí)現(xiàn)，相比于原生數(shù)據(jù)庫，總體性能有一定提升。本案例基于Teryx實(shí)現(xiàn)對score（成績表）的結(jié)構(gòu)化數(shù)據(jù)操作。也可以基于開源Greenplum安裝實(shí)現(xiàn)。（