《大數(shù)據(jù)導(dǎo)論》課件-第六章

大數(shù)據(jù)導(dǎo)論mysql數(shù)據(jù)庫MySQL是一個(gè)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)。由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件之一好處

實(shí)現(xiàn)數(shù)據(jù)持久化使用完整的管理系統(tǒng)統(tǒng)一管理，易于查詢SQL

不是某個(gè)特定數(shù)據(jù)庫供應(yīng)商專有的語言，幾乎所有DBMS都支持SQL簡(jiǎn)單易學(xué)靈活使用其語言元素，可以進(jìn)行非常復(fù)雜和高級(jí)的數(shù)據(jù)庫操作。

SQL語言分類

DML（DataManipulationLanguage):數(shù)據(jù)操縱語句，用于添加、刪除、修改、查詢數(shù)據(jù)庫記錄，并檢查數(shù)據(jù)完整性DDL（DataDefinitionLanguage):數(shù)據(jù)定義語句，用于庫和表的創(chuàng)建、修改、刪除DCL（DataControlLanguage):數(shù)據(jù)控制語句，用于定義用戶的訪問權(quán)限和安全級(jí)別。下載地址/downloads/mysql/下載頁面/downloads/mysql/mysql數(shù)據(jù)庫安裝安裝包

安裝

sudoyumremovemariadb-libs-ysudorpm-ivhmysql-community-common-5.7.32-1.el7.x86_64.rpmsudorpm-ivhmysql-community-libs-5.7.32-1.el7.x86_64.rpmsudorpm-ivhmysql-community-client-5.7.32-1.el7.x86_64.rpmsudoyuminstallnet-toolsperl-yyuminstalllibnuma*sudorpm-ivhmysql-community-server-5.7.32-1.el7.x86_64.rpm啟動(dòng)

systemctlstartmysqld啟動(dòng)檢查

systemctlstatusmysqldnetcat-tlunmysql數(shù)據(jù)庫配置獲取臨時(shí)密碼

臨時(shí)密碼保存在/var/log/mysqld.log的第7行

例子：2020-12-22T01:53:06.495310Z1[Note]Atemporarypasswordisgeneratedforroot@localhost:l1%xqBgfpAhL

連接

mysql-uroot-pl1%xqBgfpAhL修改密碼

alteruseruser()identifiedby"3.1415926Aa?";FLUSHPRIVILEGES;遠(yuǎn)程登錄修改登錄IP限制mysql數(shù)據(jù)庫表設(shè)計(jì)建庫

createdatabase

visible;

建表

CREATETABLE`analyse_user`(`id`int(11)NOTNULLAUTO_INCREMENT,`uid`int(11)NOTNULL,`username`varchar(20)NOTNULL,`type`int(2)NOTNULL,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf8;可視化項(xiàng)目搭建整合數(shù)據(jù)庫添加依賴

<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.38</version><scope>runtime</scope></dependency>

配置

server:port:80spring:datasource:username:rootpassword:3.1415926Aa?url:jdbc:mysql://1:3306/click?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=falsedriver-class-name:com.mysql.jdbc.Driverlogging:level:com:sky:click_interface:mapper:debug整合視圖層添加依賴

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-thymeleaf</artifactId></dependency>

訪問靜態(tài)資源

springboot從classpath/static下訪問靜態(tài)資源訪問靜態(tài)資源

springBoot要求模板形式的視圖層技術(shù)的文件必須要放到src/main/resources目錄下必須要一個(gè)名稱為templatesthymeleaf的使用引入支持

<htmllang="en"xmlns:th="/1999/xhtml">

頁面中輸出值

th:textinput標(biāo)簽value值

th:valuethymeleaf內(nèi)置對(duì)象語法

使用#開頭調(diào)用內(nèi)置對(duì)象

大部分的內(nèi)置對(duì)象都以s結(jié)尾strings、numbers、dates

字符串

字符串截取${#strings.substring(str,10,15)}轉(zhuǎn)換大小寫${#strings.toUpperCase(str)}${#strings.toLowerCase(str)}非空校驗(yàn)${#strings.isEmpty(key)}長(zhǎng)度${#strings.length(msg)}日期

日期格式化

${#dates.format(key,'yyy/MM/dd')}

thymeleaf判斷判斷

th:if=”${age}==18”

分支<divth:switch=”${choose}”><spanth:case=“1”></span></div>model層創(chuàng)建thymeleaf迭代使用場(chǎng)景

服務(wù)端傳遞的數(shù)據(jù)是集合類型

使用方式

<trth:each="user:${data}"><tdth:text="${user.id}"></td><tdth:text="${user.usertype}"></td><tdth:text="${user.count}"></td></tr>mapper層設(shè)計(jì)

配置mybatis.type-aliases-package=com.visible.modelmybatis.mapper-locations=classpath*:/mapper/*Mapper.xmlmapper.xml

<?xmlversion="1.0"encoding="UTF-8"?><!DOCTYPEmapperPUBLIC"-////DTDMapper3.0//EN""/dtd/mybatis-3-mapper.dtd"><mappernamespace="com.visible.mapper.AnalyseUserMapper"><selectid="selectAll"resultType="analyseUser">select*fromanalyse_user</select></mapper>啟動(dòng)類

@MapperScan("com.visible.mapper")數(shù)據(jù)可視化圖標(biāo)庫echars

ECharts

ECharts是一款基于JavaScript的數(shù)據(jù)可視化圖表庫，提供直觀，生動(dòng)，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表。ECharts最初由百度團(tuán)隊(duì)開源，并于2018年初捐贈(zèng)給Apache基金會(huì)，成為ASF孵化級(jí)項(xiàng)目。[1]2021年1月26日晚，Apache基金會(huì)官方宣布ECharts項(xiàng)目正式畢業(yè)。1月28日，ECharts5線上發(fā)布會(huì)舉行。主要功能

ECharts提供了常規(guī)的折線圖、柱狀圖、散點(diǎn)圖、餅圖、K線圖，用于統(tǒng)計(jì)的盒形圖，用于地理數(shù)據(jù)可視化的地圖、熱力圖、線圖，用于關(guān)系數(shù)據(jù)可視化的關(guān)系圖、treemap、旭日?qǐng)D，多維數(shù)據(jù)可視化的平行坐標(biāo)，還有用于BI的漏斗圖，儀表盤，并且支持圖與圖之間的混搭。實(shí)現(xiàn)方式

視圖層引入echars支持<scriptsrc="js/echarts.js"></script>

初始化echarts實(shí)例指定圖表的配置項(xiàng)和數(shù)據(jù)使用剛指定的配置項(xiàng)和數(shù)據(jù)顯示圖表。數(shù)據(jù)接口

定義API（ApplicationProgrammingInterface,應(yīng)用程序編程接口）是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開發(fā)人員基于某軟件或硬件得以訪問一組例程的能力，而又無需訪問源碼，或理解內(nèi)部工作機(jī)制的細(xì)節(jié)。

案例：

在淘寶上下單付款之后，商家選用圓通發(fā)貨，然后你就可以在淘寶上實(shí)時(shí)查看當(dāng)前的物流信息。淘寶和圓通作為兩家獨(dú)立的公司，為什么會(huì)在淘寶上實(shí)時(shí)看到圓通的快遞信息，這就要用到API，當(dāng)查看自己的快遞信息時(shí)，淘寶利用圓通提供的API接口，可以實(shí)時(shí)調(diào)取信息呈現(xiàn)在自己的網(wǎng)站上。數(shù)據(jù)格式

JSON(JavaScriptObjectNotation)是一種輕量級(jí)的數(shù)據(jù)交換格式。易于人閱讀和編寫。同時(shí)也易于機(jī)器解析和生成{"name":"JohnDoe","age":18,"address":{"country":"china","zip-code":"10000"}}實(shí)現(xiàn)方式

@ResponseBodymap??valconf=newSparkConf()//配置conf.setAppName("wordCount")//任務(wù)的名稱conf.setMaster("local[*]")//集群地址、本地模式（開發(fā)調(diào)試）valsc=newSparkContext(conf)//任務(wù)入口valrdd1:RDD[String]=sc.textFile("wordCount")//map(f:T=>U):轉(zhuǎn)換數(shù)據(jù)結(jié)構(gòu)//匿名函數(shù)（參數(shù)列表）=>{函數(shù)體}//valrdd2:RDD[Int]=rdd1.map[Int](f1)valrdd2:RDD[Int]=rdd1.map(_.length)用戶行為分析結(jié)果接口

實(shí)體類創(chuàng)建

封裝數(shù)據(jù)

用戶行為分析數(shù)據(jù)展示

jqueryjQuery是一個(gè)快速、簡(jiǎn)潔的JavaScript框架，是繼Prototype之后又一個(gè)優(yōu)秀的JavaScript代碼庫（框架）于2006年1月由JohnResig發(fā)布。jQuery設(shè)計(jì)的宗旨是“writeLess，DoMore”，即倡導(dǎo)寫更少的代碼，做更多的事情。它封裝JavaScript常用的功能代碼，提供一種簡(jiǎn)便的JavaScript設(shè)計(jì)模式，優(yōu)化HTML文檔操作、事件處理、動(dòng)畫設(shè)計(jì)和Ajax交互。

ajaxAjax即AsynchronousJavascriptAndXML（異步JavaScript和XML）在2005年被JesseJamesGarrett提出的新術(shù)語，用來描述一種使用現(xiàn)有技術(shù)集合的‘新’方法，包括:HTML或XHTML,CSS,JavaScript,DOM,XML,XSLT,以及最重要的XMLHttpRequest。[3]使用Ajax技術(shù)網(wǎng)頁應(yīng)用能夠快速地將增量更新呈現(xiàn)在用戶界面上，而不需要重載（刷新）整個(gè)頁面，這使得程序能夠更快地回應(yīng)用戶的操作。

步驟

引入jquery類庫

通過ajax請(qǐng)求接口數(shù)據(jù)

展示圖表

項(xiàng)目打包

jar文件

Java歸檔文件格式(JavaArchive,JAR)能夠?qū)⒍鄠€(gè)源碼、資源等文件打包到一個(gè)歸檔文件中。這樣，有如下好處：

安全性 可以對(duì)整個(gè)jar包的內(nèi)容進(jìn)行簽名。減少了下載時(shí)間 如果applet被打包成一個(gè)jar文件，那么所有相關(guān)的資源就可以在一個(gè)HTTPtransaction中下載完成，而無需為每一 個(gè)文件新建一個(gè)連接。壓縮 減少了磁盤空間的占用。容易擴(kuò)展 通過jar這種格式，可以和容易地將自己的程序打包提供給別人使用。包密封(PackageSealing) 存儲(chǔ)在jar文件中的包可以被密封，來保證版本的一致性。密封可以保證一個(gè)包中的所有類都來自同一個(gè)jar文件。包版本說明 一個(gè)jar包可以存儲(chǔ)關(guān)于其內(nèi)容的信息，包括提供商、版本等?？梢浦残?處理jar文件的機(jī)制是Java平臺(tái)核心API的標(biāo)準(zhǔn)模塊。打包步驟

clean package

運(yùn)行

java-jar*.jar

ECS服務(wù)器購買彈性云服務(wù)器

簡(jiǎn)介

彈性云服務(wù)器（ElasticCloudServer）是一種可隨時(shí)自助獲取、可彈性伸縮的云服務(wù)器，可幫助您打造可靠、安全、靈活、高效的應(yīng)用環(huán)境，確保服務(wù)持久穩(wěn)定運(yùn)行，提升運(yùn)維效率。彈性云服務(wù)器（ElasticCloudServer，ECS）是由CPU、內(nèi)存、操作系統(tǒng)、云硬盤組成的基礎(chǔ)的計(jì)算組件。彈性云服務(wù)器創(chuàng)建成功后，您就可以像使用自己的本地PC或物理服務(wù)器一樣，在云上使用彈性云服務(wù)器。彈性云服務(wù)器的開通是自助完成的，您只需要指定CPU、內(nèi)存、操作系統(tǒng)、規(guī)格、登錄鑒權(quán)方式即可，同時(shí)也可以根據(jù)您的需求隨時(shí)調(diào)整彈性云服務(wù)器的規(guī)格，為您打造可靠、安全、靈活、高效的計(jì)算環(huán)境。為什么選擇彈性云服務(wù)器

豐富的規(guī)格類型：提供多種類型的彈性云服務(wù)器，可滿足不同的使用場(chǎng)景，每種類型的彈性云服務(wù)器包含多種規(guī)格，同時(shí)支持規(guī)格變更。豐富的鏡像類型：可以靈活便捷的使用公共鏡像、私有鏡像或共享鏡像申請(qǐng)彈性云服務(wù)器。豐富的磁盤種類：提供普通IO、高IO、通用型SSD、超高IO、極速型SSD性能的硬盤，滿足不同業(yè)務(wù)場(chǎng)景需求。靈活的計(jì)費(fèi)模式：支持包年/包月或按需計(jì)費(fèi)模式購買云服務(wù)器，滿足不同應(yīng)用場(chǎng)景，根據(jù)業(yè)務(wù)波動(dòng)隨時(shí)購買和釋放資源。數(shù)據(jù)可靠：基于分布式架構(gòu)的，可彈性擴(kuò)展的虛擬塊存儲(chǔ)服務(wù)；具有高數(shù)據(jù)可靠性，高I/O吞吐能力。安全防護(hù)：支持網(wǎng)絡(luò)隔離，安全組規(guī)則保護(hù)，遠(yuǎn)離病毒攻擊和木馬威脅；Anti-DDoS流量清洗、Web應(yīng)用防火墻、漏洞掃描 等多種安全服務(wù)提供多維度防護(hù)。彈性易用：根據(jù)業(yè)務(wù)需求和策略，自動(dòng)調(diào)整彈性計(jì)算資源，高效匹配業(yè)務(wù)要求。高效運(yùn)維：提供控制臺(tái)、遠(yuǎn)程終端和API等多種管理方式，給您完全管理權(quán)限。云端監(jiān)控：實(shí)時(shí)采樣監(jiān)控指標(biāo)，提供及時(shí)有效的資源信息監(jiān)控告警，通知隨時(shí)觸發(fā)隨時(shí)響應(yīng)。負(fù)載均衡：彈性負(fù)載均衡將訪問流量自動(dòng)分發(fā)到多臺(tái)云服務(wù)器，擴(kuò)展應(yīng)用系統(tǒng)對(duì)外的服務(wù)能力

訪問方式

公有云提供了Web化的服務(wù)管理平臺(tái)，即管理控制臺(tái)和基于HTTPS請(qǐng)求的API（Applicationprogramminginterface）管理方式。

API方式如果用戶需要將公有云平臺(tái)上的彈性云服務(wù)器集成到第三方系統(tǒng)，用于二次開發(fā)，請(qǐng)使用API方式訪問彈性云服務(wù)器，具體操作請(qǐng)參見《彈性云服務(wù)器API參考》。控制臺(tái)方式其他相關(guān)操作，請(qǐng)使用管理控制臺(tái)方式訪問彈性云服務(wù)器。如果用戶已注冊(cè)公有云，可直接登錄管理控制臺(tái)，從主頁選擇“彈性云服務(wù)器”。