視頻分布式組件開放平臺建設(shè)方案模板

視頻能力平臺建設(shè)方案項(xiàng)目概述1.1建設(shè)背景隨著國家經(jīng)濟(jì)的提高，城市化進(jìn)程在不斷的發(fā)展，各種社會(huì)矛盾和暴力事件逐漸增多,政府和相關(guān)單位對加強(qiáng)城市各地聯(lián)網(wǎng)型監(jiān)控系統(tǒng)越來越重視，實(shí)時(shí)發(fā)現(xiàn)安全隱患的視頻監(jiān)控功能已經(jīng)具有越來越重要的現(xiàn)實(shí)意義。XX、政務(wù)、建筑、教育等行業(yè)先后頒布多個(gè)有關(guān)視頻的政策文件指導(dǎo)建設(shè)，在數(shù)字政府建設(shè)、行業(yè)應(yīng)用拓展等方面都出現(xiàn)了對視頻監(jiān)控業(yè)務(wù)的迫切需求，如:雪亮工程、明廚亮灶、平安校園、智慧工地等。同時(shí)，5G時(shí)代的到來也是視頻監(jiān)控行業(yè)的重大機(jī)遇，目前中國XX已經(jīng)將視頻業(yè)務(wù)歸納為移動(dòng)、寬帶、電視之后的第四大基礎(chǔ)業(yè)務(wù)，伴隨著視頻監(jiān)控業(yè)務(wù)與5G、人工智能、大數(shù)據(jù)技術(shù)相結(jié)合的智能視頻業(yè)務(wù)呈爆發(fā)性的增長態(tài)勢，智能視頻監(jiān)控產(chǎn)品在這種日益增長的需求帶動(dòng)下，正在成為視頻監(jiān)控領(lǐng)域的新熱點(diǎn)。因此，如何把握5G時(shí)代發(fā)展契機(jī)，發(fā)揮XXXX在視頻監(jiān)控領(lǐng)域的市場和能力優(yōu)勢，全面布局視頻能力建設(shè)，打造能夠滿足各行各業(yè)視頻應(yīng)用需求，并形成具有智能視頻監(jiān)測、安防、服務(wù)、管理的視頻能力開放平臺就顯得尤為迫切和重要。1.2建設(shè)內(nèi)容視頻能力開放平臺是集視頻基礎(chǔ)服務(wù)和AI及大數(shù)據(jù)分析能力于一體的綜合服務(wù)運(yùn)營管理平臺，通過建設(shè)智能視頻基礎(chǔ)平臺、智能視頻應(yīng)用平臺和智能視頻分析平臺，面向公眾客戶和行業(yè)客戶，提供從產(chǎn)品受理，音視頻基礎(chǔ)服務(wù)，包括播放、錄像、回放、云臺控制，智能分析服務(wù)等一整套多元化的視頻應(yīng)用服務(wù)。平臺采用國標(biāo)GB28181協(xié)議搭建視頻基礎(chǔ)服務(wù)平臺，使用分布式及邊緣計(jì)算架構(gòu)搭建視頻整體架構(gòu)，實(shí)現(xiàn)平臺快速對接、應(yīng)用快速落地，靈活服務(wù)于各類客戶及各種應(yīng)用場景。1.3建設(shè)意義通過建設(shè)視頻能力開放平臺，可以實(shí)現(xiàn)XX視頻平臺產(chǎn)品化的能力。不僅實(shí)現(xiàn)視頻接入能力，而且可以實(shí)現(xiàn)對視頻智能化分析能力，為XX視頻綜合業(yè)務(wù)的發(fā)展提供有利的保障。目前智能視頻監(jiān)控建設(shè)正逐漸從“代建模式”向“自營出租模式”演變，未來將轉(zhuǎn)向以數(shù)據(jù)銷售為中心的規(guī)模化運(yùn)營。XX可以實(shí)現(xiàn)以監(jiān)控視頻業(yè)務(wù)為主，打造統(tǒng)一的智能視頻平臺，構(gòu)建視頻接入、傳輸資源優(yōu)勢，面向用戶開展視頻出租業(yè)務(wù)；加強(qiáng)構(gòu)建視頻生態(tài)，拓展大數(shù)據(jù)和智能分析應(yīng)用，提升視頻價(jià)值挖掘。發(fā)揮中國XX在視頻監(jiān)控領(lǐng)域的市場和能力優(yōu)勢，全面布局視頻能力建設(shè)，打造行業(yè)生態(tài)，合作共贏。1.4建設(shè)規(guī)模平臺分期建設(shè)。本期建設(shè)規(guī)模按照目前業(yè)務(wù)發(fā)展規(guī)模進(jìn)行預(yù)估，在部署的完成后可持續(xù)擴(kuò)容，包括擴(kuò)容資源申請，擴(kuò)容部署時(shí)限等，以滿足用戶使用的需求。建設(shè)原則平臺在進(jìn)行設(shè)計(jì)的過程中應(yīng)遵循如下原則：1、實(shí)用性按照系統(tǒng)投入結(jié)合具體運(yùn)用和具體應(yīng)用環(huán)境來設(shè)計(jì)系統(tǒng)，最大限度的滿足各項(xiàng)功能要求。系統(tǒng)盡量具有人性化的設(shè)計(jì)，做到易操作、界面友好，美觀大方、易管理、查詢與統(tǒng)計(jì)功能靈活完善、數(shù)據(jù)更新和維護(hù)簡便、系統(tǒng)升級容易等特點(diǎn)。使系統(tǒng)能被用戶接受容納，便于推廣應(yīng)用。2、可靠性系統(tǒng)應(yīng)運(yùn)用先進(jìn)的訪問控制、身份認(rèn)證等技術(shù)防止非法用戶的入侵，保證系統(tǒng)能夠正常、可靠的運(yùn)行。數(shù)據(jù)在網(wǎng)上采集、存儲(chǔ)、傳輸和處理的過程中，始終保持完整性和一致性。為保證系統(tǒng)的可靠正常運(yùn)行、采取系統(tǒng)定期檢測和數(shù)據(jù)定期備份來保證系統(tǒng)的可靠性。3、穩(wěn)定性平臺將會(huì)考慮數(shù)據(jù)穩(wěn)定性要求，保障系統(tǒng)在運(yùn)行過程中正常穩(wěn)定運(yùn)行。在安全、高效的基礎(chǔ)上實(shí)現(xiàn)系統(tǒng)穩(wěn)定運(yùn)行是系統(tǒng)建設(shè)的基本目標(biāo)。為了保證系統(tǒng)建設(shè)的穩(wěn)定原則，應(yīng)充分考察現(xiàn)在系統(tǒng)的系統(tǒng)結(jié)構(gòu)和成功應(yīng)用案例，不能為了過分追求新技術(shù)而忽略系統(tǒng)穩(wěn)定性，也不能為了過分強(qiáng)調(diào)穩(wěn)定而忽略系統(tǒng)的高效運(yùn)作和安全問題。4、開放性系統(tǒng)設(shè)計(jì)采用的各項(xiàng)軟、硬件設(shè)備均應(yīng)符合國際通用標(biāo)準(zhǔn)，符合開放性原則，應(yīng)用系統(tǒng)建設(shè)和組網(wǎng)使用的技術(shù)要與技術(shù)發(fā)展的潮流吻合，保證系統(tǒng)的開放性和技術(shù)延伸性，與日后的技術(shù)應(yīng)具有良好的親和性。信息共享需要開放性與標(biāo)準(zhǔn)化。為了支持系統(tǒng)的可持續(xù)發(fā)揮作用，必須對信息及信息服務(wù)、應(yīng)用功能等提供開放的接口，并進(jìn)行標(biāo)準(zhǔn)化。為了支持系統(tǒng)上線后的后繼開發(fā)工作，應(yīng)準(zhǔn)備向各應(yīng)用系統(tǒng)開放接口，并提供相關(guān)技術(shù)文檔和接口文件支持。5、先進(jìn)性系統(tǒng)要采用國際上先進(jìn)、成熟、實(shí)用的技術(shù)，既保證系統(tǒng)實(shí)現(xiàn)的功能，又保證系統(tǒng)在未來的五年內(nèi)，其技術(shù)仍能滿足應(yīng)用發(fā)展的需求。目前的J2EE技術(shù)已比較成熟，系統(tǒng)應(yīng)該采用J2EE多層體系結(jié)構(gòu)，所有的應(yīng)用服務(wù)應(yīng)架構(gòu)于中間件之上，客戶端通過統(tǒng)一的瀏覽器界面訪問整個(gè)系統(tǒng)，保持接口統(tǒng)一、訪問簡單、易升級、易擴(kuò)充的特點(diǎn)，完全能夠滿足平臺未來幾年的發(fā)展需要。6、易用性系統(tǒng)考慮到不同層面的業(yè)務(wù)人員的操作水平、系統(tǒng)建設(shè)過程中將更多的考慮系統(tǒng)的易用性。易用原則即在進(jìn)行系統(tǒng)開發(fā)時(shí)，要充分考慮系統(tǒng)使用者的需求和習(xí)慣，以易用為導(dǎo)向，以實(shí)現(xiàn)業(yè)務(wù)流程為目標(biāo)。包括工作人員和公眾進(jìn)行操作時(shí)，都應(yīng)體現(xiàn)易用原則。項(xiàng)目需求人員需對系統(tǒng)使用者進(jìn)行較深入的調(diào)查和研究，充分尊重用戶的需求和使用習(xí)慣，在體現(xiàn)系統(tǒng)功能的基礎(chǔ)上，避免出現(xiàn)過于復(fù)雜的操作，避免出現(xiàn)使用戶陷入迷茫狀態(tài)的系統(tǒng)界面，力爭以最簡單的操作步驟、最清晰明了的流程指引實(shí)現(xiàn)業(yè)務(wù)流程。7、健壯性系統(tǒng)的健壯性主要表現(xiàn)在受控訪問。為了防止大量的用戶同時(shí)訪問系統(tǒng)而造成系統(tǒng)崩潰，必須對信息訪問進(jìn)行有效控制，使信息有序流動(dòng)；由于系統(tǒng)存儲(chǔ)了大量流媒體數(shù)據(jù)，務(wù)必要確保信息傳輸?shù)目煽啃裕罕ＷC信息不多傳、不誤傳、不丟失。采用各種措施，保障系統(tǒng)的健壯性。8、安全性必須保證系統(tǒng)和信息的高安全性，采取必要的防范措施，使整個(gè)系統(tǒng)受到有意、無意的非法侵入而造成系統(tǒng)破壞的可能性降至最低程度。系統(tǒng)將具備完善的用戶權(quán)限控制機(jī)制；具備完善的用戶權(quán)限控制機(jī)制；完善的日志及跟蹤功能，業(yè)務(wù)辦理及敏感數(shù)據(jù)查詢需做相應(yīng)的記錄；具備方便的數(shù)據(jù)備份及災(zāi)難恢復(fù)能力，可在服務(wù)器系統(tǒng)崩潰后最短時(shí)間內(nèi)使系統(tǒng)恢復(fù)正常運(yùn)行。9、完備性各系統(tǒng)自身具有完整地功能，涵蓋多個(gè)業(yè)務(wù)領(lǐng)域，能夠滿足使用需求。通過接口等多種方式進(jìn)行整合后，能夠提供更加強(qiáng)大的、完整的功能，能夠更好的滿足應(yīng)用需求。10、容錯(cuò)性根據(jù)設(shè)備的功能、重要性等分別采用冗余、容錯(cuò)、備份等技術(shù)，以保證局部的錯(cuò)誤不影響整個(gè)系統(tǒng)的運(yùn)行。11、高效性采用新技術(shù)和穩(wěn)定的設(shè)備，將整個(gè)系統(tǒng)的信息流量維持在一個(gè)均衡高效的指標(biāo)內(nèi)。高效原則應(yīng)體現(xiàn)在辦事效率和系統(tǒng)運(yùn)行兩個(gè)方面。系統(tǒng)建設(shè)和使用過程中發(fā)現(xiàn)問題及時(shí)解決，響應(yīng)速度和解決問題進(jìn)度保證迅速及時(shí)。雙方應(yīng)建立良好的溝通機(jī)制，以最短的時(shí)間最高的效率實(shí)現(xiàn)系統(tǒng)建設(shè)目標(biāo)。系統(tǒng)運(yùn)行效率方面，在充分考慮性價(jià)比、系統(tǒng)實(shí)際應(yīng)用環(huán)境的前提下，充分考察軟硬件的搭配問題，進(jìn)行新系統(tǒng)建設(shè)時(shí)爭取購買較先進(jìn)的硬件，淘汰運(yùn)行效率低下的技術(shù)。12、易維護(hù)性系統(tǒng)的管理、維護(hù)和維修應(yīng)具有簡易性和可操作性。系統(tǒng)的各種關(guān)鍵參數(shù)可以通過程序維護(hù)，并且通過綜合網(wǎng)絡(luò)進(jìn)行系統(tǒng)維護(hù)，從而大大降低維護(hù)成本。系統(tǒng)易于進(jìn)行功能擴(kuò)充，新增功能模塊不影響原來的應(yīng)用。13、集成性系統(tǒng)的各個(gè)部分，既要是相對獨(dú)立的子系統(tǒng)，又能實(shí)現(xiàn)相互之間必要的信息交換，可實(shí)現(xiàn)自上而下、集中統(tǒng)一的網(wǎng)絡(luò)、設(shè)備監(jiān)控和管理。具有良好的高內(nèi)聚、低耦合的特性，便于系統(tǒng)的擴(kuò)充和功能的增加，以及應(yīng)用的強(qiáng)化。建設(shè)方案視頻能力開放平臺具有標(biāo)準(zhǔn)的協(xié)議及接口規(guī)范，能無縫對接各種視頻類平臺、業(yè)務(wù)類平臺，接入各大主流前端設(shè)備，實(shí)現(xiàn)平臺互聯(lián)互通，實(shí)現(xiàn)智慧社區(qū)、明廚亮灶、入侵檢測等智能化應(yīng)用場景，進(jìn)行統(tǒng)一管理，視頻存儲(chǔ)轉(zhuǎn)發(fā)。3.3視頻相關(guān)服務(wù)3.3.1接入服務(wù)GB28181-2016接入支持GB/T28181-2016協(xié)議接入。平臺完全按照GB/T28181協(xié)議進(jìn)行開發(fā)，注冊、注銷、校時(shí)、心跳、視頻預(yù)覽、前端錄像回放和下載、報(bào)警等功能都符合GB28181的標(biāo)準(zhǔn)信令流程。SDK網(wǎng)關(guān)接入支持SDK網(wǎng)關(guān)接入。通過第三方SDK接入私有協(xié)議設(shè)備，實(shí)現(xiàn)對設(shè)備的管理和控制。GB28181-2011接入支持GB/T28181-2011協(xié)議接入。對注冊、注銷、校時(shí)、心跳、視頻預(yù)覽、前端錄像回放和下載、報(bào)警等功能都符合標(biāo)準(zhǔn)信令流程。私有協(xié)議接入支持私有協(xié)議接入。通過第三方私有協(xié)議接入私有協(xié)議設(shè)備，實(shí)現(xiàn)對設(shè)備的管理和控制。ONVIF協(xié)議接入適配ONVIF協(xié)議接入。通過ONVIF協(xié)議接入NVR設(shè)備，實(shí)現(xiàn)對設(shè)備的管理和控制。平臺API接入支持平臺API接入，按照天翼看家、智能視頻云等廠家的接口規(guī)范實(shí)現(xiàn)相應(yīng)的接口鑒權(quán)過程，鑒權(quán)完成之后獲取天翼看家的信息目錄樹、設(shè)備列表、設(shè)備信息和直播地址。3.3.2標(biāo)準(zhǔn)服務(wù)H.264編解碼平臺支持H.264解編碼，可實(shí)現(xiàn)H.264編碼推流、傳輸及解碼播放。H.265編解碼平臺支持H.265解編碼，可實(shí)現(xiàn)H.265編碼推流、傳輸及解碼播放。G.711A音頻編解碼平臺支持G.711A解編碼，可實(shí)現(xiàn)G.711A編碼推流、傳輸及解碼播放。音視頻解析針對海量多媒體數(shù)據(jù)，提供轉(zhuǎn)碼和音視頻處理服務(wù)。用戶可按需將視頻文件轉(zhuǎn)碼為適合在PC或移動(dòng)端播放的格式，滿足用戶在各類平臺播放視頻。音視頻分發(fā)可對系統(tǒng)已存在的某監(jiān)控點(diǎn)的音視頻碼流進(jìn)行分發(fā)，可直接向請求方發(fā)送已有媒體數(shù)據(jù)。視頻流格式轉(zhuǎn)換（RTSP、RTMP、HLS、FLV）獲得對應(yīng)視頻流數(shù)據(jù)，對視頻流數(shù)據(jù)解碼后重新編碼成不同格式的視頻數(shù)據(jù)，然后按照視頻流數(shù)據(jù)協(xié)議打包輸出，以滿足實(shí)時(shí)視頻流的轉(zhuǎn)碼功能。支持協(xié)議包括：RTSP、RTMP、HLS、FLV。音視頻拉流獲取設(shè)備實(shí)時(shí)視頻播放地址，通知視頻平臺流媒體服務(wù)，主動(dòng)拉取實(shí)時(shí)視頻，獲得對應(yīng)視頻流數(shù)據(jù)。音視頻推流基于RTSP、RTMP、HLS等流媒體協(xié)議，對音視頻數(shù)據(jù)使用傳輸協(xié)議進(jìn)行封裝，變成流數(shù)據(jù)，通過一定的Qos算法將音視頻流數(shù)據(jù)推送到網(wǎng)絡(luò)斷，通過CDN進(jìn)行分發(fā)。媒體負(fù)載可根據(jù)需求動(dòng)態(tài)擴(kuò)展流媒體分發(fā)網(wǎng)元，中央調(diào)度服務(wù)器可根據(jù)各個(gè)網(wǎng)元的性能進(jìn)行負(fù)載均衡。0國標(biāo)網(wǎng)關(guān)負(fù)載可根據(jù)需求動(dòng)態(tài)擴(kuò)展國標(biāo)網(wǎng)關(guān)網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量，分?jǐn)偟蕉鄠€(gè)操作單元上進(jìn)行執(zhí)行，從而加強(qiáng)國標(biāo)網(wǎng)關(guān)數(shù)據(jù)處理能力及承載能力。1存儲(chǔ)網(wǎng)關(guān)負(fù)載可根據(jù)需求動(dòng)態(tài)擴(kuò)展存儲(chǔ)網(wǎng)關(guān)服務(wù)器，增加吞吐量，分?jǐn)偟蕉鄠€(gè)操作單元上進(jìn)行執(zhí)行，從而加強(qiáng)存儲(chǔ)網(wǎng)關(guān)數(shù)據(jù)處理能力及承載能力。2設(shè)備接入網(wǎng)關(guān)負(fù)載可根據(jù)需求動(dòng)態(tài)擴(kuò)展設(shè)備接入網(wǎng)關(guān)服務(wù)器，增加吞吐量，分?jǐn)偟蕉鄠€(gè)操作單元上進(jìn)行執(zhí)行，從而加強(qiáng)設(shè)備接入網(wǎng)關(guān)數(shù)據(jù)處理能力及承載能力。3.3.3國標(biāo)服務(wù)國標(biāo)上級聯(lián)通過國標(biāo)規(guī)范，主動(dòng)向上級平臺注冊、注銷、保持心跳、主動(dòng)上報(bào)本級域設(shè)備目錄信息，支持上級地域訂閱功能。國標(biāo)下級聯(lián)通過國標(biāo)級聯(lián)的方式，接入下級平臺，同步下級平臺數(shù)據(jù)，以同步下級平臺的設(shè)備資源，實(shí)現(xiàn)下級平臺的設(shè)備管理等功能。國標(biāo)注冊重定向提供國標(biāo)注冊重定向功能，設(shè)備向國標(biāo)注冊網(wǎng)關(guān)發(fā)起注冊操作后，返回國標(biāo)服務(wù)地址，設(shè)備向國標(biāo)服務(wù)地址發(fā)起注冊。設(shè)備布控提供設(shè)備布控功能，用戶可根據(jù)自身需求及不同業(yè)務(wù)場景對設(shè)備進(jìn)行布控設(shè)置。告警通知提供告警通知服務(wù)，平臺對異常操作進(jìn)行實(shí)時(shí)告警。同時(shí)提供列表可以查看所有的設(shè)備告警信息。國標(biāo)拉流向國標(biāo)設(shè)備發(fā)起媒體信令，設(shè)備返回國標(biāo)流，媒體服務(wù)進(jìn)行打包。國標(biāo)信令服務(wù)提供國標(biāo)信令服務(wù)，可通過國標(biāo)信令服務(wù)對設(shè)備發(fā)起國標(biāo)信令操作，如云臺控制、重啟、拉流等。國標(biāo)網(wǎng)關(guān)服務(wù)提供國標(biāo)網(wǎng)關(guān)服務(wù)，實(shí)現(xiàn)國標(biāo)服務(wù)負(fù)載調(diào)度、鑒權(quán)。3.3.4媒體服務(wù)直播（RTSP、RTMP、HLS、FLV）為用戶提供直播服務(wù)，支持RTSP、RTMP、HLS、FLV等流媒體協(xié)議。國標(biāo)級聯(lián)拉流支持將主動(dòng)拉取實(shí)時(shí)視頻流地址獲取的視頻流數(shù)據(jù)，通過解析并轉(zhuǎn)換為國標(biāo)標(biāo)準(zhǔn)的視頻流數(shù)據(jù)協(xié)議，以滿足通過國標(biāo)標(biāo)準(zhǔn)拉取下級平臺國標(biāo)視頻流的要求。國標(biāo)級聯(lián)推流基于國標(biāo)流媒體協(xié)議，對視頻流數(shù)據(jù)使用傳輸協(xié)議進(jìn)行封裝，變成流數(shù)據(jù)，通過一定的Qos算法將音視頻流數(shù)據(jù)推送到網(wǎng)絡(luò)斷，通過CDN進(jìn)行分發(fā)。以滿足通過國標(biāo)標(biāo)準(zhǔn)推送至上級平臺國標(biāo)視頻流的要求。錄像回放為用戶提供錄像回放功能，按照指定設(shè)備、時(shí)間等要素檢索歷史影像信息，并提供回放和下載，回放支持正常播放、快速播放、畫面暫停、圖像抓拍等。云臺控制提供云臺控制，用戶可通過云臺實(shí)現(xiàn)對攝像頭不同方向的控制。點(diǎn)擊監(jiān)控畫面顯示控制按鈕，包括上下左右等。同時(shí)支持畫質(zhì)選擇。調(diào)焦用戶在成功登錄客戶端后，可以根據(jù)權(quán)限獲取對應(yīng)的設(shè)備列表，通過設(shè)備列表用戶可以控制具有權(quán)限的設(shè)備進(jìn)行操作，點(diǎn)擊監(jiān)控畫面顯示控制按鈕，實(shí)現(xiàn)攝像頭調(diào)焦。視頻放大縮小用戶在成功登錄客戶端后，可以根據(jù)權(quán)限獲取對應(yīng)的設(shè)備列表，通過設(shè)備列表用戶可以控制具有權(quán)限的設(shè)備進(jìn)行操作，點(diǎn)擊監(jiān)控畫面顯示控制按鈕，實(shí)現(xiàn)放大縮小操作。0設(shè)備重啟提供設(shè)備重啟功能，用戶可遠(yuǎn)程批量及單臺對設(shè)備進(jìn)行重啟。1抓拍對當(dāng)前觀看的實(shí)時(shí)視頻或者錄像進(jìn)行圖像抓拍，并保存到本地。。3媒體網(wǎng)關(guān)服務(wù)提供媒體網(wǎng)關(guān)服務(wù)，實(shí)現(xiàn)媒體服務(wù)負(fù)載調(diào)度、鑒權(quán)。4本地錄像平臺支持獲取設(shè)備的本地存儲(chǔ)的錄像資源，并實(shí)現(xiàn)在線播放。3.3.5存儲(chǔ)服務(wù)定時(shí)存儲(chǔ)平臺支持定時(shí)存儲(chǔ)，根據(jù)用戶需求及不同業(yè)務(wù)場景，通過配置錄像存儲(chǔ)策略，實(shí)現(xiàn)定時(shí)存儲(chǔ)。動(dòng)態(tài)存儲(chǔ)平臺支持動(dòng)態(tài)存儲(chǔ)，通過獲取設(shè)備移動(dòng)偵測信息，完成動(dòng)態(tài)畫面視頻錄像。流式文件存儲(chǔ)提供流式文件存儲(chǔ)，大幅度地縮短啟動(dòng)延時(shí)，大大降低對系統(tǒng)緩存容量的需求。容器式文件存儲(chǔ)提供容器存儲(chǔ)，實(shí)現(xiàn)容器持久化存儲(chǔ)，提供高性能的容器應(yīng)用管理服務(wù)，支持企業(yè)級容器化應(yīng)用的生命周期管理。存儲(chǔ)策略配置提供存儲(chǔ)策略，用戶可根據(jù)自身需求及不同業(yè)務(wù)場景設(shè)置存儲(chǔ)策略，包括存儲(chǔ)方式、存儲(chǔ)周期等。存儲(chǔ)開關(guān)提供存儲(chǔ)開關(guān)功能，用戶可通過存儲(chǔ)開關(guān)隨時(shí)開啟或關(guān)閉存儲(chǔ)服務(wù)。對象存儲(chǔ)提供海量、安全、低成本、高可靠的對象儲(chǔ)服務(wù)，提供99.9999999999%的數(shù)據(jù)持久性。使用RESTfulAPI可以在互聯(lián)網(wǎng)任何位置存儲(chǔ)和訪問，容量和處理能力彈性擴(kuò)展，多種存儲(chǔ)類型供選擇全面優(yōu)化存儲(chǔ)成本。支持與天翼云等S3標(biāo)準(zhǔn)對象存儲(chǔ)對接。塊存儲(chǔ)提供的低時(shí)延、持久性、高可靠的塊級隨機(jī)存儲(chǔ)。塊存儲(chǔ)支持在可用區(qū)內(nèi)自動(dòng)復(fù)制數(shù)據(jù)，防止意外硬件故障導(dǎo)致的數(shù)據(jù)不可用，保護(hù)您的業(yè)務(wù)免于硬件故障的威脅。支持天翼云塊存儲(chǔ)協(xié)議。文件存儲(chǔ)提供可共享訪問，彈性擴(kuò)展的高性能云原生分布式文件支持冷熱數(shù)據(jù)分級存儲(chǔ)。廣泛應(yīng)用于容器、大數(shù)據(jù)分析、Web服務(wù)和內(nèi)容管理、應(yīng)用程序開發(fā)和測試、媒體和數(shù)據(jù)庫備份等。支持流式文件存儲(chǔ)及容器式文件存儲(chǔ)。0存儲(chǔ)管理提供存儲(chǔ)管理功能，用戶可實(shí)時(shí)掌握存儲(chǔ)情況，如存儲(chǔ)空間、使用情況、存儲(chǔ)分配、存儲(chǔ)擴(kuò)充等。1資源調(diào)度提供資源調(diào)度，用戶可實(shí)時(shí)對存儲(chǔ)資源進(jìn)行調(diào)度調(diào)節(jié)。2存儲(chǔ)網(wǎng)關(guān)服務(wù)提供存儲(chǔ)網(wǎng)關(guān)服務(wù)，實(shí)現(xiàn)存儲(chǔ)服務(wù)負(fù)載調(diào)度、鑒權(quán)。3.3.6第三方應(yīng)用第三方鑒權(quán)生成RSA公鑰與私鑰，并提供公鑰給第三方應(yīng)用進(jìn)行配置，用于實(shí)現(xiàn)返回結(jié)果加解密。媒體服務(wù)API為第三方應(yīng)用提供媒體服務(wù)API，第三方應(yīng)用通過媒體服務(wù)API調(diào)用直播、回看、云臺控制等服務(wù)。存儲(chǔ)服務(wù)API為第三方應(yīng)用提供存儲(chǔ)服務(wù)API，第三方應(yīng)用通過存儲(chǔ)服務(wù)API調(diào)用存儲(chǔ)管理、資源調(diào)度、存儲(chǔ)開關(guān)、錄像存儲(chǔ)地址等服務(wù)。國標(biāo)服務(wù)API為第三方應(yīng)用提供國標(biāo)服務(wù)API，第三方應(yīng)用通過國標(biāo)服務(wù)API調(diào)用設(shè)備布控、國標(biāo)拉流、信令管理等服務(wù)。第三方網(wǎng)關(guān)服務(wù)提供第三方網(wǎng)關(guān)服務(wù)，讓用戶更高效快捷的訪問應(yīng)用和服務(wù)?；诹阈湃尾呗?，對應(yīng)用和服務(wù)提供集中管控，統(tǒng)一防控和統(tǒng)一審計(jì)，保障應(yīng)用和服務(wù)更安全、更可靠。3.4應(yīng)用技術(shù)平臺建設(shè)采用J2EE企業(yè)級軟件技術(shù)體系架構(gòu)進(jìn)行研發(fā)，支持Java8及以上版本。采用微服務(wù)架構(gòu)及前后端分離技術(shù)，構(gòu)建以“數(shù)據(jù)中臺”和“業(yè)務(wù)中臺”為支撐的系統(tǒng)應(yīng)用服務(wù)體系。圍繞JSON、XML、Restful、Webservice、移動(dòng)開發(fā)技術(shù)等主流企業(yè)級java生態(tài)圈技術(shù)，為業(yè)務(wù)應(yīng)用系統(tǒng)提供技術(shù)支撐并實(shí)現(xiàn)可視化展示。采用Hadoop、Spark、Storm等大數(shù)據(jù)技術(shù)，基于Hbase、Hive、關(guān)系型數(shù)據(jù)庫、時(shí)序數(shù)據(jù)庫、圖數(shù)據(jù)庫等數(shù)據(jù)庫技術(shù)，使用ETL、數(shù)據(jù)挖掘、模型分析、搜索引擎等技術(shù)，基于消息隊(duì)列技術(shù)、JSON/XML技術(shù)、OLTP/OLAP技術(shù)為平臺提供以大數(shù)據(jù)為依托的數(shù)據(jù)匯集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析等服務(wù)能力。主要通用技術(shù)和關(guān)鍵技術(shù)介紹具體如下：3.4.1通用技術(shù)J2EE企業(yè)級開發(fā)架構(gòu)J2EE是符合OMG標(biāo)準(zhǔn)的純面向?qū)ο蟮募夹g(shù)體系結(jié)構(gòu)，采用B/S結(jié)構(gòu)技術(shù)的系統(tǒng)實(shí)現(xiàn)，基于WEB方式的客戶端實(shí)現(xiàn)，整體應(yīng)用服務(wù)分成四層標(biāo)準(zhǔn)的邏輯結(jié)構(gòu)：數(shù)據(jù)層、業(yè)務(wù)邏輯層、應(yīng)用邏輯層和表現(xiàn)層，并以此為基礎(chǔ)擴(kuò)展可以形成N層體系結(jié)構(gòu)，基于組件技術(shù)的企業(yè)應(yīng)用服務(wù)可以靈活地配置和組裝，相對于其他開發(fā)框架有較好的穩(wěn)定性、高可靠性和可擴(kuò)展性，不受平臺的束縛，方便地移植和重用，從架構(gòu)上保證了系統(tǒng)的靈活、高效，并能完成負(fù)載均衡。JSON技術(shù)JSON(JavaScriptObjectNotation)是一種輕量級的數(shù)據(jù)交換格式,易于閱讀和編寫，同時(shí)也易于機(jī)器解析和生成。JSON采用完全獨(dú)立于編程語言和技術(shù)平臺的文本格式，使得它在JavaScript相關(guān)程序中處理JSON格式數(shù)據(jù)不需要特殊API或軟件工具包，是一種理想的數(shù)據(jù)交換語言。JSON的主要作用是提供機(jī)構(gòu)化數(shù)據(jù)的一種表示，可以在不同語言編寫的應(yīng)用程序之間交換數(shù)據(jù)，而且可以在不同機(jī)器上運(yùn)行相關(guān)的應(yīng)用程序。XML技術(shù)為保證系統(tǒng)之間能夠順利進(jìn)行數(shù)據(jù)交換，必須制定各系統(tǒng)必須遵守的統(tǒng)一的數(shù)據(jù)規(guī)范和格式，XML作為簡單靈活的文本格式的可擴(kuò)展標(biāo)記語言，具有簡單性、開放性、可擴(kuò)展性、靈活性、自描述性等特性，適合于多種數(shù)據(jù)源間進(jìn)行數(shù)據(jù)的交換。按照《中華人民共和國國家環(huán)境保護(hù)標(biāo)準(zhǔn)-環(huán)境信息交換技術(shù)規(guī)范》、《政務(wù)信息資源交換體系第3部分：異構(gòu)數(shù)據(jù)庫接口規(guī)范》，明確規(guī)范了以XML格式進(jìn)行數(shù)據(jù)信息交換。Web可視化技術(shù)Node是一個(gè)基于ChromeJavaScript運(yùn)行時(shí)建立的一個(gè)平臺，是一個(gè)事件驅(qū)動(dòng)I/O服務(wù)端JavaScript環(huán)境。Vue是一套構(gòu)建用戶界面的漸進(jìn)式框架，只關(guān)注視圖層，采用自底向上增量開發(fā)的設(shè)計(jì)，Vue的目標(biāo)是通過盡可能簡單的API實(shí)現(xiàn)響應(yīng)的數(shù)據(jù)綁定和組合的視圖組件。Jquery是一個(gè)JavaScript代碼庫。HTML稱為超文本標(biāo)記語言，是一種標(biāo)識性的語言。它包括一系列標(biāo)簽．通過這些標(biāo)簽可以將網(wǎng)絡(luò)上的文檔格式統(tǒng)一，使分散的Internet資源連接為一個(gè)邏輯整體。HTML文本是由HTML命令組成的描述性文本，HTML命令可以說明文字，圖形、動(dòng)畫、聲音、表格、鏈接等。JSP（全稱JavaServerPages）是一種動(dòng)態(tài)網(wǎng)頁技術(shù)標(biāo)準(zhǔn)。JSP部署于網(wǎng)絡(luò)服務(wù)器上，可以響應(yīng)客戶端發(fā)送的請求，并根據(jù)請求內(nèi)容動(dòng)態(tài)地生成HTML、XML或其他格式文檔的Web網(wǎng)頁，然后返回給請求者。JSP技術(shù)以Java語言作為腳本語言，為用戶的HTTP請求提供服務(wù)，并能與服務(wù)器上的其它Java程序共同處理復(fù)雜的業(yè)務(wù)需求。Echarts是一個(gè)純Javascript的圖表庫，可以定制直觀、生動(dòng)、可交互、可高度個(gè)性化的Web數(shù)據(jù)可視化圖表。移動(dòng)應(yīng)用技術(shù)移動(dòng)開發(fā)技術(shù)也稱為手機(jī)開發(fā)，或叫做移動(dòng)互聯(lián)網(wǎng)開發(fā)。是指以手機(jī)、PDA等便攜終端為基礎(chǔ)，進(jìn)行相應(yīng)的開發(fā)工作，由于這些隨身設(shè)備基本都采用無線上網(wǎng)的方式，因此，業(yè)內(nèi)也稱作為無線開發(fā)。原生開發(fā)是指某一個(gè)移動(dòng)平臺（比如iOS或安卓）所特有的應(yīng)用，使用相應(yīng)平臺支持的開發(fā)工具和語言，并直接調(diào)用系統(tǒng)提供的SDKAPI。比如Android原生應(yīng)用就是指使用Java或Kotlin語言直接調(diào)用AndroidSDK開發(fā)的應(yīng)用程序；而iOS原生應(yīng)用就是指通過Objective-C或Swift語言直接調(diào)用iOSSDK開發(fā)的應(yīng)用程序。H5+原生混合開發(fā)是將APP的一部分需要?jiǎng)討B(tài)變動(dòng)的內(nèi)容通過H5來實(shí)現(xiàn)，通過原生的網(wǎng)頁加載控件WebView(Android)或WKWebView（iOS）來加載。微信小程序，簡稱小程序，英文名MiniProgram，是一種不需要下載安裝即可使用的應(yīng)用，它實(shí)現(xiàn)了應(yīng)用“觸手可及”的夢想，用戶掃一掃或搜一下即可打開應(yīng)用。消息隊(duì)列技術(shù)消息隊(duì)列中間件是分布式系統(tǒng)中重要的組件，主要解決應(yīng)用耦合、異步消息、流量削鋒等問題。實(shí)現(xiàn)高性能、高可用、可伸縮和最終一致性架構(gòu)。是大型分布式系統(tǒng)不可缺少的中間件。消息隊(duì)列網(wǎng)絡(luò)是能夠相互間來回發(fā)送消息的任何一組計(jì)算機(jī)。消息隊(duì)列就是一個(gè)消息的鏈表?？梢园严⒖醋饕粋€(gè)記錄，具有特定的格式以及特定的優(yōu)先級。對消息隊(duì)列有寫權(quán)限的進(jìn)程可以向消息隊(duì)列中按照一定的規(guī)則添加新消息，對消息隊(duì)列有讀權(quán)限的進(jìn)程則可以從消息隊(duì)列中讀走消息。消息隊(duì)列是隨內(nèi)核持續(xù)的。目前主要有兩種類型的消息隊(duì)列：POSIX消息隊(duì)列以及系統(tǒng)V消息隊(duì)列，系統(tǒng)V消息隊(duì)列目前被大量使用?？紤]到程序的可移植性，新開發(fā)的應(yīng)用程序應(yīng)盡量使用POSIX消息隊(duì)列。3.4.2關(guān)鍵技術(shù)ZLMediakit框架ZLMediakit是基于C++11的高性能運(yùn)營級流媒體服務(wù)框架?；贑++11開發(fā)，避免使用裸指針，代碼穩(wěn)定可靠，性能優(yōu)越。支持多種協(xié)議(RTSP/RTMP/HLS/HTTP-FLV/WebSocket-FLV/GB28181/HTTP-TS/WebSocket-TS/HTTP-fMP4/WebSocket-fMP4/MP4),支持協(xié)議互轉(zhuǎn)。使用多路復(fù)用/多線程/異步網(wǎng)絡(luò)IO模式開發(fā)，并發(fā)性能優(yōu)越，支持海量客戶端連接。代碼經(jīng)過長期大量的穩(wěn)定性、性能測試，已經(jīng)在線上商用驗(yàn)證已久。支持linux、macos、ios、android、windows全平臺。支持畫面秒開、極低延時(shí)(500毫秒內(nèi)，最低可達(dá)100毫秒)。提供完善的標(biāo)準(zhǔn)CAPI,可以作SDK用，或供其他語言調(diào)用。提供完整的MediaServer服務(wù)器，可以免開發(fā)直接部署為商用服務(wù)器。提供完善的restfulapi以及webhook，支持豐富的業(yè)務(wù)邏輯。打通了視頻監(jiān)控協(xié)議棧與直播協(xié)議棧，對RTSP/RTMP支持都很完善。全面支持H265/H264/AAC/G711/OPUS。1、RTSP[S]RTSP[S]服務(wù)器，支持RTMP/MP4/HLS轉(zhuǎn)RTSP[S],支持亞馬遜echoshow這樣的設(shè)備RTSP[S]播放器，支持RTSP代理，支持生成靜音音頻RTSP[S]推流客戶端與服務(wù)器支持rtpoverudprtpovertcprtpoverhttprtp組播四種RTP傳輸方式服務(wù)器/客戶端完整支持Basic/Digest方式的登錄鑒權(quán)，全異步可配置化的鑒權(quán)接口支持。H265編碼服務(wù)器支持RTSP推流(包括rtpoverudprtpovertcp方式)支持H264/H265/AAC/G711/OPUS編碼，其他編碼能轉(zhuǎn)發(fā)但不能轉(zhuǎn)協(xié)議2、RTMP[S]RTMP[S]播放服務(wù)器，支持RTSP/MP4/HLS轉(zhuǎn)RTMPRTMP[S]發(fā)布服務(wù)器，支持錄制發(fā)布流RTMP[S]播放器，支持RTMP代理，支持生成靜音音頻RTMP[S]推流客戶端支持http[s]-flv直播支持websocket-flv直播支持H264/H265/AAC/G711/OPUS編碼，其他編碼能轉(zhuǎn)發(fā)但不能轉(zhuǎn)協(xié)議支持RTMP-H265支持RTMP-OPUS3、HLS支持HLS文件生成，自帶HTTP文件服務(wù)器，通過cookie追蹤技術(shù)，可以模擬HLS播放為長連接，可以實(shí)現(xiàn)HLS按需拉流、播放統(tǒng)計(jì)等業(yè)務(wù)支持HLS播發(fā)器，支持拉流HLS轉(zhuǎn)rtsp/rtmp/mp4支持H264/H265/AAC/G711/OPUS編碼4、TS支持http[s]-ts直播支持ws[s]-ts直播支持H264/H265/AAC/G711/OPUS編碼5、fMP4支持http[s]-fmp4直播支持ws[s]-fmp4直播支持H264/H265/AAC/G711/OPUS編碼6、HTTP[S]與WebSocket服務(wù)器支持目錄索引生成,文件下載,表單提交請求客戶端提供文件下載器(支持?jǐn)帱c(diǎn)續(xù)傳),接口請求器,文件上傳器完整HTTPAPI服務(wù)器，可以作為web后臺開發(fā)框架支持跨域訪問支持http客戶端、服務(wù)器cookie支持WebSocket服務(wù)器和客戶端支持http文件訪問鑒權(quán)7、GB28181與RTP推流支持UDP/TCP國標(biāo)RTP(PS或TS)推流服務(wù)器，可以轉(zhuǎn)換成RTSP/RTMP/HLS等協(xié)議支持RTSP/RTMP/HLS轉(zhuǎn)國標(biāo)推流客戶端，支持TCP/UDP模式，提供相應(yīng)restfulapi支持H264/H265/AAC/G711/OPUS編碼支持?？礶home推流8、MP4點(diǎn)播與錄制支持錄制為FLV/HLS/MP4/RTSP/RTMP/HTTP-FLV/WS-FLV支持MP4文件點(diǎn)播，支持seek支持H264/H265/AAC/G711/OPUS編碼9、其他支持豐富的restfulapi以及webhook事件支持簡單的telnet調(diào)試支持配置文件熱加載支持流量統(tǒng)計(jì)、推拉流鑒權(quán)等事件支持虛擬主機(jī),可以隔離不同域名支持按需拉流，無人觀看自動(dòng)關(guān)斷拉流支持先拉流后推流，提高及時(shí)推流畫面打開率，提供capisdk支持FFmpeg拉流代理任意格式的流支持httpapi生成并返回實(shí)時(shí)截圖支持按需解復(fù)用、轉(zhuǎn)協(xié)議，當(dāng)有人觀看時(shí)才開啟轉(zhuǎn)協(xié)議Kratos框架Kratos是bilibili開源的一套Go微服務(wù)框架，包含大量微服務(wù)相關(guān)框架及工具。1、HTTP框架:Blademaster(bm)基于gin二次開發(fā)，具有快速、靈活的特點(diǎn)，可以方便的開發(fā)中間件處理通用或特殊邏輯，基礎(chǔ)庫默認(rèn)實(shí)現(xiàn)了log&trace等。2、gRPC框架:Warden(wd)基于官方gRPC封裝，默認(rèn)使用discovery進(jìn)行服務(wù)注冊發(fā)現(xiàn)，及wrr和p2c(默認(rèn))負(fù)載均衡。3、基礎(chǔ)組件庫dappertrace：基于opentracing，全鏈路集成了trace，我們還提供dapper實(shí)現(xiàn)，請參看：dapper敬請期待。log：基于zap的field方式實(shí)現(xiàn)的高性能log庫，集成了我們提供的log-agent敬請期待日志收集方案。cache：集成memcache&redis的SDK，注意無redis-cluster實(shí)現(xiàn)，推薦使用代理模式overlord。database：集成MySQL&HBase&TiDB的SDK，其中TiDB使用服務(wù)發(fā)現(xiàn)方案。4、框架工具鏈kratostool：kratos相關(guān)工具量，包括項(xiàng)目快速生成、pb文件代碼生成、swagger文檔生成等。提供完整的微服務(wù)研發(fā)體驗(yàn)，整合相關(guān)框架及工具后，微服務(wù)治理相關(guān)部分可對整體業(yè)務(wù)開發(fā)周期無感，從而更加聚焦于業(yè)務(wù)交付微服務(wù)技術(shù)微服務(wù)技術(shù)是一項(xiàng)在云中部署應(yīng)用和服務(wù)的新技術(shù)。微服務(wù)是一種架構(gòu)風(fēng)格，一個(gè)大型復(fù)雜軟件應(yīng)用由一個(gè)或多個(gè)微服務(wù)組成。系統(tǒng)中的各個(gè)微服務(wù)可被獨(dú)立部署，各個(gè)微服務(wù)之間是松耦合的。每個(gè)微服務(wù)僅關(guān)注于完成一件任務(wù)并很好地完成該任務(wù)。在所有情況下，每個(gè)任務(wù)代表著一個(gè)小的業(yè)務(wù)能力。微服務(wù)可以在“自己的程序”中運(yùn)行，并通過“輕量級設(shè)備與HTTP型API進(jìn)行溝通”。微服務(wù)的核心是服務(wù)調(diào)用，分布式服務(wù)架構(gòu)中的服務(wù)分布在不同主機(jī)的不同進(jìn)程上，服務(wù)的調(diào)用跟單體應(yīng)用進(jìn)程內(nèi)方法調(diào)用的本質(zhì)區(qū)別就是需要借助網(wǎng)絡(luò)來進(jìn)行通信。微服務(wù)不需要像普通服務(wù)那樣成為一種獨(dú)立的功能或者獨(dú)立的資源。微服務(wù)是需要與業(yè)務(wù)能力相匹配，服務(wù)粒度越粗，就越難以符合規(guī)定原則。服務(wù)粒度越細(xì)，就越能夠靈活地降低變化和負(fù)載所帶來的影響。然而，利弊之間的權(quán)衡過程是非常復(fù)雜的，要在配置和資金模型的基礎(chǔ)上考慮到基礎(chǔ)設(shè)施的成本問題。C++技術(shù)C++是C語言的繼承，它既可以進(jìn)行C語言的過程化程序設(shè)計(jì)，又可以進(jìn)行以抽象數(shù)據(jù)類型為特點(diǎn)的基于對象的程序設(shè)計(jì)，還可以進(jìn)行以繼承和多態(tài)為特點(diǎn)的面向?qū)ο蟮某绦蛟O(shè)計(jì)。C++擅長面向?qū)ο蟪绦蛟O(shè)計(jì)的同時(shí)，還可以進(jìn)行基于過程的程序設(shè)計(jì)，因而C++就適應(yīng)的問題規(guī)模而論，大小由之。C++不僅擁有計(jì)算機(jī)高效運(yùn)行的實(shí)用性特征，同時(shí)還致力于提高大規(guī)模程序的編程質(zhì)量與程序設(shè)計(jì)語言的問題描述能力。1、支持?jǐn)?shù)據(jù)封裝和數(shù)據(jù)隱藏在C++中，類是支持?jǐn)?shù)據(jù)封裝的工具，對象則是數(shù)據(jù)封裝的實(shí)現(xiàn)。C++通過建立用戶定義類支持?jǐn)?shù)據(jù)封裝和數(shù)據(jù)隱藏。在面向?qū)ο蟮某绦蛟O(shè)計(jì)中，將數(shù)據(jù)和對該數(shù)據(jù)進(jìn)行合法操作的函數(shù)封裝在一起作為一個(gè)類的定義。對象被說明為具有一個(gè)給定類的變量。每個(gè)給定類的對象包含這個(gè)類所規(guī)定的若干私有成員、公有成員及保護(hù)成員。完好定義的類一旦建立，就可看成完全封裝的實(shí)體，可以作為一個(gè)整體單元使用。類的實(shí)際內(nèi)部工作隱藏起來，使用完好定義的類的用戶不需要知道類是如何工作的，只要知道如何使用它即可。2、支持繼承和重用在C++現(xiàn)有類的基礎(chǔ)上可以聲明新類型，這就是繼承和重用的思想。通過繼承和重用可以更有效地組織程序結(jié)構(gòu)，明確類間關(guān)系，并且充分利用已有的類來完成更復(fù)雜、深入的開發(fā)。新定義的類為子類，成為派生類。它可以從父類那里繼承所有非私有的屬性和方法，作為自己的成員。3、支持多態(tài)性采用多態(tài)性為每個(gè)類指定表現(xiàn)行為。多態(tài)性形成由父類和它們的子類組成的一個(gè)樹型結(jié)構(gòu)。在這個(gè)樹中的每個(gè)子類可以接收一個(gè)或多個(gè)具有相同名字的消息。當(dāng)一個(gè)消息被這個(gè)樹中一個(gè)類的一個(gè)對象接收時(shí)，這個(gè)對象動(dòng)態(tài)地決定給予子類對象的消息的某種用法。多態(tài)性的這一特性允許使用高級抽象。繼承性和多態(tài)性的組合，可以輕易地生成一系列雖然類似但獨(dú)一無二的對象。由于繼承性，這些對象共享許多相似的特征。由于多態(tài)性，一個(gè)對象可有獨(dú)特的表現(xiàn)方式，而另一個(gè)對象有另一種表現(xiàn)方式。Golang技術(shù)Go（又稱Golang）是Google的RobertGriesemer，RobPike及KenThompson開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型語言。Go語言語法與C相近，但功能上有：內(nèi)存安全，GC（垃圾回收），結(jié)構(gòu)形態(tài)及CSP-style并發(fā)計(jì)算。Go的語法接近C語言，但對于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進(jìn)程（CSP）為基礎(chǔ)，采取類似模型的其他語言包括Occam和Limbo，但它也具有Pi運(yùn)算的特征，比如通道傳輸。在1.8版本中開放插件（Plugin）的支持，這意味著現(xiàn)在能從Go中動(dòng)態(tài)加載部分函數(shù)。與C++相比，Go并不包括如枚舉、異常處理、繼承、泛型、斷言、虛函數(shù)等功能，但增加了切片(Slice)型、并發(fā)、管道、垃圾回收、接口（Interface）等特性的語言級支持。Go2.0版本將支持泛型，對于斷言的存在，則持負(fù)面態(tài)度，同時(shí)也為自己不提供類型繼承來辯護(hù)。不同于Java，Go內(nèi)嵌了關(guān)聯(lián)數(shù)組（也稱為哈希表（Hashes）或字典（Dictionaries）），就像字符串類型一樣。數(shù)據(jù)庫技術(shù)數(shù)據(jù)庫技術(shù)是信息系統(tǒng)的一個(gè)核心技術(shù)。是一種計(jì)算機(jī)輔助管理數(shù)據(jù)的方法，它研究如何組織和存儲(chǔ)數(shù)據(jù)，如何高效地獲取和處理數(shù)據(jù)。常規(guī)業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫采用關(guān)系型數(shù)據(jù)庫。關(guān)系型數(shù)據(jù)庫應(yīng)滿足構(gòu)建多節(jié)點(diǎn)分布式集群需求,滿足構(gòu)建多節(jié)點(diǎn)讀寫分離集群需求,滿足并行數(shù)據(jù)加載能力,可進(jìn)行并行數(shù)據(jù)高速加載。滿足分布式集群的監(jiān)控和維護(hù)需求。滿足負(fù)載均衡能力和故障隔離能力,滿足根據(jù)場景調(diào)整負(fù)載均衡策略。滿足高可靠性,避免單點(diǎn)故障,以及軟硬件造成的數(shù)據(jù)丟失等。支持?jǐn)?shù)據(jù)庫備份還原,提供重做日志系統(tǒng),支持系統(tǒng)運(yùn)行日志與監(jiān)控,提供數(shù)據(jù)庫對象管理;在技術(shù)生態(tài)方面,支持多種編程語言以及接口和開發(fā)框架,支持廣泛的SQL語法兼容性和專用DB-API特性兼容,支持多種編程語言、接口和開發(fā)框架、多字符集與國際化,支持多種網(wǎng)絡(luò)通信協(xié)議,支持多種云計(jì)算基礎(chǔ)設(shè)施環(huán)境,支持多種軟硬件平臺。在大數(shù)據(jù)計(jì)算方面,支持?jǐn)?shù)據(jù)庫彈性計(jì)算,可以在保證包括SQL支持能力在內(nèi)的所有數(shù)據(jù)庫功能完備性的同時(shí),提供關(guān)系數(shù)據(jù)庫集群的橫向擴(kuò)展能力,提升用戶設(shè)備算力。非關(guān)系型數(shù)據(jù)庫選擇應(yīng)根據(jù)業(yè)務(wù)特性、數(shù)據(jù)讀寫存儲(chǔ)等方面綜合考慮,應(yīng)優(yōu)先選擇時(shí)序數(shù)據(jù)庫進(jìn)行存儲(chǔ);對于關(guān)聯(lián)關(guān)系復(fù)雜的數(shù)據(jù)需優(yōu)先選擇圖數(shù)據(jù)庫來進(jìn)行存儲(chǔ)分析,利用圖數(shù)據(jù)庫節(jié)點(diǎn)關(guān)系,自動(dòng)建立數(shù)據(jù)索引關(guān)系,對于讀寫頻繁的業(yè)務(wù)數(shù)據(jù)應(yīng)選擇NoSql數(shù)據(jù)庫進(jìn)行存儲(chǔ)。大數(shù)據(jù)技術(shù)在平臺建設(shè)中對大數(shù)據(jù)技術(shù)進(jìn)行創(chuàng)新應(yīng)用,利用HDFS、Hbase等大數(shù)據(jù)技術(shù)實(shí)現(xiàn)提供對多元異構(gòu)數(shù)據(jù)的存儲(chǔ)服務(wù),利用Spark、SparkSteaming、Storm、Flink等大數(shù)據(jù)技術(shù)實(shí)現(xiàn)對數(shù)據(jù)的處理計(jì)算服務(wù),利用ES、Solr等技術(shù)實(shí)現(xiàn)大數(shù)據(jù)檢索服務(wù),利用Sqoop、Logstash、ETL等技術(shù)實(shí)現(xiàn)對數(shù)據(jù)的匯聚交換服務(wù)。通過提高大數(shù)據(jù)存儲(chǔ)、計(jì)算處理、搜索以及匯聚交換等服務(wù)能力,為環(huán)境管理者和決策者提供可靠、及時(shí)、全面的環(huán)境信息,從而為環(huán)境管理科學(xué)決策奠定堅(jiān)實(shí)基礎(chǔ)。.1Hadoop大數(shù)據(jù)技術(shù)Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ)，對例如像ETL這樣的批處理操作相對合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲(chǔ)。Hadoop的MapReduce功能實(shí)現(xiàn)了將單個(gè)任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個(gè)節(jié)點(diǎn)上，之后再以單個(gè)數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。Hadoop由許多元素構(gòu)成。其最底部是HadoopDistributedFileSystem（HDFS），它存儲(chǔ)Hadoop集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。HDFS（對于本文）的上一層是MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。通過對Hadoop分布式計(jì)算平臺最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過程，以及數(shù)據(jù)倉庫工具Hive和分布式數(shù)據(jù)庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術(shù)核心。.2Spark大數(shù)據(jù)技術(shù)Spark支持Java、Python和Scala的API，還支持超過80種高級算法，使用戶可以快速構(gòu)建不同應(yīng)用。而且Spark支持交互式的Python和Scala的Shell，這意味著可以非常方便的在這些Shell中使用Spark集群來驗(yàn)證解決問題的方法，而不是像以前一樣，需要打包、上傳集群、驗(yàn)證等。這對于原型開發(fā)非常重要。Spark提供了統(tǒng)一的解決方案。Spark可以用于批處理、交互式查詢（通用SparkSQL）、實(shí)時(shí)流處理（通過SparkStreaming）、機(jī)器學(xué)習(xí)（通過SparkMLlib）和圖計(jì)算（通過SparkGraphX）。Spark非常方便的與其他開源產(chǎn)品進(jìn)行融合。比如，Spark可以使用Hadoop的YARN和ApacheMesos作為它的資源管理和調(diào)度器，并且可以處理所有Hadoop支持的數(shù)據(jù)，包括HDFS、HBase和Cassanda等。這對于已部署Hadoop集群的用戶特別重要，因?yàn)椴恍枰鋈魏螖?shù)據(jù)遷移就可以使用Spark強(qiáng)大的處理能力。Spark也可以不依賴第三方的資源管理器和調(diào)度器，它實(shí)現(xiàn)了Standalone作為其內(nèi)置資源管理器和調(diào)度框架，這樣進(jìn)一步降低了Spark的使用門檻，使得所有人可以非常容易地部署和使用Spark。此外Spark還提供了在EC2上部署Standalone的Spark集群的工具。.3多元異構(gòu)數(shù)據(jù)的存儲(chǔ)服務(wù)利用HDFS、Hbase等大數(shù)據(jù)技術(shù)實(shí)現(xiàn)提供對多元異構(gòu)數(shù)據(jù)的存儲(chǔ)服務(wù)。HBase是BigTable的開源（源碼使用Java編寫）版本。是ApacheHadoop的數(shù)據(jù)庫，是建立在HDFS之上，被設(shè)計(jì)用來提供高可靠性、高性能、列存儲(chǔ)、可伸縮、多版本的NoSQL的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)對大型數(shù)據(jù)的實(shí)時(shí)、隨機(jī)的讀寫訪問。HBase依賴于HDFS做底層的數(shù)據(jù)存儲(chǔ)，依賴于MapReduce做數(shù)據(jù)計(jì)算，依賴于ZooKeeper做服務(wù)協(xié)調(diào)。HBase是一種Hadoop數(shù)據(jù)庫，經(jīng)常被描述為一種稀疏的，分布式的，持久化的，多維有序映射，它基于行鍵、列鍵和時(shí)間戳建立索引，是一個(gè)可以隨機(jī)訪問的存儲(chǔ)和檢索數(shù)據(jù)的平臺。HBase不限制存儲(chǔ)的數(shù)據(jù)的種類，允許動(dòng)態(tài)的、靈活的數(shù)據(jù)模型，不用SQL語言，也不強(qiáng)調(diào)數(shù)據(jù)之間的關(guān)系。HBase被設(shè)計(jì)成在一個(gè)服務(wù)器集群上運(yùn)行，可以相應(yīng)地橫向擴(kuò)展。HBase位于結(jié)構(gòu)化存儲(chǔ)層，HadoopHDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，HadoopMapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制。此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的非常簡單。Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。Hbase是一個(gè)面向列存儲(chǔ)的分布式存儲(chǔ)系統(tǒng)，它的優(yōu)點(diǎn)在于可以實(shí)現(xiàn)高性能的并發(fā)讀寫操作，同時(shí)Hbase還會(huì)對數(shù)據(jù)進(jìn)行透明的切分，這樣就使得存儲(chǔ)本身具有了水平伸縮性。.4大數(shù)據(jù)匯聚交換服務(wù)利用Sqoop、Logstash、ETL等技術(shù)實(shí)現(xiàn)對數(shù)據(jù)的匯聚交換服務(wù)。ETL（Extraction，Transformation，Loading）即數(shù)據(jù)的抽取、轉(zhuǎn)換與裝載。ETL工具可將業(yè)務(wù)系統(tǒng)中分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)，為輔助決策、分析、查詢提供統(tǒng)一的數(shù)據(jù)依據(jù)。ETL作為構(gòu)建數(shù)據(jù)倉庫的一個(gè)環(huán)節(jié)，負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。現(xiàn)在越來越多地將ETL應(yīng)用于一般信息系統(tǒng)數(shù)據(jù)的遷移、交換和同步。.5大數(shù)據(jù)檢索服務(wù)搜索引擎，是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對信息進(jìn)行組織和處