智慧交通-云存儲系統(tǒng)設(shè)計(jì)方案

智慧交通云存儲系統(tǒng)設(shè)計(jì)方案XXX科技有限公司20XX年XX月XX日目錄TOC\h\z\u\t"標(biāo)題1,1,標(biāo)題2,2,標(biāo)題3,3"一系統(tǒng)概述 2二建設(shè)目標(biāo) 2三需求分析 3四整體設(shè)計(jì) 44.1系統(tǒng)整體結(jié)構(gòu) 44.2云存儲邏輯結(jié)構(gòu) 5五中心云存儲設(shè)計(jì) 85.1系統(tǒng)可用性設(shè)計(jì) 85.2系統(tǒng)可靠性設(shè)計(jì) 85.3系統(tǒng)可擴(kuò)展性設(shè)計(jì) 95.4分布式存儲設(shè)計(jì) 125.5云存儲容量計(jì)算公式 14系統(tǒng)概述集中云存儲系統(tǒng)結(jié)合了存儲業(yè)務(wù)特征和網(wǎng)絡(luò)存儲可靠性要求，設(shè)計(jì)了完整的網(wǎng)絡(luò)存儲流程，包括了從前端緩存、中心直存到中心備份各個(gè)應(yīng)用環(huán)節(jié)的針對性設(shè)計(jì)，可以滿足文件、數(shù)據(jù)庫、視頻、圖片等結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)的高性能讀寫要求，組件高性價(jià)比的數(shù)據(jù)存儲解決方案。建設(shè)目標(biāo)集中云存儲系統(tǒng)建設(shè)需要滿足制高點(diǎn)點(diǎn)位、卡口和電子警察點(diǎn)位視頻和圖片的存儲，具體要求如下：（1）要求監(jiān)控控制平臺的數(shù)據(jù)庫在記錄圖像信息的同時(shí)，還應(yīng)記錄與圖像信息相關(guān)的檢索信息，如設(shè)備、通道、時(shí)間、報(bào)警信息等。（2）圖像存儲設(shè)備滿足采用H.265HighProfile級視頻編碼格式進(jìn)行圖像存儲。（3）具有足夠的擴(kuò)展空間，存儲的圖像數(shù)據(jù)應(yīng)保證1080p及以上的圖像分辨率；（4）道路監(jiān)控、卡口電警監(jiān)控圖像存儲時(shí)間不小于90天，圖片存儲時(shí)間不少于90天；（5）考慮對錄像文件的采取防篡改或完整性檢查措施，支持按圖像來源、記錄時(shí)間、報(bào)警事件類別等多種方式對存儲的圖像數(shù)據(jù)進(jìn)行檢索，支持多用戶同時(shí)并發(fā)訪問同一數(shù)據(jù)源；（6）支持圖像記錄、網(wǎng)絡(luò)回放的雙工、雙碼流模式；（7）可實(shí)現(xiàn)對系統(tǒng)內(nèi)所有存儲軟硬件資源的配置及查詢，系統(tǒng)性能的實(shí)時(shí)監(jiān)視，系統(tǒng)設(shè)備的故障報(bào)警監(jiān)視、故障診斷、及定位分析、報(bào)警日志的創(chuàng)建及維護(hù)等；（8）系統(tǒng)可驗(yàn)證用戶的訪問權(quán)限和優(yōu)先級，監(jiān)測和記錄用戶進(jìn)行的訪問和操作等，驗(yàn)證接入設(shè)備的合法性，并注冊合法設(shè)備。需求分析中心云存儲需求，隨著視頻監(jiān)控系統(tǒng)規(guī)模越來越大，以及高清視頻的大規(guī)模應(yīng)用，視頻監(jiān)控系統(tǒng)中需要存儲的數(shù)據(jù)和應(yīng)用的復(fù)雜程度在不斷提高，且視頻數(shù)據(jù)需要長時(shí)間持續(xù)地保存到存儲系統(tǒng)中，并要求隨時(shí)可以調(diào)用，對存儲系統(tǒng)的可靠性和性能等方面都提出了新的要求。在未來的復(fù)雜系統(tǒng)中，數(shù)據(jù)將呈現(xiàn)爆炸性的海量增長，提供對海量數(shù)據(jù)的快速存儲及檢索技術(shù)，顯得尤為重要，存儲系統(tǒng)正在成為視頻監(jiān)控技術(shù)未來能否持續(xù)穩(wěn)定發(fā)展的決定性因素。面對百PB級的海量存儲需求，傳統(tǒng)的SAN或NAS在容量和性能的擴(kuò)展上會存在瓶頸。而云存儲可以突破這些性能瓶頸，而且可以實(shí)現(xiàn)性能與容量的線性擴(kuò)展，這對于追求高性能、高可用性的企業(yè)用戶來說是一個(gè)新選擇。云存儲是在云計(jì)算（cloudcomputing）概念上延伸和發(fā)展出來的一個(gè)新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，應(yīng)用存儲虛擬化技術(shù)將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。1) 可靠性需求采用視頻云存儲技術(shù)，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件整合起來協(xié)同工作，共同對外提供視頻數(shù)據(jù)存儲和業(yè)務(wù)訪問。保證單個(gè)節(jié)點(diǎn)失效時(shí)，系統(tǒng)能夠通過自動負(fù)載將業(yè)務(wù)調(diào)整到其他設(shè)備上以滿足用戶業(yè)務(wù)的持續(xù)性；并且需要能夠提供數(shù)據(jù)的遷移備份，在設(shè)備故障無法快速修復(fù)時(shí)依然能夠支持?jǐn)?shù)據(jù)的正常讀取來滿足業(yè)務(wù)應(yīng)用的需要。2) 穩(wěn)定性需求隨著容量和存儲設(shè)備的增加，如何保證海量數(shù)據(jù)存儲的安全性和可靠性是傳統(tǒng)視頻存儲面臨的巨大挑戰(zhàn)，要求存儲系統(tǒng)具備7×24小時(shí)的不間斷寫入的能力。在系統(tǒng)運(yùn)行的過程中，運(yùn)行壓力的持續(xù)或加大系統(tǒng)能夠通過集群技術(shù)、虛擬化技術(shù)動態(tài)自動調(diào)整業(yè)務(wù)壓力，將業(yè)務(wù)響應(yīng)的壓力進(jìn)行分散來減少單點(diǎn)壓力過大。3) 擴(kuò)展性需求云存儲系統(tǒng)的建設(shè)在不同的階段可能會有不同的容量要求。隨著項(xiàng)目的不斷擴(kuò)大、應(yīng)用的不斷加強(qiáng)，容量將會不斷擴(kuò)大。那么云存儲系統(tǒng)需要能夠提供動態(tài)擴(kuò)展功能，要求對在線系統(tǒng)增加、減少設(shè)備時(shí)業(yè)務(wù)不中斷。設(shè)備一旦融入云存儲系統(tǒng)后立即可用作為整體存儲資源的一部分進(jìn)行調(diào)用，在擴(kuò)展存儲設(shè)備時(shí)要求能夠支持對接標(biāo)準(zhǔn)第三方存儲設(shè)備。另外對于系統(tǒng)的擴(kuò)展性，在動態(tài)調(diào)整具體監(jiān)控區(qū)域的存儲資源時(shí)要求能夠做到良好的靈活性，即不但能夠增加存儲資源的配給，也能夠減少存儲資源的配給工作，充分體現(xiàn)出良好的擴(kuò)展性。4) 可用性需求云存儲系統(tǒng)需要提高良好的可用性，將復(fù)雜的應(yīng)用、繁瑣的操作流程簡單化。對用戶而言只需要使用唯一的IP地址就能夠訪問和管理云存儲系統(tǒng)。用戶在唯一的界面上就能夠準(zhǔn)確并安全地進(jìn)行配置、部署、監(jiān)控整套云存儲系統(tǒng)，能夠?yàn)橛脩魧υO(shè)備狀態(tài)、資源、報(bào)警、升級、擴(kuò)展，維護(hù)方面提供便捷。5) 性能需求要求系統(tǒng)提供線性遞增的性能屬性，容量越大性能越強(qiáng)；同時(shí)提供并發(fā)響應(yīng)機(jī)制，加快數(shù)據(jù)業(yè)務(wù)的處理能力。整體設(shè)計(jì)系統(tǒng)整體結(jié)構(gòu)系統(tǒng)同時(shí)支持NAS，Object，SAN存儲功能，融合Infiniband以及10GB萬兆主機(jī)接口，囊括了目前主流存儲網(wǎng)絡(luò)架構(gòu)及主機(jī)接口。云存儲系統(tǒng)提供各項(xiàng)基本的存儲功能，支持性能和功能上的無線擴(kuò)展，提供軟硬件故障情況下數(shù)據(jù)重建，遠(yuǎn)程容災(zāi)功能，適用于云計(jì)算，大數(shù)據(jù)業(yè)務(wù)并兼具高性能，高可靠，高可擴(kuò)展，大容量特征的新一代存儲系統(tǒng)平臺。系統(tǒng)采用元數(shù)據(jù)與數(shù)據(jù)統(tǒng)一存儲的架構(gòu)，用戶數(shù)據(jù)的傳輸只發(fā)生在哭護(hù)短和數(shù)據(jù)節(jié)點(diǎn)之間，保證集群整體性能的線性增長。系統(tǒng)總?cè)萘靠梢詳U(kuò)展到480PB，每秒萬級的元數(shù)據(jù)處理吞吐率。在軟硬件設(shè)計(jì)上做到了無單點(diǎn)故障，在任一數(shù)據(jù)發(fā)生故障的情況下仍可保證數(shù)據(jù)存取業(yè)務(wù)不中斷。系統(tǒng)監(jiān)控采用B/S架構(gòu)，用戶可在Web界面中查看所有的節(jié)點(diǎn)在線狀態(tài)，系統(tǒng)負(fù)載等。云存儲邏輯結(jié)構(gòu)云存儲系統(tǒng)采用分層結(jié)構(gòu)設(shè)計(jì)，整個(gè)系統(tǒng)從邏輯上分為五層，分別為設(shè)備層、存儲層、管理層、接口層、應(yīng)用層。云存儲邏輯架構(gòu)圖1) 設(shè)備層設(shè)備層是云存儲最基礎(chǔ)、最底層的部分，該層由標(biāo)準(zhǔn)的物理設(shè)備組成，支持標(biāo)準(zhǔn)的IP-SAN、FC-SAN存儲設(shè)備。在系統(tǒng)組成中，存儲設(shè)備可以是SAN架構(gòu)下的FC光纖通道存儲設(shè)備或iSCSI協(xié)議下的IP存儲設(shè)備。2) 存儲層在存儲層上部署云存儲流數(shù)據(jù)系統(tǒng)，通過調(diào)用云存儲流數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)存儲傳輸協(xié)議和標(biāo)準(zhǔn)存儲設(shè)備之間的邏輯卷或磁盤陣列的映射，實(shí)現(xiàn)數(shù)據(jù)（視頻、圖片、附屬流）和設(shè)備層存儲設(shè)備之間的通信連接，完成數(shù)據(jù)的高效的寫入、讀取和調(diào)用等服務(wù)。3) 管理層在管理層，融合了索引管理、計(jì)劃管理、調(diào)度管理、資源管理、集群管理、設(shè)備管理等多種核心的管理功能?？梢詫?shí)現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理、錄像計(jì)劃的主動下發(fā)，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)等；實(shí)現(xiàn)整個(gè)存儲系統(tǒng)的虛擬化的統(tǒng)一管理，實(shí)現(xiàn)上層服務(wù)（視頻錄像、回放、查詢、智能分析數(shù)據(jù)請求等）的響應(yīng)。4) 接口層應(yīng)用接口層是云存儲最靈活多變的部分，接口層面向用戶應(yīng)用提供完善以及統(tǒng)一的訪問接口，接口類型可分為WebService接口、API接口、Mibs接口，可以根據(jù)實(shí)際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。實(shí)現(xiàn)和行業(yè)專屬平臺、運(yùn)維平臺的對接；實(shí)現(xiàn)和智能分析處理系統(tǒng)之間的對接；實(shí)現(xiàn)視頻數(shù)據(jù)的存儲、檢索、回放、瀏覽轉(zhuǎn)發(fā)等操作；實(shí)現(xiàn)關(guān)鍵視頻數(shù)據(jù)的遠(yuǎn)程容災(zāi)；實(shí)現(xiàn)設(shè)備以及服務(wù)的監(jiān)控和運(yùn)維等。5) 應(yīng)用層從邏輯上劃分，除了應(yīng)用層外，剩下的四層都屬于通常云存儲的范疇，但是在云存儲系統(tǒng)中，為了與視頻監(jiān)控系統(tǒng)的建設(shè)和應(yīng)用更加緊密的結(jié)合，更加符合用戶的業(yè)務(wù)需求，將應(yīng)用層納入了整個(gè)系統(tǒng)架構(gòu)中，從根本上提高云存儲的針對性?？蓪⑿袠I(yè)視頻監(jiān)管平臺、運(yùn)維平臺、智能分析平臺等通過相應(yīng)的接口與云存儲系統(tǒng)對接，實(shí)現(xiàn)與云存儲系統(tǒng)之間的數(shù)據(jù)以及信令的交互。行業(yè)視頻監(jiān)控平臺可與云存儲系統(tǒng)進(jìn)行配置錄像計(jì)劃、配置存儲策略、檢索視頻資源、重要錄像的備份存儲等指令的交互，輔助流數(shù)據(jù)、視頻數(shù)據(jù)、圖片數(shù)據(jù)的存取。中心云存儲設(shè)計(jì)系統(tǒng)可用性設(shè)計(jì)云存儲集群中所有節(jié)點(diǎn)都處于工作狀態(tài)，任務(wù)被平均的分配到各個(gè)節(jié)點(diǎn)上；當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)故障的時(shí)候，任務(wù)被自動平滑的分配到其他的節(jié)點(diǎn)上。即使任一個(gè)節(jié)點(diǎn)發(fā)生故障，系統(tǒng)的可用性不受影響。系統(tǒng)從軟件和硬件兩個(gè)方面進(jìn)行高可用設(shè)計(jì)，從而保證系統(tǒng)全年7*24小時(shí)不間斷運(yùn)行，關(guān)鍵數(shù)據(jù)不丟失。1）硬件全冗余設(shè)計(jì)，整個(gè)系統(tǒng)中沒有任何單點(diǎn)故障，任何部件都可以熱更換，確保存儲系統(tǒng)7*24小時(shí)連續(xù)運(yùn)行。2）數(shù)據(jù)節(jié)點(diǎn)間采用機(jī)架感知技術(shù)，同一個(gè)副本不會存放在同一個(gè)機(jī)架上，當(dāng)一個(gè)數(shù)據(jù)節(jié)點(diǎn)或機(jī)柜因故障不能正常工作時(shí)，數(shù)據(jù)在其節(jié)點(diǎn)上并行重建、不會丟失數(shù)據(jù)，從而保證整個(gè)存儲系統(tǒng)運(yùn)行的連續(xù)性，不影響主機(jī)業(yè)務(wù)運(yùn)行。3）數(shù)據(jù)節(jié)點(diǎn)支持多副本存儲數(shù)據(jù)，可以實(shí)現(xiàn)數(shù)據(jù)及時(shí)快速恢復(fù)，支持不同副本跨機(jī)架存儲，有效避免某一機(jī)架故障或掉電引起數(shù)據(jù)丟失，提高數(shù)據(jù)可靠性。同時(shí)支持層級設(shè)置副本策略。系統(tǒng)可靠性設(shè)計(jì)數(shù)據(jù)一致性保護(hù)分為兩大類：強(qiáng)一致性，最終一致性。系統(tǒng)采用的就是強(qiáng)一致性數(shù)據(jù)訪問，有效保證數(shù)據(jù)一致性。數(shù)據(jù)讀寫過程：主控名節(jié)點(diǎn)負(fù)責(zé)接收客戶端請求后，首先執(zhí)行本地?cái)?shù)據(jù)操作，進(jìn)而驅(qū)動從控節(jié)點(diǎn)，并等待從控節(jié)點(diǎn)數(shù)據(jù)操作完成后，再向客戶端返回讀寫操作完成響應(yīng)消息。防止掉電之后緩存中數(shù)據(jù)的丟失。多副本是云存儲的重要功能，副本實(shí)現(xiàn)跨節(jié)點(diǎn)，跨數(shù)據(jù)中心，跨機(jī)房，機(jī)柜的容災(zāi)，一份數(shù)據(jù)被寫入多個(gè)節(jié)點(diǎn)，數(shù)據(jù)中心中，加強(qiáng)數(shù)據(jù)的保護(hù)性，提供掉電保護(hù)，冗余能力強(qiáng)。跨節(jié)點(diǎn)的冗余保護(hù)可以讓用戶不必?fù)?dān)心重要數(shù)據(jù)因?yàn)闉?zāi)害導(dǎo)致數(shù)據(jù)丟失。副本示意同時(shí)系統(tǒng)的數(shù)據(jù)可靠性技術(shù)采用數(shù)據(jù)糾刪碼保護(hù)機(jī)制，糾刪碼就是是業(yè)內(nèi)最先進(jìn)的數(shù)據(jù)可靠性機(jī)制之一，它把存儲的數(shù)據(jù)切成K塊，然后通過糾刪碼編碼算法計(jì)算出M個(gè)校驗(yàn)塊，可以通過任意K個(gè)數(shù)據(jù)塊來恢復(fù)原始數(shù)據(jù)。如下圖所示糾刪碼示意系統(tǒng)可擴(kuò)展性設(shè)計(jì)系統(tǒng)具備靈活的擴(kuò)展能力，可以較好的應(yīng)對企業(yè)業(yè)務(wù)持續(xù)增長帶來的數(shù)據(jù)和性能的增長需求。系統(tǒng)支持通過兩個(gè)方面進(jìn)行擴(kuò)展；1）系統(tǒng)存儲容量可擴(kuò)展性、系統(tǒng)可在線將存儲節(jié)點(diǎn)擴(kuò)充到5000個(gè)，最大容量達(dá)到480PB。數(shù)據(jù)存儲節(jié)點(diǎn)支持SSD，SAS及SATA等目前主流磁盤，同時(shí)支持FLASH閃存盤，以便提高數(shù)據(jù)的訪問讀寫能力。2）系統(tǒng)IO帶寬可擴(kuò)展系統(tǒng)可以通過擴(kuò)展數(shù)據(jù)節(jié)點(diǎn)，為大量的用戶提供并發(fā)服務(wù)，通過數(shù)據(jù)節(jié)點(diǎn)的在線擴(kuò)展可以有效的提高系統(tǒng)IO帶寬。系統(tǒng)性能可隨集群數(shù)據(jù)節(jié)點(diǎn)數(shù)量增加成線性增長，通過在線平滑、快速的擴(kuò)展集群節(jié)點(diǎn)來提高性能。3）系統(tǒng)的外部網(wǎng)絡(luò)設(shè)備全面支持千兆，萬兆，IB網(wǎng)路，滿足不同的業(yè)務(wù)需求，所有節(jié)點(diǎn)網(wǎng)絡(luò)全部冗余，任何網(wǎng)口故障或者交換機(jī)故障都不會影響工作狀態(tài)和信息的存儲。系統(tǒng)支持平滑擴(kuò)展：統(tǒng)一存儲池以可伸縮的、一次尋址的一致性哈希算法技術(shù)為根基，通過去中心化架構(gòu)、數(shù)據(jù)散列存儲技術(shù)等關(guān)鍵技術(shù)構(gòu)建而成可靈活擴(kuò)展至EB級容量的存儲系統(tǒng)。通過哈希算法，將所有存儲節(jié)點(diǎn)的地址空間分區(qū)并統(tǒng)一編址后映射到一致性哈?？臻g上，每個(gè)存儲節(jié)點(diǎn)分區(qū)負(fù)責(zé)一個(gè)小范圍的地址空間路由，并負(fù)責(zé)存儲一小部分?jǐn)?shù)據(jù)，對每個(gè)對象的讀寫都能通過哈希運(yùn)算一次尋址到對應(yīng)的存儲節(jié)點(diǎn)分區(qū)，從而實(shí)現(xiàn)整個(gè)系統(tǒng)的尋址和存儲。由于一致性哈希算法的地址空間接近無限，通過分區(qū)大小調(diào)整，使得一致性哈希的空間具備可伸縮性（如下圖所示），理論上可支撐存儲單元的無限增加，構(gòu)筑了EB級容量擴(kuò)展能力的根基。一致性哈希算法通過使用一致性哈希算法，使系統(tǒng)具備如下優(yōu)勢：將數(shù)據(jù)均勻分散在所有參與存儲節(jié)點(diǎn)組成的存儲空間，在算法上支撐存儲層面的無限擴(kuò)展能力存儲節(jié)點(diǎn)之間，采用全對等的點(diǎn)對點(diǎn)數(shù)據(jù)訪問，減少了索引查詢的延時(shí)開銷和瓶頸產(chǎn)生。訪問時(shí)，應(yīng)用主機(jī)可以直接尋址訪問到存儲節(jié)點(diǎn)并進(jìn)行數(shù)據(jù)讀寫，系統(tǒng)中沒有傳統(tǒng)存儲架構(gòu)中的中心節(jié)點(diǎn)，減少了索引查詢時(shí)延，也規(guī)避了相應(yīng)的瓶頸問題。為了解決超大規(guī)模存儲系統(tǒng)中高效的數(shù)據(jù)組織和定位問題，業(yè)界主流分布式存儲系統(tǒng)通過多層級的哈希算法實(shí)現(xiàn)大規(guī)模存儲數(shù)據(jù)分布機(jī)制，綜合采用簡單哈希算法、一致性哈希算法，實(shí)現(xiàn)了存儲對象、數(shù)據(jù)布局組、存儲節(jié)點(diǎn)的兩級映射。具體來講，存儲系統(tǒng)的統(tǒng)一存儲池以對象為基本存儲單元進(jìn)行存儲，每個(gè)對象具有一個(gè)對象名稱（objectid），對象的定位操作通過對對象名稱進(jìn)行兩級哈希計(jì)算實(shí)現(xiàn)，具體如下圖所示。兩級哈希原理圖在上述基礎(chǔ)上存儲系統(tǒng)統(tǒng)一存儲池通過對一致性哈希算法進(jìn)行優(yōu)化，將節(jié)點(diǎn)發(fā)生變化（擴(kuò)展、宕機(jī)、縮減）時(shí)的數(shù)據(jù)重新分布盡可能減少，進(jìn)一步縮短了系統(tǒng)擴(kuò)容的時(shí)間窗口，提高了系統(tǒng)的可靠性。分布式存儲設(shè)計(jì)存儲系統(tǒng)解決了傳統(tǒng)存儲中性能和容量難以擴(kuò)展的弊端，將存儲體系的結(jié)構(gòu)結(jié)合為統(tǒng)一的存儲系統(tǒng)。傳統(tǒng)的存儲系統(tǒng)分為三類，即NAS，DAS，SAN，這些系統(tǒng)可以通過掛在擴(kuò)展柜來實(shí)現(xiàn)一定的擴(kuò)展，難以應(yīng)對當(dāng)今大數(shù)據(jù)時(shí)代的數(shù)據(jù)增長需求，DAS作為最老的存儲系統(tǒng)不易擴(kuò)展，數(shù)據(jù)遷移能力低，SAN雖然有獨(dú)享網(wǎng)絡(luò)傳輸數(shù)據(jù)但是SAN共享能力始終無法解決，傳統(tǒng)NAS結(jié)構(gòu)是基于機(jī)頭加擴(kuò)展柜的方式進(jìn)行性能擴(kuò)展，但是性能收限于控制器性能，無法滿足如今的海量數(shù)據(jù)應(yīng)用，傳統(tǒng)的SAN陣列就是機(jī)頭加擴(kuò)展柜的方式，即縱向擴(kuò)展單機(jī)頭節(jié)點(diǎn)性能，無法滿足當(dāng)前IT現(xiàn)狀。分布式SAN就是利用服務(wù)器集群對外提供塊數(shù)據(jù)訪問。分布式云存儲系統(tǒng)是面向云計(jì)算，大數(shù)據(jù)應(yīng)用推出的海量存儲系統(tǒng)，可以支持?jǐn)?shù)據(jù)的高IOPS，高帶寬需求，支持塊數(shù)據(jù)的并發(fā)IO，全冗余架構(gòu)，是支持監(jiān)控，能源，政法，智慧等行業(yè)的最佳存儲解決方案。對象存儲系統(tǒng)中數(shù)據(jù)的組織方式不同于傳統(tǒng)的塊接口存儲設(shè)備的組織方式，傳統(tǒng)的面向塊的設(shè)備采用無關(guān)聯(lián)塊陣列的方式組織數(shù)據(jù)的訪問，通過基于主機(jī)的文件系統(tǒng)分配數(shù)據(jù)塊，因此數(shù)據(jù)表示采用基于主機(jī)的元數(shù)據(jù)信息（如inode信息）。而OSD類似于一個(gè)邏輯單元，采用存儲對象的方式來訪問數(shù)據(jù)，存儲對象作為組織數(shù)據(jù)的虛擬個(gè)體，以邏輯上相關(guān)的方式進(jìn)行制定，數(shù)據(jù)對象通過OSD本身進(jìn)行分配，應(yīng)用程序通過對象標(biāo)識符（OID）獲取對象，而且OSD需要管理所屬的底層存儲設(shè)備（如空間管理、安全功能）。下圖將傳統(tǒng)的基于塊的磁盤存儲結(jié)構(gòu)與基于對象的磁盤存儲結(jié)構(gòu)進(jìn)行了對比。對象與塊存儲對比系統(tǒng)的統(tǒng)一存儲池設(shè)計(jì)采用了對象存儲技術(shù)，將對象集合形成一個(gè)具有唯一OID的扁平化命名空間，對象是統(tǒng)一存儲池中數(shù)據(jù)存儲的基本單位，并且每個(gè)對象是自我包含的，由用戶數(shù)據(jù)、對象標(biāo)識符OID和屬性構(gòu)成，如下圖所示。對象存儲示意圖存儲系統(tǒng)統(tǒng)一存儲池以磁盤為單位構(gòu)建對象存儲設(shè)備，每一個(gè)對象存儲設(shè)備具有智能管理功能，擁有獨(dú)立的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤系統(tǒng)，提供三個(gè)主要功能：1）數(shù)據(jù)存儲，管理對象數(shù)據(jù)，并將對象放置在標(biāo)準(zhǔn)的磁盤系統(tǒng)上，不提供塊接口訪問方式，客戶端通過對象ID、偏移讀寫數(shù)據(jù)，完成對象訪問。2）數(shù)據(jù)智能分布，具有空間分配功能，用其自身的CPU和內(nèi)存優(yōu)化數(shù)據(jù)分布，以減少計(jì)算節(jié)點(diǎn)的負(fù)擔(dān)，并支持?jǐn)?shù)據(jù)的預(yù)取，通過智能的對象的預(yù)取，優(yōu)化磁盤系統(tǒng)的性能，同時(shí)支持直接對數(shù)據(jù)進(jìn)行并行操作。3）管理對象元數(shù)據(jù)，管理存儲對象的元數(shù)據(jù)信息，對象元數(shù)據(jù)與傳統(tǒng)文件系統(tǒng)中inode元數(shù)據(jù)相似，包括對象的數(shù)據(jù)塊、對象的長度。傳統(tǒng)的NAS系統(tǒng)中，這些元數(shù)據(jù)是由文件服務(wù)器維護(hù)的，系統(tǒng)的統(tǒng)一存儲池架構(gòu)將系統(tǒng)中對象的元數(shù)據(jù)管理工作由對象存儲設(shè)備來完成，降低了客戶端模塊數(shù)據(jù)訪問的開銷。云存儲容量計(jì)算公式云存儲系統(tǒng)提供2+1和4+1兩種節(jié)點(diǎn)級冗余保護(hù)級別，2+1級別的有效容量為66%；4+1級別的有效容量為80%，為保證數(shù)據(jù)安全，采用2+1級別的節(jié)點(diǎn)冗余保護(hù)。一、視頻存儲存儲子系統(tǒng)的容量與整個(gè)監(jiān)控系統(tǒng)的實(shí)際需求和使用需求有著直接的關(guān)系，需求的存儲空間大小可以通過計(jì)算公式直接計(jì)算出來，單路視頻的存儲容量計(jì)算公式為：∑(TB)＝視頻碼流大小(Mb)×60秒×60分×24小時(shí)×存儲天數(shù)÷8÷1024÷1024按標(biāo)準(zhǔn)4M碼流計(jì)算，單路視頻的存儲90天容量為3.71T。單路視頻存儲90天采用冗余4+1級別的節(jié)點(diǎn)云存儲冗余保護(hù)后存儲容量約為6.23T。本次建設(shè)146個(gè)監(jiān)控點(diǎn)位考慮冗余保護(hù)后，約需909T。需10臺24盤位云存儲主機(jī)。二、圖片存儲車輛圖片信息采用JPEG編碼格式，符合ISO/IEC1544∶2000要求，壓縮因子不高于70，200萬高清攝像機(jī)輸出照片文件平均大小為300KB，300萬卡口一體機(jī)輸出照片文件平均大小為350KB，600～700萬高清攝像機(jī)輸出照片文件平均大小為1500KB，按單車道日均4000條抓拍記錄估算。200萬抓拍機(jī)每條車道的圖片信息按不同存儲時(shí)間的容量計(jì)算公式如下：∑(TB)=4000輛×0.3MB×1車道×30天/月×N個(gè)月÷1024÷1024以下為不同車道數(shù)量和不同保存時(shí)間的數(shù)據(jù)存儲容量計(jì)算：車道數(shù)3個(gè)月6個(gè)月1年2年3年1個(gè)車道0.1TB