云存儲總體設(shè)計方案

1、 PAGE PAGE 15 / 15云存儲總體設(shè)計方案編號：10 HOM 2102 0002擬稿擬稿審核批準(zhǔn)簽名覃永才日期2013-09-09目 錄3445556991010用戶支持（可選）1010111115151515修訂履歷序號版本號修訂容修訂人修訂日期ABV1.00.000初稿覃永才2013-09-09CDEFGHIJKLMNOPQR目的云存儲設(shè)計方案用來存儲 RCU-U（車云平臺）終端設(shè)備所采集的數(shù)據(jù)，以與對采集數(shù)據(jù)簡單的查詢功能，是對軟件與測試概要設(shè)計和詳細設(shè)計的約束。適用圍對于此設(shè)計方案設(shè)計多方面的容，使用圍：軟件代表、測試代表、設(shè)計代表。定義縮略語Hadoop英文Hadoop中

2、文描述Apache 基金會下面的一含很多子項目Zookeeper ZookeeperHBaseHBaseHDFSHadoop Distributed File Hadoop 子項目之一，大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)Hadoop 子項目之一，分據(jù)庫是一個分布式文件系統(tǒng)。HDFS 有 著 高 容 錯 性（fault-toleran的特硬件上VIN UBI GPS GSM GIS GPRS 3GG-Sensor GYROVehicle Identification Number Usage-Based InsuranceGlobal Position System GlobalSystemfor M

3、obile Communication Geography Information SystemGeneral Packet Radio Service) 3rd-generationGravity-sensor Gyroscope車輛識別碼基于駕駛行為的保險全球定位系統(tǒng)全球移動通訊系統(tǒng)地理信息系統(tǒng)通用分組無線服務(wù) 重力傳感器陀螺儀系統(tǒng)總體部分系統(tǒng)概述名稱、型號、版本、XX此項目為云存儲，簡稱LaunchCloud，云存儲，版本V1.00.000。版本描述包含2大部分：（1）云存儲：RCU-URCU-U終端部分分析后的數(shù)據(jù)存儲，MapReduce分析后的結(jié)果存儲。（2）云存儲門戶：設(shè)備管理，

4、用戶管理，用戶操作日志記錄，第三方應(yīng)用的API(預(yù)留)。該系統(tǒng)存儲的數(shù)據(jù)主要是為以后的業(yè)務(wù)應(yīng)用（如：UBI、汽車租賃等）提供原始的數(shù)據(jù)，以與提供大數(shù)據(jù)分析的技術(shù)擴展系統(tǒng)功能、性能功能特性4.2.1.1系統(tǒng)部分:云存儲功能有以下幾個方面Hadoop+Zookeeper+Hbase行駛記錄，設(shè)備資料，用戶資料等億級以下的數(shù)據(jù)使用開源的數(shù)據(jù)庫mysql來存儲基于Linux具體業(yè)務(wù)部分:GPS信息存儲G-SENSOR(加速/減速)信息存儲陀螺儀信息存儲速度信息存儲發(fā)動機轉(zhuǎn)速信息存儲安全帶指示信息存儲氣囊信息存儲胎壓信息存儲10.車門信息存儲11.油耗信息存儲12.點火信息存儲13.轉(zhuǎn)向信息存儲遠程診斷

5、信息存儲超速信息存儲急剎信息存儲急加速信息存儲旅程行駛距離信息存儲碰撞事故信息存儲意外事故信息存儲用戶操作日志記錄存儲設(shè)備信息存儲用戶信息存儲用戶汽車閥值存儲(電子欄柵，超速閥值,各種數(shù)據(jù)采集的頻度等)軟件下載系統(tǒng)日志第三方應(yīng)用的API(預(yù)留)系統(tǒng)總體結(jié)構(gòu)云存儲系統(tǒng)方框圖云存儲功能性系統(tǒng)方框圖GG陀速發(fā)安氣胎里車油點轉(zhuǎn)遠超急急旅碰意用設(shè)用用軟第系P-螺度動全囊壓程門耗火向程速剎加程撞外戶備戶戶件三統(tǒng)SS儀信機帶信信計信信信信診信信速行事事操信信汽下方日信E信息轉(zhuǎn)指息息信息息息息斷息息信駛故故作息息車載應(yīng)志息N息存速示存存息存存存存信存存息距信信日存存閥用存S存儲信信儲儲存儲儲儲儲息儲儲存離息息

6、志儲儲值A(chǔ)儲O儲息息儲存儲信存存記存PR存存儲息儲儲錄儲I信儲儲存存息儲儲存儲Nginx存儲Nginx動/靜分離負(fù)載均衡Hbase 集群Tomcat集群Zookeeper 集群數(shù)據(jù)高速緩存Hadoop 集群Mysql 開源數(shù)據(jù)庫Linux 服務(wù)器集群云存儲門戶云存儲門戶通訊集群Nginx-Master/負(fù)載均衡/動靜分離Nginx-Slave云存儲集群層Web集群層HBase-SlaveHBase- MasterWebServer-1WebServer-2WebServer-nNameNode-SecondaryNameNode數(shù)據(jù)緩存層-1數(shù)據(jù)緩存層-2數(shù)據(jù)緩存層-nHRegion-1Zoo

7、keeper-1 Datanode-1HRegion-2Zookeeper-2 Datanode-2HRegion-nZookeeper-n Datanode-nMysql-MasterMysql-Slave對應(yīng)關(guān)系云存儲層： GPS信息存儲、G-SENSOR(加速/減速)信息存儲、陀螺儀信息存儲、速度信息存儲、發(fā)動機轉(zhuǎn)速信息存儲、安全帶指示信息存儲、氣囊信息存儲、胎壓信息存儲、里程計信息存儲、車門信息存儲、油耗信息存儲、點火信息存儲、轉(zhuǎn)向信息存儲、遠程診斷信息存儲、超速信息存儲、急剎信息存儲、急加速信息存儲、旅程行駛距離信息存儲、碰撞事故信息存儲、意外事故信息存儲、用戶操作日志記錄存儲云存儲

8、門戶：設(shè)備信息存儲、用戶信息存儲、用戶汽車閥值存儲(電子欄柵，超速閥值,各種數(shù)據(jù)采集的頻度等)、軟件下載、系統(tǒng)日志、第三方應(yīng)用的API(預(yù)留)可測性設(shè)計的整體結(jié)構(gòu)描述：測試過程一般按3個步驟進行，即單元測試、組裝（集成）測試，系統(tǒng)測試， 為了支持這些測試在下面的軟件設(shè)計中作了如下考慮：軟件模塊以與部子模塊的對外接口標(biāo)準(zhǔn)化，整個軟件流程系統(tǒng)化，以支持單元測試中的模塊接口測試、出錯處理測試，并使測試用例測試，同時使集成測試方便容易；軟件模塊部采用清晰明了的判斷分支結(jié)構(gòu)。以方便白盒方式的路徑測試；軟件模塊保證可理解性。使用有意義的數(shù)據(jù)名和函數(shù)名，充分的注釋。以方便測試用例的生成、以與走查等軟件評審。

9、在關(guān)鍵的地方增加LOG信息，以方便出問題的時候知道問題出在哪里。關(guān)鍵技術(shù)高可靠性云 存 儲 底 層 的 HDFS 是 一 個 分 布 式 文件系 統(tǒng) 。 HDFS 有 著 高容 錯 性（fault-tolerant）的特點，并且設(shè)計用來部署在低廉的且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序高擴展性Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。假如想擴展云存儲系統(tǒng)中的存儲容量，運算能力，直接水平添加機器，修改配置即可實現(xiàn)，上層程序不需要做任何修改。

10、云存儲門戶前端采用高性能的nginx服務(wù)器做負(fù)載均衡，動靜分離，靜態(tài)資源緩存，經(jīng)典的master-slave熱備切換，不間斷提供服務(wù)；Web集群層同樣也可以按照集群的負(fù)擔(dān)情況動態(tài)添加物理機器；數(shù)據(jù)緩存層是提供快速響應(yīng)的重要保障； 數(shù)據(jù)庫Mysql存儲層可以隨著訪問量的增大，按照業(yè)務(wù)垂直切分高效性Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非?？臁；旧舷到y(tǒng)的關(guān)鍵點上都采用分布式部署，當(dāng)系統(tǒng)訪問量增大時，可以通過添加服務(wù)器來持續(xù)保證整個集群的高效性。高容錯性Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠智能地將失敗的任務(wù)重新分配?；旧舷到y(tǒng)的關(guān)鍵點上都采用分

11、布式部署,即使有部分服務(wù)器可能因為網(wǎng)絡(luò)、硬盤、cpu、主板等物理損壞，也不會導(dǎo)致整個集群不可用系統(tǒng)配置硬件配置(比較節(jié)省的配置)5臺服務(wù)器(1臺存+2TB硬盤7200RPM，4存硬盤7200 RPM)，其他千兆交換機把這5臺服務(wù)器連接起來軟件配置Linux操作系統(tǒng)、Nginx軟件、Tomcat、Hadoop、Zookeeper、Hbase、Mysql具體部署server1:NameNode+DataNode+HRegion server2:DataNode+Zookeeper+HMaster+HRegionserver3:NameNodeSecondary+DataNode+HMasterSl

12、ave+Zookeeper+HRegion server4:DataNode+Zookeeper+HRegion+NginxSlave+Tomcat+MysqlSlave server5:DataNode+HRegion+NginxMaster+Tomcat+MysqlMaster外包、外購子系統(tǒng)規(guī)格無產(chǎn)品升級版本升級規(guī)格由于整個系統(tǒng)都是運行在我們的服務(wù)器上，直接按照升級步驟來升級即可系統(tǒng)可擴充性設(shè)計整個系統(tǒng)都是分成多個小模塊，多層架構(gòu)來開發(fā)。方便產(chǎn)品的有效的維護和升級。用戶支持（可選）資料提供提示行說明暫無要求可靠性規(guī)格無軟件設(shè)計功能設(shè)計軟件基本設(shè)計思想計，分布式、高可靠、高可用、高擴展架構(gòu)

13、。軟件開發(fā)平臺Linux開源穩(wěn)定高性能的開源服務(wù)器操作系統(tǒng)；HadoopNginx是一個高性能的和 反向代理服務(wù)器,同樣是免費開源的；Mysql是目前最流行的開源免費數(shù)據(jù)庫軟件系統(tǒng)描述軟件系統(tǒng)結(jié)構(gòu)描述、總體軟件框圖通訊集群用戶請求通訊集群用戶請求APINginx 負(fù)載均衡/動靜分離HMaster是否HRegionServer是否在緩存?H LogHRegion頁面/圖片等靜態(tài)資源緩存Control 控制層StoreStoreFileMemStoreHFileView 視圖層HDFSModel 模型層DataNodeDataNodeDataNodeDataNode數(shù)據(jù)庫存儲層APIRCU-UMV

14、CMVC的模型層，它實現(xiàn)了顯示模塊與功能模塊的分離。提高了程序的可維護性、可移植性、可擴展性與可重用性，降低了程序的開發(fā)難度?？刂?控制層可以說是包含了用戶請求權(quán)限的概念。最后，它還有利于軟件工程化管理。由于不 同的層各司其職，每一層不同的應(yīng)用具有某些相同的特征，有利于通過工程化、工具化產(chǎn) Hbase集群獲取數(shù)據(jù)或 者2者都有。模塊規(guī)格、設(shè)計描述在各功能模塊中需要注意有關(guān)數(shù)據(jù)精度的優(yōu)化，達到提高網(wǎng)絡(luò)傳輸速度，減少云存儲的存儲空間，方便以后根據(jù)第三方業(yè)務(wù)快速的數(shù)據(jù)分析。表1:詳細功能模塊說明序號 模塊名稱說明公共工具模塊GPS整個系統(tǒng)的字符處理，數(shù)值轉(zhuǎn)換，獲取日期等根據(jù)可能的業(yè)務(wù)需求來設(shè)置 Hb

15、ase的RowKey,提高海量數(shù)據(jù)的檢索速度，保存的數(shù)據(jù)可以在地圖上重現(xiàn)行駛軌跡，基本參數(shù)有：RCU-U的SN、經(jīng)緯度、海拔、時間、精度等。G-SENSOR(加速/減 基本參數(shù)有：RCU-U的SN、當(dāng)前具體的加速/速)信息存儲速數(shù)字、采集時間、系統(tǒng)時間等。陀螺儀信息存儲模基本參數(shù)有：水平面角度，垂直面角度、采塊時間、系統(tǒng)時間等。速度信息存儲模塊基本參數(shù)有：速度、采集時間、系統(tǒng)時間等。發(fā)動機轉(zhuǎn)速信息存基本參數(shù)有：發(fā)動機轉(zhuǎn)速、采集時間、系統(tǒng)儲模塊間等。安全帶指示信息存基本參數(shù)有： 主駕駛安全帶指示、采集時間儲模塊系統(tǒng)時間等?；緟?shù)有： 氣囊狀態(tài)、采集時間、系統(tǒng)時間等。胎壓信息存儲模塊基本參數(shù)有：

16、胎壓數(shù)據(jù)、采集時間、系統(tǒng)時間等。里程計信息存儲?；緟?shù)有：里程數(shù)據(jù)、采集時間、系統(tǒng)時塊等?；緟?shù)有： 車門狀態(tài)數(shù)據(jù)、采集時間、系統(tǒng)時間等。油耗信息存儲模塊基本參數(shù)有：油耗數(shù)據(jù)、采集時間、系統(tǒng)時間等。點火信息存儲模塊基本參數(shù)有：點火數(shù)據(jù)、采集時間、系統(tǒng)時間等?；緟?shù)有：轉(zhuǎn)向數(shù)據(jù)、采集時間、系統(tǒng)時間等。遠程診斷信息存儲存儲RCU-U終端診斷后自動把診斷結(jié)果上傳，基本參數(shù)有：遠程診斷結(jié)果、采集時間、系統(tǒng)模塊時間等。超速信息存儲模塊存儲RCU-U終端根據(jù)用戶所設(shè)定的閥值，來判斷當(dāng)前是否超速，如果超速，就上傳超速信息，基本參數(shù)有：速度閥值、當(dāng)前速度、采集時間、系統(tǒng)時間等。急剎信息存儲模塊存儲RCU

17、-U終端根據(jù)用戶所設(shè)定的閥值，來判斷當(dāng)前是否急剎，如果急剎，就上傳急剎信息，基本參數(shù)有：急剎閥值、當(dāng)前速度、采集時間、系統(tǒng)時間等。急加速信息存儲模存儲RCU-U終端根據(jù)用戶所設(shè)定的閥值，來判斷當(dāng)前是否急加速，如果急加速，就上傳急加塊速信息，基本參數(shù)有：急加速閥值、當(dāng)前速度采集時間、系統(tǒng)時間等。旅程行駛距離信息RCU-U終端在一個旅程結(jié)束的時候上傳該旅程的數(shù)據(jù)。存儲模塊碰撞事故信息存儲RCU-U終端判斷是否是碰撞然后上傳碰撞事故信息。模塊意外事故信息存儲RCU-U終端判斷是否是意外事故然后上傳意外事故信息。模塊用戶操作日志記錄記錄云存儲門戶中用戶更新數(shù)據(jù)的操存儲記錄汽車與 RCU-U 終端的對應(yīng)關(guān)系包括用戶的注冊，登錄驗證，修改密碼，找回密碼，注冊設(shè)備，修改設(shè)備對應(yīng)關(guān)系用戶汽車閥值存儲用戶汽車閥值記錄的修改，查(電子欄柵，超速閥值,各種數(shù)據(jù)采集的頻度等)模塊軟件下載模塊軟件版本的記錄，上傳軟件包2727第 三 方 應(yīng) 用 的APIAPI 的設(shè)計思路API(預(yù)留)軟件模塊可測性設(shè)計規(guī)格需要提供軟件各模塊的單元測試和集成測試用例。滿足自動化測試要求。提供給后臺詳細的測試數(shù)據(jù)和結(jié)果。測試系統(tǒng)設(shè)計測試系統(tǒng)設(shè)計應(yīng)滿足產(chǎn)品的要求。單元測試設(shè)計單元測試是研發(fā)設(shè)計人員對板級軟硬件各模塊進行健壯性測試。各