數據處理平臺 技術方案

1、.數據處理平臺技術方案2016年06月.目錄1.項目說明11.1背景11.2術語定義及說明12.建設目標和原則12.1建設目標12.1.1建設和完善數據處理流程12.1.2建設和完善管理平臺12.1.3建立良好的容錯機制12.2設計原則22.2.1可靠性22.2.2易用性22.2.3擴展性23.功能需求23.1需求概述23.2功能模塊33.2.1數據收集33.2.2數據清洗33.2.3數據存儲33.2.4對外輸出33.2.5流程監(jiān)控33.2.6管理平臺33.3其他需求43.3.1性能需求43.3.2可靠性要求43.3.3進度計劃43.3.4故障處理要求44.方案總體設計44.1技術路線選擇44

2、.2總體架構44.2.1架構介紹54.2.2數據處理流程55.安全設計55.1數據的備份和恢復系統(tǒng)55.2管理層安全5.1. 項目說明1.1 背景因項目數據拆分，*將要創(chuàng)建一套完備的數據管理體系，替換原有的數據處理方式。為用戶提供更高效、便捷的服務。1.2 術語定義及說明名稱解釋數據格式對原始數據文件中數據格式的定義，比如json、數組等數據類型原始數據的類型，比如實況、指數等文件類型原始數據的文件類型，比如.dat、.txt文件2. 建設目標和原則2.1 建設目標2.1.1 建設和完善數據處理流程基于原有的處理流程，采用新技術架構， 重構現有處理平臺，徹底解決現有平臺的問題。2.1.2 建設

3、和完善管理平臺建設和完善管理平臺，可以為運維人員提供更好的維護管理的工具，并且能夠讓管理員可以根據多種數據的不同要求設置出適應數據的處理規(guī)則。2.1.3 建立良好的容錯機制建立良好的容錯機制，設置更優(yōu)的數據處理規(guī)則，為數據處理提供優(yōu)質服務。2.2 設計原則2.2.1 可靠性隨著系統(tǒng)的建成，必然各平臺之間的信息傳遞對系統(tǒng)的依賴程度將變得很高，系統(tǒng)失效所造成的影響也就越大。因此，系統(tǒng)的設計必須，從系統(tǒng)結構、技術措施、設備選型以及廠商的技術服務和維修響應能力等方面綜合考慮，以確保系統(tǒng)運行的可靠性和穩(wěn)定性。2.2.2 易用性我們系統(tǒng)設計必須考慮到使用者和以后的維護的方便容易。所以，在系統(tǒng)的設計中要求系

4、統(tǒng)架構易于理解，系統(tǒng)管理方便簡潔，系統(tǒng)維護自動容易。2.2.3 擴展性平臺的建設是一項長期的工程，要充分考慮其將來潛在的需求?？茖W的設計思想應著眼于目前的應用系統(tǒng)及現有的技術，并考慮以最小的代價來適應網絡技術不斷的發(fā)展，使現有系統(tǒng)能夠與需求同步增長，使系統(tǒng)在元數據不斷增加的基礎上，維護者能夠很方便的擴充平臺功能。3. 功能需求3.1 需求概述實現對不同來源的多種數據類型文件進行收集、存儲、到最終業(yè)務的統(tǒng)一處理，實現數據實時對接，并具有擴展性。1)數據收集：2)數據整理：3)數據存儲： 4)業(yè)務接口： 5)監(jiān)控： 3.2 功能模塊3.2.1 數據收集3.2.2 數據清洗3.2.3 數據存儲經估算

5、，每天的數據約有9-10G，在如此數據量的情況下，要對數據進行存儲，同時應用緩存，提高輸出效率。3.2.4 對外輸出為保證原有外部用戶正常使用，數據輸出與原有輸出保持一致。3.2.5 流程監(jiān)控針對整個流程進行數據監(jiān)控 監(jiān)控原始數據站點缺失、監(jiān)控非法數據。以便反饋給原始數據提供方，后期優(yōu)化。3.2.6 管理平臺管理平臺需要有如下功能：3.3 其他需求3.3.1 性能需求3.3.2 可靠性要求3.3.3 進度計劃待定3.3.4 故障處理要求軟件故障：如操作系統(tǒng)死機、崩潰、數據庫管理系統(tǒng)過載或其他原因崩潰，通過自動或手動重新啟動系統(tǒng)解決，如重新啟動不能解決問題，可以切換至備用服務器；硬件故障：如硬盤故障，采取措施是定期進行數據庫備份，一旦出現硬件故障，可以使用備份文件恢復數據庫。4. 方案總體設計4.1 技術路線選擇4.2 總體架構4.2.1 架構介紹4.2.2 數據處理流程5. 安全設計5.1 數據的備份和恢復系統(tǒng)在安全建設中必不可少的一個環(huán)節(jié)就是數據的常規(guī)備份和歷史保存。一般在生產本地的備份目的主要有兩個：一是生產系統(tǒng)的業(yè)務數據由于系統(tǒng)或人為誤操作造成損壞或丟失后，可及時在生產本地實現數據的恢復；另一個目的是在發(fā)生地域性災難（地震、火災、機器毀壞等）時，可及時在本地或異地實現數據及整個系統(tǒng)的災難恢復。5.2 管理層安全網絡安全架構的