數(shù)據(jù)處理平臺技術(shù)方案

.數(shù)據(jù)處理平臺技術(shù)方案資料..2016年06月資料..目錄1.項(xiàng)目說明.....................................................................................................................................11.1背景...............................................................................................................................................11.2術(shù)語定義及說明............................................................................................................................12.建設(shè)目標(biāo)和原則..........................................................................................................................12.1建設(shè)目標(biāo).......................................................................................................................................12.1.1建設(shè)和完善數(shù)據(jù)處理流程..........................................................................................................12.1.2建設(shè)和完善管理平臺.................................................................................................................12.1.3建立良好的容錯機(jī)制.................................................................................................................22.2設(shè)計(jì)原則.......................................................................................................................................22.2.1可靠性.......................................................................................................................................22.2.2易用性.......................................................................................................................................22.2.3擴(kuò)展性.......................................................................................................................................23.功能需求.....................................................................................................................................33.1需求概述.......................................................................................................................................33.2功能模塊.......................................................................................................................................33.2.1數(shù)據(jù)收集....................................................................................................................................33.2.2數(shù)據(jù)清洗....................................................................................................................................33.2.3數(shù)據(jù)存儲....................................................................................................................................33.2.4對外輸出....................................................................................................................................4資料..3.2.5流程監(jiān)控....................................................................................................................................43.2.6管理平臺....................................................................................................................................43.3其他需求.......................................................................................................................................43.3.1性能需求....................................................................................................................................43.3.2可靠性要求................................................................................................................................43.3.3進(jìn)度計(jì)劃....................................................................................................................................43.3.4故障處理要求............................................................................................................................54.方案總體設(shè)計(jì)..............................................................................................................................54.1技術(shù)路線選擇................................................................................................................................54.2總體架構(gòu).......................................................................................................................................54.2.1架構(gòu)介紹....................................................................................................................................54.2.2數(shù)據(jù)處理流程............................................................................................................................55.安全設(shè)計(jì).....................................................................................................................................65.1數(shù)據(jù)的備份和恢復(fù)系統(tǒng).................................................................................................................65.2管理層安全....................................................................................................................................6資料..項(xiàng)目說明1.1背景因項(xiàng)目數(shù)據(jù)拆分， ***將要創(chuàng)建一套完備的數(shù)據(jù)管理體系，替換原有的數(shù)據(jù)處理方式。為用戶提供更高效、便捷的服務(wù)。1.2術(shù)語定義及說明名稱 解釋數(shù)據(jù)格式 對原始數(shù)據(jù)文件中數(shù)據(jù)格式的定義，比如 json、數(shù)組等數(shù)據(jù)類型 原始數(shù)據(jù)的類型，比如實(shí)況、指數(shù)等文件類型 原始數(shù)據(jù)的文件類型，比如 .dat、.txt文件建設(shè)目標(biāo)和原則2.1建設(shè)目標(biāo) 建設(shè)和完善數(shù)據(jù)處理流程基于原有的處理流程，采用新技術(shù)架構(gòu)， 重構(gòu)現(xiàn)有處理平臺，徹底解決現(xiàn)有平臺的問題。 建設(shè)和完善管理平臺建設(shè)和完善管理平臺，可以為運(yùn)維人員提供更好的維護(hù)管理的工具，并且能夠讓管理員可以根資料..據(jù)多種數(shù)據(jù)的不同要求設(shè)置出適應(yīng)數(shù)據(jù)的處理規(guī)則。 建立良好的容錯機(jī)制建立良好的容錯機(jī)制，設(shè)置更優(yōu)的數(shù)據(jù)處理規(guī)則，為數(shù)據(jù)處理提供優(yōu)質(zhì)服務(wù)。2.2設(shè)計(jì)原則 可靠性隨著系統(tǒng)的建成，必然各平臺之間的信息傳遞對系統(tǒng)的依賴程度將變得很高，系統(tǒng)失效所造成的影響也就越大。因此，系統(tǒng)的設(shè)計(jì)必須，從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備選型以及廠商的技術(shù)服務(wù)和維修響應(yīng)能力等方面綜合考慮，以確保系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性。 易用性我們系統(tǒng)設(shè)計(jì)必須考慮到使用者和以后的維護(hù)的方便容易。所以，在系統(tǒng)的設(shè)計(jì)中要求系統(tǒng)架構(gòu)易于理解，系統(tǒng)管理方便簡潔，系統(tǒng)維護(hù)自動容易。 擴(kuò)展性平臺的建設(shè)是一項(xiàng)長期的工程，要充分考慮其將來潛在的需求?？茖W(xué)的設(shè)計(jì)思想應(yīng)著眼于目前的應(yīng)用系統(tǒng)及現(xiàn)有的技術(shù)，并考慮以最小的代價來適應(yīng)網(wǎng)絡(luò)技術(shù)不斷的發(fā)展，使現(xiàn)有系統(tǒng)能夠與需求同步增長，使系統(tǒng)在元數(shù)據(jù)不斷增加的基礎(chǔ)上，維護(hù)者能夠很方便的擴(kuò)充平臺功能。資料..功能需求3.1需求概述實(shí)現(xiàn)對不同來源的多種數(shù)據(jù)類型文件進(jìn)行收集、 存儲、到最終業(yè)務(wù)的統(tǒng)一處理，實(shí)現(xiàn)數(shù)據(jù)實(shí)時對接，并具有擴(kuò)展性。數(shù)據(jù)收集：數(shù)據(jù)整理：數(shù)據(jù)存儲：業(yè)務(wù)接口：5)監(jiān)控：3.2功能模塊 數(shù)據(jù)收集~~~~~~~~~~~ 數(shù)據(jù)清洗~~~~~~~~~~~~~ 數(shù)據(jù)存儲經(jīng)估算，每天的數(shù)據(jù)約有