數(shù)據(jù)采集系統(tǒng)設計思路

1、數(shù)據(jù)采集系統(tǒng)設計思路基本功能將各采集點，如醫(yī)院，藥店等數(shù)據(jù)庫（或其它數(shù)據(jù)載體）中的數(shù)據(jù)按照一定的規(guī)則提取，生成適合傳輸和存貯的文件，通過互聯(lián)網(wǎng)將文件上傳到服務器，服務器對數(shù)據(jù)進行分析處理，并按照一定的配置條件進行數(shù)據(jù)告警處理，最后把數(shù)據(jù)存貯于數(shù)據(jù)庫服務器中，提供給其它應用系統(tǒng)進行數(shù)據(jù)查閱。基本架構主要包括前端數(shù)據(jù)采集和后臺數(shù)據(jù)存貯兩大功能。前端采集負責把各種數(shù)據(jù)源中的數(shù)據(jù)按要求存為文件上傳到后臺服務器；后臺服務主要將上傳的文件進行分析和存貯，如下圖。功能組成模塊前端采集系統(tǒng)功能模塊：前端采集系統(tǒng)主要包括配置服務、數(shù)據(jù)查詢、文件上傳、日志、錯誤處理、自動更新服務、安全服務、網(wǎng)絡服務等模塊，各模塊

2、主要功能如下：1 .配置服務模塊配置模塊至少提供二類接口，一是本地配置接口，本地可以通過配置界面進行相關參數(shù)設置；二是遠程配置接口，遠程服務器可以通過此接口下達配置命令，實現(xiàn)遠程配置，方便以后前端系統(tǒng)的維護。需要實現(xiàn)的基本配置項：服務器相關，包括服務器地址，端口，使用長連接還是短連接等。文件傳輸相關，自動上傳時間；文件在服務器上存貯的相對位置；多個文件傳輸時使用單連接還是多連接傳輸。文件上傳失敗的重傳間隔等。數(shù)據(jù)庫訪問相關，數(shù)據(jù)庫連接相關配置，包括數(shù)據(jù)庫類型，連接用，用戶名，密碼；獲得查詢結果的相關SQL查詢語句和查詢條件；數(shù)據(jù)定時采集的時間；多條采集命令的優(yōu)先級等。程序升級更新相關，包括手動

3、還是自動更新，自動更新的時間等。其它配置，包括是否記錄日志文件，日志文件存放的路徑，單個日志文件的大小，日志文件最長存放的時間，采集文件存放路徑，是否刪除已經(jīng)上傳的采集文件，是否對可用磁盤空間進行監(jiān)控和剩余空間不足告警；登錄相關配置等注：招喚采集不提供單獨的配置，招喚采集其實就是定時采集，由服務器下達一個優(yōu)先級較高并立即執(zhí)行的采集配置命令即可。配置數(shù)據(jù)讀取功能，讀取配置數(shù)據(jù)，提供給其它模塊使用。2 .數(shù)據(jù)查詢模塊針對不同的數(shù)據(jù)庫，根據(jù)配置條件或接收的命令，查詢數(shù)據(jù)庫，生成查詢結果記錄集，系列化為二進制文件，使用高效壓縮算法對文件進行壓縮，按照文件命名規(guī)則存貯于指定位置。3 .文件上傳模塊按照配

4、置條件或接收到的命令，上傳文件，包括需要的任何文件，如采集的二進制結果文件，日志記錄文件等。4 .日志模塊提供日志記錄功能，其它模塊可以通過本模塊提供的接口進行日志記錄。以及日志查詢功能。5 .錯誤處理模塊包括輸出程序出錯信息，向服務器提供出錯信息，便于程序排錯開級。6 .自動更新服務提供手動或自動更新服務，或者為服務器強制更新提供服務。7 .安全服務提供前端系統(tǒng)登錄認證服務，防止非法使用系統(tǒng)。8 .網(wǎng)絡服務提供與服務的連接服務，維護與服務的連接，與服務進行信息傳輸和文件傳輸，接收命令，將命令分發(fā)給相應的模塊，轉發(fā)各模塊向服務器發(fā)送的服務請求。前端采集系統(tǒng)模塊之間的層次關系各模塊功能獨立，通過

5、各自提供的服務接口進行關聯(lián)。實現(xiàn)網(wǎng)絡，業(yè)務邏輯,界面分離。用戶界面（UI）后臺存貯系統(tǒng)功能模塊1 .基本參數(shù)配置功能，包括網(wǎng)絡相關配置，告警參數(shù)配置，存貯配置登錄用戶配置等，如網(wǎng)絡參數(shù)配置督學我配富鼾苗臣7所TT的文汴萬金沖更件寫入舊信物，出4占q室廠m凈1t克忡二二混型二1關的I2 .網(wǎng)絡服務模塊，提供socket連接的服務端，為前端系統(tǒng)提供連接服務。接收前端系統(tǒng)發(fā)送的數(shù)據(jù)，解析數(shù)據(jù)，分發(fā)給其它模塊；轉發(fā)各種命令給前端采集系統(tǒng)。3 .數(shù)據(jù)分析處理模塊，如更新服務請求，招喚采集命令等的執(zhí)行結果,文件傳輸。4 .數(shù)據(jù)告警模塊，告警模塊提供各種告警服務，每種服務對自己關心的數(shù)據(jù)進行告警；根據(jù)告警的優(yōu)先級，最高級的告警服務先接收數(shù)據(jù)分析模塊傳來的數(shù)據(jù)，判斷是否告警，然后傳給下一級的告警服務，直到配置的所以告警類型全部處理完畢。5 .數(shù)據(jù)存貯服務模塊，將采集結