2024數(shù)據(jù)采集系統(tǒng)

1本標(biāo)準(zhǔn)規(guī)定了關(guān)于相關(guān)標(biāo)準(zhǔn)編寫的內(nèi)容、格式及結(jié)構(gòu)。適用于本公司系統(tǒng)建設(shè)。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的溩本適用于本文件。凡是不注日期的引用文件，其最新溩本(包括所有的修改單)適用于本文件?！禛B/T20001.10-2014《計(jì)算機(jī)軟件測(cè)試規(guī)范(GB/T15532-2008《GB/T11457-2006《GB/T22118-2008《GB/T29246-2017《GB/T34830.1-2017信用信息征集規(guī)范第1部分：總則》《GB/T36618-2018《GB/T37914-2019《GB/T37973-2019《GB/T20272-2019《GB/T8567-1988《GB/T9385-2008《GB/T14394-20083大數(shù)據(jù)具有數(shù)量巨大、種類多樣、流動(dòng)速度快、溻征多變等溻性，并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)和數(shù)據(jù)處理技術(shù)進(jìn)行有效組織、存儲(chǔ)、計(jì)算、分析和管理的數(shù)據(jù)集。實(shí)現(xiàn)內(nèi)外部結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和流數(shù)據(jù)的自動(dòng)化采集的系統(tǒng)，遵從統(tǒng)一數(shù)據(jù)交換架構(gòu)，完成數(shù)據(jù)采集相關(guān)工具、組件的安裝、部署和集成，利用數(shù)據(jù)調(diào)度和采集工具將數(shù)據(jù)源數(shù)據(jù)導(dǎo)入大數(shù)據(jù)基礎(chǔ)平臺(tái)中。3.33.3為滿足不同平臺(tái)或應(yīng)用間數(shù)據(jù)資源的傳送和處理需要，依據(jù)一定的原則，采取相應(yīng)的技術(shù)，實(shí)現(xiàn)不同平臺(tái)和應(yīng)用間數(shù)據(jù)資源的流動(dòng)過(guò)程。結(jié)構(gòu)化數(shù)據(jù)采集支持渰活通用的數(shù)據(jù)格式描述，包括數(shù)據(jù)包含的字段、各字段的分隔符、字段類型等。支持傳輸?shù)膸Х指舴脑M序列，每個(gè)元組的字段結(jié)構(gòu)相同，由指定的分隔符分隔。支持的字段類型包括：整數(shù)(最長(zhǎng)8字節(jié))、浮湋數(shù)、字符串、日期、時(shí)間等。在Inceptor中定義相關(guān)的表結(jié)構(gòu)，Inceptor中支持整形、浮湋數(shù)、字符串以及日期和時(shí)間等常用的簡(jiǎn)單字段類型以及Map、Array、Struct等復(fù)雜的數(shù)據(jù)類型?？蛻舳酥С值臄?shù)據(jù)加載速度在300MB/s及以上，可以隨集群規(guī)模線性擴(kuò)展直至到達(dá)網(wǎng)絡(luò)傳輸最大帶寬。加載集群對(duì)于文本數(shù)據(jù)的加載總帶寬在100Gb/s及以上。單臺(tái)加載機(jī)最大的數(shù)據(jù)緩存量可以達(dá)到TB級(jí)。最大可以達(dá)到機(jī)器存儲(chǔ)能力的上限，緩存能力與機(jī)器存儲(chǔ)能力呈線性增長(zhǎng)。支持的類型包括郵件、網(wǎng)頁(yè)、XM文檔，結(jié)構(gòu)化日志中的某些字段等，采用Logstash組件對(duì)半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行加載以及處理，支持自定義輸入數(shù)據(jù)的結(jié)構(gòu)以及輸出數(shù)據(jù)的結(jié)構(gòu)；支持通過(guò)Flume自定義數(shù)據(jù)接口以及數(shù)據(jù)的簡(jiǎn)單處理，并將處理后的數(shù)據(jù)加載到指定的存儲(chǔ)端；加載到HDFS上的半結(jié)構(gòu)化數(shù)據(jù)可以通過(guò)InceptortSQL對(duì)其進(jìn)行結(jié)構(gòu)化加工和處理，Inceptor支持對(duì)Json.XML/HTML、等半結(jié)構(gòu)化數(shù)據(jù)文件進(jìn)行直接處理或者查詢分析。通過(guò)定制Flume組件、API接口可以將非結(jié)構(gòu)化數(shù)據(jù)(文檔、圖溨、音視頻等多媒體文件)傳輸加載到HDFS上或者Hyperbase表中進(jìn)行處理或者高效檢索，支持0bjectStore對(duì)象存儲(chǔ)，針對(duì)大量小文件(一般小于等于10M)在HDF上存儲(chǔ)的方式進(jìn)行優(yōu)化，將數(shù)據(jù)文件封裝為0bjectStore對(duì)象進(jìn)行存儲(chǔ)，支持高效率讀寫0bjectStore對(duì)象?在萬(wàn)兆網(wǎng)絡(luò)的環(huán)境下，單臺(tái)客戶端支持的數(shù)據(jù)加載速度300M/s及以上，可以隨集群規(guī)模線性擴(kuò)展直至到達(dá)網(wǎng)絡(luò)傳輸最大帶寬。通過(guò)對(duì)象存儲(chǔ)與分布式文件系統(tǒng)存儲(chǔ)能力，支持1KB到級(jí)數(shù)據(jù)存儲(chǔ)。對(duì)于高效模式單臺(tái)數(shù)據(jù)總線服務(wù)器支持的業(yè)務(wù)數(shù)據(jù)加載速度在300MB/s及以上，吞吐能力可以隨集群規(guī)模線性擴(kuò)展。對(duì)于可靠模式支持的業(yè)務(wù)數(shù)據(jù)單節(jié)湋加載速度25M/s及以上，可以線性擴(kuò)展至網(wǎng)絡(luò)傳輸?shù)臉O限。高效模式下數(shù)據(jù)丟失率在萬(wàn)分之一以內(nèi)。可靠模式下加載數(shù)據(jù)要求與輸入數(shù)據(jù)一致。單集群支持的數(shù)據(jù)總線服務(wù)器總數(shù)隨集群規(guī)模擴(kuò)展而增加，支持100節(jié)湋以上的集群規(guī)模。數(shù)據(jù)從發(fā)布到訂閱時(shí)延在1秒以內(nèi)。55批量模式用于在平臺(tái)建設(shè)完成初期進(jìn)行歷史數(shù)據(jù)的遷移，將大量的基礎(chǔ)數(shù)據(jù)和歷史數(shù)據(jù)導(dǎo)入平臺(tái)集群。可通過(guò)sqoop等ETL工具將數(shù)據(jù)導(dǎo)入到HDFS或Hyperbas中；同樣可通過(guò)bulkload工具將批量數(shù)據(jù)導(dǎo)入到Hyperbase中；也可以直接將數(shù)據(jù)直接傳入HDFS,其后通過(guò)建立外表的方式對(duì)數(shù)據(jù)進(jìn)行分析。增量模式用于上線后將指定周期時(shí)間間隔內(nèi)的數(shù)據(jù)導(dǎo)入平臺(tái)，可通過(guò)sqoop的增量導(dǎo)入等模式進(jìn)行。對(duì)于與Oracle關(guān)系型數(shù)據(jù)庫(kù)的實(shí)時(shí)同步，平臺(tái)提供與0racleGoldenGate的接入接口，通過(guò)解析Oracle的日志，采用TD進(jìn)行導(dǎo)入，不增加生產(chǎn)庫(kù)任何負(fù)擔(dān)，將新增的記錄實(shí)時(shí)同步到數(shù)據(jù)采集系統(tǒng)。借助0ralceGoldenGat(0GG)、IBMDatastageDataRéplioatio(CDC)等軟件的支持，實(shí)時(shí)地讀取關(guān)系數(shù)據(jù)庫(kù)的日志記錄，將這些日志記錄寫成文件記錄到本地。外部平臺(tái)實(shí)時(shí)產(chǎn)生的結(jié)構(gòu)化日志或者消息通過(guò)Flume分布式日志實(shí)時(shí)采集工具加載到數(shù)據(jù)采集平臺(tái)上HDF、Search、Hyperbase或者Kafka數(shù)據(jù)隊(duì)列中。對(duì)于高效模式單臺(tái)數(shù)據(jù)總線服務(wù)器支持的業(yè)務(wù)數(shù)據(jù)加載速度在300MB/s及以上，吞吐能力可以隨集群規(guī)模線性擴(kuò)展。對(duì)于可靠模式支持的業(yè)務(wù)數(shù)據(jù)單節(jié)湋加載速度25M/s及以上，可以線性擴(kuò)展至網(wǎng)絡(luò)傳輸?shù)臉O限。高效模式下數(shù)據(jù)丟失率在萬(wàn)分之一以內(nèi)?？煽磕Ｊ较录虞d數(shù)據(jù)要求與輸入數(shù)據(jù)一致。單集群支持的數(shù)據(jù)總線服務(wù)器總數(shù)隨集群規(guī)模擴(kuò)展而增加，支持100節(jié)湋以上的集群規(guī)模。數(shù)據(jù)從發(fā)布到訂閱時(shí)延在1秒以內(nèi)。支持使用DBlink方式進(jìn)行實(shí)時(shí)連接將關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)抽取到離線數(shù)據(jù)庫(kù)，同時(shí)支持過(guò)滣條件下推，在關(guān)系型數(shù)據(jù)庫(kù)上進(jìn)行過(guò)滣以后再進(jìn)行抽取，加速抽取和計(jì)算的效率。支持dblin的功能，在計(jì)算時(shí)將關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)抽取到數(shù)據(jù)采集系統(tǒng)上進(jìn)行計(jì)算，同時(shí)支持過(guò)滣條件下推，可以在關(guān)系型B到數(shù)據(jù)采集系統(tǒng)的HDF上，湲后再進(jìn)行計(jì)算。使用環(huán)境需求操作系統(tǒng)：1IE(IE11及以上瀏覽器)、360瀏覽器(極速模式)。6.26.2根據(jù)用戶文檔中對(duì)該軟件運(yùn)行環(huán)境的要求，搭建基本的運(yùn)行系統(tǒng)及其網(wǎng)絡(luò)環(huán)境，可包括如下設(shè)備：運(yùn)行MicrosoftWindow11旗艦溩、谷歌瀏覽器86.0.4的聯(lián)想啟天M415-N050計(jì)算機(jī)1臺(tái)(CPU:Intel)、0racleJD1.8、數(shù)據(jù)采集系統(tǒng)V1.0的虛擬服務(wù)器1臺(tái)(CPU:IntelXeonPlatinu81632.5GH/內(nèi)存：8GB/。6.3項(xiàng)目說(shuō)明產(chǎn)品標(biāo)識(shí)提供給用戶的文檔具有唯一性標(biāo)識(shí)。技術(shù)服務(wù)在提供給用戶的產(chǎn)品中說(shuō)明了提供技術(shù)服務(wù)的方式以及內(nèi)容。系統(tǒng)安全在測(cè)試過(guò)程中，程序沒(méi)有出現(xiàn)危害系統(tǒng)安全的現(xiàn)象。文檔齊全提供給用戶的產(chǎn)品的文檔包含中文使用說(shuō)明。傳播內(nèi)容產(chǎn)品中沒(méi)有含有危害國(guó)家安全、民族團(tuán)結(jié)和宣傳封建迷信思想、色情等內(nèi)容。中文支持后臺(tái)管理在大數(shù)據(jù)分析調(diào)度一級(jí)頁(yè)面湋擊【返回】按鈕即可進(jìn)入大數(shù)據(jù)后臺(tái)管理頁(yè)面。包括數(shù)據(jù)大屏、系統(tǒng)管理和系統(tǒng)監(jiān)控等功能。6.46.4項(xiàng)目說(shuō)明用戶界面用戶界面的輸入和顯爾易于理解。功能標(biāo)識(shí)程序標(biāo)識(shí)出了每個(gè)正在執(zhí)行的功能。提示信息程序提示的信息等易于用戶理解，并通過(guò)類型加以區(qū)分。信用信息征集應(yīng)符合GB/T34830企業(yè)信用信息采集、處理和提供應(yīng)符合GB/T22118-2008金融信息應(yīng)滿足GB/T36618-2018數(shù)據(jù)安全應(yīng)滿足符合GB/37973-2019操作系統(tǒng)安全應(yīng)滿足GB/T20272-201977功能測(cè)試在測(cè)試前，要根據(jù)《平臺(tái)使用功能說(shuō)明書》全面了解平臺(tái)的功能。測(cè)試時(shí)要先測(cè)試一級(jí)功能，再測(cè)試二級(jí)功能、三級(jí)功能及更多下級(jí)功能，同時(shí)，還要測(cè)試相關(guān)異常處理功能。對(duì)測(cè)試出的功能缺陷或故障，以及與《平臺(tái)使用功能說(shuō)明書》不相匹配的地方，向項(xiàng)目負(fù)責(zé)人或系統(tǒng)開(kāi)發(fā)者指出，檢查系統(tǒng)需求和設(shè)計(jì)說(shuō)明書中要求的功能是否在系統(tǒng)中都被實(shí)現(xiàn)、性能是否達(dá)到指標(biāo)，數(shù)據(jù)之間的邏輯關(guān)系是否正確；性能測(cè)試主要是對(duì)響應(yīng)時(shí)間、事務(wù)處理速率、數(shù)據(jù)顯示速度、計(jì)算速度、網(wǎng)絡(luò)傳輸速度、數(shù)據(jù)庫(kù)查詢響應(yīng)時(shí)間、掃描時(shí)間2掃描識(shí)別率等和其他與時(shí)間相關(guān)的需求進(jìn)行評(píng)測(cè)和評(píng)估。性能評(píng)測(cè)的目標(biāo)是核實(shí)性能需求是否都已滿足。實(shí)施和執(zhí)行性能評(píng)測(cè)的目的是將測(cè)試對(duì)象的性能行為當(dāng)作條件(例如工作量或硬件配置)的一種函數(shù)來(lái)進(jìn)行評(píng)測(cè)和微調(diào)。對(duì)于那些實(shí)時(shí)和嵌入式系統(tǒng)，軟件部分即使?jié)M足功能要求，也未必能夠滿足性能要求，雖湲從單元測(cè)試起，每一測(cè)試步驟都包含性能測(cè)試，但只有當(dāng)系統(tǒng)真正集成之后，在真實(shí)環(huán)境中才能全面、可靠地測(cè)試運(yùn)行性能，系統(tǒng)性能測(cè)試是為了完成這一任務(wù)。性能測(cè)試有時(shí)與強(qiáng)度測(cè)試相結(jié)合，經(jīng)常需要其他軟硬件的配套支持。另外，還需要注意程序?qū)ο到y(tǒng)消耗資源的測(cè)試，如CPU負(fù)載、內(nèi)存、顯存、硬盤資源消耗情況。將文檔同程序相比較，看是否有不相符的情況。檢查文檔的截圖是否跟程序一致，檢查文檔是否有錯(cuò)字或不符合語(yǔ)法規(guī)范的地方。文檔內(nèi)容的符合性，檢查文檔