2024數(shù)據(jù)開發(fā)流程標(biāo)準(zhǔn)

數(shù)據(jù)開發(fā)流程標(biāo)準(zhǔn)數(shù)據(jù)開發(fā)流程標(biāo)準(zhǔn)范圍本標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)研發(fā)各階段要點的研發(fā)規(guī)范，可以切實提高研發(fā)效率，保障數(shù)據(jù)研發(fā)工作有條不紊地運作。而不完善的研發(fā)流程，會降低研發(fā)效率，增加成本與風(fēng)險。數(shù)據(jù)開發(fā)基本標(biāo)準(zhǔn)旨在為大數(shù)據(jù)研發(fā)崗位人員、管理人員提供規(guī)范化的統(tǒng)一研發(fā)流程，目的是簡化、規(guī)范日常工作流程，提高工作效率，減少無效與冗余工作，從而釋放更多人力與財力專注于業(yè)務(wù)創(chuàng)新。適用于公司研發(fā)人員，公司運維人員，公司項目經(jīng)理或產(chǎn)品經(jīng)理。定義和術(shù)語下列術(shù)語和定義適用于本標(biāo)準(zhǔn)：數(shù)據(jù)倉庫DataWarehous數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時間、成本、質(zhì)量以及控制。研發(fā)流程ResearchAndDevelopmentProces由產(chǎn)生新思想、整體設(shè)計、研發(fā)、測試和反饋等各環(huán)節(jié)組成的完整的產(chǎn)品開發(fā)過程。ETLExtract-Transform-Loa用來描述將數(shù)據(jù)從來源端經(jīng)過抽?。╡xtract）（transform）（load）至目的端的過程。數(shù)據(jù)字典DataDictionar數(shù)據(jù)字典是指對數(shù)據(jù)的數(shù)據(jù)項、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)流、數(shù)據(jù)存儲、處理邏輯等進(jìn)行定義和描述，其目的是對數(shù)據(jù)流圖中的各個元素做出詳細(xì)的說明，使用數(shù)據(jù)字典為簡單的建模項目。數(shù)據(jù)字典是描述數(shù)據(jù)的信息集合，是對系統(tǒng)中使用的所有數(shù)據(jù)元素的定義的集合。數(shù)據(jù)指標(biāo)Dataindicator指在數(shù)據(jù)開發(fā)過程中需要將某個事件量化，且可形成數(shù)字，來衡量目標(biāo)。在一定程度數(shù)據(jù)開發(fā)流程角色職能與分工項目類開發(fā)流程1binlong獲取、Kafka讀取、業(yè)務(wù)庫同步、HDFS讀取等等，數(shù)據(jù)的輸出是否能夠支撐，比如：的組成部分，作為數(shù)據(jù)開發(fā)人員，接觸的數(shù)據(jù)多且雜，不僅要關(guān)注項目的落地情況，也要關(guān)注數(shù)據(jù)的數(shù)據(jù)邏輯一致性。需要和測試人員同步數(shù)據(jù)處理邏輯，并將一些邏輯的QL進(jìn)行文檔化，方便測試人員進(jìn)行單元測試，在交付測試之前，需要對代碼進(jìn)行自測，以便保障流入到測試執(zhí)行環(huán)節(jié)的代碼達(dá)到一定的質(zhì)量標(biāo)準(zhǔn)。同時最好能讓代碼通過配置在不同環(huán)境進(jìn)行切換，方便測試人員在測試環(huán)非計劃數(shù)據(jù)開發(fā)流程在日常的工作推進(jìn)過程中，數(shù)據(jù)開發(fā)人員大部分情況下都會面對產(chǎn)品提出來的一些臨時性的數(shù)據(jù)需求，例如拉取近半年的用戶訪問情況、數(shù)據(jù)入倉情況等等，這部分需求支撐不需要后端配合、也不需要進(jìn)行測試，而是在已明確的數(shù)據(jù)指標(biāo)的基礎(chǔ)上，定期或者不定期的提供數(shù)據(jù)報表。該數(shù)據(jù)開發(fā)模2G1：反饋時間：1小時。