DB5120T 19.4-2023 數(shù)據(jù)資源體系技術(shù)指南 第4部分：數(shù)據(jù)倉(cāng)庫(kù)建設(shè)指南　　

ICS35.240.01CCSL70DB5120資陽(yáng)市市場(chǎng)監(jiān)督管理局發(fā)布IDB5120/T19.4—2023 12規(guī)范性引用文件 13術(shù)語(yǔ)和定義 14縮略語(yǔ) 2 26命名規(guī)范 47開(kāi)發(fā)規(guī)范 7參考文獻(xiàn) DB5120/T19.4—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利，本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。本文件由資陽(yáng)市政務(wù)服務(wù)和大數(shù)據(jù)管理局提出并歸口。本文件由資陽(yáng)市市場(chǎng)監(jiān)督管理局批準(zhǔn)并發(fā)布。本文件起草單位：資陽(yáng)市大數(shù)據(jù)服務(wù)中心、資陽(yáng)數(shù)智科技有限公司。本文件主要起草人：劉桄序、戢培全、邵柏華、袁嘉、劉光乾、楊建康、張亞琴、李愛(ài)民、劉西北、鄭雪梅、鄧森林、彭國(guó)林、陳杜宇、楊通、李強(qiáng)、夏榮、張潤(rùn)澤、任良華、冷耀、陳熙。本文件為首次發(fā)布。1DB5120/T19.4—2023數(shù)據(jù)資源體系技術(shù)指南第4部分：數(shù)據(jù)倉(cāng)庫(kù)建設(shè)指南本文件規(guī)定了資陽(yáng)市域數(shù)據(jù)倉(cāng)庫(kù)建設(shè)相關(guān)術(shù)語(yǔ)和定義、縮略語(yǔ)、綜述、命名規(guī)范、開(kāi)發(fā)規(guī)范等工作規(guī)范。本文件適用于資陽(yáng)市域的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.1信息技術(shù)詞匯第1部份：基本術(shù)語(yǔ)GB/T11457信息技術(shù)軟件工程術(shù)語(yǔ)GB/T18492信息技術(shù)系統(tǒng)及軟件完整性級(jí)別GB/T20270信息安全技術(shù)網(wǎng)絡(luò)基礎(chǔ)安全技術(shù)要求GB/T20271信息安全技術(shù)信息系統(tǒng)通用安全技術(shù)要求GB/T22032系統(tǒng)工程系統(tǒng)生存周期過(guò)程GB/T21062.3政務(wù)信息資源交換體系第3部分：數(shù)據(jù)接口規(guī)范GB/T25000系統(tǒng)與軟件工程（所有部分）GB/T28452信息安全技術(shù)應(yīng)用軟件系統(tǒng)通用安全技術(shù)要求GB/T29264信息技術(shù)服務(wù)分類與代碼GB/T29765信息安全技術(shù)數(shù)據(jù)備份與恢復(fù)產(chǎn)品技術(shù)要求與測(cè)試評(píng)價(jià)方法GB/T35295信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)GB/T36625.3智慧城市數(shù)據(jù)融合第3部分：數(shù)據(jù)采集規(guī)范GB/T38667信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南GB/T40094.2電子商務(wù)數(shù)據(jù)交易第2部分：數(shù)據(jù)描述規(guī)范GB/T40094.3電子商務(wù)數(shù)據(jù)交易第3部分：數(shù)據(jù)接口規(guī)范行GB/T42450信息技術(shù)大數(shù)據(jù)數(shù)據(jù)資源規(guī)劃DB51/T3056政務(wù)數(shù)據(jù)數(shù)據(jù)分類分級(jí)指南3術(shù)語(yǔ)和定義GB/T5271.1、GB/T11457、GB/T18492、GB/T20270、GB/T20271、GB/T21062.3、GB/T25000、GB/T28452、GB/T29264、GB/T29765、GB/T35295、GB/T36625.3、GB/T38667、GB/T40094.2、GB/T40094.3、GB/T42450、DB51/T3056界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1數(shù)據(jù)倉(cāng)庫(kù)datawarehouse數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。2DB5120/T19.4—20233.2貼源層operationaldatastore數(shù)據(jù)準(zhǔn)備區(qū)，與數(shù)據(jù)源的數(shù)據(jù)同構(gòu)，是數(shù)據(jù)倉(cāng)庫(kù)層加工數(shù)據(jù)的來(lái)源，主要目的是簡(jiǎn)化后續(xù)數(shù)據(jù)加工處理的工作。3.3標(biāo)準(zhǔn)層standarddata貼源層的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)化后的數(shù)據(jù)，為后續(xù)數(shù)據(jù)加工提供標(biāo)準(zhǔn)數(shù)據(jù)。3.4明細(xì)層datawarehousedetail保存通過(guò)標(biāo)準(zhǔn)層標(biāo)準(zhǔn)化之后的所有歷史數(shù)據(jù)，為后續(xù)數(shù)據(jù)加工提供統(tǒng)一的、標(biāo)準(zhǔn)的數(shù)據(jù)視圖。3.5匯聚層datawarehousesummary按主題對(duì)明細(xì)層數(shù)據(jù)進(jìn)行綜合、歸類。3.6集市層datamart在匯聚層的基礎(chǔ)上，滿足特定的部門或者用戶的需求，按照多維的方式進(jìn)行存儲(chǔ)，包括定義維度、需要計(jì)算的指標(biāo)、維度的層次等，生成的面向決策分析需求的數(shù)據(jù)立方（一個(gè)全局?jǐn)?shù)據(jù)表與其多個(gè)重要字段的索引組成的一個(gè)類似于立方體的數(shù)據(jù)組織結(jié)構(gòu)）。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。ODS：貼源層（OperationalDataStore）STD：標(biāo)準(zhǔn)層（STandardDat）DWD：明細(xì)層（DataWarehouseDetail）DWS：匯聚層（DataWarehouseSummary）DM：集市層（DataMart）5綜述本文件的擬制是為了規(guī)范數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)過(guò)程，降低開(kāi)發(fā)難度，保障開(kāi)發(fā)質(zhì)量，避免因開(kāi)發(fā)不規(guī)范文檔導(dǎo)致的重復(fù)開(kāi)發(fā)及返工等問(wèn)題。5.2原則數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的基本原則主要有三條：a）統(tǒng)一性：為了保持開(kāi)發(fā)風(fēng)格一致，使得各類命名、各類規(guī)則、各類數(shù)據(jù)格式、開(kāi)發(fā)過(guò)程階段、問(wèn)題處理方式等保持統(tǒng)一，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)需符合“統(tǒng)一性”原則。3DB5120/T19.4—2023b）明確性：為了保證開(kāi)發(fā)內(nèi)容的可理解和易運(yùn)維，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)需符合“明確性”的原則，命名明確、代碼明確、規(guī)則明確、處理流程明確、各類分層明確等。c）可擴(kuò)展性：為了保障后續(xù)數(shù)據(jù)倉(cāng)庫(kù)在各個(gè)維度的易擴(kuò)展能力，需要遵循“可擴(kuò)展性”原則，要求在模型設(shè)計(jì)、字段設(shè)計(jì)、代碼設(shè)計(jì)等階段關(guān)注此原則。。5.3數(shù)據(jù)架構(gòu)（數(shù)據(jù)采集過(guò)程與采集規(guī)范一致），如圖1所示圖1數(shù)據(jù)架構(gòu)5.4分區(qū)選取原則5.4.1表分區(qū)原則：a）有數(shù)據(jù)更新的表需要做分區(qū)，若表數(shù)據(jù)量少則每個(gè)分區(qū)存當(dāng)前全量數(shù)據(jù)，數(shù)據(jù)量大則每個(gè)分區(qū)放增量數(shù)據(jù)；b）分區(qū)列盡量選擇能夠讓數(shù)據(jù)均勻分布的列，避免數(shù)據(jù)傾斜；c）有必要時(shí)可以選擇多級(jí)分區(qū)（如：地區(qū)/年/月/日）；d）需要頻繁查詢且數(shù)據(jù)量較大的表。5.4.2表不分區(qū)原則：a）數(shù)據(jù)幾乎不更新的表不需要做分區(qū)，如字典表；b）數(shù)據(jù)量少于100萬(wàn)條。。5.5任務(wù)調(diào)度任務(wù)調(diào)度是配置任務(wù)的運(yùn)行周期，主要基于數(shù)據(jù)資源中心數(shù)據(jù)開(kāi)發(fā)平臺(tái)或其他大數(shù)據(jù)平臺(tái)的工作流配置。主要包括以下屬性：a）調(diào)度周期：工作流調(diào)度頻率，支持分鐘/小時(shí)/天/周/月/年。b）起止時(shí)間：調(diào)度將在有效日期內(nèi)生效并自動(dòng)調(diào)度，每次調(diào)度生成工作流實(shí)例。c）依賴上一周期：工作流的本次運(yùn)行需要依賴上一周期的運(yùn)行結(jié)果。如果上一周期運(yùn)行失敗，則需要手動(dòng)將上一周期的工作流實(shí)例修復(fù)并重跑成功，才能繼續(xù)進(jìn)行下一周期。d）補(bǔ)數(shù)據(jù)：若設(shè)置的調(diào)度起始時(shí)間早于當(dāng)前時(shí)間一個(gè)調(diào)度周期及以上，則缺失的調(diào)度周期會(huì)被立刻執(zhí)行，實(shí)現(xiàn)補(bǔ)數(shù)據(jù)的目的。例如：如果調(diào)度起始時(shí)間早于當(dāng)前時(shí)間2個(gè)小時(shí)，調(diào)度周期1個(gè)小時(shí)，會(huì)把之前2個(gè)小時(shí)的2個(gè)工作流實(shí)例也生成運(yùn)行。4DB5120/T19.4—2023e）調(diào)度依賴：即只有指定的上游工作流實(shí)例已按依賴策略執(zhí)行成功，才會(huì)調(diào)度執(zhí)行本工作流實(shí)例。如果添加了多個(gè)上游工作流，則需要所有上游工作流同時(shí)滿足。。6命名規(guī)范6.1模型層命名命名要求如表1所示。表1模型層命名分層名英文全稱中文名層次定義實(shí)現(xiàn)功能：業(yè)務(wù)源系統(tǒng)數(shù)據(jù)接入到此層，此層數(shù)據(jù)不做任何加工，禁實(shí)現(xiàn)功能：該層為標(biāo)準(zhǔn)數(shù)據(jù)層，主要是ODS層的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)化后，導(dǎo)入到這一層，為DWD層提供標(biāo)準(zhǔn)數(shù)據(jù)，并把清洗后的臟數(shù)據(jù)保實(shí)現(xiàn)功能：該層為數(shù)據(jù)明細(xì)層，主要按主題對(duì)數(shù)據(jù)進(jìn)行綜合、歸類。保留通過(guò)STD層標(biāo)準(zhǔn)經(jīng)之后的所有歷史數(shù)據(jù)，為DWS、DM層提供統(tǒng)一實(shí)現(xiàn)功能：該層為數(shù)據(jù)匯聚層，主要從DWD層的數(shù)據(jù)進(jìn)行粗粒度聚合匯總；按業(yè)務(wù)需求對(duì)事實(shí)進(jìn)行拉寬形成寬表，共性匯總加工。此次支實(shí)現(xiàn)功能：該層為數(shù)據(jù)集市層，根據(jù)應(yīng)用要求，生成相關(guān)結(jié)果數(shù)據(jù)，6.2數(shù)據(jù)表命名6.2.1ODS層實(shí)體/表名命名形式：ods_{數(shù)源單位簡(jiǎn)稱的拼音首字母}_{業(yè)務(wù)系統(tǒng)拼音首字母}_{數(shù)源單位原有表名稱}，如表2所示。表2ODS層表名模型事實(shí)表名稱模型事實(shí)表描述命名規(guī)則：a）使用英文小寫(xiě)字母，單詞之間用下劃線分開(kāi)。5DB5120/T19.4—2023b）ODS表會(huì)根據(jù)情況進(jìn)行分區(qū)，但表名稱不體現(xiàn)分區(qū)情況，因?yàn)镺DS表名稱需要與源業(yè)務(wù)系統(tǒng)名稱保持一致。c）日期分區(qū)字段名稱為dt，具體取值格式參見(jiàn)：6.2.6章節(jié)d）添加數(shù)據(jù)加載日期字段load_time，數(shù)據(jù)類型為String，值格式為:YYYY-MM-DD6.2.2STD層實(shí)體/表名命名形式：std_{數(shù)源單位簡(jiǎn)稱的拼音首字母}_{業(yè)務(wù)系統(tǒng)拼音首字母}_{根據(jù)真實(shí)表名稱提取中文首字母}，如表3所示。表3STD層表名模型事實(shí)表名稱模型事實(shí)表描述std_sgaj_jzpt_czrkxxstd_市公安局_警綜平臺(tái)_常駐人口信息std_sscjgj_frxxpt_fddbrstd_市市場(chǎng)監(jiān)管局_法人信息平臺(tái)_法定代表人命名規(guī)則：使用英文小寫(xiě)字母，單詞之間用下劃線分開(kāi)。6.2.3DWD層實(shí)體/表名命名形式：dwd_{一級(jí)類目}_<二級(jí)類目>[_數(shù)據(jù)描述]_{拉鏈標(biāo)識(shí)}，如表4所示。表4DWD層表名模型事實(shí)表名稱模型事實(shí)表描述dwd_jbxx_djxx_jtyjsyjbxxbdwd_基本信息_登記信息_交通域駕駛員基本信息表dwd_jbxx_djxx_jtyjsyjbxxb_hisdwd_基本信息_登記信息_交通域駕駛員基本信息表歷史拉鏈表dwd_jbxx_djxx_jtykklldwd_基本信息_登記信息_交通域卡口流量命名規(guī)則：a）使用英文小寫(xiě)字母，單詞之間用下劃線分開(kāi)。b）一級(jí)類目、二級(jí)類目、數(shù)據(jù)描述均采用中文首字母。c）如果是歷史拉鏈表則在表名稱加“_his”后綴。6.2.4DM層實(shí)體/表名命名形式：dm_<模型名稱縮寫(xiě)>_<數(shù)據(jù)內(nèi)容描述>，如表5所示。表5DM層表名模型事實(shí)表名稱模型事實(shí)表描述dm_alarm交通域失衡預(yù)警次數(shù)日表dm_index交通域失衡指數(shù)日表命名規(guī)則，如表6所示：（1）使用英文小寫(xiě)字母，單詞之間用下劃線分開(kāi)；（2）模型名稱縮寫(xiě)、數(shù)據(jù)內(nèi)容描述均采用中文首字母。表6DM命名規(guī)則模型名稱對(duì)應(yīng)縮寫(xiě)區(qū)域人口分布qyrkfb各地區(qū)各年齡分性別人口分布gdqgnlfxbrkfb各少數(shù)民族人口分布gssmzrkfb各地市分受教育程度人口數(shù)量gdsfsjycdrksl分地區(qū)新生兒性別分布fdqxsexbfb6DB5120/T19.4—2023表6（續(xù)）DM命名規(guī)則模型名稱對(duì)應(yīng)縮寫(xiě)各地市歷年出生、死亡人口統(tǒng)計(jì)gdslncsswrktj遷移人口分布情況qyrkfbqk三次產(chǎn)業(yè)分性別遷入人口sccyfxbqrrk各地市城鎮(zhèn)化率趨勢(shì)gdsczhlqs分年齡不同文化程度不同性別婚姻情況fnlbtwhcdbtxbhyqk各地區(qū)近年離婚率趨勢(shì)gdqjnlhlqs各地區(qū)養(yǎng)老保險(xiǎn)參保人數(shù)gdqtlbxcbrs6.2.5臨時(shí)表命名規(guī)范臨時(shí)表指數(shù)據(jù)加工處理過(guò)程中，用于臨時(shí)存儲(chǔ)的過(guò)渡表。命名形式：tmp_<模型層表命名規(guī)范>_[XX]a）以tmp打頭，中間為該事實(shí)表的名稱，b）以XX結(jié)尾，XX為從01～99的數(shù)字。6.2.6分區(qū)字段命名及取值規(guī)范針對(duì)表需要分區(qū)的情況，所有的一級(jí)分區(qū)字段名稱都為“dt”，如果需要有二級(jí)分區(qū)，則添加相應(yīng)的二級(jí)分區(qū)字段，dt分區(qū)的具體的分區(qū)周期，可從模型的命名規(guī)范中得知，每種分區(qū)的取值規(guī)范如表7所示。表7分區(qū)取值規(guī)范分區(qū)周期取值規(guī)范備注日數(shù)據(jù)格式：YYYY-MM-DD，如:2021-03-12周數(shù)據(jù)格式：YYYYWW00，YYYY表示某年，WW表示為某年的第幾周，00為數(shù)字的零；月數(shù)據(jù)格式：YYYYMM，如202103年數(shù)據(jù)格式：YYYY，如20216.3節(jié)點(diǎn)命名，如表8所示。表8節(jié)點(diǎn)命名規(guī)范節(jié)點(diǎn)、資源類型命名規(guī)范示例備注數(shù)據(jù)集成節(jié)點(diǎn)etl_{節(jié)點(diǎn)含義}etl_開(kāi)始根節(jié)點(diǎn)啟動(dòng)任務(wù)SparkSQL節(jié)點(diǎn)sql_{節(jié)點(diǎn)含義}sql_用水量異常統(tǒng)計(jì)Mlab節(jié)點(diǎn)mlab_{節(jié)點(diǎn)含義}mlab_用水量異常統(tǒng)計(jì)數(shù)據(jù)清洗節(jié)點(diǎn)clean_{節(jié)點(diǎn)含義}clean_用水量異常統(tǒng)計(jì)PhoenixSQL節(jié)點(diǎn)ph_{節(jié)點(diǎn)含義}ph_異常分析數(shù)據(jù)直通節(jié)點(diǎn)Hbase_{節(jié)點(diǎn)含義}hbase_日異常分析SubWorkflow節(jié)點(diǎn)sub_{工作流名稱}sub_指標(biāo)系統(tǒng)并發(fā)節(jié)點(diǎn)并發(fā)并發(fā)使用默認(rèn)名稱不需要更改結(jié)合結(jié)合結(jié)合使用默認(rèn)名稱不需要更改python資源{腳本名稱}.pyGetLinkDailyVolume.py用英文字母，首字母大寫(xiě){腳本名稱}.jarGetLinkDailyVolume.jar用英文字母，首字母大寫(xiě)6.4工作流命名，如表9所示。7DB5120/T19.4—2023表9工作流命名規(guī)范節(jié)點(diǎn)、資源類型命名規(guī)范示例備注DataBridge轉(zhuǎn)換任務(wù)名}_{all/inr}zh_ods_gat_jdcdjxx_allall為全量inr為增量DataBridge作業(yè)管理周期}zy_ods_gat_jdcdjxx_all_dd:天w:周m:月y:年DataRiver標(biāo)準(zhǔn)層清洗周期}_{all/inr}bz_std_gat_jdcdjxx_d_allall為全量inr為增量，itg為integration，inr為incrementd:天w:周m:月y:年DataRiver明細(xì)層周期}_{all/inr}mx_dwd_jbxx_d_all天w:周m:月y:年DataRiver匯聚層周期}_{all/inr}hj_dws_jbxx_czrkdall天w:周m:月y:年DataRiver集市層周期}_{all/inr}js_dm_nlrk_inrd:天w:周m:月y:年DataRiver工作調(diào)度流程dd_{業(yè)務(wù)流程含義}_{運(yùn)行周期}dd_kk_flow_sd_dd:天w:周m:月y:年DataRiver或DataStudio工作流job_{工作流含義}_{all/inr}job_kk_flow_sd_allall為全量inr為增量7開(kāi)發(fā)規(guī)范7.1統(tǒng)一數(shù)據(jù)格式在STD層實(shí)施過(guò)程中，需要將各源系統(tǒng)的數(shù)據(jù)格式進(jìn)行統(tǒng)一，如表10所示，主要需統(tǒng)一的數(shù)據(jù)格表10數(shù)據(jù)格式標(biāo)準(zhǔn)化格式類型統(tǒng)一格式示例YYYYMMDD，默認(rèn)為1900010120190612YYYYMMDDHHMMSS，默認(rèn)為1900010100000020190905120000年份YYYY，默認(rèn)為19002019年月YYYYMM，默認(rèn)為19000120190905時(shí)間（分）YYYYMMHHMM默認(rèn)為190001010000201909051200身份證18位字符，合規(guī)性判斷，15位身份證通過(guò)數(shù)據(jù)加工系統(tǒng)統(tǒng)一轉(zhuǎn)化字符串去除頭尾空格；去除回車；全角轉(zhuǎn)半角Trim(‘?dāng)?shù)夢(mèng)工8DB5120/T19.4—2023表10（續(xù)）數(shù)據(jù)格式標(biāo)準(zhǔn)化格式類型統(tǒng)一格式示例整型默認(rèn)為0（可根據(jù)具體業(yè)務(wù)類型調(diào)整去除空格字符、換行回車雙精度默認(rèn)保留4位小數(shù)位（可根據(jù)具體業(yè)務(wù)調(diào)整）主鍵去重去空值域清洗對(duì)于數(shù)值類型進(jìn)行檢查以查看它們是否位于可接受的范圍內(nèi)，假如默認(rèn)值為空，則不做數(shù)據(jù)轉(zhuǎn)換，否則需要賦為默認(rèn)值數(shù)值清洗對(duì)于數(shù)值類型進(jìn)行檢查以查看它們是否位于可接受的范圍內(nèi)，假如默認(rèn)值為空，則不做數(shù)據(jù)轉(zhuǎn)換，否則需要賦為默認(rèn)值強(qiáng)制轉(zhuǎn)換對(duì)該字段進(jìn)行強(qiáng)制轉(zhuǎn)換為默認(rèn)值，如：密碼字段轉(zhuǎn)為"0"空格清洗判斷字段是否都為空格，假如默認(rèn)值為空，則不做數(shù)據(jù)轉(zhuǎn)換，否則需要賦為默認(rèn)值7.2統(tǒng)一數(shù)據(jù)維度應(yīng)合并來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)，每個(gè)維度進(jìn)行標(biāo)準(zhǔn)化、統(tǒng)一化，在數(shù)據(jù)倉(cāng)庫(kù)中為每個(gè)維度建立一致性的標(biāo)準(zhǔn)，記錄在維度表中，并通過(guò)元數(shù)據(jù)與數(shù)據(jù)映射組合的方式進(jìn)行描述，方便后續(xù)的數(shù)據(jù)交叉探查等工作。應(yīng)為每個(gè)維度建立標(biāo)準(zhǔn)化的編碼方式，以及數(shù)據(jù)格式。在建立標(biāo)準(zhǔn)化的編碼方式后，將各源系統(tǒng)中數(shù)據(jù)中的維度數(shù)據(jù)進(jìn)行關(guān)聯(lián)轉(zhuǎn)換，將不同數(shù)據(jù)源標(biāo)識(shí)同一事物的不同屬性值進(jìn)行統(tǒng)一。對(duì)于不同系統(tǒng)的不同維度，創(chuàng)建維度的映射關(guān)系表，將其映射到標(biāo)準(zhǔn)化后的維度上。7.3處理重復(fù)數(shù)據(jù)常見(jiàn)的重復(fù)場(chǎng)景及處理方式如表11所示表11重復(fù)數(shù)據(jù)處理方式重復(fù)場(chǎng)景處理方式每日全量入庫(kù)使用數(shù)據(jù)加工系統(tǒng)中去重的功能；大部分字段一樣，但僅某些時(shí)間字段不一致，通常為后續(xù)添加的操作時(shí)間字段取最新操作時(shí)間；業(yè)務(wù)主鍵一致的情況下