




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
以大數(shù)據(jù)計算平臺為例,主要使用用戶為數(shù)據(jù)技術(shù)和分析師,主要目標(biāo)是為業(yè)務(wù)提供數(shù)據(jù)統(tǒng)計服務(wù)數(shù)據(jù)同步(表A數(shù)據(jù)移動到表B)數(shù)據(jù)計算(多個表結(jié)果存入表C)數(shù)據(jù)同步節(jié)點的基本樣式源現(xiàn)延遲,用戶團(tuán)隊會逐步放棄維護(hù)字段更新,最終大數(shù)據(jù)平臺的版本與線上版本會出現(xiàn)明顯的不一致,隨著時間推移,表格使用者的溝通范圍會擴大,數(shù)據(jù)統(tǒng)計溝通2、需要手動更新表字段信息3、部分節(jié)點數(shù)據(jù)傾斜影響整體調(diào)度時間4、頻繁的連接業(yè)務(wù)數(shù)據(jù)庫(后續(xù)改binlog方案可以避免)5、計算資源浪費、計算成本高版本更新后的字段同步業(yè)務(wù)系統(tǒng)侵入性低不占用或者少占用線上資源周期性的將多個表由目標(biāo)數(shù)據(jù)庫以高同步率,高效率,低成本,對業(yè)務(wù)數(shù)據(jù)庫侵入性低的方法遷移到大數(shù)據(jù)計算平臺系統(tǒng)操作邏輯下一步設(shè)計:如何實現(xiàn)數(shù)據(jù)平臺剝離同步節(jié)點數(shù)據(jù)質(zhì)量檢測需求:檢查數(shù)據(jù)質(zhì)量,輸出質(zhì)量檢測報告重新梳理需求重新理解需求場景3:同一id的基于時間序的上下文校驗需求規(guī)模上下游需求與價值創(chuàng)造無關(guān)的操作減少頻繁發(fā)布,方便規(guī)則的及時變更減少頻繁發(fā)布,方便規(guī)則的及時變更重復(fù)的集合差集代碼由系統(tǒng)自動生成固定邏輯,只需要設(shè)置回溯條數(shù)和校驗字段邏輯依據(jù)場景配置,自動生成數(shù)據(jù)質(zhì)量報告依據(jù)場景配置,自動生成數(shù)據(jù)質(zhì)量報告大多數(shù)數(shù)據(jù)產(chǎn)品是通過提高用戶的效率來實現(xiàn)客戶效率的提升,用戶和客戶需求都要滿足,但建議以客戶需求報數(shù)報表指標(biāo)搜索,查詢指標(biāo)定義和指標(biāo)相關(guān)的應(yīng)用周報下載功能&OLAP
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 撫順職業(yè)技術(shù)學(xué)院《英語交際2》2023-2024學(xué)年第一學(xué)期期末試卷
- 上海工程技術(shù)大學(xué)《環(huán)境模型設(shè)計與制作》2023-2024學(xué)年第二學(xué)期期末試卷
- 云南農(nóng)業(yè)職業(yè)技術(shù)學(xué)院《醫(yī)學(xué)影像讀片訓(xùn)練》2023-2024學(xué)年第二學(xué)期期末試卷
- 哈爾濱科學(xué)技術(shù)職業(yè)學(xué)院《路基路面工程》2023-2024學(xué)年第二學(xué)期期末試卷
- 大連藝術(shù)學(xué)院《綜合大學(xué)英語》2023-2024學(xué)年第一學(xué)期期末試卷
- 臺州職業(yè)技術(shù)學(xué)院《中西醫(yī)結(jié)合急診醫(yī)學(xué)》2023-2024學(xué)年第二學(xué)期期末試卷
- 福建幼兒師范高等專科學(xué)?!吨袊F(xiàn)代文學(xué)流派與思潮》2023-2024學(xué)年第二學(xué)期期末試卷
- 中山紅磚隔墻施工方案
- 高架柱子灌漿施工方案
- 玻鎂風(fēng)管施工方案
- 2024版福州存量房買賣合同2篇
- 中小學(xué)-珍愛生命 遠(yuǎn)離毒品-課件
- 價值觀考核評定表
- 振動篩施工技術(shù)方案
- 學(xué)術(shù)英語智慧樹知到答案2024年南開大學(xué)
- 2024年中考英語專項復(fù)習(xí):傳統(tǒng)文化的魅力(閱讀理解+完型填空+書面表達(dá))(含答案)
- 2024-2030年中國磷系阻燃劑行業(yè)市場發(fā)展分析及發(fā)展趨勢與投資前景研究報告
- 2024-2030年中國公路勘察設(shè)計行業(yè)市場深度調(diào)研及競爭格局與發(fā)展趨勢研究分析報告
- 小學(xué)四年級小數(shù)單位換算練習(xí)題100道
- (正式版)HGT 22820-2024 化工安全儀表系統(tǒng)工程設(shè)計規(guī)范
- (高清版)TDT 1075-2023 光伏發(fā)電站工程項目用地控制指標(biāo)
評論
0/150
提交評論