元數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量監(jiān)控概要.ppt

元數(shù)據(jù)管理 數(shù)據(jù)質(zhì)量監(jiān)控 北京瑞斯泰得數(shù)據(jù)技術(shù)開發(fā)有限公司 項(xiàng)目背景 功能概覽 五大類元數(shù)據(jù) 管理型 數(shù)據(jù)庫 業(yè)務(wù) 操作型 VSS文檔 ServerApplicationftptelnet 指標(biāo)維度緯表字典基本表字典數(shù)據(jù)表 數(shù)據(jù)庫表視圖物化視圖存儲(chǔ)過程字段 ETL報(bào)表數(shù)據(jù)接口接口文件 元數(shù)據(jù)的類型 元數(shù)據(jù)管理 元數(shù)據(jù)管理 數(shù)據(jù)庫元數(shù)據(jù) 基本操作增 刪 改 查加入到 個(gè)人文件夾 加入到 公共文件夾 表存在性實(shí)時(shí)查詢字段備注查詢字段備注保存表數(shù)據(jù)預(yù)覽影響分析血統(tǒng)分析 元數(shù)據(jù)管理 管理型元數(shù)據(jù) 基本操作編輯 刪除加入到 個(gè)人文件夾 加入到 公共文件夾 工作桌面支持自動(dòng)登錄netterm自動(dòng)登錄plsql 元數(shù)據(jù)管理 業(yè)務(wù)元數(shù)據(jù) 增加步驟添加對象類別 例如 統(tǒng)計(jì)周期 添加對象屬性類別 例如 字符型 添加對象屬性 例如 描述 新增一個(gè)具體的元數(shù)據(jù) 例如 月 元數(shù)據(jù)管理 數(shù)據(jù)字典 基本操作瀏覽增加編輯刪除 元數(shù)據(jù)管理 SQL腳本元數(shù)據(jù) 基本操作編輯刪除工作桌面支持用UltraEdit打開腳本文件和日志文件 血統(tǒng)分析 功能描述 通過對元數(shù)據(jù)關(guān)系的回溯 以圖形方式展現(xiàn)指定元數(shù)據(jù)的數(shù)據(jù)血統(tǒng)和加工過程 作用 通過該功能 業(yè)務(wù)人員可以清楚的了解指標(biāo)等關(guān)鍵數(shù)據(jù)的來龍去脈 影響分析 功能描述 通過分析元數(shù)據(jù)之間的關(guān)系 以圖形方式直觀展現(xiàn)指定實(shí)體對全局的影響 如某數(shù)據(jù)庫表的變更將影響到哪些ETL 數(shù)據(jù)庫表等 作用 通過影響分析 技術(shù)人員可掌握各程序 數(shù)據(jù)之間的關(guān)系和相互影響 更好確定系統(tǒng)變更所涉及的范圍 避免遺漏和誤操作 從而降低維護(hù)人員的工作量和出錯(cuò)的機(jī)率 數(shù)據(jù)質(zhì)量六大評估標(biāo)準(zhǔn) 哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲(chǔ)的 哪些數(shù)據(jù)值提供了沖突信息 哪些數(shù)據(jù)不能正確描述對象的屬性或已經(jīng)過期 那些數(shù)據(jù)根本就不存在 關(guān)鍵數(shù)據(jù)是否及時(shí)傳送到目標(biāo)應(yīng)用 哪些數(shù)據(jù)記錄時(shí)重復(fù)的記錄 數(shù)據(jù)質(zhì)量監(jiān)控 數(shù)據(jù)質(zhì)量監(jiān)控 質(zhì)量點(diǎn)監(jiān)控 功能描述監(jiān)控某個(gè)生產(chǎn)流程環(huán)節(jié) 查看該環(huán)節(jié)的質(zhì)量指標(biāo)是否符合要求 作用保證數(shù)據(jù)在生產(chǎn)過程的某個(gè)生產(chǎn)環(huán)節(jié)的正確性和一致性 規(guī)則維護(hù)定義SQL告警條件任務(wù)調(diào)度 數(shù)據(jù)集維護(hù)規(guī)則維護(hù)標(biāo)準(zhǔn)探測模式探測分布探測日期探測任務(wù)調(diào)度 數(shù)據(jù)質(zhì)量監(jiān)控 數(shù)據(jù)剖析 探測出檢查對象的數(shù)據(jù)模式 方便做數(shù)據(jù)分析 并能根據(jù)探出的數(shù)據(jù)模式自動(dòng)生成數(shù)據(jù)規(guī)則表達(dá)式 產(chǎn)生數(shù)據(jù)校驗(yàn)規(guī)則 數(shù)據(jù)質(zhì)量監(jiān)控 數(shù)據(jù)指標(biāo) 數(shù)據(jù)集維護(hù)規(guī)則維護(hù)統(tǒng)計(jì)周期度量設(shè)定告警條件任務(wù)調(diào)度 數(shù)據(jù)質(zhì)量監(jiān)控 表空間監(jiān)控 功能描述監(jiān)控?cái)?shù)據(jù)庫表空間使用量是否超過指定的限額或百分比 作用提前獲得表空間不足的信息 以便及時(shí)處理 防止由于空間不足引起的異常發(fā)生 告警條件可用空間小于N兆使用率超過M 告警責(zé)任人任務(wù)調(diào)度 表空間監(jiān)控結(jié)果 數(shù)據(jù)質(zhì)量監(jiān)控 表監(jiān)控 表選擇任務(wù)調(diào)度 數(shù)據(jù)質(zhì)量監(jiān)控 SQL腳本監(jiān)控 告警條件錯(cuò)誤關(guān)鍵字 過濾關(guān)鍵字超時(shí)設(shè)置超時(shí)時(shí)長任務(wù)調(diào)度 任務(wù)調(diào)度中心 任務(wù)中心 日志中心 系統(tǒng)管理 工作區(qū) 版本控制元數(shù)據(jù)搜索分主題