數(shù)據(jù)中臺(tái)數(shù)據(jù)資產(chǎn)篇

數(shù)據(jù)資源與數(shù)據(jù)資產(chǎn)回首高校信息化產(chǎn)業(yè)二十余載，各類技術(shù)、產(chǎn)品百花齊放。而在這個(gè)數(shù)據(jù)為王的時(shí)代，未來的建設(shè)重點(diǎn)已不是關(guān)于架構(gòu)、開發(fā)語(yǔ)言、軟件開發(fā)模式的選型，也不是網(wǎng)絡(luò)、存儲(chǔ)、安全設(shè)備這類硬件的創(chuàng)新，而是一度被忽視的“數(shù)據(jù)資產(chǎn)”。從IT時(shí)代到DT時(shí)代，“數(shù)據(jù)即資產(chǎn)”已然成為這場(chǎng)變革最核心的趨勢(shì)和思維方式。盡管“數(shù)據(jù)是資產(chǎn)”的概念在高校也得到了廣泛的認(rèn)知，但“如何管理數(shù)據(jù)資產(chǎn)”仍然缺少成熟理論以及處理手段。數(shù)據(jù)中臺(tái)-數(shù)據(jù)集成篇詳細(xì)分析過高校數(shù)據(jù)的基本組成，即業(yè)務(wù)系統(tǒng)數(shù)據(jù)、線下文本文件、機(jī)器及應(yīng)用系統(tǒng)日志、外部互聯(lián)網(wǎng)數(shù)據(jù)、甚至視頻監(jiān)控?cái)?shù)據(jù)等，都可以認(rèn)為是數(shù)據(jù)資產(chǎn)的輸入端。對(duì)高校而言，數(shù)據(jù)資產(chǎn)指的是能夠?yàn)槠鋷砉芾硇侍嵘?、服?wù)便利化、業(yè)務(wù)流程優(yōu)化等效益的數(shù)據(jù)資源。但高校在實(shí)際的數(shù)據(jù)資產(chǎn)化利用階段，往往不是一帆風(fēng)順的：數(shù)據(jù)源不規(guī)范，數(shù)據(jù)加工耗時(shí)耗力數(shù)據(jù)分布雜亂，黃金數(shù)據(jù)長(zhǎng)期遭受閑置數(shù)據(jù)質(zhì)量評(píng)估缺失，造成準(zhǔn)確度的偏差缺乏簡(jiǎn)易可用的管控工具，各類數(shù)據(jù)源的核心數(shù)據(jù)模型或處理能力掌握在第三方廠商手中數(shù)據(jù)開放度不足，數(shù)據(jù)的互通和數(shù)據(jù)應(yīng)用開展受到極大的限制……實(shí)際上以上問題也是從“數(shù)據(jù)資源管理”階段向“數(shù)據(jù)資產(chǎn)利用”階段邁進(jìn)所遇到的核心痛點(diǎn)，原因在于數(shù)據(jù)資產(chǎn)利用實(shí)際上應(yīng)是數(shù)據(jù)集成、治理、關(guān)聯(lián)、開放、挖掘、決策、行動(dòng)和反饋的完整閉環(huán)。完整的數(shù)據(jù)閉環(huán)可以讓數(shù)據(jù)“活起來”，讓高校在海量精準(zhǔn)數(shù)據(jù)中獲取有價(jià)值的分析結(jié)果，并基于此制定可執(zhí)行的方案，最終推動(dòng)高校的長(zhǎng)遠(yuǎn)發(fā)展。在此過程中，數(shù)據(jù)資源也就成為了數(shù)據(jù)資產(chǎn)。高校數(shù)據(jù)資產(chǎn)現(xiàn)狀與未來規(guī)劃在數(shù)據(jù)資源管理階段，大部分工作還是停留在數(shù)據(jù)的集中化，高校也逐步建立了公共數(shù)據(jù)平臺(tái)，這類平臺(tái)的核心目的是完成業(yè)務(wù)系統(tǒng)、平臺(tái)間的少量主數(shù)據(jù)交換共享。因此無論在建設(shè)目的上還是建設(shè)效果上都疲于應(yīng)對(duì)高校當(dāng)前的數(shù)據(jù)資產(chǎn)利用需求。

圖：傳統(tǒng)公共數(shù)據(jù)平臺(tái)架構(gòu)圖數(shù)據(jù)資產(chǎn)管理方式在高校可以分為幾個(gè)層面，首要的是對(duì)全量數(shù)據(jù)資源的管控，在這一過程需要具備對(duì)于全量數(shù)據(jù)的治理與關(guān)聯(lián)能力，使得高校數(shù)據(jù)更加完整、準(zhǔn)確、一致、清晰、透明，降低原有的零散采集和加工處理成本。其次是開放，要能夠?qū)?shù)據(jù)使用過程的溝通成本和調(diào)用門檻大大降低，改變?cè)蟹忾]的高校信息化生態(tài)圈。最后是數(shù)據(jù)資產(chǎn)的應(yīng)用場(chǎng)景，讓數(shù)據(jù)在價(jià)值挖掘時(shí)更為便捷和智能，從而提升高校各項(xiàng)核心職能的發(fā)展水平。從理論到實(shí)踐，高校數(shù)據(jù)資產(chǎn)化的落地路線數(shù)據(jù)資產(chǎn)管理理論的研究在業(yè)界已經(jīng)很成熟，包括DAMA、Gartner等提出的數(shù)據(jù)框架，但在高校行業(yè)如何從理論走到實(shí)踐，仍然是很大的挑戰(zhàn)。希嘉通過在數(shù)百所高校的落地經(jīng)驗(yàn)中，總結(jié)出了數(shù)據(jù)中臺(tái)的建設(shè)模式。其中數(shù)據(jù)資產(chǎn)管理體系的建設(shè)階段總結(jié)如下：1、全面梳理核心數(shù)據(jù)資產(chǎn)內(nèi)容，并建立起對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)規(guī)范每個(gè)高校的信息化建設(shè)水平不一，要根據(jù)自身的現(xiàn)狀和建設(shè)規(guī)劃定義建設(shè)統(tǒng)一的數(shù)據(jù)資產(chǎn)庫(kù)，從而全面掌握學(xué)校的數(shù)據(jù)資產(chǎn)分布情況，做到在有數(shù)據(jù)利用需求時(shí)能夠快速定位到對(duì)應(yīng)的數(shù)據(jù)源頭。構(gòu)建全校數(shù)據(jù)地圖，掌握數(shù)據(jù)的來龍去脈制定全量數(shù)據(jù)資產(chǎn)的相關(guān)標(biāo)準(zhǔn)規(guī)范，并做到可執(zhí)行、可監(jiān)督確立數(shù)據(jù)的U/C/R/M矩陣（R：角色，干系人，M:權(quán)限）圖：數(shù)據(jù)規(guī)范性示意圖總結(jié)而言，這一階段的目標(biāo)是為做到高校數(shù)據(jù)資產(chǎn)可獲知、可獲取。2、借助專業(yè)的數(shù)據(jù)治理工具，實(shí)現(xiàn)定義標(biāo)準(zhǔn)和規(guī)范的有效落地這一階段是對(duì)上述工作的實(shí)際落地，在梳理和規(guī)劃工作完成后，建立起高校的全量數(shù)據(jù)治理能力，以消除數(shù)據(jù)的不一致性、不可用性等弊端，保證數(shù)據(jù)的高可用性。所以這時(shí)需要對(duì)應(yīng)的數(shù)據(jù)處理或管理工具，將原本人工的工作過程沉淀到線上工具的自動(dòng)化，以及高效的完成。圖：希嘉ARCHON業(yè)務(wù)數(shù)據(jù)治理工具圖：希嘉Immortal日志處理工具圖：希嘉EXDATA線下文本治理工具其工具主要包括以下功能：數(shù)據(jù)標(biāo)準(zhǔn)管理：管理所有與數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)和規(guī)范，具備日常維護(hù)和引入、分發(fā)、執(zhí)行、監(jiān)控等功能，保證“頂層設(shè)計(jì)”不出現(xiàn)偏差元數(shù)據(jù)管理：實(shí)現(xiàn)全校數(shù)據(jù)結(jié)構(gòu)信息的自動(dòng)化注冊(cè)、分類管理等功能，圖形化展示數(shù)據(jù)的上下游關(guān)系、流轉(zhuǎn)情況，加強(qiáng)對(duì)數(shù)據(jù)加工過程的管控能力主數(shù)據(jù)管理：基于成熟的ETL工具，提供跨系統(tǒng)的數(shù)據(jù)整合和清洗，提供數(shù)據(jù)的完整、以及最佳版本數(shù)據(jù)質(zhì)量管理：高效、自動(dòng)化進(jìn)行數(shù)據(jù)校驗(yàn)，將結(jié)果推送至歸口部門和人員，以便于問題的快速定位和解決。非結(jié)構(gòu)化數(shù)據(jù)處理：對(duì)于機(jī)器日志、應(yīng)用系統(tǒng)日志、線下文本數(shù)據(jù)等半/非結(jié)構(gòu)化數(shù)據(jù)類型，具備可視化解析、關(guān)聯(lián)、定義等能力，為多維數(shù)據(jù)的利用打下基礎(chǔ)?？偨Y(jié)而言，這一階段的目標(biāo)是能夠讓高校數(shù)據(jù)資產(chǎn)以標(biāo)準(zhǔn)化和規(guī)范化落地，具備極高的可用性。3、以實(shí)際業(yè)務(wù)需求為導(dǎo)向，為高校內(nèi)外數(shù)據(jù)的服務(wù)提供便捷前兩個(gè)階段的建設(shè)成果可以讓高校信息化的數(shù)據(jù)“內(nèi)功”得以夯實(shí)，但數(shù)據(jù)只有利用起來才能發(fā)揮應(yīng)有的價(jià)值，因此還需要以實(shí)際需求為導(dǎo)向，為高校內(nèi)部和外部不同角色的用戶提供便捷易用的數(shù)據(jù)服務(wù)，讓智慧校園生態(tài)內(nèi)的每一份子都能夠方便地使用數(shù)據(jù)，打造開放、創(chuàng)新的數(shù)據(jù)應(yīng)用生態(tài)。圖：數(shù)據(jù)中臺(tái)---統(tǒng)一數(shù)據(jù)資產(chǎn)中心數(shù)據(jù)中臺(tái)深入到高校的數(shù)據(jù)共享和使用場(chǎng)景，積累了以下較為受歡迎的數(shù)據(jù)服務(wù)提供方式：圖：數(shù)據(jù)服務(wù)開放形式事務(wù)/分析應(yīng)用建設(shè)：以標(biāo)準(zhǔn)數(shù)據(jù)API接口開放，屏蔽異構(gòu)的數(shù)據(jù)源類型。并通過線上開發(fā)者中心提供完整的API集市、調(diào)用文檔、示例等服務(wù)BI可視化分析構(gòu)建：提供數(shù)據(jù)源連接開放，可線上登記申請(qǐng)，同時(shí)為學(xué)校提供管控功能師生用戶數(shù)據(jù)服務(wù)：提供文本數(shù)據(jù)開放服務(wù)，申請(qǐng)審核通過后直接生成Excel、TXT文件，方便不具備開發(fā)能力的校內(nèi)用戶也可以快速獲取全面的實(shí)