大數(shù)據(jù)平臺項目論證方案

1、v1.0可編輯可修改大數(shù)據(jù)平臺及應用建設項目項目名稱大數(shù)據(jù)平臺及應用建設項目目前我校學校目前數(shù)據(jù)主要存在各個業(yè)務系統(tǒng)，數(shù)據(jù)標準不統(tǒng)一，信息孤島現(xiàn)象嚴重，缺乏有效的數(shù)據(jù)交換共享方式，需要進行數(shù)據(jù)治理，建立全校統(tǒng)一數(shù)據(jù)標準，加快數(shù)據(jù)共享交換效率；缺乏對全量數(shù)據(jù)的采集、管理、運維的大數(shù)據(jù)管理平臺；同時學校原有業(yè)務系統(tǒng)辦公程序繁瑣，比如：管理者了解一個學生在校行為情況需要登錄各個不同的業(yè)務系統(tǒng)來查看學生信息；管理者對于教師科研、基本信息、在校行為等信息缺乏一個直觀明了 的了解方式，業(yè)務系統(tǒng)日常工作產(chǎn)生大量離線表格數(shù)據(jù)，缺乏有效的上傳手段。因此，通 過大數(shù)據(jù)平臺及分析應用的建設幫助我校解決上述問題本次建

2、設內容：1. 數(shù)據(jù)治理：建立全校統(tǒng)一數(shù)據(jù)標準，加快校園信息化建設；2. 大數(shù)據(jù)平臺：建立全量數(shù)據(jù)采集、管理、運維的大數(shù)據(jù)管理平臺，包括對數(shù)據(jù)的丁r ：字段級管理、數(shù)據(jù)封裝成為api接口、發(fā)布提供第三方產(chǎn)商進行開發(fā)使用等運維必要性分析功能；3. 離線表格采集工具：實現(xiàn)離線表格在線編輯實時保存數(shù)據(jù)庫功能，包括新建數(shù)據(jù) 表格、表格結構修改、權限管控、數(shù)據(jù)批量上傳下載、單條件搜索、多條件搜索 等功能；4. 學生畫像：打通學校學工系統(tǒng)、教務系統(tǒng)、圖書館管理系統(tǒng)、公寓門禁系統(tǒng)、一卡通消費系統(tǒng)、上網(wǎng)管理系統(tǒng)的數(shù)據(jù)，整合呈現(xiàn)學生在校多方面數(shù)據(jù)。包括：學 生基本信息、獎懲情況、校內軌跡、圖書借閱、選課成績、檢索

3、條件自定義選擇、完善的角色權限控制等功能；5. 教師畫像：全面展示教師基本信息、學歷單位、工作經(jīng)歷、黨政職務、專業(yè)技術職務、一卡通消費、工資變化、教學信息、評教信息、科研信息等；1、可參考的行業(yè)經(jīng)驗目前，國內部分走在前列的學校在對大數(shù)據(jù)分析系統(tǒng)已經(jīng)走出了探索的步伐，并取得 了一定的積極成果。試將其中的一些典型代表舉例如下：*大學*大學早在2016年-2017年在學校內部已經(jīng)部署大數(shù)據(jù)平臺，實現(xiàn)統(tǒng)一數(shù)據(jù)管理的 功能，以將數(shù)據(jù)封裝成為 API接口的方式提供給第三方廠商使用，成為了應用開發(fā)中校方 占據(jù)主導地位，開發(fā) API總量185個，總調用次數(shù)近萬次。*大學部署學生畫像系統(tǒng)，每個管理者對于學生信息

4、的查詢不再需要登錄多個業(yè)務 系統(tǒng)，同時直觀的呈現(xiàn)學生在校行為軌跡信息，幫助管理者更加方便的了解學生。*大學項目實施可行性分析*大學于2017年開始進行全校數(shù)據(jù)治理，由校長牽頭，實現(xiàn)一把手工程，全校高度 重視數(shù)據(jù)治理過程，目前已經(jīng)接近尾聲，全校建立統(tǒng)一數(shù)據(jù)標準，校園內部數(shù)據(jù)交換共享 效率獲得極大提升，信息化建設也獲得教育部高度贊揚許可。*大學*大學于2017年開始建設教師畫像系統(tǒng)，業(yè)已建設完成，通過教師畫像，校方可以 明確了解每個教師的基本信息、學歷信息、工作經(jīng)歷、黨政職務、消費、薪資、教學、評 教、科研等詳細情況，減省了大量的查詢工作，有效的實現(xiàn)將數(shù)據(jù)可視化轉變?yōu)樾７教峁?服務。2、技術可行性

5、大數(shù)據(jù)分析的相關技術發(fā)展已經(jīng)成熟，主要的相關技術有：傳統(tǒng)數(shù)據(jù)庫技術，例如Oracle、MsSQl等，我校已經(jīng)使用多年，并在數(shù)字化校園、一卡通項目中廣泛采用，相關人才豐富。大數(shù)據(jù)專用處理技術，主要包括Hadoop軟件體系。其中，Hadoop軟件體系的各個功能組件如 HDFS MapReduce Hive、HBase Spark、Mahout、MLlib、Graphx、Stome、Flume、Kafka、Yarn、Zookeepker都已經(jīng)非常成熟， 有大量的商業(yè)公司利用上述技術開發(fā)了豐富的產(chǎn)品和應用軟件，在各行各業(yè)發(fā)揮作用。數(shù)據(jù)挖掘分析的開發(fā)工具也已經(jīng)成熟，相關軟件豐富，包括 Python、R、

6、SAS Matlab、Java等。有大量的商業(yè)公司利用上述技術開發(fā)了豐富的產(chǎn)品和應用軟件，在各行各業(yè)發(fā)揮作用。在數(shù)據(jù)實體的組織、處理方面，我校在之前的數(shù)字化校園建設過程中已經(jīng)積累了大量的實踐經(jīng)驗，并形成了部分可以繼承的成果，教育部也于2012年推出了具體的信息標準內容。在商業(yè)領域，數(shù)據(jù)倉庫技術、聯(lián)機數(shù)據(jù)分析處理（OLAP、商業(yè)智能工具（BI）、輔助決策系統(tǒng)已經(jīng)經(jīng)過多年發(fā)展走向成熟。因此，本項目所需的各種技術要件均已經(jīng)具備，市場上也有大量的有實力、有經(jīng)驗的公司開展相關的業(yè)務服務，有很多案例和成果可供借鑒，因此本項目的技術可行性有充分 保障。3、項目預算的合理性及可靠性分析本項目的預算依據(jù)來源于項

7、目的建設內容。大數(shù)據(jù)平臺及應用建設符合學?？傮w布局。項詢算已經(jīng)專家們反復論證，充分考慮了學校的用戶規(guī)模、系統(tǒng)組成、平臺性能、產(chǎn)品 市場報價等諸多因素。項目建成后將極大地提升學校信息化服務水平，其實用價值和社會 效益十分明顯。我們認為本項目符合國家有關政策和技術標準，并結合了我校實際，采用技術先進實用，有成熟專用市場產(chǎn)品，安全性和可靠性有良好保障，建設方案明確可行；經(jīng)濟上預算 有據(jù)，社會效益和管理服務效果明顯，項目建設總體上是完全可行的。9建設本項目具備的基本條件：（根據(jù)各學校情況填寫，最好由學校自己填）1 .組織保障本項目的建設內容是學?！笆濉卑l(fā)展規(guī)劃中規(guī)定的重點建設工程之一。學校網(wǎng)絡中心

8、將全面指導項目工作。由網(wǎng)絡中心牽頭，相關單位配合，組成了工作組，將數(shù)據(jù)存儲、 管理、運維等納入了工作考核指標，完成本項目具有組織保障。2 .資金條件我們對大數(shù)據(jù)平臺建設技術方案已開展前期預研究。現(xiàn)申請的國家財政專項資金，如果能及時足額到位，將為本項目的成功實施提供資金保障。3 .人員條件項目實施條件學校網(wǎng)絡信息中心擁有多名長期從事信息化建設和維護專業(yè)技術人員，對信息系統(tǒng)、數(shù)據(jù)中心、數(shù)據(jù)交換、數(shù)據(jù)挖掘等有較深入的研究和實際工作經(jīng)驗，他們?yōu)楸卷椖康膶嵤?提供了有力的保證。項目負責人工作組先后成功承擔過學校、校園網(wǎng)擴建工程、數(shù)據(jù)中心 等大型信息化項目建設，具有豐富的項目建設和管理經(jīng)驗。4 . IT設

9、施條件學校經(jīng)過近十多年的信息化建設，已具備了完成本項目的網(wǎng)絡設施條件、應用系統(tǒng)條件和數(shù)據(jù)環(huán)境條件。項目所需的外部環(huán)境支持包括網(wǎng)絡通訊環(huán)境、信息安全保障和IT基礎設施環(huán)境保障（包括供電、制冷、物理空間）。這些條件目前我校已經(jīng)具備，可以支持項目的運行。1、 統(tǒng)一數(shù)據(jù)管理平臺建設需要建設一個承載數(shù)據(jù)倉庫的數(shù)據(jù)管理平臺，對全校數(shù)據(jù)進行匯總和統(tǒng)一管理。數(shù)據(jù)管理平臺具備對各種業(yè)務類結構化數(shù)據(jù)、日志類非結構化數(shù)據(jù)的統(tǒng)一存儲、計算和管理能力，可屏蔽數(shù)據(jù)的各種底層細節(jié)和差異，以標準 API接口的方式向應用層軟件提供數(shù)據(jù)供應、數(shù)據(jù)計算服務。同時，該平臺還需要對數(shù)據(jù)進行隱私安全和調用權限的控制，確保應用程序只有獲得

10、授權才能訪問數(shù)據(jù)集和數(shù)據(jù)字段，對身份證號、銀行卡號等敏感隱私信息自動屏蔽，防止數(shù)據(jù)被惡意利用和個人隱私泄露。統(tǒng)一數(shù)據(jù)管理平臺需要具備大數(shù)據(jù)基礎架構（例如采用Hadoop架構），提供API接口功能，解決多源異構數(shù)據(jù)的存儲和計算問題，解決了開發(fā)者利用大數(shù)據(jù)平臺安全便捷開發(fā)的問題，為學校多源異構的全量數(shù)據(jù)提供數(shù)據(jù)存儲和計算中心。2、 數(shù)據(jù)治理工程和主題數(shù)據(jù)集市建設。項目實施主要目前我校的數(shù)字化校園工程由于開發(fā)廠商不同、執(zhí)行標準不同，導致“數(shù)據(jù)孤島”現(xiàn)內容及相關預算象比較嚴重，數(shù)據(jù)難以匯總和整合分析。為此，計劃在已制定較完善的數(shù)據(jù)標準的基礎上，開展系統(tǒng)性的數(shù)據(jù)治理工程，將原始數(shù)據(jù)可能存在的不完整數(shù)據(jù)、

11、錯誤數(shù)據(jù)和重復數(shù)據(jù)，根據(jù)數(shù)據(jù)質量評價體系和數(shù)據(jù)清洗操作，將不合規(guī)數(shù)據(jù)處理轉化成滿足數(shù)據(jù)質量要求的數(shù)據(jù)，形成規(guī)范的主題數(shù)據(jù)集市，形成完整的數(shù)據(jù)倉庫體系，用于支持數(shù)據(jù)分析挖掘和輔助決策支持類的應用。數(shù)據(jù)治理工程包括的工作內容有：【1】數(shù)據(jù)標準建設結合國家標準和教育部標準，針對我校實際情況，建立符合我校內部的數(shù)據(jù)標準。數(shù)據(jù)標準包括基礎類數(shù)據(jù)標準（分為行業(yè)參考模型實體標準和公共代碼標準）和指標類數(shù)據(jù)標準（包括基礎指標標準和計算指標標準）。基礎類數(shù)據(jù)標準基礎類數(shù)據(jù)標準是通過各種業(yè)務處理產(chǎn)生或各類渠道采集的基礎性數(shù)據(jù)，在全校范圍內必須是唯一定義的，如“用戶編號”、“所在部門”。基礎類數(shù)據(jù)標準分為行業(yè)參考模

12、型實體標準和公共代碼標準。行業(yè)參考模型實體標準指按照教育部提供的2012年標準規(guī)范要求，繼承以往數(shù)據(jù)邏輯模型實體規(guī)范，將各域的邏輯模型實體定義抽象為模型實體標準要求。指標類數(shù)據(jù)標準指標類數(shù)據(jù)標準是數(shù)據(jù)基礎上按照一定業(yè)務規(guī)則加工匯總的數(shù)據(jù)，主要是中間數(shù)據(jù)，如GPA數(shù)據(jù)。指標類數(shù)據(jù)又可分為基礎指標和計算指標?；A指符般不含維度信息，且具有特定業(yè)務和經(jīng)濟含義。計算指標通常由兩個以上基礎指標計算出?！?】數(shù)據(jù)治理清洗將原始數(shù)據(jù)可能存在的不完整數(shù)據(jù)、錯誤數(shù)據(jù)和重復數(shù)據(jù)，根據(jù)數(shù)據(jù)質量評價體系和數(shù)據(jù)清洗操作，將不合規(guī)數(shù)據(jù)處理轉化成滿足數(shù)據(jù)質量要求的數(shù)據(jù)，治理完成后的數(shù)據(jù)集應該符合以下特性：各項數(shù)據(jù)基本正確、

13、完整同一數(shù)據(jù)只有唯一來源單一字段中不存在多種信息同一字段內的數(shù)據(jù)格式統(tǒng)一相同對象的名稱表達一致代碼引用、縮寫詞、慣用語的表達一致值與字段名含義匹配同類數(shù)據(jù)的計量單位統(tǒng)一【3】構建數(shù)據(jù)管理體系管理體系包括：數(shù)據(jù)管理知識庫（包括：數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)庫、數(shù)據(jù)血緣關系、數(shù)據(jù)交換路由、數(shù)據(jù)質量規(guī)則庫）數(shù)據(jù)倉庫（包含學生、教務、人事等主題數(shù)據(jù)集）管理規(guī)范體系（包括數(shù)據(jù)標準管理、權威數(shù)據(jù)責任管理、數(shù)據(jù)質量管理、數(shù)據(jù)安全管理、數(shù)據(jù)共享交換管理等）3、 離線表格采集工具通過離線表格采集工具，實現(xiàn)Excel數(shù)據(jù)在線編輯，實時同步數(shù)據(jù)庫。將離線表格數(shù)據(jù)導入大數(shù)據(jù)平臺，實現(xiàn)數(shù)據(jù)A管理；4、 學生畫像對接學校統(tǒng)一身份

14、認證系統(tǒng)，實時同步業(yè)務系統(tǒng)數(shù)據(jù)，展示學生基本信息、獎懲信息、在校行為軌跡、網(wǎng)絡使用分析、圖書借閱情況、選課與成績數(shù)據(jù)等。幫助管理者多維度、快速的了解學生在校情況。5、 教師畫像全面展7K教師基本信息、學歷單位、工作經(jīng)歷、黨政職務、專業(yè)技術職務、一通消費、工資變化、教學信息、評教信息、科研信息等；幫助管理者快速全面的了解教師情況。項目進度與計劃安排本項目實施期限為20*年*月至20*年*月項目風險與不確定性分析本項目主要是對購置成熟軟件平臺，開發(fā)實用信息服務系統(tǒng)，所采用的技術成熟穩(wěn)定， 項目實施方案、軟件部署和運行管理措施完善；有國家財政撥款，有分工明確、授權充分 的組織保障體系，除特殊不可抗拒因素外，完成該項目沒有不可控的風險和不確定性因素。當然，由于信息技術和應用的迅猛發(fā)展，數(shù)據(jù)關注點和信息系統(tǒng)需求的不斷變化，在 實現(xiàn)設計功能和產(chǎn)品型號方面可能出現(xiàn)微小變動，特別是大數(shù)據(jù)服務內容隨學校的實際需 要而變化，需要通過加強組織管理等手段進行科學規(guī)劃。我們將努力把各項工作做細、做 好，加強資金管理，做好防范預案，憑借在我校之前在信息化建設方面積累的大量經(jīng)驗， 以及借鑒行業(yè)類似學校的成功經(jīng)驗，將項目風險降低到最低程度，保證完成既定項目建設 任務。預期經(jīng)濟社會效益大數(shù)據(jù)應用平臺及大數(shù)據(jù)應用系統(tǒng)是繼學校數(shù)字化校園、智慧校園后建設的又一大型 戰(zhàn)略級信息化建設