大數(shù)據(jù)平臺項目論證方案

1、精選文檔 大數(shù)據(jù)平臺及應(yīng)用建設(shè)項目項目名稱大數(shù)據(jù)平臺及應(yīng)用建設(shè)項目項目實施必要性分析目前我校學校目前數(shù)據(jù)主要存在各個業(yè)務(wù)系統(tǒng)，數(shù)據(jù)標準不統(tǒng)一，信息孤島現(xiàn)象嚴峻，缺乏有效的數(shù)據(jù)交換共享方式，需要進行數(shù)據(jù)治理，建立全校統(tǒng)一數(shù)據(jù)標準，加快數(shù)據(jù)共享交換效率；缺乏對全量數(shù)據(jù)的采集、管理、運維的大數(shù)據(jù)管理平臺；同時學校原有業(yè)務(wù)系統(tǒng)辦公程序繁瑣，比如：管理者了解一個同學在校行為狀況需要登錄各個不同的業(yè)務(wù)系統(tǒng)來查看同學信息；管理者對于老師科研、基本信息、在校行為等信息缺乏一個直觀明白的了解方式，業(yè)務(wù)系統(tǒng)日常工作產(chǎn)生大量離線表格數(shù)據(jù)，缺乏有效的上傳手段。因此，通過大數(shù)據(jù)平臺及分析應(yīng)用的建設(shè)掛念我校解決上述問題本

2、次建設(shè)內(nèi)容：1. 數(shù)據(jù)治理：建立全校統(tǒng)一數(shù)據(jù)標準，加快校內(nèi)信息化建設(shè)；2. 大數(shù)據(jù)平臺：建立全量數(shù)據(jù)采集、管理、運維的大數(shù)據(jù)管理平臺，包括對數(shù)據(jù)的字段級管理、數(shù)據(jù)封裝成為API接口、發(fā)布供應(yīng)第三方產(chǎn)商進行開發(fā)使用等運維功能；3. 離線表格采集工具：實現(xiàn)離線表格在線編輯實時保存數(shù)據(jù)庫功能，包括新建數(shù)據(jù)表格、表格結(jié)構(gòu)修改、權(quán)限管控、數(shù)據(jù)批量上傳下載、單條件搜尋、多條件搜尋等功能；4. 同學畫像：打通學校學工系統(tǒng)、教務(wù)系統(tǒng)、圖書館管理系統(tǒng)、公寓門禁系統(tǒng)、一卡通消費系統(tǒng)、上網(wǎng)管理系統(tǒng)的數(shù)據(jù)，整合呈現(xiàn)同學在校多方面數(shù)據(jù)。包括：同學基本信息、獎懲狀況、校內(nèi)軌跡、圖書借閱、選課成果、檢索條件自定義選擇、完善

3、的角色權(quán)限把握等功能；5. 老師畫像：全面呈現(xiàn)老師基本信息、學歷單位、工作經(jīng)受、黨政職務(wù)、專業(yè)技術(shù)職務(wù)、一卡通消費、工資變化、教學信息、評教信息、科研信息等；項目實施可行性分析1、可參考的行業(yè)閱歷目前，國內(nèi)部分走在前列的學校在對大數(shù)據(jù)分析系統(tǒng)已經(jīng)走出了探究的步伐，并取得了肯定的樂觀成果。試將其中的一些典型代表舉例如下：l *高校*高校早在2016年-2017年在學校內(nèi)部已經(jīng)部署大數(shù)據(jù)平臺，實現(xiàn)統(tǒng)一數(shù)據(jù)管理的功能，以將數(shù)據(jù)封裝成為API接口的方式供應(yīng)應(yīng)第三方廠商使用，成為了應(yīng)用開發(fā)中校方占據(jù)主導地位，開發(fā)API總量185個，總調(diào)用次數(shù)近萬次。*高校部署同學畫像系統(tǒng)，每個管理者對于同學信息的查詢不

4、再需要登錄多個業(yè)務(wù)系統(tǒng)，同時直觀的呈現(xiàn)同學在校行為軌跡信息，掛念管理者更加便利的了解同學。l *高校*高校于2017年開頭進行全校數(shù)據(jù)治理，由校長牽頭，實現(xiàn)一把手工程，全校高度重視數(shù)據(jù)治理過程，目前已經(jīng)接近尾聲，全校建立統(tǒng)一數(shù)據(jù)標準，校內(nèi)內(nèi)部數(shù)據(jù)交換共享效率獲得極大提升，信息化建設(shè)也獲得教育部高度贊揚許可。l *高校*高校于2017年開頭建設(shè)老師畫像系統(tǒng)，業(yè)已建設(shè)完成，通過老師畫像，校方可以明確了解每個老師的基本信息、學歷信息、工作經(jīng)受、黨政職務(wù)、消費、薪資、教學、評教、科研等具體狀況，減省了大量的查詢工作，有效的實現(xiàn)將數(shù)據(jù)可視化轉(zhuǎn)變?yōu)樾７焦?yīng)服務(wù)。2、技術(shù)可行性大數(shù)據(jù)分析的相關(guān)技術(shù)進展已經(jīng)成

5、熟，主要的相關(guān)技術(shù)有：傳統(tǒng)數(shù)據(jù)庫技術(shù)，例如Oracle、MsSQl等，我校已經(jīng)使用多年，并在數(shù)字化校內(nèi)、一卡通項目中廣泛接受，相關(guān)人才豐富。大數(shù)據(jù)專用處理技術(shù)，主要包括Hadoop軟件體系。其中，Hadoop軟件體系的各個功能組件如HDFS、MapReduce、Hive、HBase、Spark、Mahout、MLlib、Graphx、Stome、Flume、Kafka、Yarn、Zookeepker都已經(jīng)格外成熟，有大量的商業(yè)公司利用上述技術(shù)開發(fā)了豐富的產(chǎn)品和應(yīng)用軟件，在各行各業(yè)發(fā)揮作用。數(shù)據(jù)挖掘分析的開發(fā)工具也已經(jīng)成熟，相關(guān)軟件豐富，包括Python、R、SAS、Matlab、Java等。有

6、大量的商業(yè)公司利用上述技術(shù)開發(fā)了豐富的產(chǎn)品和應(yīng)用軟件，在各行各業(yè)發(fā)揮作用。在數(shù)據(jù)實體的組織、處理方面，我校在之前的數(shù)字化校內(nèi)建設(shè)過程中已經(jīng)積累了大量的實踐閱歷，并形成了部分可以繼承的成果，教育部也于2012年推出了具體的信息標準內(nèi)容。在商業(yè)領(lǐng)域，數(shù)據(jù)倉庫技術(shù)、聯(lián)機數(shù)據(jù)分析處理（OLAP）、商業(yè)智能工具（BI）、幫助決策系統(tǒng)已經(jīng)經(jīng)過多年進展走向成熟。因此，本項目所需的各種技術(shù)要件均已經(jīng)具備，市場上也有大量的有實力、有閱歷的公司開展相關(guān)的業(yè)務(wù)服務(wù)，有很多案例和成果可供借鑒，因此本項目的技術(shù)可行性有充分保障。3、項目預算的合理性及牢靠性分析本項目的預算依據(jù)來源于項目的建設(shè)內(nèi)容。大數(shù)據(jù)平臺及應(yīng)用建設(shè)符

7、合學?？傮w布局。項目預算已經(jīng)專家們反復論證，充分考慮了學校的用戶規(guī)模、系統(tǒng)組成、平臺性能、產(chǎn)品市場報價等諸多因素。項目建成后將極大地提升學校信息化服務(wù)水平，其有用價值和社會效益格外明顯。我們認為本項目符合國家有關(guān)政策和技術(shù)標準，并結(jié)合了我校實際，接受技術(shù)先進有用，有成熟專用市場產(chǎn)品，平安性和牢靠性有良好保障，建設(shè)方案明確可行；經(jīng)濟上預算有據(jù)，社會效益和管理服務(wù)效果明顯，項目建設(shè)總體上是完全可行的。項目實施條件建設(shè)本項目具備的基本條件：（依據(jù)各學校狀況填寫，最好由學校自己填）1. 組織保障本項目的建設(shè)內(nèi)容是學校“十三五”進展規(guī)劃中規(guī)定的重點建設(shè)工程之一。學校網(wǎng)絡(luò)中心將全面指導項目工作。由網(wǎng)絡(luò)中心

8、牽頭，相關(guān)單位協(xié)作，組成了工作組，將數(shù)據(jù)存儲、管理、運維等納入了工作考核指標，完成本項目具有組織保障。2. 資金條件我們對大數(shù)據(jù)平臺建設(shè)技術(shù)方案已開展前期預爭辯。現(xiàn)申請的國家財政專項資金，假如能準時足額到位，將為本項目的成功實施供應(yīng)資金保障。3. 人員條件學校網(wǎng)絡(luò)信息中心擁有多名長期從事信息化建設(shè)和維護專業(yè)技術(shù)人員，對信息系統(tǒng)、數(shù)據(jù)中心、數(shù)據(jù)交換、數(shù)據(jù)挖掘等有較深化的爭辯和實際工作閱歷，他們?yōu)楸卷椖康膶嵤┕?yīng)了有力的保證。項目負責人工作組先后成功擔當過學校、校內(nèi)網(wǎng)擴建工程、數(shù)據(jù)中心等大型信息化項目建設(shè)，具有豐富的項目建設(shè)和管理閱歷。4. IT設(shè)施條件學校經(jīng)過近十多年的信息化建設(shè)，已具備了完成本

9、項目的網(wǎng)絡(luò)設(shè)施條件、應(yīng)用系統(tǒng)條件和數(shù)據(jù)環(huán)境條件。項目所需的外部環(huán)境支持包括網(wǎng)絡(luò)通訊環(huán)境、信息平安保障和IT基礎(chǔ)設(shè)施環(huán)境保障（包括供電、制冷、物理空間）。這些條件目前我校已經(jīng)具備，可以支持項目的運行。項目實施主要內(nèi)容及相關(guān)預算一、 統(tǒng)一數(shù)據(jù)管理平臺建設(shè)需要建設(shè)一個承載數(shù)據(jù)倉庫的數(shù)據(jù)管理平臺，對全校數(shù)據(jù)進行匯總和統(tǒng)一管理。數(shù)據(jù)管理平臺具備對各種業(yè)務(wù)類結(jié)構(gòu)化數(shù)據(jù)、日志類非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲、計算和管理力量，可屏蔽數(shù)據(jù)的各種底層細節(jié)和差異，以標準API接口的方式向應(yīng)用層軟件供應(yīng)數(shù)據(jù)供應(yīng)、數(shù)據(jù)計算服務(wù)。同時，該平臺還需要對數(shù)據(jù)進行隱私平安和調(diào)用權(quán)限的把握，確保應(yīng)用程序只有獲得授權(quán)才能訪問數(shù)據(jù)集和數(shù)據(jù)字

10、段，對身份證號、銀行卡號等敏感隱私信息自動屏蔽，防止數(shù)據(jù)被惡意利用和個人隱私泄露。統(tǒng)一數(shù)據(jù)管理平臺需要具備大數(shù)據(jù)基礎(chǔ)架構(gòu)（例如接受Hadoop架構(gòu)），供應(yīng)API接口功能，解決多源異構(gòu)數(shù)據(jù)的存儲和計算問題，解決了開發(fā)者利用大數(shù)據(jù)平臺平安便捷開發(fā)的問題，為學校多源異構(gòu)的全量數(shù)據(jù)供應(yīng)數(shù)據(jù)存儲和計算中心。二、 數(shù)據(jù)治理工程和主題數(shù)據(jù)集市建設(shè)。目前我校的數(shù)字化校內(nèi)工程由于開發(fā)廠商不同、執(zhí)行標準不同，導致“數(shù)據(jù)孤島”現(xiàn)象比較嚴峻，數(shù)據(jù)難以匯總和整合分析。為此，方案在已制定較完善的數(shù)據(jù)標準的基礎(chǔ)上，開展系統(tǒng)性的數(shù)據(jù)治理工程，將原始數(shù)據(jù)可能存在的不完整數(shù)據(jù)、錯誤數(shù)據(jù)和重復數(shù)據(jù)，依據(jù)數(shù)據(jù)質(zhì)量評價體系和數(shù)據(jù)清洗操

11、作，將不合規(guī)數(shù)據(jù)處理轉(zhuǎn)化成滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)，形成規(guī)范的主題數(shù)據(jù)集市，形成完整的數(shù)據(jù)倉庫體系，用于支持數(shù)據(jù)分析挖掘和幫助決策支持類的應(yīng)用。數(shù)據(jù)治理工程包括的工作內(nèi)容有：【1】數(shù)據(jù)標準建設(shè)結(jié)合國家標準和教育部標準，針對我校實際狀況，建立符合我校內(nèi)部的數(shù)據(jù)標準。數(shù)據(jù)標準包括基礎(chǔ)類數(shù)據(jù)標準（分為行業(yè)參考模型實體標準和公共代碼標準）和指標類數(shù)據(jù)標準（包括基礎(chǔ)指標標準和計算指標標準）。基礎(chǔ)類數(shù)據(jù)標準基礎(chǔ)類數(shù)據(jù)標準是通過各種業(yè)務(wù)處理產(chǎn)生或各類渠道采集的基礎(chǔ)性數(shù)據(jù)，在全校范圍內(nèi)必需是唯肯定義的，如“用戶編號”、“所在部門”?；A(chǔ)類數(shù)據(jù)標準分為行業(yè)參考模型實體標準和公共代碼標準。行業(yè)參考模型實體標準指依據(jù)

12、教育部供應(yīng)的2012年標準規(guī)范要求，繼承以往數(shù)據(jù)規(guī)律模型實體規(guī)范，將各域的規(guī)律模型實體定義抽象為模型實體標準要求。指標類數(shù)據(jù)標準指標類數(shù)據(jù)標準是數(shù)據(jù)基礎(chǔ)上依據(jù)肯定業(yè)務(wù)規(guī)章加工匯總的數(shù)據(jù)，主要是中間數(shù)據(jù)，如GPA數(shù)據(jù)。指標類數(shù)據(jù)又可分為基礎(chǔ)指標和計算指標?；A(chǔ)指標一般不含維度信息，且具有特定業(yè)務(wù)和經(jīng)濟含義。計算指標通常由兩個以上基礎(chǔ)指標計算出?！?】數(shù)據(jù)治理清洗將原始數(shù)據(jù)可能存在的不完整數(shù)據(jù)、錯誤數(shù)據(jù)和重復數(shù)據(jù)，依據(jù)數(shù)據(jù)質(zhì)量評價體系和數(shù)據(jù)清洗操作，將不合規(guī)數(shù)據(jù)處理轉(zhuǎn)化成滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)，治理完成后的數(shù)據(jù)集應(yīng)當符合以下特性：l 各項數(shù)據(jù)基本正確、完整l 同一數(shù)據(jù)只有唯一來源l 單一字段中不存

13、在多種信息l 同一字段內(nèi)的數(shù)據(jù)格式統(tǒng)一l 相同對象的名稱表達全都l 代碼引用、縮寫詞、慣用語的表達全都l 值與字段名含義匹配l 同類數(shù)據(jù)的計量單位統(tǒng)一【3】構(gòu)建數(shù)據(jù)管理體系管理體系包括：l 數(shù)據(jù)管理學問庫（包括：數(shù)據(jù)資產(chǎn)名目、元數(shù)據(jù)庫、數(shù)據(jù)血緣關(guān)系、數(shù)據(jù)交換路由、數(shù)據(jù)質(zhì)量規(guī)章庫）l 數(shù)據(jù)倉庫（包含同學、教務(wù)、人事等主題數(shù)據(jù)集）l 管理規(guī)范體系（包括數(shù)據(jù)標準管理、權(quán)威數(shù)據(jù)責任管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)平安管理、數(shù)據(jù)共享交換管理等）三、 離線表格采集工具通過離線表格采集工具，實現(xiàn)Excel數(shù)據(jù)在線編輯，實時同步數(shù)據(jù)庫。將離線表格數(shù)據(jù)導入大數(shù)據(jù)平臺，實現(xiàn)數(shù)據(jù)統(tǒng)一管理；四、 同學畫像對接學校統(tǒng)一身份認證

14、系統(tǒng)，實時同步業(yè)務(wù)系統(tǒng)數(shù)據(jù)，呈現(xiàn)同學基本信息、獎懲信息、在校行為軌跡、網(wǎng)絡(luò)使用分析、圖書借閱狀況、選課與成果數(shù)據(jù)等。掛念管理者多維度、快速的了解同學在校狀況。五、 老師畫像全面呈現(xiàn)老師基本信息、學歷單位、工作經(jīng)受、黨政職務(wù)、專業(yè)技術(shù)職務(wù)、一卡通消費、工資變化、教學信息、評教信息、科研信息等；掛念管理者快速全面的了解老師狀況。項目進度與方案支配本項目實施期限為20*年*月至20*年*月項目風險與不確定性分析本項目主要是對購置成熟軟件平臺，開發(fā)有用信息服務(wù)系統(tǒng)，所接受的技術(shù)成熟穩(wěn)定，項目實施方案、軟件部署和運行管理措施完善；有國家財政撥款，有分工明確、授權(quán)充分的組織保障體系，除特殊不行抗拒因素外，完成該項目沒有不行控的風險和不確定性因素。當然，由于信息技術(shù)和應(yīng)用的迅猛進展，數(shù)據(jù)關(guān)注點和信息系統(tǒng)需求的不斷變化，在實現(xiàn)設(shè)計功能和產(chǎn)品型號方面可能消滅微小變動，特殊是大數(shù)據(jù)服務(wù)內(nèi)容隨學校的實際需要而變化，需要通過加強組織管理等手段進行科學規(guī)劃。我們將努力把各項工作做細、做好，加強資金管理，做好防范預案，憑借在我校之前在信息化建設(shè)方面積累的大量閱歷，以及借鑒行業(yè)類似學校的成功閱歷，將項目風險降低到最低程度，保證完成既定項目建設(shè)任務(wù)。預期經(jīng)濟社會效益大數(shù)據(jù)應(yīng)用平臺及大數(shù)據(jù)應(yīng)用系統(tǒng)是繼學校數(shù)字化校內(nèi)、才智校內(nèi)后建設(shè)的又一大型戰(zhàn)略級信