CourseGrading—北航軟件類課程一體化支撐平臺

1、CourseGrading北航軟件類課程一體化支撐平臺趙長海 晏海華2017年6月平臺網(wǎng)址： 計算機專業(yè)教學支撐工具的問題BIG DATA我們的數(shù)據(jù)在哪里？數(shù)據(jù)孤島碎片化的工具：針對各個課程的孤立工具工具的生命力與持續(xù)性缺失教育工具缺乏維護和持續(xù)研發(fā)，導致積累數(shù)據(jù)丟失專業(yè)壁壘高且市場容量小缺乏高水平的人才與大量的資金持續(xù)性投入工具缺乏技術(shù)深度解決途徑？平臺化，系統(tǒng)化，不要條塊化分割知識體系各個擊破（解決每門課程的痛點），良好的體驗吸引教師使用穩(wěn)定、高效、持續(xù)性的演化CourseGrading平臺理念特色平臺的質(zhì)量CourseGrading北航教改應(yīng)用題庫建設(shè)與CourseGrading共同發(fā)展

2、定位未來規(guī)劃CourseGrading工具發(fā)展史CG成功研發(fā)，經(jīng)受大并發(fā)測試內(nèi)部使用，持續(xù)完善20032009遷移到阿里云（）商業(yè)化維持系統(tǒng)的長遠發(fā)展版本快速迭代，大概每1個半月升級一次程序評判系統(tǒng)計算機課程一體化支撐平臺2015 放在校內(nèi)服務(wù)器供免費下載使用根據(jù)用戶需求持續(xù)完善穩(wěn)定性安全性用戶體驗學院研發(fā)類OJ系統(tǒng)性能問題導致考試時系統(tǒng)崩潰，引發(fā)教學事故缺乏課程管理功能，使用不便教育大數(shù)據(jù)當前最具深度、最易安裝維護、性能最好的程序設(shè)計教學輔助平臺系統(tǒng)管理與運維系統(tǒng)備份多課程管理系統(tǒng)升級系統(tǒng)遷移系統(tǒng)性能系統(tǒng)外觀教師權(quán)限管理在線考試在線作業(yè)在線答疑成績管理權(quán)限管理資源管理抄襲檢測課程管理平臺欄目

3、定制學生管理ACM競賽并行競賽競賽在線運營實驗程序設(shè)計課程C、C+、Java、Python、C#程序自動評判、算法可視化、大數(shù)據(jù)性能等SQL自動評測數(shù)據(jù)結(jié)構(gòu)與算法課程數(shù)據(jù)庫算法設(shè)計與分析計算概論小組作業(yè)、小組互評、Github軟件工程面向?qū)ο笤O(shè)計軟件體系結(jié)構(gòu)軟件測試并行與分布式程序評判并行計算多核程序設(shè)計高性能計算MPI程序設(shè)計應(yīng)用(項目)開發(fā)Android、IOS、JSP等OS與編譯實驗環(huán)境編譯器課程設(shè)計操作系統(tǒng)課程設(shè)計大數(shù)據(jù)與AI實驗環(huán)境大數(shù)據(jù)相關(guān)實驗人工智能相關(guān)實驗硬件在線實驗環(huán)境FPGA遠程實驗計算機網(wǎng)絡(luò)遠程實驗移動計算與嵌入式遠程實驗開發(fā)能力培養(yǎng)系統(tǒng)能力培養(yǎng)統(tǒng)計分析數(shù)據(jù)API增值服務(wù)

4、依賴虛擬機或者Docker環(huán)境CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5 類通用題型4 類編程題型1 類并行編程題型CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型系統(tǒng)將自動將學生答案與參考答案進行相似性比較，利用相似度輔助判分CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視

5、化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型文件上傳題：可以自動從壓縮包內(nèi)提取文檔或者源代碼，進行相似性比較CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型面向問題，學生根據(jù)題目描述，編寫完整的程序。支持任意的輸入/輸出方式組合支持C、C+、Java、Python、C#等CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題

6、5類通用題型4類編程題型1類并行編程題型定義好接口，學生編寫實現(xiàn)：學生依據(jù)頭文件（c）、或者繼承基類（c+、java），編寫方法實現(xiàn)。對學生寫代碼提供一種導向與約束作用。CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型補充缺失的語句、函數(shù)。可以插入調(diào)試打印語句，以打印的數(shù)據(jù)作為正確性評判依據(jù)。類似集成開發(fā)環(huán)境中的斷點調(diào)試CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI

7、分布式多線程項目題5類通用題型4類編程題型1類并行編程題型主要用于軟件工程系列課程實踐最流行的代碼托管服務(wù)，非自建版本管理CourseGrading特色程序評判：不僅僅對與錯基本測評報告測試數(shù)據(jù)中包括了正常情況和邊界等異常情況，使學生體會到工程編碼要求CourseGrading特色程序評判：不僅僅對與錯幫助學生全面認知程序的內(nèi)涵，樹立軟件工程思維，引導學生寫出高質(zhì)量的程序CourseGrading特色程序評判：對錯不是唯一標準！程序性能參與評分“性能” 在大數(shù)據(jù)下才有區(qū)分度！適用課程：算法與數(shù)據(jù)結(jié)構(gòu)體驗算法魅力，理解理論與實踐的相互作用（ ACM/IEEE CS2013）計算機體系結(jié)構(gòu)類課程利

8、用cache、指令多級流水、分支預(yù)測等優(yōu)化程序，深入理解CPU的微架構(gòu)，參考深入理解計算機系統(tǒng)CourseGrading特色程序評判：對錯不是唯一標準！以執(zhí)行時間最短的程序為基準判分（項目）題目示例詞頻統(tǒng)計（2016學年）拼寫檢查（2017學年）小說生成器（2018學年）得分排行榜總分 = 正確分 + 性能分用算法的思維，綜合考慮時間復雜度和空間復雜度去尋找最優(yōu)的方案來解決問題CourseGrading特色程序評判：支持輸出結(jié)果的模糊匹配！支持通配符描述期望輸出應(yīng)用：放寬格式要求浮點數(shù)輸出屏蔽輸入提醒答案二選一CourseGrading特色程序評判：支持輸入與輸出任意組合！利用編程題考核算法與

9、數(shù)據(jù)結(jié)構(gòu)知識點的示例（非常秒的出題思路，來自晏海華老師）CourseGrading特色程序評判：支持多源文件能夠支撐軟件工程、編譯原理等項目級別的源代碼接近真實工程環(huán)境的，源代碼組織風格支持多源文件打包上傳“培養(yǎng)學生解決復雜工程問題的能力”工程教育專業(yè)認證CourseGrading特色程序評判：實時評判（VS. 串行排隊）利用CPU多核并行評判學生程序，實時出結(jié)果上海大學實驗：300400人同時上機，串行排隊評判延遲能達到40分鐘。評判進程池：CPU核數(shù) 2CourseGrading特色算法與數(shù)據(jù)結(jié)構(gòu)可視化以交互可視化的形式動態(tài)展示算法的執(zhí)行過程，使學生更容易理解算法思想。支持棧、隊列、堆和遞

10、歸、索引、排序、圖、動態(tài)規(guī)劃，共45種數(shù)據(jù)結(jié)構(gòu)和算法的可視化。CourseGrading特色并行程序的自動評測從正確性、可擴展性、性能三個角度全面評測并行程序支持分布式MPI、多核多線程、CUDA并行程序適用課程：并行程序設(shè)計/并行計算操作系統(tǒng)實驗 多進程實驗（wait 與fork） 信號量 生產(chǎn)者消費者三個指標全面評測并行/分布式程序ACM/IEEE CS2013新增課程體系：并行和分布式計算（PD）、信息安全、系統(tǒng)基礎(chǔ)、基于平臺的開發(fā) 等CourseGrading特色并行程序的自動評測：直觀的評判報告CourseGrading特色題目度量：客觀量化題目難度度量指標：平均代碼行、平均完成時間

11、、正確率基于歷年使用的歷史數(shù)據(jù)統(tǒng)計基于單次考試/作業(yè)的統(tǒng)計CourseGrading特色代碼相似性比較趙長海等，基于編譯優(yōu)化和反匯編的程序相似性檢測方法，北京航空航天大學學報，2008年。國內(nèi)相似性比較研究領(lǐng)域，引用率最高的文章。代碼相似性檢測修改注釋重新排版標識符重命名代碼塊重排序常量替換改變操作符改變數(shù)據(jù)類型代碼冗余表達式拆分控制結(jié)構(gòu)等價替換精確定位，并聚類顯示若存在任何手段能夠繞開檢測算法，那么查重功能形同虛設(shè)！CourseGrading特色代碼相似性比較示例1：調(diào)整代碼順序 + 注釋CourseGrading特色代碼相似性比較示例2：冗余代碼 + 變量重命名 + 注釋 + 排版Cour

12、seGrading特色文檔/源代碼相似性檢測能夠自動從壓縮包內(nèi)提取文檔和源代碼，進行相似性比較各種常見文檔：Word、PDF、Excel、PPT常用編程語言：C/C+、C#、Java、Python、Javascript、HTML等適用課程：軟件工程、編譯技術(shù)、各種實驗報告.CourseGrading特色軟工實踐教學小組作業(yè)、互評、GitHub協(xié)作軟件工程系列小組協(xié)作小組互評增量式迭代開發(fā)GitHub分組設(shè)置小組（匿名）互評開發(fā)過程CourseGrading特色支持ACM競賽(CG-OJ) http:/ 獨立的OJ模塊，與CG教學系統(tǒng)統(tǒng)一賬號登錄，沉淀更多的教學數(shù)據(jù)競賽ACM競賽與訓練并行編程大

13、賽算法性能比賽CourseGrading特色全方位支持在線考試自動抽題組卷：知識點分布、章節(jié)、難度、使用頻度自動抽題CourseGrading特色全方位支持在線考試支持單場考試多套試卷，根據(jù)IP地址或?qū)W號分發(fā)試卷多套試卷試卷分發(fā)規(guī)則可監(jiān)控內(nèi)網(wǎng)IP(機房通過NAT上網(wǎng))支持IP綁定（一個賬號對應(yīng)一臺機器）IP地址訪問控制（只允許特定的IP地址訪問考試）欄目關(guān)閉（關(guān)閉答疑論壇、作業(yè)等欄目）CourseGrading特色全方位支持在線考試實時監(jiān)測學生交換賬號互相抄襲可監(jiān)控內(nèi)網(wǎng)IP（通過NAT訪問CG考試服務(wù)器）在線考試如何有效防作弊？ /document/guideCourseGrading特色增設(shè)

14、欄目自定義新的欄目，欄目內(nèi)容可以播放視頻、音頻等CourseGrading特色可定制的首頁風格：精簡CourseGrading特色可定制的首頁風格：課程中心CourseGrading特色可定制的首頁風格：OJCourseGrading質(zhì)量性能！單臺普通筆記本能夠支撐2000人同時在線考試單臺雙路服務(wù)器可支撐20000人同時在線考試案例：上海大學單臺服務(wù)器支撐全校3000人國防科大1GB內(nèi)存臺式機的抗壓測試北航P4 CPU 1GB內(nèi)存臺式機 350人考試河北地質(zhì)大學Windows VMWare工作站虛擬機，2核Xeon CPU，2GB ，600人同時在線考試CourseGrading質(zhì)量安全性！

15、在線評判系統(tǒng)極易出現(xiàn)安全性問題安全性如何保障？長時間使用驗證+高水平的攻防測試CourseGrading質(zhì)量可維護性！一鍵式安裝下載&執(zhí)行安裝包安裝在校園網(wǎng)或者局域網(wǎng)內(nèi)，不用互聯(lián)網(wǎng)在線模式，主要是考試的特殊性：避免“引誘” 學生到互聯(lián)網(wǎng)搜索答案！考試期間的互聯(lián)網(wǎng)訪問沒有保障集中提交代碼時，互聯(lián)網(wǎng)出口帶寬沒有保障安裝LinuxCourseGrading質(zhì)量可維護性！數(shù)據(jù)的可靠性通過瀏覽器備份數(shù)據(jù)自定義自動快照策略，保障數(shù)據(jù)可靠性CourseGrading質(zhì)量可維護性！系統(tǒng)升級的便捷性CourseGrading特色總結(jié)唯一支持“算法與數(shù)據(jù)結(jié)構(gòu)”課程的系統(tǒng)支持算法時間復雜度分析唯一支持并行程序評測的

16、系統(tǒng)支持并行程序設(shè)計、操作系統(tǒng)課程實驗（進程間通信、生產(chǎn)者消費者等）唯一全面支持在線考試的系統(tǒng)支持大并發(fā)、高可靠、安全、全面的監(jiān)考機制唯一具備完善的課程管理的系統(tǒng)并不僅僅適用于程序設(shè)計類課程唯一支持自動在線運維的系統(tǒng)保持系統(tǒng)長期、可靠運行CourseGrading平臺理念特色平臺的質(zhì)量CourseGrading北航教改應(yīng)用題庫建設(shè)與CourseGrading共同發(fā)展定位未來規(guī)劃課程的目標對于一般問題，具備分析問題、解決問題的能力，在4060分鐘內(nèi)編寫并調(diào)試通過、能正確運行、一般在4050行有效代碼以內(nèi)的程序；通過學習讓學生能夠了解程序設(shè)計思想以及初步接受到程序設(shè)計方法、技巧、風格的訓練，并逐步

17、了解工程化要求。45程序設(shè)計類課程改革歷程重視知識的講授而忽視對能力的培養(yǎng)實驗與考核手段落后20032016 時間軸兩課融合:數(shù)據(jù)結(jié)構(gòu)與程序設(shè)計基礎(chǔ)高級語言程序設(shè)計數(shù)據(jù)結(jié)構(gòu)與算法系統(tǒng)配合教改繼續(xù)完善實踐能力為導向使用程序設(shè)計語言求解問題的能力作業(yè)(10%)與考試(90%)全部在線完成，挑戰(zhàn)：如何監(jiān)督獨立完成作業(yè)性能、穩(wěn)定性數(shù)據(jù)的安全程序設(shè)計類課程改革效果47說明：在此統(tǒng)計的是5個年級程序設(shè)計課期末考試情況。每次考試包括3個編程題:編程題1：為簡單的基本題，涵蓋了表達式、控制流等知識點編程題2：為中等難度題，涵蓋了表達式、控制流、數(shù)組、函數(shù)等知識點編程題3：為綜合應(yīng)用題。從考試結(jié)果來看：考試能夠

18、貫徹教學目標要求在能夠反映學生綜合應(yīng)用能力的編程題3上，反映學生的編程能力在提高程序設(shè)計類課程改革效果數(shù)據(jù)來源推免考試考生來源：各個高校優(yōu)秀學生（大四）題目與大一學生的期末考試相近結(jié)論優(yōu)秀率、及格率、平均分，北航大一的學生都高于推免研究生程序設(shè)計類課程改革效果綜合類作業(yè)（Project）的設(shè)計，幫助學生理解當問題N變大時，數(shù)據(jù)結(jié)構(gòu)與算法是如何影響程序性能題目：詞頻統(tǒng)計（哈利波特全集、近100萬個單詞、性能參與評分）貫穿整個學期的作業(yè)，學生利用學到的知識不斷優(yōu)化程序其中運行最快的是0.093s，運行時間最長為155.912s程序設(shè)計類課程改革效果知乎評價： 想想四年，收獲最大的只有C語言、數(shù)據(jù)結(jié)

19、構(gòu)、鄒欣老師的程序設(shè)計和懷騎士的課.北航本科課業(yè)繁重（雖然我也不怎么上），印象最深的是C語言課，收獲很大，基礎(chǔ)夯實。Ref: 北航計算機學院怎么樣？ /question/23026820/answer/24282950“CCF CSP軟件能力認證”2016最佳合作單位獲得最佳合作獎的單位是：北京航空航天大學、國防科技大學Ref：用CSP證明專業(yè)能力CCF在京召開軟件能力認證大會程序設(shè)計類課程改革效果獎勵：北京市教學成果二等獎CourseGrading北航應(yīng)用：高級語言程序設(shè)計數(shù)據(jù)結(jié)構(gòu)與算法數(shù)據(jù)結(jié)構(gòu)與程序設(shè)計基礎(chǔ)算法設(shè)計與分析并行程序設(shè)計 研究生推免/研究生復試編譯技術(shù)軟件工程軟件體系結(jié)構(gòu)計算機科學研究方法與實踐從作業(yè)到考試全部在線作業(yè)在線紙質(zhì)考試CourseGrading北航數(shù)據(jù)結(jié)構(gòu)與程序設(shè)計基礎(chǔ)作業(yè)（20分）：8次作業(yè)（15分）+ 1次性能測試作業(yè)（5分）考試（80分）：期中考試（30分）+ 期末考試（50分）CourseGrading北航高質(zhì)量的練習題目北京地鐵換乘查詢拼寫檢查詞頻統(tǒng)計面向工程應(yīng)用實際問題大數(shù)據(jù)CourseGrading平臺理念特色平臺的質(zhì)量CourseGrading北航教改應(yīng)用題庫建設(shè)與CourseGrading共同發(fā)展定位未來規(guī)劃CourseGrading的定位1