第二章 教育信息熵.ppt

1、第二章 教育信息熵,張敏霞 2009年3月,2020/9/13,2,第一節(jié) 熵的概述 第二節(jié) 相對(duì)熵與冗余熵 第三節(jié) 測(cè)試問(wèn)題的信息量 第四節(jié) 教學(xué)過(guò)程的信息量分析 第五節(jié) CAI課件中的信息熵,主要內(nèi)容,2020/9/13,3,第一節(jié) 熵的概述,一、信息量的表示 一般來(lái)說(shuō)，在通信過(guò)程中，信源發(fā)出的消息對(duì)收信者來(lái)說(shuō)總是存在著某種程度的不確定性，通過(guò)通信，收信者就可能消除這種不確定性。 信息的多少與信源的不確定性有關(guān)。研究信息的度量可變成研究信源的不確定性的度量。,2020/9/13,4,例1：現(xiàn)有A、B、C、D、E五名學(xué)生，以他們作為候選人，需從中選出一名學(xué)生作為學(xué)生代表。 情況一：設(shè)定每一名

2、學(xué)生被選中的可能性一樣（A當(dāng)選的概率是20%）； 情況二：設(shè)定A 當(dāng)選的概率是90%； 情況三：A一定會(huì)當(dāng)選（ A 當(dāng)選的概率是100%）。 選拔的結(jié)果：A 被選中。,第一節(jié) 熵的概述,2020/9/13,5,信源輸出的消息可以看作是隨機(jī)事件（數(shù)學(xué)上對(duì)隨機(jī)事件發(fā)生可能性的大小以概率來(lái)度量），它的不確定度可根據(jù)其出現(xiàn)的概率來(lái)衡量： 概率大，出現(xiàn)機(jī)會(huì)多，不確定程度小 概率小，出現(xiàn)機(jī)會(huì)少，不確定程度大,以I記消息包含的信息量，P記消息發(fā)生的概率，0P1,則有：,用函數(shù)可以表示為： I=f（P） 或 I= g（1/P),信息量是概率的單調(diào)減函數(shù)。,第一節(jié) 熵的概述,2020/9/13,6,例2：某人到

3、劇院找朋友，劇院有20行30列座位，朋友的位置有600種可能。消息A說(shuō)：“他在第6行”，消息B說(shuō)：“他在第9列”，合成消息C=AB說(shuō)：他在第6行第9列“。 由概率論知，P（AB）=P（A）P（B）。但經(jīng)驗(yàn)告訴人們，消息C的信息量應(yīng)該是消息A的信息量與消息B的信息量之和。 一般地若A和B為兩個(gè)相互獨(dú)立的消息，C代表A與B同時(shí)發(fā)生的合成消息，C=AB，則： I（AB）=I（A）+I（B） 當(dāng)A、B不是獨(dú)立事件時(shí)， I（AB）I（A）+I（B）,信息量具有可加性。,第一節(jié) 熵的概述,2020/9/13,7,信息量是概率的單調(diào)減函數(shù)，同時(shí)信息量又具有可加性。那么信息量可以用什么函數(shù)表示？,對(duì)數(shù)函數(shù)是可

4、供選用的合適的函數(shù)， logak 隨k值的增大而增大，且 loga(kl)=logak + logal,第一節(jié) 熵的概述,2020/9/13,8,設(shè)某一事件產(chǎn)生的概率為p，則信息量可定義為： I =loga(1/P)=-logaP 其中，a1 a2時(shí)，單位為bit（比特），字位 ae時(shí)，單位為nat（奈特），自然對(duì)數(shù)ln a10時(shí)，單位為dit（迪特）。常用對(duì)數(shù)lg 通常情況下，我們選擇以2為底數(shù)，此時(shí)信息量的單位為比特。,信息量定義（維納） 以概率p0發(fā)生的可能消息A所包含的信息量I（A）是概率p的倒數(shù)的對(duì)數(shù)： I（A）=log21/p;或 I（A）=-log2 p 補(bǔ)充規(guī)定： 若P=0 ，

5、 I=0 信息量的單位為字位（bit）,第一節(jié) 熵的概述,2020/9/13,9,例3：投擲硬幣，消息A代表麥穗朝下，發(fā)生概率為P(A)=0.5， 求其信息量。,例4：工會(huì)有一批水果發(fā)給會(huì)員，其中優(yōu)質(zhì)品為40%，合格品為55%，次品為5%。發(fā)放規(guī)則為隨意抓號(hào)，按號(hào)取貨，不許挑揀。問(wèn)；王東拿到次品這一消息的信息量是多少？,I(A)=log20.5=-log22-1=1bit,I=-log20.05=4.32bit,第一節(jié) 熵的概述,2020/9/13,10,二、信息熵,1、信息熵定義 設(shè)發(fā)送端的可能消息集合為：X=（X1,X2,Xn）,各可能消息分別按概率P1,P2,，Pn發(fā)生，并滿(mǎn)足歸一性條件

6、： P1+P2+Pn=1。按一定的概率從集合X中隨機(jī)選擇消息發(fā)送，形成一個(gè)消息序列。設(shè)序列中包含的消息總數(shù)為N，N非常大。在統(tǒng)計(jì)意義上，該序列中包含的消息Xi的數(shù)目為PiN個(gè)，所有Xi包含的信息量為-（PiN）log2Pi。將序列中所有消息包含的信息量之和除以N，得到序列中每個(gè)可能信息的平均信息量為： H=-（P1log2P1+ P2log2P2+ Pnlog2Pn)=- H是可能消息集合X的整體平均信息量，亦即單位消息的信息量。,可能消息集合X =（X1,X2,Xn）的整體平均信息量稱(chēng)為信息熵，簡(jiǎn)稱(chēng)為熵。,第一節(jié) 熵的概述,2020/9/13,11,例6：還是工會(huì)發(fā)水果的例子。計(jì)算其信息熵：

7、 消息集合X=（優(yōu)質(zhì)品，合格品，次品）， 各消息可能出現(xiàn)的概率為：（0.4, 0.55, 0.05） 其信息熵為： H=-（0.4log20.4+0.55log20.55+0.05log20.05）=1.22（bit）,例5: 設(shè)某一系統(tǒng)具有四種狀態(tài)（或四種事件）A1、A2、A3、A4，其產(chǎn)生的概率分別為p11/2, p2=1/4, p3=1/8, p4=1/8，求該系統(tǒng)中任一狀態(tài)產(chǎn)生時(shí)所給予的平均信息量。,第一節(jié) 熵的概述,2020/9/13,12,三、熵的意義,熵的大小可用于表示概率系統(tǒng)的不確定程度。,例8：設(shè)某一概率系統(tǒng)中，其概率分布是均勻的，它表示系統(tǒng)中每一事件產(chǎn)生的概率相等。對(duì)于這樣

8、的系統(tǒng)，我們很難預(yù)測(cè)某一事件的產(chǎn)生，這種系統(tǒng)的不確定性最大。該系統(tǒng)的信息熵具有最大值（在相同事件數(shù)的情況下）。,例7：設(shè)某一概率系統(tǒng)中，每一事件產(chǎn)生的概率分布為：（1,0,0）。它表示，該系統(tǒng)中某一事件產(chǎn)生的概率為1，其他事件產(chǎn)生的概率為0，這是一個(gè)確定系統(tǒng)，不確定度為0。計(jì)算該系統(tǒng)的信息熵，有H=0。,第一節(jié) 熵的概述,2020/9/13,13,例9：設(shè)概率系統(tǒng)A、B的分布為： pA=(0.5,0.5,0,0,0) pB=(0.5,0.125,0.125,0.125,0.125) 請(qǐng)比較它們哪一個(gè)系統(tǒng)的不確定程度大。,分析：為了進(jìn)行這種比較，我們計(jì)算它們的信息熵，并以計(jì)算出的信息熵，對(duì)它們的

9、不確定程度進(jìn)行定量的比較。通過(guò)A、B系統(tǒng)信息熵的計(jì)算，有 H(pA)=1(bit) H(pB)=2(bit) 由此可以判定系統(tǒng)B的不確定程度是系統(tǒng)A的兩倍。,第一節(jié) 熵的概述,2020/9/13,14,三、信息熵的基本性質(zhì),1、單峰性（極值性） 設(shè)某一系統(tǒng)包含兩個(gè)事件A、B，其產(chǎn)生的概率分別為 p和1-p。該系統(tǒng)的熵為 H=-plog2p+(1-p)log2(1-p) H-P圖具有單峰性的特點(diǎn)。 對(duì)于由n個(gè)事件組成的系統(tǒng)，其信息熵也同樣具有單峰性。,第一節(jié) 熵的概述,2020/9/13,15,2、對(duì)稱(chēng)性 某系統(tǒng)中n個(gè)事件的概率分布為 :(p1,p2,pn) 當(dāng)我們對(duì)事件位置的順序進(jìn)行任意的置換

10、后，得到新的概率分布:(p1,p2,pn) 有以下關(guān)系成立： H(p1,p2,pn)=H(p1,p2,pn) 它表示，系統(tǒng)中，事件的順序雖不同，只要總的概率分布相同，系統(tǒng)的熵H是不變的，即系統(tǒng)的熵與事件的順序無(wú)關(guān)。,第一節(jié) 熵的概述,2020/9/13,16,3、漸化性 設(shè)概率為pn(=q+r)的事件可分解為概率分別為q和r的兩個(gè)事件，則有 H(p1,p2,pn-1,q,r)=H(p1,p2,pn-1,q+r)+(q+r)H(q/(q+r),r/(q+r),例10： H（p1,p2,p3,p4）=H(p1,p2,p3+p4)+(p3+p4)H(p3/(p3+p4),p4/(p3+p4) H(p

11、1,p2,p3+p4)=H(p1,p2+p3+p4)+(p2+p3+p4)H(p2/(p2+p3+p4)+(p3+p4)/(p2+p3+p4),第一節(jié) 熵的概述,2020/9/13,17,4、展開(kāi)性 設(shè)某一系統(tǒng)的概率分布為：(p1,p2,pn) 該系統(tǒng)的信息熵具有 H(p1,p2,pn)=H(p1,p2,pn,0)這樣的開(kāi)展性質(zhì)。在此基礎(chǔ)上，進(jìn)一步展開(kāi)，有 H(p1,p2,pn)=H(p1,p2,pn,0,0),第一節(jié) 熵的概述,2020/9/13,18,5、確定性 概率系統(tǒng)中，任一事件產(chǎn)生的概率為1，則其他事件產(chǎn)生的概率為0，這是一種確定的系統(tǒng)。對(duì)于這樣的系統(tǒng)，有 H(1,0)=H(0,1)

12、=H(1,0,0)=H(0,0,10)=0,從上述的討論可以看出，熵所描述的不是一個(gè)一個(gè)的事件，而是表現(xiàn)有關(guān)概率系統(tǒng)整體概率分布狀態(tài)的統(tǒng)計(jì)特征量。系統(tǒng)的熵是通過(guò)實(shí)測(cè)數(shù)據(jù)進(jìn)行計(jì)算的，往往我們將它作為一種統(tǒng)計(jì)量來(lái)使用。,第一節(jié) 熵的概述,2020/9/13,19,第二節(jié) 相對(duì)熵與冗余度,英語(yǔ)字母共有26個(gè)，加上空格，共計(jì)27個(gè)符號(hào)，若假定所有符號(hào)彼此獨(dú)立且等概率，那么這樣的英語(yǔ)系統(tǒng)具有最大熵，其熵值為： Hmaxlog2 274.75bit 實(shí)際上，所有字母不是等概的，空格、E、T、A等字母出現(xiàn)的概率大，而Q、Z等字母出現(xiàn)的概率小。,2020/9/13,20,根據(jù)上表，可以計(jì)算出熵H4.065bi

13、t。 由于每種字符出現(xiàn)的概率不同，使得實(shí)際使用英語(yǔ)的熵H減少，即HHmax,第二節(jié) 相對(duì)熵與冗余度,2020/9/13,21,聯(lián)合國(guó)五種工作語(yǔ)言文字的信息熵比較： 法文 3.98 bit 西班牙文 4.01 bit 英文 4.03 bit 俄文 4.35 bit 中文 9.65 bit,2020/9/13,22,一、相對(duì)信息熵 一個(gè)實(shí)際系統(tǒng)輸出的熵H(X)與其最大可能的熵Hmax(X)的比值定義為相對(duì)熵，用h表示。 hH/Hmax 信息熵的計(jì)算與系統(tǒng)中事件數(shù)的多少有關(guān)，它不利于我們對(duì)不同系統(tǒng)的熵進(jìn)行比較；相對(duì)信息熵的計(jì)算有利于我們對(duì)不同系統(tǒng)的信息熵進(jìn)行比較。,第二節(jié) 相對(duì)熵與冗余度,2020/

14、9/13,23,二、冗余度 冗余度或剩余度可定義為： r1-H/Hmax 冗余度表示了由于每種字符出現(xiàn)的概率不同而使信息熵減少的程度。它表示了傳遞信息時(shí)，不必要的冗長(zhǎng)部分的比例。 由于信息熵的減少，為了表示同樣的內(nèi)容，相同的信息量，文章的字符數(shù)要多一些，這就是文章的冗余性。,第二節(jié) 相對(duì)熵與冗余度,2020/9/13,24,第二節(jié) 相對(duì)熵與冗余度,設(shè)以英語(yǔ)的N個(gè)字符書(shū)寫(xiě)文章時(shí)，其平均信息量為H，總的信息量為NH。若以27個(gè)字符均勻出現(xiàn)的字符序列來(lái)表示相同的內(nèi)容，相同的信息量，由于此時(shí)的平均信息量為Hmax ，所需的字符數(shù)一定少于N，令其為Nmin ，則為 NminHmax=NH Nmin=(H

15、/Hmax)N=hN 它表示，以具有Hmax的 27種字符書(shū)寫(xiě)文章，只需要 Nmin=hN個(gè)字符。 冗余度為：r=1-H/Hmax=(N-Nmin)/N 它表明，以效率更高的代碼來(lái)描述指定的內(nèi)容，與實(shí)際使用的英語(yǔ)相比較，其字符總數(shù)可減少r%。,2020/9/13,25,假如有：我們大_都喜_使_計(jì)_機(jī)。 不用很多努力，就可以猜出完整的句子：我們大家都喜歡使用計(jì)算機(jī)。 香農(nóng)指出，能猜出來(lái)的字符不運(yùn)載信息，而不能猜出來(lái)的字符運(yùn)載信息。所隱藏的字符屬于冗余字符，不用那些字符也能運(yùn)載該句子的全部信息。冗余度大小對(duì)信息閱讀和檢錯(cuò)抗錯(cuò)有重要的意義。比如：我_大_使_機(jī)。就很難猜出完整的句子，在信息傳遞的時(shí)

16、候，也很難做檢錯(cuò)和抗錯(cuò)。因此，保留合理比例的多余度是非常重要的。 信息熵方法的基本目的，是找出某種符號(hào)系統(tǒng)的信息量和多余度之間的關(guān)系，以便能用最小的成本和消耗來(lái)實(shí)現(xiàn)最高效率的數(shù)據(jù)儲(chǔ)存、管理和傳遞。,2020/9/13,26,一、測(cè)試問(wèn)題信息熵的計(jì)算 多重選擇問(wèn)題是各種測(cè)試中使用最為廣泛的一種測(cè)試問(wèn)題。 例1：下列設(shè)備中，只能作為輸出設(shè)備的是（ ）。 A、掃描儀 B、打印機(jī) C、鼠標(biāo) D、硬盤(pán) E、數(shù)碼照相機(jī) 學(xué)生對(duì)多重選擇問(wèn)題的應(yīng)答概率分布可能有多種不同的情況： （1）（ 0， 1，0，0，0） （2）（ 0.5 ， 0.125 ，0.125，0.125，0.125 ） （3）（0.5，0.5

17、，0，0，0） （4）（0.2，0.2，0.2，0.2，0.2） 請(qǐng)問(wèn)：哪種情況的應(yīng)答信息熵最大？最小？能說(shuō)明什么？,問(wèn)題的信息熵表示了學(xué)習(xí)者應(yīng)答選擇的不確定程度，同時(shí)也能在一定程度上判斷該問(wèn)題的困難程度。,第三節(jié) 測(cè)試問(wèn)題的信息量,2020/9/13,27,二、等價(jià)預(yù)選項(xiàng)數(shù) 例2：現(xiàn)有三個(gè)多重選擇問(wèn)題，每一個(gè)問(wèn)題都有五個(gè)預(yù)選項(xiàng)，經(jīng)測(cè)試，學(xué)生對(duì)每一預(yù)選項(xiàng)應(yīng)答的頻度分布如下圖： （a） （b） （c）,圖（a）的概率分布是（0.5，0.5，0，0，0），它表示學(xué)生的應(yīng)答集中在兩個(gè)預(yù)選項(xiàng)上，且各為50%。雖有5個(gè)預(yù)選項(xiàng)，實(shí)際上等價(jià)于2個(gè)預(yù)選項(xiàng)。,第三節(jié) 測(cè)試問(wèn)題的信息量,2020/9/13,28,

18、等價(jià)預(yù)選項(xiàng)數(shù)是指將實(shí)測(cè)的應(yīng)答分布，換算成與之具有等熵的均勻分布的預(yù)選項(xiàng)數(shù)。 設(shè)某一多重選擇題的應(yīng)答分布實(shí)測(cè)值為(P1,Pc)，該分布具有的熵為H，與之等價(jià)的予選項(xiàng)數(shù)為k，根據(jù)等價(jià)予選項(xiàng)數(shù)的定義有：,第三節(jié) 測(cè)試問(wèn)題的信息量,2020/9/13,29,例3：現(xiàn)有一個(gè)多重選擇問(wèn)題，其五個(gè)預(yù)選項(xiàng)的應(yīng)答概率分布為（0.5,0.125,0.125,0.125,0.125）。請(qǐng)計(jì)算等價(jià)預(yù)選項(xiàng)數(shù)。,H=-0.5log20.5-40.125log20.125 =-0.5log22-1-40.125log22-3 =0.5+40.1253 =2（bit） K=2H=22=4 因此，該選擇題的等價(jià)預(yù)選項(xiàng)數(shù)為4。,

19、2020/9/13,30,例：設(shè)有4個(gè)選擇題，每一題目有5個(gè)預(yù)選答案，班級(jí)人數(shù)為40人，得分情況如下表：,0（bit） 1（bit） 2（bit） log25（bit）,1 2 4 5,100% 50% 50% 20%,問(wèn)題的信息熵表示了學(xué)習(xí)者應(yīng)答選擇的不確定程度，同時(shí)也能在一定程度上判斷該問(wèn)題的困難程度。,等價(jià)預(yù)選項(xiàng)數(shù)是指將實(shí)測(cè)的應(yīng)答分布，換算成與之具有等熵的均勻分布的預(yù)選項(xiàng)數(shù)。k=2H,2020/9/13,31,1,2,3,4,M=5:假設(shè)該題有5個(gè)預(yù)選項(xiàng) r:選擇題的正確選項(xiàng) pr:考生選擇正確答案的概率，即該題的答對(duì)率 k:等價(jià)預(yù)選項(xiàng)數(shù),學(xué)生的錯(cuò)誤選擇均勻分布在誘惑項(xiàng)上時(shí)，K最大,學(xué)生

20、的錯(cuò)誤選擇集中在某一在誘惑項(xiàng)上時(shí)，K最小,正確選項(xiàng)在假想題目的各選項(xiàng)中不占優(yōu)勢(shì),理想的題目反應(yīng)分布模式是：在保證一定答對(duì)率pr 的條件下( pr 值由具體測(cè)試目的而定) ，對(duì)誘惑項(xiàng)的選擇人數(shù)應(yīng)接近均勻分布，也就是說(shuō)， k 的取值應(yīng)接近kmax 曲線(xiàn)。,2020/9/13,32,三、對(duì)不確定程度的判斷 給定的問(wèn)題是：從外觀上看，12個(gè)小球完全相同，在這12各小球中，僅有一個(gè)小球的重量與其他小球不一樣。請(qǐng)使用天平，能否在三次以?xún)?nèi)找出這個(gè)重量不同的小球，并且指明該小球比其他小球是重還是輕。,分析與求解：比較12個(gè)小球，并判定輕、重，應(yīng)是122種比較當(dāng)中的一種。在比較過(guò)程中，開(kāi)始的不確定程度為log2

21、24=4.585（bit） 通過(guò)左邊輕、右邊輕或平衡的判斷每使用一次天平，不確定程度減少log23=1.585（bit）。由此，使用兩次天平，所得到的信息量為2log23=3.170（bit） 該信息量小于4.585(bit)。它表示，使用兩次天平，不能完全消除不確定程度。 然而,使用三次天平,所得到的信息量為3log23=4.755（bit） 該信息量大于4.585(bit)。它表示，如果使用三次天平，可完全消除不確定程度，即通過(guò)三次使用天平，可找出不同的小球，解決給定的問(wèn)題。,第三節(jié) 測(cè)試問(wèn)題的信息量,2020/9/13,33,第四節(jié) CAI課件中的信息熵,一、多重選擇問(wèn)題的信息熵 設(shè)學(xué)習(xí)

22、者對(duì)具有兩種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/2，1/2），H=1bit 設(shè)學(xué)習(xí)者對(duì)具有三種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/2，1/4，1/4），H=1.5bit 設(shè)學(xué)習(xí)者對(duì)具有四種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/2，1/4，1/8，1/8），H=1.75bit 設(shè)學(xué)習(xí)者對(duì)具有四種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/4，1/4，1/4，1/4），H=2bit 設(shè)學(xué)習(xí)者對(duì)具有五種預(yù)選答案問(wèn)題的應(yīng)答分布為： （2/5，1/5，1/5，1/10，1/10），H=2.12bit,均勻分布的H最的，但這是在相同答案數(shù)情況下的比較。 H的大小不僅與應(yīng)答分布有關(guān)，還與預(yù)選答案數(shù)有關(guān)。預(yù)選答案數(shù)越多，信息熵

23、越大。,2020/9/13,34,相對(duì)信息熵,為了有效的比較不同問(wèn)題的信息熵，避開(kāi)預(yù)選答案數(shù)對(duì)H的影響，我們應(yīng)對(duì)信息熵予以標(biāo)準(zhǔn)化。信息熵采用相對(duì)熵進(jìn)行標(biāo)準(zhǔn)化。 相對(duì)信息熵定義為：h=H/Hmax 設(shè)系統(tǒng)的狀態(tài)數(shù)（即預(yù)選答案數(shù)）為N，概率分布為（p1,p2pn） 相對(duì)信息熵為：h=-pilog2pi/log2N 相對(duì)信息熵使得熵的計(jì)算歸一化為標(biāo)準(zhǔn)的范圍01之間，它使得不同系統(tǒng)的信息熵易于比較。,2020/9/13,35,根據(jù)相對(duì)信息熵的定義，我們對(duì)上述不同問(wèn)題的相對(duì)信息熵進(jìn)行計(jì)算后，可以實(shí)現(xiàn)有效的比較。 設(shè)學(xué)習(xí)者對(duì)具有兩種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/2，1/2），H=1bit Hmax=1

24、bit h=H/Hmax=1/1=1 設(shè)學(xué)習(xí)者對(duì)具有三種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/2，1/4，1/4），H=1.5bit Hmax=1.58bit h=H/Hmax=1.5/1.58=0.95 設(shè)學(xué)習(xí)者對(duì)具有四種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/2，1/4，1/8，1/8），H=1.75bit Hmax=2bit h=H/Hmax=1.75/2=0.875 設(shè)學(xué)習(xí)者對(duì)具有四種預(yù)選答案問(wèn)題的應(yīng)答分布為： （1/4，1/4，1/4，1/4），H=2bit Hmax=2bit h=H/Hmax=2/2=1 設(shè)學(xué)習(xí)者對(duì)具有五種預(yù)選答案問(wèn)題的應(yīng)答分布為： （2/5，1/5，1/5，1/10，1/

25、10），H=2.12bit Hmax=2.32bit h=H/Hmax=2.12/2.32=0.91,2020/9/13,36,二、課件評(píng)價(jià),從問(wèn)題、課件所具有的學(xué)習(xí)功能來(lái)看，問(wèn)題的信息量越大，表示學(xué)習(xí)者應(yīng)答分布的分散性越大；問(wèn)題的信息量越小，表示學(xué)習(xí)者應(yīng)答分布越集中。 A問(wèn)題的應(yīng)答分布：（1/5，1/5，1/5，1/5，1/5） B問(wèn)題的應(yīng)答分布： （1，0，0，0，0） 可以使用信息熵來(lái)評(píng)價(jià)課件中所設(shè)置的問(wèn)題。從此促進(jìn)學(xué)習(xí)者認(rèn)真思維，產(chǎn)生較好的學(xué)習(xí)效果來(lái)看，信息熵高的問(wèn)題優(yōu)于信息熵低的問(wèn)題。,2020/9/13,37,課件中包含有許多問(wèn)題，以每個(gè)問(wèn)題累積信息熵的平均值，可用于課件的評(píng)價(jià)。

26、課件的平均相對(duì)熵可定義為 式中，hT為每個(gè)問(wèn)題相對(duì)信息熵的累加； N為課件中的問(wèn)題數(shù) hi為第i個(gè)問(wèn)題的相對(duì)信息熵 課件的平均相對(duì)信息熵為課件評(píng)價(jià)的量化給出了一種很好的量度標(biāo)準(zhǔn)和量度方法。,2020/9/13,38,三、學(xué)習(xí)狀態(tài)的描述,學(xué)習(xí)過(guò)程中學(xué)生學(xué)習(xí)狀態(tài)的描述和判斷應(yīng)根據(jù)學(xué)習(xí)過(guò)程中的各種應(yīng)答信息的收集、處理來(lái)實(shí)現(xiàn)。學(xué)習(xí)過(guò)程中，學(xué)生的應(yīng)答情況可以作為一個(gè)子系統(tǒng)來(lái)處理，利用該子系統(tǒng)信息熵的變化情況，可以有效的判斷學(xué)生學(xué)習(xí)狀態(tài)的變化。,2020/9/13,39,設(shè)用于某一單元學(xué)習(xí)的CAI課件包含N個(gè)問(wèn)題。根據(jù)CAI課件的安排，整個(gè)學(xué)習(xí)過(guò)程分為K個(gè)階段，用于第i階段的學(xué)習(xí)問(wèn)題共有M個(gè)。學(xué)生在第i個(gè)

27、階段的M個(gè)問(wèn)題的學(xué)習(xí)中，給出正確、錯(cuò)誤應(yīng)答的概率分別為pi和qi，則在第i階段回答問(wèn)題所具有的信息熵為 以同樣的方法可以求出學(xué)生在學(xué)習(xí)過(guò)程中每一階段的信息熵。將每一個(gè)階段的信息熵以圖形表示。,2020/9/13,40,信息熵表示了學(xué)習(xí)者學(xué)習(xí)的穩(wěn)定性。CAI課件的程序控制中，應(yīng)根據(jù)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，對(duì)課件中的學(xué)習(xí)過(guò)程進(jìn)行有效的控制。,不穩(wěn)定的學(xué)習(xí)狀態(tài),學(xué)生應(yīng)答的信息熵很快的變小，者表示學(xué)生的學(xué)習(xí)迅速地進(jìn)入穩(wěn)定狀態(tài),2020/9/13,41,第五節(jié) 教學(xué)過(guò)程的信息量分析,一、分類(lèi)系統(tǒng) 為了有效地表述教學(xué)過(guò)程、研究教學(xué)過(guò)程并給予有效的評(píng)價(jià)，我們應(yīng)對(duì)教學(xué)過(guò)程進(jìn)行客觀的、定量的記述。 教學(xué)過(guò)程是一種教師與學(xué)生間以語(yǔ)言進(jìn)行信息傳遞的過(guò)程，教學(xué)過(guò)程可以通過(guò)教師與學(xué)生語(yǔ)言序列的記錄來(lái)表述。當(dāng)我們對(duì)教學(xué)過(guò)程中，教師與學(xué)生的語(yǔ)言行為進(jìn)行適當(dāng)?shù)胤诸?lèi)，并以這種分類(lèi)，可對(duì)教學(xué)過(guò)程進(jìn)行客觀地表現(xiàn)。若這種分類(lèi)、表述著眼于分析的目的，我們稱(chēng)之為相互作用分析，若這種分類(lèi)，表述著眼于記述方法，我們稱(chēng)之為分類(lèi)分析。 教師、學(xué)生語(yǔ)言行為的分類(lèi)有多種不同的方法，至今已有一百多種，比較有影響的分類(lèi)系統(tǒng)有Flanders分類(lèi)系統(tǒng)和VICS（Verbal Interaction Category System）等。,2020/9/13,42,The Verbal In