第二章教育信息熵

第二章教育信息熵第1頁，課件共52頁，創(chuàng)作于2023年2月第一節(jié)熵的概述第二節(jié)相對熵與冗余熵第三節(jié)測試問題的信息量第四節(jié)CAI課件中的信息熵第五節(jié)教學過程的信息量分析主要內容第2頁，課件共52頁，創(chuàng)作于2023年2月第一節(jié)熵的概述一、信息量的表示

一般來說，在通信過程中，信源發(fā)出的消息對收信者來說總是存在著某種程度的不確定性，通過通信，收信者就可能消除這種不確定性。信息的多少與信源的不確定性有關。研究信息的度量可變成研究信源的不確定性的度量。第3頁，課件共52頁，創(chuàng)作于2023年2月例1：現有A、B、C、D、E五名學生，以他們作為候選人，需從中選出一名學生作為學生代表。情況一：設定每一名學生被選中的可能性一樣（A當選的概率是20%）；情況二：設定A當選的概率是90%；情況三：A一定會當選（A當選的概率是100%）。選拔的結果：A被選中。第一節(jié)熵的概述第4頁，課件共52頁，創(chuàng)作于2023年2月

信源輸出的消息可以看作是隨機事件（數學上對隨機事件發(fā)生可能性的大小以概率來度量），它的不確定度可根據其出現的概率來衡量：概率大，出現機會多，不確定程度小概率小，出現機會少，不確定程度大以I記消息包含的信息量，P記消息發(fā)生的概率，0≤P≤1,則有：用函數可以表示為：I=f（P）或I=g（1/P)信息量是概率的單調減函數。第一節(jié)熵的概述第5頁，課件共52頁，創(chuàng)作于2023年2月例2：某人到劇院找朋友，劇院有20行30列座位，朋友的位置有600種可能。消息A說：“他在第6行”，消息B說：“他在第9列”，合成消息C=AB說：他在第6行第9列“。由概率論知，P（AB）=P（A）×P（B）。但經驗告訴人們，消息C的信息量應該是消息A的信息量與消息B的信息量之和。一般地若A和B為兩個相互獨立的消息，C代表A與B同時發(fā)生的合成消息，C=AB，則：I（AB）=I（A）+I（B）當A、B不是獨立事件時，I（AB）<I（A）+I（B）信息量具有可加性。第一節(jié)熵的概述第6頁，課件共52頁，創(chuàng)作于2023年2月信息量是概率的單調減函數I=g（1/P)

，同時信息量又具有可加性I（AB）=I（A）+I（B）

。那么信息量可以用什么函數表示？對數函數是可供選用的合適的函數，

logak隨k值的增大而增大，且loga(k×l)=logak+logal第一節(jié)熵的概述第7頁，課件共52頁，創(chuàng)作于2023年2月

設某一事件產生的概率為p，則信息量可定義為：I=loga(1/P)=-logaP其中，a＞1a＝2時，單位為bit（比特），字位a＝e時，單位為nat（奈特），自然對數lna＝10時，單位為dit（迪特）。常用對數lg通常情況下，我們選擇以2為底數，此時信息量的單位為比特。信息量定義以概率p≠0發(fā)生的可能消息A所包含的信息量I（A）是概率p的倒數的對數：

I（A）=log21/p;或

I（A）=-log2p補充規(guī)定：若P=0，I=0信息量的單位為字位（bit）第一節(jié)熵的概述第8頁，課件共52頁，創(chuàng)作于2023年2月例3：投擲硬幣，消息A代表麥穗朝下，發(fā)生概率為P(A)=0.5，求其信息量。

例4：工會有一批水果發(fā)給會員，其中優(yōu)質品為40%，合格品為55%，次品為5%。發(fā)放規(guī)則為隨意抓號，按號取貨，不許挑揀。問；王東拿到次品這一消息的信息量是多少？

I(A)=－log20.5=－

log22-1=1bitI=-log20.05=4.32bit第一節(jié)熵的概述第9頁，課件共52頁，創(chuàng)作于2023年2月二、信息熵1、信息熵定義

設發(fā)送端的可能消息集合為：X=（X1,X2,……,Xn）,各可能消息分別按概率P1,P2,……，Pn發(fā)生，并滿足歸一性條件：P1+P2+……+Pn=1。按一定的概率從集合X中隨機選擇消息發(fā)送，形成一個消息序列。設序列中包含的消息總數為N，N非常大。在統(tǒng)計意義上，該序列中包含的消息Xi的數目為PiN個，所有Xi包含的信息量為-（PiN）log2Pi。將序列中所有消息包含的信息量之和除以N，得到序列中每個可能信息的平均信息量為：H=-（P1log2P1+P2log2P2+……+Pnlog2Pn)=-H是可能消息集合X的整體平均信息量，亦即單位消息的信息量。

可能消息集合X=（X1,X2,……,Xn）的整體平均信息量稱為信息熵，簡稱為熵。第一節(jié)熵的概述2第10頁，課件共52頁，創(chuàng)作于2023年2月例6：還是工會發(fā)水果的例子。計算其信息熵：消息集合X=（優(yōu)質品，合格品，次品），各消息可能出現的概率為：（0.4,0.55,0.05）其信息熵為：H=-（0.4log20.4+0.55log20.55+0.05log20.05）=1.22（bit）例5:設某一系統(tǒng)具有四種狀態(tài)（或四種事件）A1、A2、A3、A4，其產生的概率分別為p1＝1/2,p2=1/4,p3=1/8,p4=1/8，求該系統(tǒng)中任一狀態(tài)產生時所給予的平均信息量。第一節(jié)熵的概述22222第11頁，課件共52頁，創(chuàng)作于2023年2月三、熵的意義

熵的大小可用于表示概率系統(tǒng)的不確定程度。例8：設某一概率系統(tǒng)中，其概率分布是均勻的，它表示系統(tǒng)中每一事件產生的概率相等。對于這樣的系統(tǒng)，我們很難預測某一事件的產生，這種系統(tǒng)的不確定性最大。該系統(tǒng)的信息熵具有最大值（在相同事件數的情況下）。

例7：設某一概率系統(tǒng)中，每一事件產生的概率分布為：（1,0…,0）。它表示，該系統(tǒng)中某一事件產生的概率為1，其他事件產生的概率為0，這是一個確定系統(tǒng)，不確定度為0。計算該系統(tǒng)的信息熵，有H=0。第一節(jié)熵的概述第12頁，課件共52頁，創(chuàng)作于2023年2月

例9：設概率系統(tǒng)A、B的分布為：

pA=(0.5,0.5,0,0,0)

pB=(0.5,0.125,0.125,0.125,0.125)

請比較它們哪一個系統(tǒng)的不確定程度大。

分析：為了進行這種比較，我們計算它們的信息熵，并以計算出的信息熵，對它們的不確定程度進行定量的比較。通過A、B系統(tǒng)信息熵的計算，有

H(pA)=1(bit)H(pB)=2(bit)

由此可以判定系統(tǒng)B的不確定程度是系統(tǒng)A的兩倍。第一節(jié)熵的概述第13頁，課件共52頁，創(chuàng)作于2023年2月四、信息熵的基本性質1、單峰性（極值性）

設某一系統(tǒng)包含兩個事件A、B，其產生的概率分別為p和1-p。該系統(tǒng)的熵為

H=-[plog2p+(1-p)log2(1-p)]H-P圖具有單峰性的特點。

對于由n個事件組成的系統(tǒng)，其信息熵也同樣具有單峰性。當系統(tǒng)中每一事件產生的概率相同時，系統(tǒng)的熵最大。第一節(jié)熵的概述第14頁，課件共52頁，創(chuàng)作于2023年2月2、對稱性

某系統(tǒng)中n個事件的概率分布為:(p1,p2……,pn)

當我們對事件位置的順序進行任意的置換后，得到新的概率分布:(p1’,p2’……,pn’)

有以下關系成立：

H(p1,p2……,pn)=H(p1’,p2’……,pn’)

它表示，系統(tǒng)中，事件的順序雖不同，只要總的概率分布相同，系統(tǒng)的熵H是不變的，即系統(tǒng)的熵與事件的順序無關。

第一節(jié)熵的概述第15頁，課件共52頁，創(chuàng)作于2023年2月3、漸化性

設概率為pn(=q+r)的事件可分解為概率分別為q和r的兩個事件，則有

H(p1,p2…,pn-1,q,r)=H(p1,p2…,pn-1,q+r)+(q+r)H(q/(q+r),r/(q+r))

例10：H（p1,p2,p3,p4）=H(p1,p2,p3+p4)+(p3+p4)H(p3/(p3+p4),p4/(p3+p4))H(p1,p2,p3+p4)=H(p1,p2+p3+p4)+(p2+p3+p4)H(p2/(p2+p3+p4)+(p3+p4)/(p2+p3+p4))第一節(jié)熵的概述第16頁，課件共52頁，創(chuàng)作于2023年2月4、展開性

設某一系統(tǒng)的概率分布為：(p1,p2……,pn)

該系統(tǒng)的信息熵具有H(p1,p2……,pn)

=H(p1,p2……,pn,0)

這樣的展開性質。在此基礎上，進一步展開，有

H(p1,p2……,pn)

=H(p1,p2……,pn,0,…0)

第一節(jié)熵的概述第17頁，課件共52頁，創(chuàng)作于2023年2月5、確定性

概率系統(tǒng)中，任一事件產生的概率為1，則其他事件產生的概率為0，這是一種確定的系統(tǒng)。對于這樣的系統(tǒng)，有

H(1,0)=H(0,1)=H(1,0…,0)=H(0,0…,1…0)=0

從上述的討論可以看出，熵所描述的不是一個一個的事件，而是表現有關概率系統(tǒng)整體概率分布狀態(tài)的統(tǒng)計特征量。系統(tǒng)的熵是通過實測數據進行計算的，往往我們將它作為一種統(tǒng)計量來使用。

第一節(jié)熵的概述第18頁，課件共52頁，創(chuàng)作于2023年2月第二節(jié)相對熵與冗余度英語字母共有26個，加上空格，共計27個符號，若假定所有符號彼此獨立且等概率，那么這樣的英語系統(tǒng)具有最大熵，其熵值為：Hmax＝log227＝4.75bit實際上，所有字母不是等概的，空格、E、T、A等字母出現的概率大，而Q、Z等字母出現的概率小。第19頁，課件共52頁，創(chuàng)作于2023年2月根據上表，可以計算出熵H＝4.065bit。由于每種字符出現的概率不同，使得實際使用英語的熵H減少，即H<Hmax第二節(jié)相對熵與冗余度第20頁，課件共52頁，創(chuàng)作于2023年2月聯合國五種工作語言文字的信息熵比較：

法文

3.98bit

西班牙文

4.01bit

英文

4.03bit

俄文

4.35bit

中文

9.65bit第二節(jié)相對熵與冗余度第21頁，課件共52頁，創(chuàng)作于2023年2月一、相對信息熵一個實際系統(tǒng)輸出的熵H(X)與其最大可能的熵Hmax(X)的比值定義為相對熵，用h表示。h＝H/Hmax信息熵的計算與系統(tǒng)中事件數的多少有關，它不利于我們對不同系統(tǒng)的熵進行比較；相對信息熵的計算有利于我們對不同系統(tǒng)的信息熵進行比較。第二節(jié)相對熵與冗余度第22頁，課件共52頁，創(chuàng)作于2023年2月二、冗余度

冗余度或剩余度可定義為：r＝1-H/Hmax冗余度表示了由于每種字符出現的概率不同而使信息熵減少的程度。它表示了傳遞信息時，不必要的冗長部分的比例。

第二節(jié)相對熵與冗余度第23頁，課件共52頁，創(chuàng)作于2023年2月第二節(jié)相對熵與冗余度設以英語的N個字符書寫文章時，其平均信息量為H，總的信息量為NH。若以27個字符均勻出現的字符序列來表示相同的內容，相同的信息量，由于此時的平均信息量為Hmax，所需的字符數一定少于N，令其為Nmin，則為

NminHmax=NH

∴

Nmin=(H/Hmax)×N=hN

它表示，以具有Hmax的27種字符書寫文章，只需要Nmin=hN個字符。冗余度為：r=1-H/Hmax=(N-Nmin)/N

它表明，以效率更高的代碼來描述指定的內容，與實際使用的英語相比較，其字符總數可減少r%。第24頁，課件共52頁，創(chuàng)作于2023年2月假如有：我們大__都喜__使__計__機。

不用很多努力，就可以猜出完整的句子：

我們大家都喜歡使用計算機。

香農指出，能猜出來的字符不運載信息，而不能猜出來的字符運載信息。所隱藏的字符屬于冗余字符，不用那些字符也能運載該句子的全部信息。冗余度大小對信息閱讀和檢錯抗錯有重要的意義。比如：

我__大________使______機。

就很難猜出完整的句子，在信息傳遞的時候，也很難做檢錯和抗錯。因此，保留合理比例的冗余度是非常重要的。

信息熵方法的基本目的，是找出某種符號系統(tǒng)的信息量和冗余度之間的關系，以便能用最小的成本和消耗來實現最高效率的數據儲存、管理和傳遞。第25頁，課件共52頁，創(chuàng)作于2023年2月一、測試問題信息熵的計算多重選擇問題是各種測試中使用最為廣泛的一種測試問題。例1：下列設備中，只能作為輸出設備的是（）。A、掃描儀B、打印機C、鼠標D、硬盤E、數碼照相機學生對多重選擇問題的應答概率分布可能有多種不同的情況：（1）（0，1，0，0，0）（2）（0.5，0.125，0.125，0.125，0.125）（3）（0.5，0.5，0，0，0）（4）（0.2，0.2，0.2，0.2，0.2）請問：哪種情況的應答信息熵最大？最??？能說明什么？問題的信息熵表示了學習者應答選擇的不確定程度，同時也能在一定程度上判斷該問題的困難程度。第三節(jié)測試問題的信息熵第26頁，課件共52頁，創(chuàng)作于2023年2月二、等價預選項數例2：現有三個多重選擇問題，每一個問題都有五個預選項，經測試，學生對每一預選項應答的頻度分布如下圖：（a）（b）（c）圖（a）的概率分布是（1，0，0，0，0），它表示學生的應答集中在一個預選項上。雖有5個預選項，實際上等價于1個預選項。圖（b）的概率分布是（0.5，0.5，0，0，0），它表示學生的應答集中在兩個預選項上，且各為50%。雖有5個預選項，實際上等價于2個預選項。第三節(jié)測試問題的信息熵第27頁，課件共52頁，創(chuàng)作于2023年2月

等價預選項數是指將實測的應答分布，換算成與之具有等熵的均勻分布的預選項數。設某一多重選擇題的應答分布實測值為(P1,……,Pc)，該分布具有的熵為H，與之等價的予選項數為k，根據等價予選項數的定義有：

222第三節(jié)測試問題的信息熵第28頁，課件共52頁，創(chuàng)作于2023年2月例3：現有一個多重選擇問題，其五個預選項的應答概率分布為（0.5,0.125,0.125,0.125,0.125）。請計算等價預選項數。H=-0.5log20.5-4×0.125log20.125=-0.5log22-1-4×0.125log22-3=0.5+4×0.125×3=2（bit）K=2H=22=4因此，該選擇題的等價預選項數為4。第三節(jié)測試問題的信息熵第29頁，課件共52頁，創(chuàng)作于2023年2月三、對不確定程度的判斷給定的問題是：從外觀上看，12個小球完全相同，在這12個小球中，僅有一個小球的重量與其他小球不一樣。請使用無法碼天平，能否在三次以內找出這個重量不同的小球，并且指明該小球比其他小球是重還是輕。分析與求解：比較12個小球，并判定輕、重，應是12×2種比較當中的一種。在比較過程中，開始的不確定程度為log224=4.585（bit）

通過左邊輕、右邊輕或平衡的判斷每使用一次天平，不確定程度減少log23=1.585（bit）。由此，使用兩次天平，所得到的信息量為2×log23=3.170（bit）

該信息量小于4.585(bit)。它表示，使用兩次天平，不能完全消除不確定程度。然而,使用三次天平,所得到的信息量為3×log23=4.755（bit）該信息量大于4.585(bit)。它表示，如果使用三次天平，可完全消除不確定程度，即通過三次使用天平，可找出不同的小球，解決給定的問題。第三節(jié)測試問題的信息熵第30頁，課件共52頁，創(chuàng)作于2023年2月例：設有4個選擇題，每一題目有5個預選答案，班級人數為40人，回答情況如下表：第1題第2題第3題第4題A40人（答對）05人8人B005人8人（答對）C0020人（答對）8人D020人（答對）5人8人E020人5人8人信息熵H等價預選項k答對率Pr0（bit）1（bit）2（bit）log25（bit）1245100%50%50%20%問題的信息熵表示了學習者應答選擇的不確定程度，同時也能在一定程度上判斷該問題的困難程度。等價預選項數是指將實測的應答分布，換算成與之具有等熵的均勻分布的預選項數。k=2H第三節(jié)測試問題的信息熵第31頁，課件共52頁，創(chuàng)作于2023年2月1234M=5:假設該題有5個預選項r:選擇題的正確選項pr:考生選擇正確答案的概率，即該題的答對率k:等價預選項數學生的錯誤選擇均勻分布在誘惑項上時，K最大學生的錯誤選擇集中在某一在誘惑項上時，K最小正確選項在假想題目的各選項中不占優(yōu)勢理想的題目反應分布模式是：在保證一定答對率pr的條件下(pr值由具體測試目的而定)，對誘惑項的選擇人數應接近均勻分布，也就是說，k的取值應接近kmax曲線。第32頁，課件共52頁，創(chuàng)作于2023年2月第四節(jié)CAI課件中的信息熵一、多重選擇問題的信息熵設學習者對具有兩種預選答案問題的應答分布為：（1/2，1/2），H=1bit設學習者對具有三種預選答案問題的應答分布為：（1/2，1/4，1/4），H=1.5bit設學習者對具有四種預選答案問題的應答分布為：（1/2，1/4，1/8，1/8），H=1.75bit設學習者對具有四種預選答案問題的應答分布為：（1/4，1/4，1/4，1/4），H=2bit設學習者對具有五種預選答案問題的應答分布為：（2/5，1/5，1/5，1/10，1/10），H=2.12bit均勻分布的H最的，但這是在相同預選答案數情況下的比較。H的大小不僅與應答分布有關，還與預選答案數有關。預選答案數越多，信息熵越大。第33頁，課件共52頁，創(chuàng)作于2023年2月相對信息熵為了有效的比較不同問題的信息熵，避開預選答案數對H的影響，我們應對信息熵予以標準化。信息熵采用相對熵進行標準化。

相對信息熵定義為：h=H/Hmax設系統(tǒng)的狀態(tài)數（即預選答案數）為N，概率分布為（p1,p2……pn）

相對信息熵為：h=-∑pilog2pi/log2N相對信息熵使得熵的計算歸一化為標準的范圍0～1之間，它使得不同系統(tǒng)的信息熵易于比較。第34頁，課件共52頁，創(chuàng)作于2023年2月根據相對信息熵的定義，我們對上述不同問題的相對信息熵進行計算后，可以實現有效的比較。

設學習者對具有兩種預選答案問題的應答分布為：（1/2，1/2），H=1bitHmax=1bith=H/Hmax=1/1=1設學習者對具有三種預選答案問題的應答分布為：（1/2，1/4，1/4），H=1.5bitHmax=1.58bith=H/Hmax=1.5/1.58=0.95設學習者對具有四種預選答案問題的應答分布為：（1/2，1/4，1/8，1/8），H=1.75bitHmax=2bith=H/Hmax=1.75/2=0.875設學習者對具有四種預選答案問題的應答分布為：（1/4，1/4，1/4，1/4），H=2bitHmax=2bith=H/Hmax=2/2=1設學習者對具有五種預選答案問題的應答分布為：（2/5，1/5，1/5，1/10，1/10），H=2.12bitHmax=2.32bith=H/Hmax=2.12/2.32=0.91第35頁，課件共52頁，創(chuàng)作于2023年2月二、課件評價從問題、課件所具有的學習功能來看，問題的信息量越大，表示學習者應答分布的分散性越大；問題的信息量越小，表示學習者應答分布越集中。

A問題的應答分布：（1/5，1/5，1/5，1/5，1/5）B問題的應答分布：（1，0，0，0，0）可以使用信息熵來評價課件中所設置的問題。從此促進學習者認真思維，產生較好的學習效果來看，信息熵高的問題優(yōu)于信息熵低的問題。第36頁，課件共52頁，創(chuàng)作于2023年2月

課件中包含有許多問題，以每個問題累積信息熵的平均值，可用于課件的評價。課件的平均相對熵可定義為

式中，hT為每個問題相對信息熵的累加；N為課件中的問題數hi為第i個問題的相對信息熵課件的平均相對信息熵為課件評價的量化給出了一種很好的量度標準和量度方法。第37頁，課件共52頁，創(chuàng)作于2023年2月三、學習狀態(tài)的描述學習過程中學生學習狀態(tài)的描述和判斷應根據學習過程中的各種應答信息的收集、處理來實現。學習過程中，學生的應答情況可以作為一個子系統(tǒng)來處理，利用該子系統(tǒng)信息熵的變化情況，可以有效的判斷學生學習狀態(tài)的變化。第38頁，課件共52頁，創(chuàng)作于2023年2月

設用于某一單元學習的CAI課件包含N個問題。根據CAI課件的安排，整個學習過程分為K個階段，用于第i階段的學習問題共有M個。學生在第i個階段的M個問題的學習中，給出正確、錯誤應答的概率分別為pi和qi，則在第i階段回答問題所具有的信息熵為以同樣的方法可以求出學生在學習過程中每一階段的信息熵。將每一個階段的信息熵以圖形表示。第39頁，課件共52頁，創(chuàng)作于2023年2月信息熵表示了學習者學習的穩(wěn)定性。CAI課件的程序控制中，應根據學習者的學習狀態(tài)，對課件中的學習過程進行有效的控制。不穩(wěn)定的學習狀態(tài)學生應答的信息熵很快的變小，表示學生的學習迅速地進入穩(wěn)定狀態(tài)第40頁，課件共52頁，創(chuàng)作于2023年2月第五節(jié)教學過程的信息熵分析一、分類系統(tǒng)

為了有效地表述教學過程、研究教學過程并給予有效的評價，我們應對教學過程進行客觀的、定量的記述。

教學過程是一種教師與學生間以語言進行信息傳遞的過程，教學過程可以通過教師與學生語言序列的記錄來表述。當我們對教學過程中，教師與學生的語言行為進行適當地分類，并以這種分類，可對教學過程進行客觀地表現。若這種分類、表述著眼于分析的目的，我們稱之為相互作用分析，若這種分類，表述著眼于記述方法，我們稱之為分類分析。

教師、學生語言行為的分類有多種不同的方法，至今已有一百多種，比較有影響的分類系統(tǒng)有Flanders分類系統(tǒng)和VICS（VerbalInteractionCategorySystem）等。

第41頁，課件共52頁，創(chuàng)作于2023年2月TheVerbalInteractionCategorySystem(VICS)

課堂語言行為互動分類系統(tǒng)N1Presentinginformation（呈現信息）N2Givinginstructions（給出指示）N3Askingaquestion（提出問題）N4Respondingbyacceptinganideafromastudent（教師接受來自學生的想法）N5Respondingbyrejectinganideafromastudent（教師拒絕來自學生的想法）N6Learnerinitiatestalkwithteacher（學生主動向老師發(fā)起談話）N7Learnerinitiatestalkwithanotherlearner（學生主動向另外的學生發(fā)起談話）N8Learnerrespondstoquestionorcommentfromteacher（學生回答教師的提問或對教師的評價產生反映）N9Learnerrespondstoquestionorcommentfromanotherlearner（學生回答來自另外學生的問題或對另外學生的評價作出反映）N10silence（沉默：教室里沒人說話）N11confusion（混亂：很多人同時都在說話，分不清楚到底是誰在說）第42頁，課件共52頁，創(chuàng)作于2023年2月對VICS作適當修改的分類系統(tǒng)類別內容類別內容1教師的提示2教師的指示3教師的狹義提問4教師的廣義提問5教師的接受6教師的拒否7學生向教師的應答8學生向其他學生的反應9學生向教師的發(fā)言10學生向其他學生的發(fā)言第43頁，課件共52頁，創(chuàng)作于2023年2月二、教學過程信息熵的計算第一步，按照一定的時間間隔，根據分類系統(tǒng)，對該時刻的行為予以記錄，記錄下整個教學過程行為。第二步，根據信息熵的定義及公式計算出教學過程的信息熵。第44頁，課件共52頁，創(chuàng)作于2023年2月類別頻數（次數）12421639415516637168398