多用戶信源編碼

研究多個(gè)相關(guān)信源的編碼的主要目的是壓縮信息率多用戶信源編碼01基本簡(jiǎn)介詳細(xì)解釋原理過程擴(kuò)展閱讀目錄030204基本信息多用戶信源編碼：是指研究多個(gè)相關(guān)信源的編碼的主要目的是壓縮信息率。若兩個(gè)離散信源各發(fā)出符號(hào)U1和U2,它們的信息熵分別是H(U1)和H(U2),條件熵（以U1為條件）是H(U2|U1)。當(dāng)他們之間相關(guān)時(shí)，有H(U2│U1)<H(U2)。單一信源編碼定理證明，要分別傳送這兩個(gè)信源符號(hào)時(shí)，所需的信息率R1和R2必須分別大于H(U1)和H(U2)。但在譯碼器已確知U1的情況下，再從U2中提取的信息應(yīng)只有H(U2│U1)而不是H(U2)，在這種情況下傳送U2的信息率R2只須大于H(U2│U1)即可?；竞?jiǎn)介基本簡(jiǎn)介當(dāng)U1和U2兩個(gè)信源不在同一地方,而U1的樣已為信宿所確知,但對(duì)U2編碼時(shí)卻不確知U1當(dāng)時(shí)的樣,那么只要信息率大于H(U2│U1),就能把U2編碼后傳送給信宿，而使后者能正確譯出U2。這就是具有邊信息的多用戶信源編碼定理。信宿已確知的U1就稱為對(duì)U2譯碼的邊信息。這可由容量大于H(U1)的信道傳送。原理過程原理過程要證明關(guān)于離散無記憶信源的這一定理，可以用典型序列的概念（見漸近等分性）。當(dāng)信源符號(hào)數(shù)目N足夠大時(shí),U1組成的典型序列有個(gè)，對(duì)應(yīng)每個(gè)U1序列,U2組成的典型序列有個(gè)，這些序列可排成A行B列的矩陣。對(duì)U2編碼時(shí)只須把這個(gè)序列在矩陣的列號(hào)編成碼，于是所需的信息率就是在譯碼時(shí)，因已知U1序列的樣，即已知在哪一行，就可根據(jù)列號(hào)從矩陣中找出被傳送的那一個(gè)U2序列。因此只要U2是典型序列，便可以無錯(cuò)誤地譯碼。已知N→∞時(shí)，非典型序列出現(xiàn)的概率接近于零，因此有邊信息時(shí)譯碼的差錯(cuò)概率也接近于零。再推廣一步,可研究圖中a的系統(tǒng)。兩個(gè)相關(guān)信源U1和U2分別由兩個(gè)編碼器編碼后用兩條信道傳送,在接收端同時(shí)收到兩條信道的輸出,為了正確譯出1和2,對(duì)兩條信道須傳送的信息率R1和R2的要求是R1≥H(U1|U2)R2≥H(U2|U1)R1+R2≥H(U1U2)詳細(xì)解釋詳細(xì)解釋這三個(gè)不等式所對(duì)應(yīng)的區(qū)域是圖中b所示的陰影部分。利用時(shí)分內(nèi)插編碼原理可以證明,只要(R1,R2)是在圖中的陰影部分內(nèi),且符號(hào)長(zhǎng)度N足夠長(zhǎng)，總存在一種編碼方法,使譯碼器能正確地譯出U1和U2。因此兩條信道的容量是允許調(diào)配的:R1大時(shí),R2可小一些，反之亦然。另一類多用戶信源問題是利用公用信道和私用信道問題。從兩個(gè)相關(guān)信源U1和U2引出另一隨機(jī)量W,使在W已知條件下U1和U2相互獨(dú)立。此時(shí)下列條件概率之間的關(guān)系成立P(U1,U2|W)=P1(U1|W)P2(U2|W)滿足上式的所有W組成一個(gè)集E。變更W，使U1和U2作為一組對(duì)W的互信息I(U1U2；W)為最小,此最小值稱為U1和U2之間的共信息I0，即當(dāng)利用公用信道傳送W時(shí),傳送U1和U2的私用信道的信息率R1和R2分別只須大于H(U1│W)和H(U2│W)。這種系統(tǒng)的特點(diǎn)是利用私用信道(R1)傳來的信息和公用信道傳來的W就能正確譯出U1，但很難譯出U2。因?yàn)樵赪確知條件下，U1和U2是相互獨(dú)立的,也就是譯出U1后對(duì)U2的解譯毫無幫助，這可用于某些保密系統(tǒng)中。另一方面，利用公用信道中的邊信息可降低對(duì)私用信道的要求。擴(kuò)展閱讀擴(kuò)展閱讀