第 章 情報源符号化の限界

第 章 情報源符号化の限界
情報源符号化の目的は,情報源から出力される系列をできるだけ短い符号
語列で表現することである.その鍵となるのが,前章で述べた情報源のエン
トロピーである.先に結論を言うと,データの損失を伴うことなく情報源を
符号化する際,情報源の1記号あたりの平均符号長は情報源のエントロピー
より小さくすることができない.すなわち,たとえどれほど巧みなデータ圧
縮法を用いたとしても,情報源が本質的に持っているあいまいさの量を超え
て際限なく小さく圧縮することはできないということを意味している.ただ
し,その限界にいくらでも近づけられる符号化が行えることも同時に分かっ
ている.
本章では,情報源符号化に関する基礎的な考え方について紹介し,また,
情報源符号化の限界について述べる.なお,効率の良い情報源符号化の具体
的な方策については次章で紹介する.
情報源符号化の基本
いま,ある情報源
が与えられたとする.この情報源
を, 個の元を
上の系列に変換したい.置き換え
先で使われる記号の集合 を符号アルファベット と呼
び,このような記号の置き換えを( 元)符号化 と呼ぶ.各情報源
記号に対応する置き換え後の系列を符号語 と呼び,その長さを
符号語長 と呼ぶ.また,実際の置き換え規則の集合(あ
るいは符号語の集合)を符号 と呼ぶ.特に 個の元からなる符号ア
ルファベット上の符号は 元符号と呼ばれる.符号化された系列を符号語
列 と呼び,符号語列から元の情報源系列を復元するこ
持つアルファベット
第章
情報源符号化の限界
とを復号化 (あるいは単に復号)と呼ぶ.情報源符号化 とは,特に情報源から出力される系列に対し,その符号語列がなる
べく短くなるように符号化をすることをいう.
まずは,簡単な例から始めよう.
【例 】情報源記号 源
を出力する記憶のない定常4元情報
を考える.いま,この から出力される記号の発生確率が表 の通
りであったとしよう.情報源
から出力される系列を短く符号化したい.当
然,符号化された系列から元の系列に正確に復号できなければならない.
表
符号
(等長符号)
! " " # 情報源記号が4つであるので,それぞれ長さ " の2元系列を割り当ててや
の3列目がその割り当て方を表している.
ここで,各記号に割り当てられた の列がそれぞれ符号語であり,その割
り当て方全体を指して符号と呼ぶ.この場合, の符号語は で,割り当て
方全体を符号 と呼ぶのである.例えば,符号化後の系列が で
ある場合,元の系列は前から順に を2個ずつ復元することで と
れば問題なく符号化できる.表
正しく復号できる.
一般的に,
元情報源に対しては,各情報源記号に長さ の符号
語を割り当てることで符号化できる.このように,符号語がすべて同じ長さ
である符号は固定長符号 $%
さて,例
あるいは等長符号と呼ばれる.
のような等長符号よりも効率の良い符号はあるだろうか.こ
こで,
「効率の良い」というのは,より短い2元系列に符号化できるという意
味である.つまり,与えられた情報源に対して効率の良い符号を考えたい.
しかし,どのような情報源系列が入力されるかは分からないので,出力され
情報源符号化の基本
る記号毎の平均的な符号語の長さを用いて比べることになる.この1記号あ
たりの平均的な符号語長を平均符号長 &
と呼ぶ.符
号 における平均符号長が " となることは自明であろう.では,平均符号
長を " より短くすることは可能だろうか.もしも情報源の確率分布があらか
じめ分かっているのであれば,頻度の高い情報源記号に短い符号語を割り当
てることで平均符号長を短くすることができる.次の例を見てほしい.
"】例 と同じ情報源 を,今度は表 " の符号 " で符号化す
る.このとき,符号 " の平均符号長 は,各情報源記号の発生確率が
" " であるので,
【例
' " " ' " ( ' ' ' ) ' "
*
となる.つまり,情報源記号1つあたり平均 * 個の で表現できる.
表
符号 (可変長符号)
"
! " " # この符号 " は符号語長が情報源記号ごとに異なっている.このような符
号を可変長符号 &
%
あるいは非等長符号と呼ぶ.先に述
べたように,情報源の確率分布があらかじめ分かっていれば,このような効
率よい符号化を行うことができる .
符号 " は,確率が高い順に が " ( 個並んで,最後に がつくとい
う符号語割り当てになっている.それゆえ,符号 " で符号化された場合で
½ ただし,情報源のモデル化が不正確であった場合には,思ったほど改善されなかったり逆
に悪くなったりすることもある.
第章
情報源符号化の限界
も系列は正しく復号できる.例えば,符号語列 を復号すると
となる.つまり, を符号語の区切りとして用いていると考えると
分かりやすい.このように,ある記号を区切りとして用いる符号は,コンマ
符号 ++
と呼ばれる.
効率よい符号の条件
平均符号長が短いという意味で,符号の効率を測ると述べた.この観点か
ら言えば,例えば表
( の符号 ( や の平均符号語長はそれぞれ
' " " ' " " ' ' " " ' " " ' " となるので, " よりも良いと言える.しかし,これらの符号は問題点がある.
表
!
#
適切でない符号 "
"
平均符号長
(
まず,符号 ( についてだが,記号 と の符号語が全く同じであるこ
とに注意しよう.そのため,符号語列中の を復号する際,はたして なの
か なのか判別がつかない.同じ符号語割り当てが存在するような符号は,
特異符号 と呼ばれる.
一方,符号 についてだが,符号語割り当ては全て異なっているので特
異符号ではない.しかし,符号語列 を復号すると, とも取れる
効率よい符号の条件
し とも取れる.どちらが元の系列だったかは,与えられた符号語列か
らは判別することができない.したがって,この符号 でも,元の系列を
正しく復号することができない.このように,元の系列に一意に復号できな
い符号は,一意復号不可能な符号 %,
と呼ばれ
る.逆に,一意に復号できる符号は一意復号可能な符号 , と呼ばれる.では,次の例の符号はどうだろうか.
【例 (】例
と同じ情報源 を,今度は表 " の符号で符号化する.こ
のとき,符号 と ) の平均符号長 はどちらも
' " " ' " ( ' ( -
となる.符号語列 に対して,符号 は と一意に復号
できる.また,符号 ) も同じ系列に対して, と一意に復号できる.
表
一意復号可能な符号 !
#
"
"
平均符号長
-
)
-
( の符号 ) は,どちらも同じ平均符号長を達成する一意復号
可能な符号である.しかし,符号 の復号は,符号 ) に比べて手間がかか
ることに気が付いただろうか.符号 は,符号語列 に対して,
最初の記号 を見ただけでは,それが なのか,あるいは もしくは の
符号語の先頭の一部なのか判断がつかない.系列の先頭3文字 まで見て,
ようやく最初 が でしかありえないことが分かる.このように,符号語列
上の例
の先頭から順番に復号する際,元の記号に対応する符号語の位置より後続の
記号を見なければ一意に確定できない符号を非瞬時符号
%
第章
情報源符号化の限界
という.一方,符号 ) のように,前から順番に符号語列を参照すれ
ば,各記号の符号語の境目で復号すべき情報源記号が確定できる符号を瞬時
符号 という.非瞬時符号は復号処理が複雑になりがち
なため,工学的な観点からは望ましくない符号であると言える.
それでは,符号が瞬時符号であるための条件はどのようなものであろうか.
先の例の,非瞬時符号である符号 をもう一度見てみよう.符号 では,
の符号語は の符号語の先頭1文字と等しい.同様に, の符号語は
の符号語の先頭2文字と等しい.このように,ある符号語 が別の符号語
の先頭部分と一致するとき, は の語頭(あるいは接頭辞 $)であ
るという.この場合, は と の語頭であり, は の語頭である.
ある符号語 が別の符号語 の語頭である場合, に対応する系列があっ
た時に,それが に対応する記号なのか, の符号語の先頭部分なのか判別
できない.よって,そのような符号語の組が存在する符号は非瞬時符号とな
る.したがって,瞬時符号であるためには,まず,どの符号語も他の符号語
の語頭であってはならない.これを語頭条件 $
という.逆
に,語頭条件を満たすならば瞬時符号であることはすぐに分かる.
符号の木
符号の性質を議論する際,図
のような木構造(あるいは単に木 )
を用いると,符号の全体像を知るのに便利である.木構造の形式的な定義は
グラフ理論の教科書を参照してもらいたい.
簡単に説明すると,木とは節点 と枝 の集合からなるグラ
フの一種である.節点は図中では点で表され,枝は節点と節点を結ぶ直線で
描かれる.ある節点からの別の節点まで,枝をたどって到達できる場合には,
それらは連結であるという.ある節点から別の連結な節点までの連続した枝
の並びを路 と呼ぶ.木では,ある節点から別の節点までの路はただ
一つだけ存在する.複数の路が存在する場合は,そのような構造を木とは呼
ばない.
節点に上下関係をつけて(すなわち枝に方向をつけて),一方を親 とし他方を子 とすることがある.ある一つの節点を除外して,その
符号の木
図
符号の木の例
のような
根付き木 になる.つまり,親を持たない節点(根 と呼
他すべての節点がただ一つの親を持つことを条件付けると,図
ぶ)から分岐して子へつながり,さらに分岐してやがて根とは反対側の端点
にたどり着く.この自身の子を持たない,根とは反対側の節点を葉 . と
呼ぶ.また,葉以外の節点を内部節点 と呼ぶ.各節点につい
て,根からの路を考えたとき,その路上にある枝の数を節点の深さと呼び,
深さが の節点を 次の深さにあるという.例えば,根は 次であり,根の
子は 次の深さにある.
では,根から と でラベル付けされた2本の枝で分岐して二つの
子に接続されている.その先でさらに で分岐している.このとき,各節
図
点は,根からその節点までの路上の枝につけられたラベルをつなげてできる
の系列に1対1に対応している.よって,任意の符号語は木のどこかの
節点に対応付けすることができ,それらの位置関係を簡単に把握できるよう
になる.このような木を特に符号の木(あるいは単に符号木 呼ぶ.符号木を描く場合,図
)と
では根が下に葉が上になるように配置され
ているが,自由に回転して描いても構わない.どのように描いても,根と葉
の方向さえ分かれば符号木としては十全である.
瞬時符号は,各情報源記号に対応する符号語が必ず符号木の葉に対応付け
られている.そのようにすれば,先に述べた語頭条件を満たすことが容易に
分かるだろう.逆に言えば,非瞬時符号の場合には,葉以外の節点(内部節
第章
情報源符号化の限界
図中の中抜き丸は,符号語が割り当たっている節点を表す.
図
符号
に対する符号木
点)にも符号語が割り当てられている.図
" に,符号 " ) の符
号木をそれぞれ示す.符号 " ) の符号木は,葉のみに符号語が割り
当たっており,瞬時符号であることが分かる.一方,符号 は,内部節点
にも符号語が割り当たっており,非瞬時符号であることが分かる.
節
クラフトの不等式
と " の例において,符号 ) は瞬時符号で,なおかつ平均符号長
が他の符号より短かった.それでは,この符号よりももっと効率の良い符号
を作ることはできるだろうか.符号 ) の符号語長は,それぞれ " ( ( で
あったが,例えば,符号語長が " " ( となるような符号語の割り当て方が
できるだろうか.この疑問に対する答えを示す,次の重要な定理が知られて
いる.
クラフトの不等式
定理
長さが となる 個の符号語を持つ 元符号
で,瞬時符号となるものが存在するための必要十分条件は
'
½
¾
'' である.この式 をクラフトの不等式( )と呼ぶ.
証明 まずは,必要条件(瞬時符号が存在するならば式 を満たす)を
証明しよう.長さが となる 個の符号語を持つ 元符号の符
号木を考える.そのような符号木が存在するとすると,その符号木には葉に
のみ符号語が対応付けられている.今,符号長は であ
ると仮定しても一般性を失わない.木の全ての内部節点において 個の分岐
があり,葉がすべて 次の深さにあるとすれば,可能な符号語の種類数は
個であることに注意しよう. 次の深さにある節点に符号語が割り当て
個だけ可能な符号語の種類数が
減少することになる.長さが の 個の符号語が符号木
の節点に割り当てられるということは, 次の節点数はその分減少し,
られているということは,そこから だけが残ることになる.最後に 次の節点は少なくとも1つ存在している
ので,
が成り立つ.この式を両辺 で割って,和記号の部分を移行すると,
'
第章
情報源符号化の限界
が成り立つことが証明できた.
次に,十分条件(式 を満たすならば瞬時符号が存在する)を証明する.
となり,式
そのためには,式を満たすような長さの符号語で実際に瞬時符号が構成でき
ることを示せばよい.符号が瞬時符号であるためには,そのような符号木は
葉のみに符号語が割り当てられていることを思い出そう.
とおく.また, のうち,長さ に等し
いものの数を とする.ここで, であり, であ
る. のような長さを持つ瞬時符号が存在するためには,最大
次数が である符号木で,その葉にのみ符号語が割り当てられなければな
らない.式 を満たすならば,このような符号木を作ることができるとい
簡便のため,
うことを示そう.
いま,式
を満たすとすると,
である.左辺の和の中身を長さが同じ項でまとめると,
となる.両辺 を掛けると,
なので,
和の中身から, となる項のみ抜き出して残りを右辺にまとめると,
' となり, に関する不等式が得られる.
クラフトの不等式
いま としているので,当然 である.したがって,
両辺 で割ると,
となる.上と同様に,和の中身から となる項のみ抜き出して残り
を右辺にまとめると,
となり,
' に関する不等式が得られる.繰り返すと,一般に
が成り立ち,最終的には
' が,順に成り立つことが分かる.
さて次に,瞬時符号となる符号木を構築することを考える.根から 本の
枝を出して 個の 次の節点を作り,その内の 個に符号語用の葉を割り
当てよう.実際,不等式 よりこれは可能である.次に,残った の節点からそれぞれ 本の枝を伸ばし " 次の節点を 個作る.その
内の 個に符号語用の葉を割り当てよう.これも不等式 第章
情報源符号化の限界
より可能である.以下同様に, 次の節点に 個の葉を割り当てた時点で
' ' ' 個の節点が残っており,そのそれぞれの節
点から 本の枝を伸ばすと ' ' ' 個の ' 次
の節点ができる.その内の 個に符号語用の葉を割り当てることが不等
式から可能であることが分かる.この手続きを続ければ,最後には 次の
節点に 個の符号語用の葉を割り当てることが可能である.符号語用の葉
が割り当てられていない 次の葉を削除する.その結果, 次の節点
で葉となった節点を削除する.これを繰り返し 次の節点まで続ける.この
ようにすれば,葉のみに符号語が割り当てられた符号の木の作成することが
可能である.したがって,題意が成り立つことが証明された.
定理
¾
からは,瞬時符号であるならば式 を満たすことを保証するが,
不等式を満たすからと言って瞬時符号であるとは限らない.このクラフトの
不等式は,それが瞬時符号であるならば,情報源記号の確率分布がどのよう
なものでも無関係に成り立つ.すなわち,瞬時符号の符号語長に関する限界
を示していると考えることができる.
実は,一意復号可能な符号が存在するか否かについての必要十分条件も,
を満たすことであることが証明されている.その結果はマクミラン
(//
)によって導かれたので,式 はマクミランの不等式と呼ばれ
式
ることもある.
例題
4元情報源の各記号に対して,符号語長が " " ( となるよ
うな2元瞬時符号が作れるか否か答えよ.
解答 この符号語長の集合に対し,クラフトの不等式の左辺を計算すると,
"
'"
'"
'"
' " ' " ' " " となり,クラフトの不等式を満たさない.したがって,そのような符号語長
を持つ瞬時符号は存在しないことが分かる.同時に,たとえ条件を緩めて一
意復号可能な符号まで考えたとしても,そのような符号語長を持つ一意復号
可能な符号も存在しないことが分かる.
¾
平均符号長の限界
【練習問題 】5元情報源の各記号に対して,符号語長がそれぞれ " " " ( (
となるような2元瞬時符号が存在するか否かを答えよ.
平均符号長の限界
瞬時符号(および一意復号可能な符号化)は,式
を満たす.それでは,
その条件の下で,どこまで平均符号長を下げることができるのだろうか.
情報源アルファベットが で,定常分布が " )で与えられる定常情報源 を考える.これを一意復号可
能な 元符号で符号化を行うとする.このとき,その平均符号長 につい
(
て,次の定理が成り立つ.
定理
定常分布が ( " )である情報源
に対して,各情報源記号を一意復号可能な 元符号で符号化した場合,
その平均符号長 は
を満たす.また,平均符号長 が,
"
'
となる 元瞬時符号を作ることができる.ここで,
(
は
の1次
エントロピーである.
証明 まず,式 " が成り立つことを証明しよう.いま,一意復号可能
とする.ここで, ( " )とおく.明らかに, であり, はクラフト
の不等式を満たすので, は,シャノンの補助定理の前提条件
を満たす. であることに注意すると,平均符号
な符号の各符号語の長さを 第章
情報源符号化の限界
長は
を満たすことが分かる.上式の3段目の不等式はシャノンの補助定理による.
等号は,
( " )が成立する場合のみである.以上から,
定理の前半は証明された.
次に定理の後半を証明する.
' を満たすように整数 を定める.このような は唯一に存在する.
なので,
を満たすような はクラフトの不等式
を満たす.したがって,符号語長が となる瞬時符号が存在す
る.そこで,次にその平均符号長について考える.式 の各辺に を掛け
て, " について和をとると,
となる.ゆえに,式
'
平均符号長の限界
が直ちに導ける.以上より,式
を満たすような を選べば,
そのような符号語長を持つ瞬時符号が構成できることが証明できた.
¾
" の意味するところは,どんなに工夫しても,各情報源記号に 元
½ 符号語を割り当てる符号化では,平均符号長 を までしか改善できな
¾
いということを示している.逆にいうと,平均符号長 をこの限界を超えて
定理
小さくした場合,そのような符号化は一意復号可能ではありえない.特に,
情報源記号毎に2元符号化をする場合には,1次エントロピー が平
均符号長の下限であることを示している.
" は, ½ ¾ ' よりも平均符号長が短い瞬時符号を必ず作
ることができるということも同時に示している.実際にはこの ' の差分は
また,定理
かなり大きい余裕を持った幅であり,工夫次第では,証明の方法で構成する
符号よりもより限界に近づけられることが多い.ただし,情報源の確率分布
によっては,どうしても平均符号長とその下限との間にいくらかの差が生じ
てしまう.これは,1個の情報源記号に整数長の符号語を割り当てているた
めに生じる差である.
例題
例 の情報源
について,それを2元符号化した際の平
均符号長の下限を求めよ.また,定理 の証明の通りに符号を構築
し,その平均符号長が定理 を満たすかどうか確かめよ.
解答 情報源
の1次エントロピー を求めると,
" " " " )*
となる.これが情報源
を符号化する場合の平均符号長の下限となる.表 の符号 ) の平均符号長 は - なので,確かに を満たし
ていることが分かる.
" の証明の通りに を求める.まず,情報源記号
に対応する符号語の符号長を とすると,
次に,定理
' "
第章
情報源符号化の限界
となる.同様に, に対応する符号語長を と
して求めると,それぞれ, " ( となることが分かる.よっ
て,このときの平均符号長 は,
なので,
' " " ' " ( ' *
となる.よって, ' を満たしていることが確認できた.
【練習問題 "】情報源アルファベットが 憶のない定常情報源
" ) を考える.情報源
¾
の離散 元の記
の各記号の発生確率がそれぞれ
であるとする.このとき,この情報源
を定理
に符号化した場合の平均符号長を求めよ.また,この情報源
" の通り
に対する情報
源符号の平均符号長の下限を求めよ.
定理
" より,情報源記号ごとに符号語を割り当てる方法では1次エント
ロピーより平均符号長を短くすることはできなかった.では,いくつかの記
号をまとめて符号語を割り当てる方法ではどうだろうか.
情報源
の 次拡大情報源
に対して定理
を満たす平均符号長
'
の1記号あたりの平均符号長である.し
上の1記号あたりの平均符号長を とすると,
である.
さて,式
の2元瞬時符号を作ることができることが分かる.
ここで,
は, 次拡大情報源
たがって,元の
" を適用すると,
を で割って変形すると,
'
'
平均符号長の限界
が得られる.よって,元の系列を 個ごとに符号化する場合,1記号あたり
の平均符号長 の下限は であり,また, ' を満たす2
元瞬時符号が存在することが分かった.さらに,上式において の極
限を考えると,次の定理が得られる.
定理
情報源
は,任意の一意復号可能な 元符号で符号化した
場合,その平均符号長 は
)
を満たす.また,任意の正数 について,平均符号長 が,
'
-
となる 元瞬時符号を作ることができる.
特に2元符号に符号化する場合を考えると,定理
に対して,
( より,任意の正数
' を満たすような2元瞬時符号が存在することが言える.すなわち,定理
(
) は,どのような符号化を用いても,その平均符号長は情報源のエン
トロピーよりも小さくできないことを意味している.また同時に,式 - は,
の式
情報源のエントロピーにいくらでも近い瞬時符号が存在することを意味して
いる.記憶のない定常情報源では となるので,1次エントロ
ピーが平均符号長の下限と一致する.だが,記憶のある定常情報源では,証
明は省くが となることが知られている.したがって,記憶の
ある情報源では拡大情報源を考えることで平均符号長の下限を下げることが
できる.
( は,情報源符号化の限界が情報源のエントロピーで
与えられることを明確に示している.よって,定理 ( は,情報源符号化定
理 % + とも呼ばれている.
このように,定理
第章
情報源符号化の限界
章末問題
次の ∼* の主張はそれぞれ正しいか.正しい場合は○,間違って
いる場合は×をつけ,間違っている場合にはその理由を説明せよ.
符号化において,各情報源記号に対応する置き換え後の系列を符
号と呼ぶ.
" 符号化において,情報源記号の1記号あたりの符号語長の長さを
平均符号長と呼ぶ.
( 非等長符号では,符号語長はすべて異なっている.
語頭条件は,瞬時符号であるための必要十分条件である.
木構造においては,内部節点も葉になることがある.
) クラフトの不等式を満たすならば,そのような符号語の割り当て
はすべて瞬時符号となる.
- ある情報源
を2元符号化する場合,その平均符号長の下限は情
報源のエントロピー に等しい.
* どんな1次マルコフ情報源
を2元符号化する場合でも,その平
均符号長を1次エントロピー
より小さくすることはでき
ない.
次の表の確率分布を持つ記憶のない定常情報源から情報源系列 !!%
# が出力されたとする.この系列を表の符号 によって符号系列
に変換せよ.また,その平均符号長はいくらか求めよ.
0" ! 0) 0* # 0) 例 の符号 で符号化された系列が, であったとする.
この符号語系列を元の系列に復号せよ.
平均符号長の限界
例 ( の符号 または ) で符号化された系列が, であっ
たとする.符号 または ) それぞれの場合について,この符号語系
列を元の系列に復号せよ.
次の表の符号は,それぞれ瞬時符号か否か答えよ.また,その理由に
ついて述べよ.
!
#
"
(
を確率 1 で出力する記憶のない定常情報源 を考える.この
とき, の1次エントロピーよりも平均符号長が小さくなる符号化は
可能か答えよ.
第章
情報源符号化の限界
章末問題の解答例
解答 章末問題 2
×;符号ではなく,符号語.
" ○
( ×;同じ長さの符号語長も存在しうる.
○
×;葉ではないものが内部節点である.
) ×;クラフトの不等式を満たしても,すなわちそれが瞬時符号である
とはいえない.
- ○
* ×;1次マルコフ情報源は記憶があるので,1次エントロピー より一般のエントロピー は小さくなりうる.
¾
解答 章末問題 "2
情報源系列 !!# を符号化すると,
となる(見易さのために符号語の間にスペースを付加してある).また,こ
の符号の平均符号長 は,
"
' " ' ( ' ( )*"
)
*
)
)
である.
解答 章末問題 (2
復号すると,!# となる.
¾
¾
平均符号長の限界
解答 章末問題 2
の場合,復号すると !# となる.ヒントは系列の後ろから前に復号す
ることである. ) の場合,復号すると #! となる.
¾
解答 章末問題 2
( は語頭条件を満たすので,瞬時符号である.一方, " は 3! の符号
語が 3# の符号語のそれぞれ語頭であるため,瞬時符号ではない.
¾
解答 章末問題 )2
情報源
は記憶のない定常情報源であるので,その1次エントロピーは一般
のエントロピーと等しくなる.すなわち,どのような2元符号化を行っても,
その平均符号長を1次エントロピーより小さくすることはできない.
¾
各練習問題の解答例
解答 【練習問題 】
この符号語長の集合に対し,クラフトの不等式の左辺を計算すると,
"
'"
'"
'"
'"
となるので,クラフトの不等式を満たす.したがって,そのような符号語長
を持つ2元瞬時符号が存在する.
¾
解答 【練習問題 "】
情報源
は記憶のない定常情報源なので,平均符号長の下限は情報源の1次
エントロピー に等しい.よって,これを求めると,
" " ) ) 1
第章
情報源符号化の限界
となる.
また,定理
" の証明の通りに符号化した場合の各符号語の長さを とすると,
より,
' である.同様に計算すると,
" となり,平均符号長 は,
' " " ' ) ' となる.
¾