ここでは、「平成24年度【春期】【秋期】 応用情報技術者 合格教本 (情報処理技術者試験)」における「情報理論」の情報の量と質の定量化を深堀します。
最初に、情報の量がどのように定量化されるかを見ていきます。
まず、ある事象Ｊの起こる確率Ｐ（Ｊ）がわかっているとします。このことは、我々が事象Ｊについての情報（Ｊが確率Ｐ（Ｊ）で起こるということ）を持っていることになります。そして、この情報の量 Ｉ（Ｊ）は次の式で表すことができます。
数式は、Ｐ（Ｊ）の２を底とする対数をとっていますが、これは事象Ｊの情報をビット単位で表現するための処理と考えることができます。例として、Ｐ（Ｊ）＝０．５のときのＩ（Ｊ）＝１を採ってみると、Ｊが起きるときと起きないときは等確率なので、Ｊが起きないことを｛０｝、Ｊが起きることを｛１｝として１ビットで表すことが出来ます。
次は、平均情報量（エントロピー）と言われる情報の質を表す量を説明していきます。
まず、１＝Ｐ（Ｊ１）＋Ｐ（Ｊ２）＋・・・＋Ｐ（ＪＮ）を満たす、事象Ｊ１、Ｊ２・・・ＪＮがあるとします。そして我々は、Ｊ１、Ｊ２・・・ＪＮについての情報として、それらの起きる確率Ｐ（Ｊ１）、Ｐ（Ｊ２）、・・・、Ｐ（ＪＮ）を知っているとします。このとき、これらの事象Ｊ１、Ｊ２・・・ＪＮについての情報Ｐ（Ｊ１）、Ｐ（Ｊ２）・・・、Ｐ（ＪＮ）の質は、
として表すことが出来ます。Ｈは、大きいほど情報の質が低く、小さいほど情報の質が高くなります。
Ｈは各事象が全て等確率のとき最大値をとり、確率にばらつきがあるほど小さい値をとります。これは直感的にも受け入れやすいと思います。というのは、我々が事象Ｊ１、Ｊ２・・・ＪＮのどれか一つが起きることは知っているとしても、その生起確率の情報は全くないとしたとき、それぞれが等確率で起こると予想するのは自然です。さらに、もし情報Ｐ（Ｊ１）、Ｐ（Ｊ２）、・・・、Ｐ（ＪＮ）を我々が知っていて、低い確率をとるものや、高い確率をとるものがあれば、生起確率の低い事象は起こらないとして捨て、生起確率の高い事象が起こるとして、我々はその事象が起こることを前提にした物事の進め方ができるわけです。
またこの量は、情報量の期待値として定義されていますが、これから導き出せる解釈については考え中です。もし、有益な考えを持っている人がいれば、教えていただきたいです。
スポンサーリンク
スポンサーリンク
.jpg)
