シャノンの情報量

2025年10月16日

シャノンの情報量

英語表記: Shannon’s Information Content

概要

シャノンの情報量とは、情報理論の創始者であるクロード・シャノンが提唱した、ある特定の事象が発生した際に、その事象が持つ「情報の価値」を数学的に定量化した指標のことです。これは、単にデータのサイズ（バイト数）を測るのではなく、その情報がどれだけ珍しく、どれだけ受け手に驚きを与えるかという「質の側面」を、私たちが日常的に使う情報の最小単位である「ビット」を用いて表現する、非常に画期的な考え方なのですよ。この概念は、私たちが情報を効率的に扱うための土台となっており、「情報の単位（ビット）」がなぜそのように定義されるのかを理解する鍵となります。

詳細解説

情報量の定量化と情報理論の基盤

私たちが「情報の単位（ビット, バイト）」という大分類の中で情報量を扱うとき、単に物理的なサイズだけでなく、その情報が持つ意味的な重みをどう測るかが重要になります。シャノンの情報量は、この「情報量と基本単位」という中分類において、その測定方法を提供します。

この情報量の核心は、発生確率が低い事象ほど、より大きな情報量を持つという点にあります。例えば、「明日は太陽が昇る」という事象は、確率がほぼ100%なので、聞いても何の驚きもありません。つまり、情報量はゼロに近いのです。一方で、「明日の株価が突然10倍になる」という事象は、確率が非常に低いため、もし実現すれば、膨大な情報量を持つことになります。

シャノンは、この関係を数学的に表現するために、情報量 $I(x)$ を事象 $x$ の発生確率 $P(x)$ を用いて、以下の式で定義しました。

$$
I(x) = -\log_2 P(x)
$$

この計算結果の単位が「ビット (bit)」となります。なぜ底が2の対数（$\log_2$）を使うのでしょうか。それは、情報を表現する最も基本的な選択肢が「はい」か「いいえ」、つまり2択であるため、その2択を何回繰り返せばその事象を特定できるか、という回数に対応させるためなのです。

加法性とエントロピーへの接続

シャノンの情報量が優れている点は、加法性を持つことです。独立した二つの事象Aと事象Bが同時に発生した場合、その全体の情報量は、事象Aの情報量と事象Bの情報量の和になります。対数を用いることで、確率の乗算（$P(A \text{かつ} B) = P(A) \times P(B)$）が、情報量の加算（$\log(P(A) \times P(B)) = \log P(A) + \log P(B)$）に変換されるわけです。これは、情報量を扱う上で非常に都合の良い性質ですね。

さらに、この情報量の概念は、小分類である「エントロピーと情報理論」へと発展します。特定の事象の情報量 $I(x)$ の、情報源全体における平均値（期待値）こそが、情報エントロピーと呼ばれるものです。エントロピーは、その情報源が持つ平均的な不確実性の度合い、すなわち、その情報源から得られる平均情報量を表します。シャノンの情報量は、エントロピーを計算するための土台となる、個々の情報の重みを測るための基礎概念なのです。

具体例・活用シーン

シャノンの情報量の考え方を理解するために、具体的な例や比喩を用いて考えてみましょう。

1. 驚きのコインの比喩（アナロジー）

情報を「驚きのコイン」に例えてみましょう。情報を受け取った人が「どれだけ驚くか」によって、受け取るコインの枚数が決まります。

確率1/2の事象（コイン投げ）: 表か裏か。発生確率は50%です。
$I = -\log_2 (1/2) = 1$ [ビット]。
これは、1枚の「驚きのコイン」を受け取ることを意味します。これが情報の最小単位です。
確率1/8の事象（8択クイズ）: 8つの選択肢から正解を言い当てる場合。
$I = -\log_2 (1/8) = 3$ [ビット]。
これは、3枚の「驚きのコイン」を受け取ることを意味します。2択の3回分（$2^3=8$）の情報量ですね。
確率1/100万の事象（稀な出来事）:
$I = -\log_2 (1/1,000,000) \approx 19.9$ [ビット]。
発生確率が非常に低いため、もし実現すれば、約20枚もの「驚きのコイン」を受け取ることになり、受け手は非常に驚く（＝情報量が多い）わけです。

このように、シャノンの情報量は、私たちが直感的に感じる「驚き」や「珍しさ」を、ビットという共通の単位で客観的に測定可能にしてくれるのです。

2. データ圧縮への応用

シャノンの情報量の概念は、データ圧縮技術の根幹をなしています。例えば、日本語の文章を考えると、「あ」や「の」のような頻繁に出現する文字（高確率）は、情報量が少ないと見なされます。逆に、「ゑ」や「を」のような稀な文字（低確率）は、情報量が多いと見なされます。

データ圧縮（特にハフマン符号化のような可変長符号化）では、情報量が少ない（頻出する）文字には短い符号（ビット列）を割り当て、情報量が多い（稀な）文字には長い符号を割り当てます。これにより、全体のデータ長を短縮できます。これは、情報量と基本単位の関係を最大限に利用した技術であり、現代のデジタル通信やストレージ効率に不可欠な役割を果たしているのです。