エントロピー
英語表記: Entropy
概要
エントロピーは、情報理論の父であるクロード・シャノンによって導入された概念であり、ある情報源が持つ「不確実性」や「予測不可能性」の度合いを数値化した指標です。情報科学においては、その情報源から得られるメッセージの平均情報量を意味します。私たちが普段扱う「ビット」や「バイト」といった情報の単位が、どれほど効率的に使われているか、あるいはどれほどの「情報」を内包しているかを測るための、情報量と基本単位における最も重要な概念だと捉えてください。
エントロピーが高いということは、その情報源から次に何が来るかを予測するのが非常に難しい状態、つまり情報量が豊富で、驚きに満ちていることを示しています。逆にエントロピーが低い情報源は、予測が容易で、情報量が少ない（冗長性が高い）状態を指します。
詳細解説
エントロピーは、単なるデータの量（ビット数やバイト数）を測るのではなく、そのデータに含まれる「情報の質」や「中身の濃さ」を測るために利用されます。この概念が情報の単位の文脈で重要になるのは、データ圧縮や通信の効率性を考える上で、避けて通れない基準となるからです。
1. 情報量とエントロピーの関係性
まず、情報理論における「情報量」は、ある事象が発生する確率の低さ（驚き度合い）に反比例して大きくなります。発生確率 $p$ の事象の情報量 $I$ は、$I = -\log_2 p$ [ビット]で計算されます。
エントロピー（$H$）は、この個々の事象の情報量を、情報源で発生し得るすべての事象について計算し、それらを確率で重み付けして平均した値です。数学的には、$H = -\sum p_i \log_2 p_i$ という式で表されます。
2. 仕組みと目的
エントロピーの主な目的は、情報源の持つ平均的な情報量を客観的に評価し、その情報源を表現するために最低限必要なビット数を決定することにあります。
- 予測の難しさの定量化: 情報源に含まれる記号（文字、信号など）の出現確率が均等であればあるほど、次に何が出るか予測しにくくなります。このとき、エントロピーは最大値をとります。
- データ圧縮の限界: エントロピーは、その情報源に対して、いかに優秀な圧縮アルゴリズムを用いたとしても、これ以上は圧縮できないという理論的な限界値（圧縮率）を示します。例えば、ある情報源のエントロピーが1.5ビット/記号である場合、平均して1記号を表現するのに最低1.5ビットが必要であり、これ未満にすることは原理的に不可能であるとわかります。
3. 情報の単位との結びつき
エントロピーが情報の単位（ビット, バイト）のカテゴリに属するのは、その単位が「ビット」で表されるからです。エントロピーは「平均何ビットの情報が含まれているか」を示します。
もし情報源に冗長性（繰り返しや予測可能なパターン）が多い場合、エントロピーは低くなります。これは、その情報を表現するために多くのビット（バイト）を浪費していることを意味します。逆に、エントロピーが高い情報源は、データがランダムに近く、表現するために使われているビットが最大限に情報を伝えている状態、つまり効率が良い状態を示します。
情報通信やストレージの設計において、いかに少ないビット数で多くの情報を伝達・保存できるかという課題は常に重要です。エントロピーは、その効率性を評価するための基礎的な尺度として機能するのです。この視点こそが、情報量と基本単位を理解する上で非常に大切だと私は考えます。
具体例・活用シーン
エントロピーの概念は、日常生活における「驚き」や「予測」のアナロジーを使うと、非常に分かりやすくなります。
例1：コイン投げの不確実性（アナロジー）
エントロピーを理解するための最も有名な具体例は、コイン投げです。
- ケースA：公平なコイン
表が出る確率も裏が出る確率も、それぞれ50%（$p=0.5$）です。次にどちらが出るか全く予測できません。このとき、情報源の不確実性は最大となり、エントロピーは最大値（1ビット）となります。一回のコイン投げの結果は、1ビットで表現するのが最も効率的です。 - ケースB：偏ったコイン
常に（または99%の確率で）表が出るように細工されたコインを考えます。次に何が出るかほぼ予測ができます。このとき、不確実性は非常に低く、エントロピーは最小値（0ビットに近い値）となります。結果を知っても驚きがないため、情報量が少ないと判断されます。
【物語的アナロジー：情報商人の例】
あなたが情報商人だと仮定してください。あなたは、毎日、ある市場の天気情報を高額で販売しています。
市場Aは、毎日ランダムに晴れと雨が入れ替わり、予測が非常に困難です（エントロピーが高い）。この市場の天気予報は、毎日「新しい情報」として高値で売れます。
市場Bは、一年中99%の確率で晴れています（エントロピーが低い）。この市場の天気予報を売っても、「どうせ晴れだろう」と皆知っているので、誰もお金を払ってくれません。
エントロピーは、この「情報が持つ市場価値（驚き、不確実性）」を測っているのだと理解すると、非常に腑に落ちるのではないでしょうか。
例2：データ圧縮における活用
エントロピーは、特に可逆データ圧縮技術（例：ハフマン符号化、LZW）の基礎理論として活用されています。
- 符号化の効率化: エントロピーが低い情報源（つまり、特定の記号が頻繁に出現し、冗長性が高い情報源）に対しては、ハフマン符号化のような頻度に基づいた符号化手法が非常に有効です。出現頻度の高い記号には短い符号（ビット列）を割り当て、低い記号には長い符号を割り当てることで、全体の平均ビット長をエントロピーの値に近づけることが可能になります。
- 理論的な限界の把握: 圧縮アルゴリズムを開発する際、まず情報源のエントロピーを計算することで、「このデータは理論上どこまで圧縮できるのか」という目標値を設定できます。これにより、無駄な開発工数を避けることができます。
資格試験向けチェックポイント
エントロピーは、情報の単位（ビット, バイト, KiB, MiB）という基本的な概念を深く理解する上で欠かせないため、基本情報技術者試験や応用情報技術者試験では、しばしばその概念的な理解が問われます。
| 試験レベル | 典型的な出題パターンと学習ポイント |
| :— | :— |
| ITパスポート | 定義の理解：「エントロピーとは、情報源の不確実性や平均情報量を示す指標である」という定義を正しく理解しているかどうかが問われます。エントロピーが高い＝予測が難しい＝情報量が多い、という関係性を覚えておきましょう。 |
| 基本情報技術者 | 情報理論の基礎：シャノンの情報理論における位置づけが問われます。特に、エントロピーがデータ圧縮の理論的な限界を示す値であること、そしてハフマン符号化などの効率的な符号化手法が、エントロピーに近づくことを目指している点を理解する必要があります。 |
| 応用情報技術者 | 計算と応用：具体的な計算式（$H = -\sum p_i \log_2 p_i$）そのものを導出させる問題は稀ですが、確率が均等な場合にエントロピーが最大になること、確率が偏るとエントロピーが低下することなど、確率と情報量の関係を深く問う問題が出ることがあります。符号化効率の評価指標として利用されることを理解しておきましょう。 |
学習のヒント
- 「驚き」を基準にする: エントロピーは物理学の「乱雑さ」の概念と混同されがちですが、情報科学においては「情報源の持つ予測不可能性」に焦点を当ててください。驚きが大きいほど、情報量が多く、エントロピーが高い、と機械的に結びつけるのが有効です。
- 単位はビット: エントロピーの値は、平均情報量をビット単位で示しているため、情報の基本単位であるビットと密接に関連していることを意識しましょう。
関連用語
エントロピーは情報理論の中核をなす概念ですが、その周辺には関連する重要な用語が数多く存在します。
- 情報量（自己情報量）: ある単一の事象が発生したときの驚き度合いを示す値。エントロピーは、この情報量の平均値です。
- 冗長度: 情報源が持つ「余分な情報」の割合。冗長度が高い情報源は、エントロピーが低くなります。データ圧縮は、この冗長度を取り除くプロセスです。
- ハフマン符号化: エントロピーの概念に基づき、出現頻度の高い文字を短いビット列で表現することで、平均符号長をエントロピーに近づけようとする可逆圧縮アルゴリズム。
- 通信路容量: 情報が伝達される経路（通信路）が、ノイズの影響を受けながらも、理論上最大でどれだけの情報を送れるかを示す値。エントロピーと密接に関連しており、シャノンの定理の根幹をなします。
関連用語の情報不足
現在、このグロッサリーの入力材料には、エントロピーと直接的に対比される概念や、情報理論における他の主要な指標に関する具体的な情報が情報不足の状態です。例えば、エントロピーの計算に不可欠な「情報量（自己情報量）」や、エントロピーを応用した「相互情報量」など、情報理論を完全に理解するためには、これらの用語も併せて解説する必要があるでしょう。特に資格試験対策においては、エントロピーが情報理論全体の中でどのような役割を果たしているのかを示す、より広範な用語リストが求められます。
