29.情報量のエントロピー

 第27回では、熱の科学に出てくる「エントロピー」を紹介した。状態量を W とすると、ボルツマン定数を kB として、エントロピー S は

 

    S = kB log W

 

だった。kB × log W のこと。log は対数で、第28回で説明した。熱力学では、この量は、移動した熱量 Q と、絶対温度 T に関係していた。

 

 さて。

 

 唐突、あまりに唐突ではあるが、ある人が、16個の中に一つだけお気に入りの物があったとしよう。その人に質問して、どれがお気に入りか教えてもらうことにする。その人は「はい」か「いいえ」でしか答えてくれない。最低何回質問すれば、お気に入りを確定できるだろうか。16個の物に、0、1、2、・・・、15 と番号を付けておこう。「あなたは 0 番がお気に入りですか?」「はい」と答えてくれたら 1 回でわかるが、下手したら、「あなたは 0 番がお気に入りですか?」「いいえ」、「じゃぁ、あなたは 1 番がお気に入りですか?」「いいえ」、「じゃぁ、あなたは 2 番がお気に入りですか?」「いいえ」と続いて、15回目の質問「じゃぁ、あなたは 14 番がお気に入りですか?」「いいえ」「で、初めて 15 番がお気に入りとわかることもある。これだと確実にお気に入りを突き止めるのに 15 回の質問回数が要る。最低何回で突き止められるかだから、これは宜しくない。やりかたは、こうだ。まず、16 個の物を 2 つに分ける。今だと、0 番から 7 番までと、8 番から 15 番。そこで、「あなたのお気に入りは 0番から 7 番までにありますか」と聞いてみる。答えが「はい」だと 0 から 7 の 8 個に、「いいえ」だと 8 から 15 の 8 個に絞られる。どちらでも 16 個のうち 8 個に絞れた。質問回数は 1 回目。仮に答えが「はい」だったとしよう。次は、この 8 個を 2 つのグループに分ける。0 から 3 までの 4 個と、4 から 7 までの 4 個。さて質問。「あなたのお気に入りは 0 番から 3 番までにありますか。」答えが「はい」なら 0 から 3 までの 4 つの中にお気に入りがあると絞られる。「いいえ」なら 4 から 7 までの 4 つに絞れる。どちらも、8 個の可能性の中から 4 つに絞れた。質問回数は 2 回目。次も 2 つに分ける。仮に今の答えが「はい」なら 0 から 3 の 4 つの中にあるはずだから、0 番 1 番と、2 番 3 番に分ける。「あなたのお気に入りは、0 と 1 のどちらかですか?」と尋ねてみる。質問回数は 3 回目。「はい」なら 4 回目の質問、「0ですか」と聞いてみれば、「はい」なら 0 番がお気に入りだし、「いいえ」なら 1 番がお気に入りだ。「あなたのお気に入りは、0 と 1 のどちらかですか?」と尋ねたときに、「いいえ」なら 1 番か 2 番だから、やはりそのどちらか。結局、質問は 4 回で、お気に入りが確定した。そこで、この唐突な話題の答えは「最低 4 回」だった。

 

 今の例では、曖昧さ16個から一つを確定させて情報を得たことになる。その際、4 回の質問で情報は確定できた。そこで、曖昧さ X の時、

 

    log 2 X

 

を「情報量のエントロピー」と呼ぼう。熱力学のエントロピーの真似っこだ。ただし、対数の底は 2 にとり、物理量と違って次元がないので、次元を合わせるようなボルツマン定数なんかは入ってこない。今の場合

 

    log 2 16 = log 2 24 = 4

 

なので、情報量のエントロピーは 4。答えは「はい」か「いいえ」だった。2 通りだから X = 2として

 

     log 2 2 = 1

 

だけ情報の曖昧さを減らせる。だから、最低の質問回数は、情報量のエントロピー(あいまいさ)log 2 16 を、1回の質問ごとに曖昧さをlog2 2ずつ減らすので

 

    log 2 16 / log2 2 = 4

 

と、4 回で良いということが数式で示せる。曖昧さ 2 のときの情報量のエントロピー

log 2 2 = 1 で、情報量のエントロピーといつも言うのも面倒なので、単位っぽいものをつけて「1 ビット」という。

 

 今度も唐突ではあるが、27 枚の金貨があるのだが、1 枚だけ金の量が少なくて軽いとしよう。天秤が一つある。この天秤を最低何回使えば、軽い金貨1枚を特定できるだろうか。さっきの情報量のエントロピーの考え方を使ってみよう。X=27 なので、情報の曖昧さ、情報量のエントロピー

 

    log 2 27

 

だ。だから、これが天秤を使う回数?電卓をはじくと log 2 27 = 4.75488・・・。だから 4 回ではだめで 5 回? いやいや、天秤を  1回使うと、「はい」「いいえ」の 2 通りの回答ではなく、どちらかが「重い」「軽い」の2つの他に「等しい(つりあっている)」という情報も得られる。要するに、3 つの情報。天秤1回使うと、減らせる曖昧さは

 

    log 2 3

 

ということだ。だから、曖昧さlog 2 27 を、天秤1回あたりlog 2 3ずつ減らしていくので、天秤を使う回数は、

 

    log 2 27 / log 2 3

 

で良いはず。前回導いた対数の有用な公式

 

    log x c = log b c / log b x

 

を使うと、b=2、c=27、x=3 として、

 

    log 2 27 / log 2 3 = log 3 27 = log 3 33 = 3

 

(27 = 3×3×3 = 33 )。だから、3 回で良い。

 

 実際にやってみる。27 枚の金貨を 3 つのグループに分ける。グループ A に 9 枚、グループ B に 9 枚、グループ C に 9 枚。グループ A とグループ B を天秤にかける。どちらかが軽ければそのグループ 9 枚の中に軽い金貨があるはずだ。天秤が釣り合っていれば、残したグループ C の中の 9 枚中に軽い金貨があるはず。これで天秤を 1 回使って 9枚に絞れた。今度はその 9 枚を 3 枚づつの 3 つのグループに分ける。そのうちの 2 つのグループを天秤にかけると、さっきと同じようにして、軽い金貨が含まれるグループを一つ絞れる。これで天秤を 2 回使った。最後は、軽い金貨のある 3 枚の内から 2 枚を天秤にかけて、どちらかが軽ければその金貨、釣り合ったら残した金貨が軽いとわかる。これで 3 回目。終わり。

 

  では、天秤を 4 回使うなら、最大、何枚の金貨から 1 枚軽い金貨を選び出せるか?さっきの考え方を逆に使う。最大の枚数を X としておくと、

 

    log 2 X / log 2 3 = log 3 X = 4

 

となるXを探せばよい。答えは X = 81 (= 3×3×3 ×3 = 34 )。