2016年6月9日木曜日
2016年6月5日日曜日
2016年6月4日土曜日
シャノン烈伝：クロード・シャノンと情報理論──「情報＝ありそうにない部分」
情報は、予測できない“ありそうにない部分”に宿る。クロード・シャノンが切り拓いた情報理論は、メッセージの意味ではなく確率に注目し、情報量（エントロピー）を測る物差しを与えました。のちにフォン・ノイマンが「それをエントロピーと呼ぼう」と示唆した逸話も広く語られます。この記事では、この核心を一段だけ深く噛み砕き、関連書籍『天才数学者はこう賭ける』への橋渡しも短く添えます。
天才数学者はこう賭ける―誰も語らなかった株とギャンブルの話
シャノンが見てとったことで最も過激だった点は、意味はどうでもいいというところだった。
情報が存在するのは、送り手が、受け手がまだ知らず、予測もできないことを言っているときにだけだ
フォン・ノイマンがシャノンに言うには、「エントロピー」を使えば、論争に負けることはありえないという---誰も本当には「エントロピー」の意味を知らないからだ。
メッセージの大事なところは、そのメッセージの中のありそうにない部分のことである。
フォン・ノイマンがシャノンに言うには、「エントロピー」を使えば、論争に負けることはありえないという---誰も本当には「エントロピー」の意味を知らないからだ。
メッセージの大事なところは、そのメッセージの中のありそうにない部分のことである。
登録:
投稿 (Atom)