昨今、私たちの生活やそれを支える基盤には、膨大な画像データが使われています。画像はデータという単位で管理されていますが、利用する場合には情報という単位で扱います。

データ量と情報量の乖離は、無駄なストレージの圧迫や画像による意思決定の低性能化を招く大きな問題です。その基礎として「データ量」と「情報量」の違いを明確にしておきましょう。

データ量とは、データを表現するために必要な 0/1 スイッチの総数のことです。1 つのスイッチを 1bit とカウントする約束があります。「データ量」という用語は、コンピュータ用語として、世間一般に正しい意味でよく使われていますので分り易いですね。

では、一方で「情報量」はどうでしょうか。Wikipedia をググってみましょう。

情報量: 事象が起きた際、それがどれほど起こりにくいかを表す尺度

分り難いですね。先程のスイッチのモデルで考えてみましょう。8 個のスイッチがあり、「各スイッチは独立であり、それぞれ 0/1 の確率は等しい」という場合、観測されたスイッチの状態の起きる確率は 1/256 です。この数値の逆数である 256 が事象の起こりにくさを表現しています。情報量には対数スケールをとるという慣習があり(対数をとると情報量の加法性が成立して便利である)、例えば底 2 の対数をとると 256 は 8 となります。データ量 = 情報量となりましたが、このときの情報量の単位もデータ量と同じ bit です。

上の例ではデータ量と情報量は等しくなりましたが、このロジックの前提となっている肝は「各スイッチは独立であり、それぞれ 0/1 の確率は等しい」という部分です。この前提は現実にあてはまるとは限りません。例えば、以下の 2 枚の画像をご覧ください。

その他16- 重要なことは、データ量ではなく情報量