デコンボリューションは分解能を改善する技術である一方、画素補間は解像度を改善する技術です。以前説明した通り、分解能と解像度は全く異なる概念であり、両者の積によってどちらの技術が利用可能であるか決定されます。

全く異なる状況で使われる 2 つの技術ですが、両者を組み合わせて使うことに意味は見出せるのでしょうか。組み合わせ方は「画素補間 → デコンボリューション」、「デコンボリューション → 画素補間」の 2 通りですね。

前者のパターンから考えてみましょう。画素補間で追加される画素値は数学的な意味をもっていますが物理学的な(畳込みモデルを満足するという)意味はもっていません。すなわち画素補間で得られた画像は光学像(PSF による畳込み像)には成り得ません。デコンボリューションの入力として定義されている画像は畳込み像である故に、整合しないことは明らかですね。

では後者のパターンはどうでしょうか。デコンボリューションによって遮断周波数の内部を回復させると最大で 2 倍の分解能改善効果があります。その結果、分解能と解像度の積は減少して $1$ に近づきます。被写体の入力から画像の出力に至るカメラの設計上、積が $1$ に近いことは理想的です。したがって、ここに画素補間で積を再び大きくしてしまうことには一見意味を見出せません。

この懐疑的な考え方は、画像データから情報をどのようにして抽出するのか考えてみると解決します。

我々は画像データから情報を抽出する際、ピクセル単位で扱うことはありません。例えば目視で情報を得る場合には昔のゲーム機で使われていたようなドット絵を想像すると分かりやすいでしょう。ドット絵を拡大してドット単位で観察すると何の絵であるのか分かりませんが、縮小して幾つかのドットを塊(テクスチャ)として観察すると絵を理解することができます。コンピュータ・ビジョンの世界でもコンボリューション系の認識処理が多く、目視と同様なことが言えます。

このように考えると、目視や認識処理の情報抽出効率を改善するために画素補間を行なうという意味が見出せます。すなわち、デコンボリューションによって情報量を増加させ、画素補間によって効率アップを図るということです。(written by J.Nishigata)

その他30- デコンボリューションと画素補間の組み合わせの可能性