超解像という言葉には様々な側面があります。単に画素数だけに関してアップ-コンバートすれば良いという考え方や、リアルな質感を求める考え方など。顕微鏡関連では蛍光超解像という技術もありますが、こちらは解像度ではなく分解能を良くする技術ですので混乱してしまうかもしれませんね。ここでは一旦解像度の定義を振り返り、定義通りの意味での解像度を上げる効果という考え方をもちたいと思います。

超解像の目的を正確に押さえておきましょう。超解像は、解像度を疑似的に上げることにより光学像を推定することを目的としています。科学ドラマの防犯画像解析シーンのような光学像以上の情報を得る、なんてことはできないので注意してください。

分解能と解像度の積が 1 より大きい場合は、超解像を使っても情報量は増えません。積が 1 より小さい場合には超解像による情報量の増加が期待できます。

あらゆる種類の超解像が存在しますが、代表的なものだけ紹介していきましょう。

バイリニア補間やバイキュービック補間によって画素を追加することができます。この方法では情報量は増えませんが、外見が滑らかになり見やすくなる効果があります。

画素の位置をずらしながら撮影した複数画像を合成させて、画素を増やす方法もあります。この超解像技術の出力は、光学像に対して正方形のブラーが掛かった像になります。ブラーが掛かっている故に、この方法でも情報量は増えません。

画素ずらしによる超解像に関して、正方形ブラーのスペクトルで劣化した周波数成分を回復させれば情報量は増えます。どこまで増えるのかという点に関しては、あまり期待しない方が良いかもしれません。リアルタイム性の要求される画像処理の世界では、複数枚画像の積算時間、時間内のモーション、スペクトルの計算時間などがボトルネックとなり、実用的なものを作ることが困難です。

スペクトル補間という考え方でも超解像はできます。例えば、アンシャープ-マスクの差分項を線形に足さずに冪乗した非線形の形で足せば、周波数領域が広がり補間されます。

近年では、AIを用いた超解像も登場しています。テクスチャごとに鮮明な画像とモザイク画像のデータセットをもつことで、観測画像とモザイク画像の類似度評価を行ない、鮮明な画像で補間していきます。

超解像技術では架空の情報を追加することはできても、本来の光学像がもつ情報を追加するということは実用上困難そうですね。(written by J.Nishigata)

その他20- どこまでいけるか超解像技術