「モザイクを除去するAI」の仕組みと限界、現時点でどこまで期待していいのか

ポスト ツイート シェア はてブ LINEで送る コメント 4

モザイクを除去できる、しかもAIで。いろいろ想像が膨らみそうな案件ですが、そう簡単にはいかないようです。詳細は以下から。

アメリカ合衆国のデューク大学の研究者らは低画質の画像から高画質の画像を生成する「PULSE」というAIアルゴリズムを開発しました。

日本では一部ネット上で「モザイクを除去するAI」と面白おかしく紹介されていましたが、モザイクを「極めてを低画質な画像」と考えればある意味では正しいのですが、それだけのものではありません。

なお、これまでも似たような「低画質の画像を高画質にするアルゴリズム」は作られてきましたが、Cynthia Rudin教授によるとPULSEは全く別のアプローチをとっています。

PULSEが低画質な人間の顔の画像（画像Aとします）をアップサンプリングすることは他のアルゴリズムと同じなのですが、これだけだと謎の前衛芸術のような画像が生成されてしまうケースも少なくありません。

そこでPULSEでは、このプロセスと同時に「どんな画像をダウンサンプリングしたら画像Aになり得るのか」を探します。以下のツイートを参照してみてください。

Face Depixelizer

Given a low-resolution input image, model generates high-resolution images that are perceptually realistic and downscale correctly.

😺GitHub: https://t.co/0WBxkyWkiK
📙Colab: https://t.co/q9SIm4ha5p

P.S. Colab is based on thehttps://t.co/fvEvXKvWk2 pic.twitter.com/lplP75yLha
— Bomze (@tg_bomze) June 19, 2020

つまり、画像Aをアップサンプリングしてできあがる可能性のある画像Bと、ダウンサンプリングしたら画像Aになる可能性のある画像Cをすりあわせて、限りなくB≒Cとなるように調整していくというもの。

ただし、PULSEはまだまだ発展途上で限界があります。このモナリザの画像も人間の顔ではありますが、完全に別人に。

こちらの某国の前大統領の画像でも…。

🤔🤔🤔 pic.twitter.com/LG2cimkCFm
— Chicken3gg (@Chicken3gg) June 20, 2020

literally did the same thing multiple times pic.twitter.com/r3elUlTEsQ
— Ken Chic (@bitcashio) June 20, 2020

やはり知らない誰かになってしまいます。とはいえ、これは個々人で大きく違うことを私たちが識別できる人間の顔だから起こる問題で、それ以外の分野への応用の幅は広そう。

例えば天体写真などでは遠く、低解像度の画像しか得られないようなケースでも、類似する天体から高画質な画像を得られる可能性もあります。

多くの人が気になっていそうな、人体の特定のパーツのみにモザイクが掛けられているようなケースでも、人の顔ほどの精密さが求められなければ「モザイク除去」として使い道もあるのかもしれません。

余談になりますが、モナリザやオバマ前大統領の顔はモザイクが掛かっていても、この程度なら子供でもぱっと見分けがつくもの。人間の想像力とAIのアルゴリズムの間に大きな隔たりがあることがこの上なく明瞭に分かるエピソードと言うこともできそうですね。

モザイクジャパン

posted with カエレバ

Amazon.co.jpで詳細を見る

ポストツイートシェアはてブ LINEで送るコメント 4