人工知能を取り入れた画像・動画向けWebサービスを試してみた。 ｜ SiTest (サイテスト) ブログ

画像処理や画像解析は、コンピュータでできることのひとつの定番です。いろいろな画像データを思うままに加工したり編集するのは、アナログ写真の時代では不可能でした。
また昔は画像のレタッチやフィルタリング、動画編集もプロのデザイナーのテクニックで、今のようにボタン一つで手軽にできるようになったのもスマートフォンの普及など手軽な撮影環境が整ったことが大きいでしょう。
今回は、更に画像・動画を人工知能で加工したり解析したりするWEBサービスについて取り上げたいと思います。

http://waifu2x.udp.jp/index.ja.html
waifu2xは、二次元画像を最大2倍に拡大することができるソフトウェアです。
私も何度も使用させていただいているサービスで、実用性の高い人工知能活用の代表例とも言えます。

画像サイズが小さくJPEGノイズが発生してしまうような画像でも、waifu2xの人工知能が補完してノイズの少ないきれいな拡大を可能にしてくれます。
waifu2xの説明に「深層畳み込みニューラルネットワークによる二次元画像のための超解像システム。 写真にも対応。」とありますが、「深層畳み込みニューラルネットワーク」についてはこちら
Qiita：Convolutional Neural Networkとは何なのか
が詳しく解説してくださっています。
waif2Xはウェブサービスとして使用することができますが、他にも派生するソフトが多く開発されています。

http://colorize.dev.kaisou.misosi.ru/
ディープラーニングを使って白黒画像をカラー画像に変換するWebサービスです。
ウェブ上ではすでに沢山のサンプルが確認できますが、自然や景色の画像については本当に綺麗に色付けしてくれます。
空、海、草など、すでに学習済みということなのでしょうか。
一方イラストや無機質なものについてはやはり認識が難しいようです。

SiTestのヒートマップがどのように再現されるのか、ちょっと意地悪なテストをしてみました。

フルカラーのヒートマップ表示画像をグレースケールに変換し…
人工知能による着色を行ったのが下の画像です。

やはり画像のなかに「文脈」のようなものが存在しないと定義しにくいのかも知れません。

https://dreamscopeapp.com/
「Dreamscope Dreamer」は、指定した画像にGoogleの人工知能「Deep Dream」を使って有名画家の筆致を再現したような芸術的な画像から、フィルター次第では悪夢のような”ヤバイ”画像を生成してくれます。

Deep DreamはGoogleが公開したオープンソースプログラムの1つで、過去に学習していたパターンと類似している領域を検出して学習済みパターンでそれを置き換えるというもの。露悪的な画像を生成するのも興味深いですが、私はもう少し癒やされるものがいいですね。

https://www.deepgram.com/
上記2つのサービスは画像を扱ったものでしたが、動画を認識し扱うサービスにも楽しみな物があります。

動画やオーディオ内の会話をAIが音声認識でテキスト化し、音声の検索ができるようにしたサービスがDeepgramです。
サイトの活用事例にもあるように、コールセンター、音声検索、メディアのクリッピング（ニュース報道の特定箇所抽出）などで活用されるのは間違いないでしょう。
サイトのデモではゲームの実況らしき映像が使われていますが、キーワード入力窓に単語を入れるとその発言部分を頭出ししてくれます。

プレイが白熱し実況音声が興奮気味でもちゃんと解析して頭出しができていました。
日本でもテレビの報道内容をどのように分析してマーケティングに活用するか、という取り組みは進んでいますが、大きな市場規模を持っている分野ですので注目です。

https://www.clarifai.com/
Clarifaiは画像・動画にタグ付けするAPIを提供しているサービスです。

被写体の情報をかなり正確にタグ付けしていること、女の子の写真に対して「若い」「美しい」など、リスの写真に対して「可愛い」など、人間らしい美的感覚を学習しているのが興味深いです。
また、画像だけでなく動画についてもそのシチュエーションを解析してタグ付けを行います。

動画にタグ付けと聞いて私が最初に思い浮かべたのがNetflixにまつわる有名な記事でした。
How Netflix Reverse Engineered Hollywood
Netflixはアメリカで最も普及している動画配信サービスの企業ですが、その躍進のヒミツは作品ごとにタグ付けとスコアを付け、76,897通りもの作品分類を行った上でユーザーにリコメンドしていることによる視聴体験です。それらの”ビッグデータ”生成の作業はまだ機械には不可能で、36ページにも及ぶマニュアルでトレーニングしたスタッフの人海戦術によってなされているという記事です。
Netflixはその細かな作品カテゴリとユーザーごとの視聴傾向（Netflix上でユーザーが残す行動ログは「全て」分析対象です。一時停止・ポーズ・巻き戻し等や、スコアリング・検索履歴・視聴日時・曜日、位置情報・デバイス・ページ閲覧やスクロールなど）をマッチングさせてユーザー一人ひとりに最適な視聴体験を提供しています。

Clarifaiの精度はまだトレーニングを積んだ人間には遥かに及ばないでしょうが、人工知能は休むこともなく、おそらく2時間の映画をデータ化するのに2時間の視聴時間を使うことはないでしょう。Netflixが執念で実現したリコメンデーションエンジンを、軽く超える時代が来るのは間違いなく、上記Deepgramの音声認識とあわせ世界中の動画コンテンツが整理され視聴される未来が予測できます。

画像認識・動画認識のWEBサービスを幾つか利用してみましたが、特に解析系のサービスについては人間の業務を奪う（あるいは人間ではできなかったことを成し遂げる）のは間違いないサービスがあります。
世界中のデジタル化されたエンターテインメントが人工知能によって解析され、提供される時代がやってくるのかもしれません。