はじめに

今回は、Amazon Rekognition Videoについて概要と、何ができるのか、どんな時に使えるのかを調査しました。
Amazon Rekognition Videoについて概要を知りたい方、どんなデータが検出できるのかを紹介していこうと思います。

Amazon Rekognition Video 概要

Amazon Rekognition Videoとは、AWSの提供する機械学習を利用したビデオ分析サービスです。
Rekognition Videoを利用することで、動画中の数千のオブジェクトや顔、コンテンツを正確に検知し、追跡し、認識し、抽出し、節度を検出することができます。

※こちらの記事にて、デモの利用手順をご確認いただけます。
https://qiita.com/JJ33/items/848aaac7bc68a15c56af

Amazon Rekognition Video 3つの主な機能

1.チーム:動画に登場する人物を識別、追跡
2.有名人:登場人物が有名人か判定
3.オブジェクトとアクティビティ:動画内にある人、モノ、シチュエーションまでを解析

検出できるメタ情報

• 物体（車両やペットなど）
• シーン（都市やビーチ、結婚式など）
• アクティビティ（小包の配達やダンスなど）
• 有名人（有名人の名前と一意のID）
• テキスト（英語テキストのみ）
• 動作（ろうそくを吹く、火を消すなど）
• 不適切なコンテンツ（ヌード、暴力、武器など）

各検索結果や検出にはタイムスタンプが付いているため、詳細なビデオ検索向けのインデックスをすぐに作成できるほか、さらなる分析のために興味のある箇所にすばやく移動することもできます。
また、対象がフレーム内のどの位置で検出されたのかを境界ボックスの座標で教えてくれます。

デモを試した結果

https://www.youtube.com/watch?v=L91yri_Vmbs
こちらの動画を借りてデモを使ってみました。
結果を一部掲載します。
（今回CelebritiesやModeration Labelsは検出されなかったためLabelsとPersonsのみ）

ケース１　ジェット機の前で写真を撮るシーン

■Labels（Confidence 80以上のみ表示）

ジーンズやヘリコプターも認識できているようです！

■Persons

４人の人物を検知しています。

ケース２　女の子がドーナツを持っているシーン

■Labels

こちらのシーンではホットドッグを検出しています。
正確にはドーナツなのですが、食べ物の種類まで認識しているのはすごいですよね！

■Persons

先程のシーンと同じ女の子だとわかっているようです！

ケース３　ソファーで写真を撮るシーン

■Labels

室内で、シェルフなどの家具があることを認識しています。

■Persons

シーン１と同じ人物が２人いるとわかっているようです。

ケース４　家に荷物を運ぶシーン

■Labels

宅配をしているシーンであることも認識しています！これはすごい！

何に活用できそうか考えてみた

• 不適切なシーンのカット、または警告表示
• 検索機能を充実させる（タグ付けや顔検索）
• 顔認証受付（施設の混雑防止や万引き防止につながる）
• 人物トラッキングで犯人を捕まえる、行方不明者を捜す
• 動画を投稿前に節度を検出し、不適切なシーンの公開を防ぐ
• 検出できたメタデータを自動で組み合わせてハイライト動画の作成
• 撮った動画を、カテゴリーや人物別で勝手にフォルダに分けるアプリ
• SNS等で動画メディアを投稿する際、顔検索によって友達を自動でタグ付け
• 小売業の分析（買い物客の行動、平均年齢層、性別分布、人々が表す感情を分析）
• コンテンツ流動型広告（見ているコンテンツに見合う広告を選ぶ、良いタイミングで挟むなど）

さいごに

デモを試した結果、十分な精度で色々なメタ情報が得られました。（他の動画では自撮りをしているシーンやラーメンを作っているシーンも認識しました！）
アイデア次第で、顔認証受付やハイライト動画の作成など、様々な用途で活躍できそうだと思いました。
ぜひ、Amazon Rekognition Videoを使ってみてください！