アニメ映像における時系列画像検索システムの研究

アニメ映像における時系列画像検索システムの研究
中沢研究室 稲生優人
・はじめに
・目的
巻数が多い漫画ではアニメで視聴した特定の場面が漫画
中のどこに相当するのかを特定するのは難しい。
そこで、本研究ではこの作業を自動で行い、漫画中の時系
列(話数)を検索するシステムの構築を行った。
原作漫画が存在するアニメの1シーンからその1シーンが
漫画におけるどの話数に相当するのかを特定することが目
的である。画像処理を用いて漫画とアニメの画像のマッチ
ングを行い、マッチングした結果から漫画中の話数を特定
する。
・実験方法
0.5秒ごとに画像取得
SIFT特徴量の算出と漫画画像との
マッチング
アニメ映像
取得した漫画画像を話数ごとに振り分ける
第1話
第2話
第3話
5
1
1
最もマッチングした漫画画像を取得
例えば7枚の画像を取得した場合
最も多い話数をそのアニメ映像の話数と特定
・SIFT特徴量
・実験結果
SIFT特徴量とは回転・スケールや明度の変化に頑健
な局所特徴量である。画像の一部分が隠れていても
見える部分から特徴を得ることができる。そのため,ア
ニメ映像の時間経過に応じて画像が変化しても一定
の特徴を得ることができる。
第1話
第2話
・使用したアニメ映像:10秒間の3種類の映像
取得した画像からは背景のみの画像は除外する。
・使用した漫画画像:原作漫画5話分に相当する
473枚の画像
第3話
図1 アニメ画像(左)と漫画画像(右)のSIFT特徴点
・まとめ
漫画とアニメの絵には、吹き出しの有無などの同じシーンであっても違った手法が使われている。本研究ではそれら
の影響を受けにくくするため、局所特徴量であるSIFT特徴量を用いた。その結果、SIFT特徴量によって漫画とアニメ
のマッチングを行うことで漫画中の話数の特定ができた。
・参考文献
鳥山明「ドラゴンボール 完全版 1」、集英社、2002、pp.5-7、10
鳥山明「 DRAGON BALL #1」、ポニーキャニオン、2007