特徴ベースによるアニメキャラクターの顔検出西田研究室修士課程 1 年高山耕平 2011 年 11 月 14 日 1. はじめに顔検出 (Face Detection)とは画像や映像の中から人の顔がどこにあるのかを自動で探し出すシステムのことである．顔認識 (Face Recognition)は探し出した顔が誰であるのかを判別するシステムである．実際の人物を対象とした顔検出・顔認識の研究は盛んに行われており，デジタルカメラ等で実用化されているものも多く存在する．一方で，アニメ・マンガ・ゲーム等に登場する描かれたアニメキャラクターを対象とした顔検出・顔認識の研究は少ないといえる．画像の自動選別やキャラクター検索などアニメキャラクターを対象とした顔検出・顔認識にも様々な応用例が考えられるが，実際の人物とアニメキャラクターは顔の特徴がかなり異なるので実際の人物の手法をそのまま当てはめただけではアニメキャラクターはほとんど顔検出することができない．そこで本研究ではアニメキャラクターに特化した顔検出・顔認識手法の考案を行うことを目的とする．今回の発表では主に顔検出について述べる． 2. 関連研究顔検出の手法は顔に不変の特徴が何かを考え，顔の定義を作成する Feature-based approach（特徴ベース）と大量の画像データから顔の定義を自動生成する Image-based approach（画像ベース）という２種類に大きく分けることができる [1]．画像ベースによりアニメキャラクターの顔検出を行っているものとして Imager::Anime Face[2]があるが，これは著作権のあるアニメキャラクター画像をデータとして与えており，またユーザによる条件の追加が困難である．よって今回は著作権のある画像データを用いず，また条件の追加が行いやすい特徴ベースで行うこととする． 3. 提案手法することにする．また同時に輝度の差を考えるキャニー法 [4]を用いてエッジの抽出も行う．図１にその例を示す．左図の入力画像①から肌色抽出を行い肌色以外の画素を黒で表したものが②，エッジ抽出を行いエッジを白で表したものが③である． ①入力画像 ②肌色抽出 ③エッジ抽出図 1：肌色抽出・エッジ抽出を行った例 3.2 領域分割肌色抽出された画素をエッジによって領域分割する．肌色抽出されたある画素に隣り合っている画素が肌色抽出されていればそれらを同じ領域とみなし，肌色抽出されていない画素やエッジ抽出されている画素であればそこで止まることにする．これを繰り返すことによって領域分割を行う．これによって分割された領域を顔候補領域と考える．また，この分割された顔候補領域のうち，画素数が少なかったり，縦横比が適切でないといった明らかに顔として正しくない領域は除外しておく．図２にその例を示す．肌色抽出されている左図を領域分割し，領域ごとに色分けしたものが右図である．肌色抽出領域分割図２：領域分割を行った例本研究で対象とする顔は皮膚の色が実際の人物に近いものとする．また顔の向きは正面のものを中心とし，そこからある程度傾いたものや回転したものも対象とする．皮膚の色が実際の人物とかけ離れているものや，横や後ろを向いている顔は対象外とする． 3.1 肌色抽出・エッジ抽出・領域分割実際の人物の肌の色は HSV 色空間において色相が 6 度～ 38 度に集中する [3]．これをもとに調査を行った所，色相を 0 度～ 40 度の範囲にすることで 95%以上のアニメキャラクターの肌が検出できることが確認できた．よって入力画像内の全ての画素において HSV 色空間で色相が 0 度～ 40 度に含まれる画素を肌色として抽出 3.3 顔判定分割した領域ごとにそれが顔かどうか判定を行う．顔判定の条件として輪郭線（あごのライン）と顔の対称性を用いることとし，これらの条件をともに満たす領域を顔として判定することにする． 3.3.1 輪郭線を用いた顔判定顔の輪郭線は丸形（卵形）に描かれる場合がほとんどであり，特に輪郭線の下側は髪などで隠れてしまうことが少なく，はっきり抽出できることが多い．そこで顔候補領域の下側の輪郭線を入力点列として抽出し，最小二乗法を用いることで二次曲線に近似させる．これによって得られた二次曲線が顔の輪郭線として確からしいかどうかを最小二乗法の決定係数を用いることで顔の判定を行う．決定係数が 1 に近いほど近似がうまくいったといえる．図３の左図に入力点列を白色で，右図に求めた二次曲線を黄色で示す．近似した二次曲線がほぼ輪郭線と一致していることが分かる．表１： AnimeFace, OpenCV と提案手法の検出率の比較結果 TP 提案手法 370 枚 (75.1%) 66 枚 (13.4%) 57 枚 (11.7%) FP FN 入力点列の検出二次曲線の近似図３：輪郭線を用いた顔判定の例 3.3.2 対称性を用いた顔判定顔というものは左右が対称的になっており，特に目や髪は左側と右側の両方の領域に存在することがほとんどである．そこで顔候補領域を含む探査領域 (図４左の赤い四角で囲まれた領域 )に含まれる画素のうち肌色抽出されていないものを取り出し，それらを 3.2 と同じ手法で領域分割する．そして分割した領域ごとに k-means 法と呼ばれる手法で色クラスタリングを行うことでその領域内の主要な色を求める．目や髪が対称的にある場合，それらを含む領域は主要な色がほとんど同じであると考えられるので，分割した領域の中に複数の色クラスタが類似している 2 つの領域があるかどうかを調べることで顔かどうかを判定する．図４の右図は 2 つの領域の色クラスタがそれぞれどのクラスタと対応しているかを示したものである．分割した領域と探査領域 Anime Face OpenCV OpenCV (アニメ ) (実際の人物 ) 350 枚 (71.0%) 0枚 (0.0%) 143 枚 (29.0%) 140 枚 (28.4%) 3枚 (0.6%) 350 枚 (71.0%) 66 枚 (13.3%) 1枚 (0.2%) 426 枚 (86.4%) 表中の TP(True Positive)は画像内で顔の部分のみ結果として検出できた（成功した）ことを意味し， FP(False Positive)は顔の部分は検出できたが，顔以外の部分も検出してしまったことを意味する． FN(False Negative) は顔の部分を検出できなかったことを意味する．表１に示した通り，提案手法の結果は AnimeFace や OpenCV よりも False Negative（顔検出できなかった）の割合が小さく，True Positive（顔検出できた）の割合が大きい結果となった．結果の一例を図５に示す．顔として検出された領域を青四角で囲んでいる．図５：提案手法の適用例 5. まとめと今後の課題本研究では肌の色や輪郭線や対称性といった特徴を用いてアニメキャラクターの顔検出を行う手法を提案した．これにより事前に画像データからデータベースを作らず，入力画像のみを用いてアニメキャラクターの顔検出が既存手法よりも高い精度でできることが確認できた．今後の課題としては，他の顔判定の条件を加えることで顔検出の精度を上げることがあげられる．また，目や髪等の特徴を抽出し，肌の色やあごの形状といったすでに取得してある特徴と組み合わせて顔認識（キャラクターが誰であるのかの判別）を行っていく．色クラスタの比較文献図４：対称性を用いた顔判定の例 [1] E. Hjelmas & B.K.Low, “Face Detection: A Survey”, 4. 実験結果 493 枚のアニメキャラクターを含む様々な画像を入力として顔の検出がどの程度成功するか比較実験を行った．比較対象として Imager::AnimeFace とオープンソースライブラリである OpenCV の Face Detection[5] を用いた．これらはともに事前に大量の画像データを与える画像ベースによる手法である．また OpenCV に関しては事前に与える画像データをアニメキャラクターと実際の人物の２種類用意し，実際の人物を対象とした顔検出でアニメキャラクターがどの程度検出できるのかも確かめた．その結果を表１に示す． [2] [3] [4] [5] Computer Vision and Image Understanding, Vol. 3, No. 3, pp. 236-274, Sept. 2001. Imager::AnimeFace –anime face detection demo http://anime.udp.jp/face-detect/ Sherrah, J. & Gong, S (2001). “Skin Color Analysis”, CvOnline. Retrieved April 17, 2006 from http://homepages.inf.ed.ac.uk/cgi/rbf/CVONLINE/en tries.pl?TAG288 J. Canny, “A Computational Approach to Edge Detection”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.8, pp. 679-698, 1986. Face Detection –OpenCV Wiki. http://opencv.willowgarage.com/wiki/FaceDetection