正準相関分析と注視特性による
顔表情画像からの感情の測定法†
谷 卓哉‡*･長谷川浩司‡･坂本博康‡･坂田年男‡･廉田 浩‡･福島重廣‡
本論文は正準相関分析を用いて顔表情画像から感情の程度を測定する手法を提案する．ここでは，
顔表情のグレースケール画像およびその表情・感情を主観評価した値（快-不快および覚醒-沈静）と
の２種類の変量間における正準相関を分析する．顔表情画像に対する人の視線の動きから求めた注視
特性を，本測定法の加重関数として組み込み，その有効性を述べる．また，画像のサンプル数の不足
から生じる非正則な共分散データの場合，その情報を効率的に分析するために，中間変数を導入した
正準相関分析の分解手法を提案する．また，ガウスカーネルによる非線形カーネル正準相関分析の効
果について，線形の正準相関分析と比較し，その有効性を示す．男性と女性に分けた顔表情画像デー
タベースに対して Leave-One-Out 法による数値実験を行った結果と動画像に対する測定実験を行っ
た結果を示すことにより，本提案法の有効性を示す．
キーワード ： 顔表情画像，感情，注視特性，正準相関分析，カーネル正準相関分析
在では心理学をはじめ社会科学，生理学，医学の分野
１． はじめに
人の表情や感情の認識および計測は幅広い応用分野
など多面的な観点から興味深い研究が進められている
を持つと期待され，その社会的な関心や需要は次第に
[2]． こ れ ら の 研 究 と 関 連 す る 顔 情 報 処 理 の 工 学 的 研
大きくなっている．応用の例として，介護や福祉，医
究は，形状やテクスチャの計測，個人認識，表情認識，
療の分野における被介護者や患者の状態の推定（特に
顔画像の合成などに分類され，従来から多くの優れた
発 声 困 難 な 場 合 ）， 製 品 ・ 商 品 の 開 発 に お け る 使 用 感
研 究 が 存 在 す る [4]． 中 で も 表 情 認 識 は 多 様 な 応 用 の
や印象の評価などを挙げることができる．人の顔表情
基礎として重要であるが，多くの研究は識別問題とし
と 感 情 の 間 に は 強 い 関 連 が 知 ら れ て い る が [1]， 相 反
て の 表 情 認 識 に 焦 点 を 当 て て お り [5-7]， 回 帰 問 題 と
する複数の感情が入り混じるときは，人の目視によっ
しての表情や感情の強度に関する計測法の研究は比較
てさえ表情から感情を認識できないことが多い．しか
的 少 数 で あ る [8,9]． こ の 研 究 法 の 相 違 は 後 述 の 表 情
し，単純な感情が顔表情へ直接に現れる場合も多く，
認知の研究分野における感情の２大モデルとの関連も
この場合はコンピュータの画像処理により顔表情から
考えられるが，応用面から見れば回帰問題の有用性は
の感情の推定も可能であろう．
これまで以上に重視されるべきと思われる．
本論文は，単純な感情が直接的に顔表情へ表出され
顔 表 情 に 関 す る 研 究 は 古 く は Darwin に 始 ま り ， 現
る場合について，正準相関分析（ＣＣＡ）を用いて顔
-------------------------------------------------------------------------------†
A Method for Measuring Emotion of Facial
Expression Images by Using CCA and Gazing
Property
Takuya TANI, Kouji HASEGAWA, Hiroyasu
SAKAMOTO, Toshio SAKATA, Hirosi KADOTA
and Shigehiro FUKUSHIMA
‡
九州大学大学院芸術工学府
Graduate School of Design, Kyushu University
*
現 在 ， 東 京 エ レ ク ト ロ ン 九 州 (株 )ソ フ ト 技 術 部 ソ
フト設計グループ勤務
Currently, with Dept. of Software Technology, Tokyo Electron Kyushu Limited
‡ 九州大学大学院芸術工学研究院
Faculty of Design, Kyushu University
表情の濃淡画像から感情を計測する方法を提案し，そ
の 有 用 性 を 調 べ る ． そ こ で は ， 図 １ の Russel の 感 情
円 環 モ デ ル [3]の 座 標 軸 で あ る 快 -不 快 お よ び 覚 醒 -鎮
静を感情の評価量として利用する．また，人が顔画像
から表情を読み取ろうとするときの視線移動データか
ら求めた注視特性を加重関数として組み込むことによ
り，計測の信頼性の向上を試みる．次に，画像データ
のサンプル数の不足により生じる特異行列に対して，
効率的な分析を実行するために，中間変数を導入した
正準相関分析の分解手法を提案する．さらに，ガウス
1
タ 行 列 を X, Y と す る ． ま た ， {x h }と {y h }の 分 散 共 分 散
行 列 を そ れ ぞ れ Sx, Sy， 相 互 の 共 分 散 行 列 を そ れ ぞ れ
S xy , S yx と す る ． 以 下 で は ， m x , m y を そ れ ぞ れ 差 し 引 い
た 後 の 零 平 均 デ ー タ を {x h },{y h }お よ び X, Y と 記 す ．
X の 主 成 分 分 析 （ Ｐ Ｃ Ａ ） は ， Sx の 固 有 方 程 式
Sx W = WL
(1)
t
の 解 で あ る M×M 正 規 直 交 行 列 W の 転 置 W を 用 い
て，X から無相関の変量行列 U への変換 U = W t X と
し て 得 ら れ る ． こ こ で ， L は Sx の 非 負 固 有 値 に よ る
対 角 行 列 で あ り ， U の 共 分 散 行 列 Su に 等 し い ．
Ｃ Ｃ Ａ の 変 換 行 列 A, B は ， ２ デ ー タ X, Y の 共 分 散
行列による一般固有方程式，
図 １ ． ラ ッ セ ル の 感 情 円 環 モ デ ル [3]．
横 軸 ： 快 -不 快 ， 縦 軸 ： 覚 醒 -鎮 静 ．
S xy S y - 1 S yx A = S x A G
S yx S x
カーネルによる非線形カーネル正準相関分析（ＫＣＣ
-1
2
(2)
,
S xy B = S y B G 2 .
(3)
か ら 得 ら れ る ． ２ 式 は 共 通 の 固 有 値 { g 1 2 ³ g 2 2 ³･･･³ g L 2
> 0, L = min(M, N) }を 持 ち ， そ の 平 方 根 は 正 準 相 関 と
Ａ ） [10]の 有 用 性 に つ い て ， 線 形 の 正 準 相 関 分 析 と 比
較実験を行う．
呼 ば れ る ． G は 正 準 相 関 に よ る L×L 対 角 行 列 で あ る ．
X, Y を そ れ ぞ れ の L×H 正 準 変 量 行 列 ，
ＣＣＡとＫＣＣＡは良く知られた統計解析手法であ
る が ， 本 論 文 の 著 者 ら が 調 査 し た 限 り で は [6,11,12]，
U = A t X，
画像の特徴点ベースで表情のカテゴリー識別問題へ利
V = B t Y，
(4)
へ 変 換 す れ ば ， U, V は 次 の 線 形 回 帰 性 を 持 つ ．
用 す る 研 究 [7] 以 外 に ， Ｃ Ｃ Ａ の 顔 表 情 画 像 へ の 応 用
U = G V，
は見られなかった．
V = G U.
(5)
た だ し ， U , V は そ れ ぞ れ U, V の 予 測 値 ま た は 推 定
人間の表情認知の研究分野では，感情の次元モデル
とカテゴリーモデルという２大モデルが提唱され対立
値を表す．
的 に 議 論 さ れ て い る [2]． 前 者 の 典 型 と し て Russel の
感情円環モデルがあり，このモデルの座標軸上で感情
３．ＣＣＡのカーネル非線形化
を測定する方法は合理的で有用と思われる．本研究で
ＣＣＡは線形な関係の計測に有効であるが，その
２変量間に非線形な関係が存在する場合はカーネル正
はこの測定の一手法を提案する．一方，図１の感情参
照点からの差異による感情の定量化も有用である．こ
準相関分析（ＫＣＣＡ）がしばしば利用される．カー
ネル法は既存の線形多変量解析モデルに関数の形で組
れはカテゴリーモデルに基づき，カテゴリーごとの強
込可能，等の利点をもつ方法である．ＣＣＡへのカー
ネルの導入には，２変量の両方に非線形変換を適用す
度またはカテゴリー間の混合度を測定する方法を与え
る．また両者を並列的にとらえ，３次元感情空間と表
る 方 法 [10]と ， 一 方 だ け に 適 用 す る 方 法 [6]が あ る ．
本研究では，画像から主観評価値の推定値を求めるた
情 カ テ ゴ リ ー の 関 係 を 論 じ る 重 要 な 観 点 も あ る [8]．
以下本文では，２章において主成分分析と正準相関
めにカーネルの非線形変換の逆変換を必要とするので，
一変量のみへ適用する手法を用いる．
分析の概略を説明し，３章で正準相関分析のカーネル
化について述べる．４章では提案手法を解説する．５
X = [x 1 , x 2 , …, x H ] の 各 画 像 ベ ク ト ル へ 非 線 形 写 像
φ： R M →R M ' を 施 し た 行 列 Y (X) = [φ(x 1 ), φ(x 2 ),…, φ(x H )]
章で男性と女性の別々の顔表情画像データベースを用
いた実験，および動画像への適用例の結果を示し，最
後にまとめを述べる．
を 作 る ． こ こ で ， M' は M ～ ∞ の 範 囲 の あ る 値 で あ る ．
対 称 行 列 K = Y (X) t Y (X)と お け ば ， K の (i, j) 要 素 は
２．主成分分析と正準相関分析
空 間 R M ' に お け る 内 積 の 値 φ(x i ) t φ(x j ) で あ り ， 非 線
形 変 換 の 次 元 M' が 非 常 に 大 き い 場 合 ， 膨 大 な 演 算 量
が必要となる．カーネル手法は，非線形変換による空
間 Y M' 上 の 内 積 を ， こ れ と は 別 に 定 義 さ れ た カ ー ネ
本 論 文 で は ， 画 素 数 m 1 ´m 2 ( = M)の M 次 元 濃 淡 顔 画
像 ベ ク ト ル {x h | h = 1, ･･･, H}と ， こ の 各 画 像 に 対 す る
ル 関 数 k(x i , x j ) に よ っ て 置 き 換 え ， 行 列 K を 構 成 す
る．この関数には，ガウス関数を始めとして，マーサ
N 次 元 主 観 評 価 値 の ベ ク ト ル {y h }に 対 し て ， 標 題 の ２
つ の 多 変 量 解 析 手 法 を 用 い る ． {x h }と {y h }か ら そ れ ぞ
ーの定理と呼ぶ条件を満たし，ベクトル間の類似度を
れ の 平 均 ベ ク ト ル mx, my を 差 し 引 い て 列 に 並 べ た デ ー
2
表すさまざまな関数が利用されている．
Ｋ Ｃ Ｃ Ａ の 変 換 行 列 A, B は ， 画 像 デ ー タ に よ る カ
ーネル関数の行列 K と主観評価値の行列 Y から，そ
れ ら 自 身 と そ の 相 互 間 に 対 す る 共 分 散 行 列 S k , S y , S ky ,
S yk に よ る 次 の 一 般 固 有 方 程 式 を 解 い て 求 め ら れ る ．
S ky S y - 1 S yk A = S k A Q 2 ,
(6)
S ky B = S y B Q .
(7)
S yk S k
-1
2
ここで，両式は共通の非負の固有値を持ち，Q
2
はそ
の固有値の対角行列である．
図 ２ ． 主 観 評 価 実 験 の 画 面 （ 顔 画 像 は JAFFE よ り ）．
４．提案手法
ここで提案する手法では，２つの変量群として顔
表情の濃淡画像およびその各画像に対する主観評価実
験の評価値を準備し，顔表情画像に視線移動情報から
得た注視特性を組み込んだ後，この画像と主観評価値
をＣＣＡまたはＫＣＣＡにかけて学習させる．学習と
計 測 に は Leave-One-Out 法 を 採 用 し ， 画 像 と 主 観 評 価
値から 1 画像分ずつを抜いたデータを使って学習させ，
抜かれた 1 画像分に対して計測を行う．
４ .１
顔表情画像データと主観評価値
(a)
成 人 男 性 の 顔 表 情 画 像 デ ー タ に は 本 学 学 生 19 名 の
４ 表 情 （ 笑 ， 怒 ， 泣 ， 驚 ） の 76 枚 に 加 え ， 文 献 [13]
な ど の 複 数 の 外 部 機 関 か ら 収 集 し た 41 名 の ４ 表 情 の
68 枚 ， 合 計 144 枚 を 用 い た ． 女 性 の 表 情 画 像 に は
JAFFE デ ー タ ベ ー ス [14]か ら 日 本 人 女 性 10 名 の ７ 表
情（笑，怒，泣，驚，恐怖，嫌悪，中立）の全画像
213 枚 を 準 備 し た ． こ れ ら を ， そ れ ぞ れ に 対 応 す る 表
情 と 感 情 の 主 観 評 価 値 と 併 せ て DB1, DB2 と 表 記 す る ．
DB1 の 内 ， 外 部 機 関 か ら の 画 像 は 白 人 や 黒 人 の 画 像 も
含むが，日本人には見られないような顔の選択を避け
た．また，外部からの画像は照明方向，明度とコント
ラスト，ノイズレベル，背景，被写体の顔面方向など
(b)
図 ３ ． 主 観 評 価 の 結 果 . (a):DB1, (b):DB2.
の 撮 影 条 件 は 多 様 で あ る ． 一 方 ， DB2 は 良 く 制 御 さ れ
た撮影環境の下で，同種の表情内でも複数の強度をと
▽ :泣 き 顔 ， ◇ :笑 い 顔 ， ○ :驚 き 顔 ， ×:怒 り 顔 ，
＋ :恐 怖 顔 ， □ :嫌 悪 顔 , ・ :中 立 顔 ．
る 表 情 画 像 か ら 構 成 さ れ て い る ． ま た ， DB2 は よ り 少
数の人物という面でも，データの均質性が高い．この
主観評価実験において被験者が回答する評価値は，
DB1 と DB2 の 撮 影 条 件 と デ ー タ 均 質 性 の 相 違 は ， 以 降
の実験結果の違いとして表れる．画像データを男女に
各 画 像 の 人 物 が 有 す る と 考 え ら れ る [不 快 -快 ]お よ び
[鎮 静 -覚 醒 ]の 程 度 を [-3 ～ +3]の 整 数 ７ 段 階 で 評 価 し
分けた理由は，筆者らの従来のＰＣＡによる表情画像
の実験において，主成分ベクトルの極性の正負反対側
た２次元データである．被験者は，成人の男性女性が
約 半 数 ず つ で 構 成 さ れ ， DB1 で は 18 名 の 被 験 者 ， DB2
に男女の顔が特徴付けられた経験に基づく．
後述する画像のサイズや濃度に対する正規化前の，
で は 16 名 の 被 験 者 か ら 得 た 主 観 評 価 値 を ， 各 画 像 ご
と に 平 均 し た 値 を 用 い た ． 図 ３ (a)に DB1 の ， 同 図 (b)
各画像の顔面全体を切り出した画像に対して，男性顔
と女性顔を別々に主観評価の実験を行った．人物と表
に DB2 の 分 布 図 を 示 す ． た だ し ， Ｃ Ｃ Ａ と Ｋ Ｃ Ｃ Ａ の
両方で入力変量の零平均値が要求されるので，この図
情の両者について，画像の提示順番をランダム化し，
実 験 の 途 中 で も 順 番 の 後 戻 り /先 送 り /ス キ ッ プ お よ び
は零平均化後のデータを示している．両図において，
笑 顔 (◇ )は 強 い 快 と 中 程 度 の 覚 醒 を 中 心 に 分 布 し ， 驚
再評価入力を自由に実行可能とした．図２に主観評価
実験中の画面を示す．
顔 (○ )は 強 い 覚 醒 と 快 -不 快 の 両 側 に 広 が り 分 布 す る
3
など，全表情について合理的な分布が見られる．但し，
上 の 零 平 均 化 に よ り 図 (b)の 中 立 顔 の 点 (･)は 少 し 右 側
へシフトした．平均評価値からの各被験者の絶対値誤
差 (快 ･不 快 ， 覚 醒 ･鎮 静 ， 全 体 )の 平 均 値 は ， DB1 で は
(0.604,0.864,1.164) ， DB2 で (0.506,0.837,1.081)
だ っ た ． こ の 値 の DB1 と DB2 間 に お け る 相 違 は ， 上 記
のデータの均質性における相違と矛盾しない．
４ .２
注視特性
図４．視線追跡実験提示用の平均表情画像．
人の顔表情画像に対する注視特性を次の方法で求
め た ． ま ず ， DB1 の 全 員 分 ， お よ び 本 学 女 子 学 生 12
名 分 （ DB2 と は 別 デ ー タ ） に つ い て ， そ れ ぞ れ の ４ 表
情 の 平 均 画 像 と 全 表 情 の 平 均 画 像 (中 立 画 像 が 得 ら れ
る )の 合 計 10 枚 を 作 成 し た （ 図 ４ を 参 照 ）． こ れ を 被
験 者 13 人 の そ れ ぞ れ に 対 し て 19 イ ン チ 液 晶 デ ィ ス プ
レ イ 上 に 提 示 し ， EyeTech Digital Systems 社 製 の 視
線 追 跡 装 置 Quick Glance に よ り 視 線 移 動 デ ー タ を 得
た．各被験者に対して，実験に慣れるための２種類の
(a)
予備実験後に，画像のどの部分から表情を理解するか
を 考 え な が ら 各 画 像 を 10 秒 間 観 察 し て も ら い ， そ の
(b)
図 ５ ． 注 視 点 移 動 デ ー タ ． (a)被 験 者 １ 名 ， (b)13 名 分 ．
時 の 視 線 移 動 デ ー タ を 記 録 し た ． 図 ５ (a)に は ， 女 性
の 怒 り の 平 均 顔 に 対 す る 1 名 分 の 結 果 を 示 し ， 図 (b)
に は (a) を 被 験 者 全 員 分 に つ い て 重 ね 合 わ せ た 結 果 を
示す．
このようにして得られた視線移動データを被験者
全員と全提示画像について総合し，４通りの手法：
(i)単 純 加 算 法 ， (ⅱ )ガ ウ ス 加 算 法 ， (ⅲ )矩 形 加 算 法 ，
(iv)閾 値 ２ 値 化 法 で 処 理 す る ． (i) は 単 純 に 注 視 点 を
(i)
(ii)
(iii)
(iv)
図 ６ ． 注 視 特 性 . (i)単 純 加 算 法 , (ii)n = 15 の ガ ウ ス 加 算
法 , (iii)n = 29 の 矩 形 加 算 法 , (iv)n = 20 の 閾 値 ２ 値 化 法 .
１ 点 ご と に 加 算 す る 方 法 ， (ⅱ )は 注 視 点 座 標 を 中 心 に ，
n×n 画 素 領 域 に ± ３ シ グ マ 幅 で ピ ー ク 値 １ の ２ 次 元
左右両端と一致するように，中央から左右の両側で異
ガ ウ ス 分 布 の 形 で 加 算 す る 方 法 ， (ⅲ )は 注 視 点 座 標 を
中 心 に n×n 領 域 に 一 定 値 で 加 算 す る 方 法 ， (ⅳ )は
なる倍率を設定して拡大縮小する．更に，画面上で左
右の目の平均的高さと口の平均的高さを指し示し，こ
(ⅱ )の 結 果 の 注 視 特 性 を 閾 値 30 で 0, 1 に ２ 値 化 す る
方 法 で あ る ． こ こ で n の 値 は ， 15, 20, 29 の ３ 通 り
れ ら を そ れ ぞ れ 画 面 上 端 か ら 19 画 素 (30％ ), 51 画 素
(80％ )の 高 さ と 一 致 す る よ う に 縦 方 向 全 体 で 一 定 の 縮
を用いた．なお，みけんから鼻にかかる部分は視線デ
ータが集中するが，表情によってほとんど変化しない
尺率を決めて位置合せする．この処理で必要な画素間
の補間のために，双３次補間を使用した．
ので，この部分の視線データを除去した．この加算処
理結果の提示画像全体の平均値を２へ正規化し，１を
以上の幾何的正規化による画像の切出しを行った後，
輝 度 の 線 形 変 換 を 行 い ， 全 画 像 の 平 均 明 度 を 128 へ ，
加えて注視特性とした．例えば加算処理結果が
（ 1+sin (x)） の よ う に 平 均 値 の 上 下 で 同 じ 分 布 な ら ば ，
コ ン ト ラ ス ト を 標 準 偏 差 35 と な る よ う に そ ろ え た 画
像ファイルを記録する．提案法の計算に際しては，平
注視特性の最小値は１，最大値は５となる．
図６には以上の４通りの注視特性を濃淡画像とし
均明度を零として，図６の注視特性を画素ごとに掛け，
最後に画像全体の標準偏差を１へ正規化する．
て 示 し て い る ． こ の 注 視 特 性 は ， ４ .３ 節 の 画 像 サ イ
ズの正規化法に従って整形後，利用される．
図７には，５章の実験で用いる画像の例から，以上
の 正 規 化 を 行 う 前 (a)と 後 (b)の 画 像 を 示 す ． 図 (b)で
は 注 視 特 性 の 例 と し て 図 ６ (ii)を 適 用 し て い る ．
４ .３
画像の正規化
ここでは，幾何的正規化と輝度の正規化を行う．前
者 で は 次 の ２ 次 元 ア フ ィ ン 変 換 に よ る 処 理 で 64× 64
４ .４
ＣＣＡ計測処理と中間変数への分解
ここでは，学習用データとしての顔表情画像 X と
画素の画像へ正規化する．まず，みけんの中央と鼻の
頂点を画面上で指し示し，これらを結ぶ線分が正立し
主評価値 Y に対するＣＣＡの処理手順を説明する．
行 列 の 各 サ イ ズ は M = 64×64 = 4096, N = 2, K = 143
て画面の横方向の中央に位置するように画像を回転し
て平行移動させる．次に，両目の目尻の位置が画面の
（ DB1） 又 は 212（ DB2）， Ｌ = 2 と な る ．
4
図 ８ : CCA の 分 解 と 中 間 変 数 の 次 元 数 の 変 化 ．
(a)
(b)
© Fuji Television Network (2004)[16]
y t est = (W x L x - 1/ 2 A G (W y L y - 1 / 2 B ) - 1 ) t x t est .
図 ７ . (a)正 規 化 前 の 画 像 ， (b)正 規 化 後 に 注 視 特 性
の 重 み (ii)を 付 け た 画 像 ．
また，中間変量を求める段階でＰＣＡの固有値の個
数 を Sx の 階 数 Ｍ 1 以 下 に す れ ば ， 学 習 の た め の 計 算 量
学 習 デ ー タ に よ り 求 め た ２ .２ 節 の 変 換 行 列 A, B お
をさらに減らすことができる．データの質が高い場合，
この操作によって推定値の精度は一般に低下するが，
よ び G を 用 い て ， テ ス ト 画 像 x t est か ら の 推 定 値 y t est は
次式で求められる．
y t est = ( A G B - 1 ) t x t est .
画像などのデータがノイズを多く含む場合，そのノイ
ズ成分を切り捨てることによって推定精度が向上する
(8)
ことも期待できる．図８には中間変数を含むデータ間
の関係を示している．固有値の個数を減らすと P の
こ の と き ， 画 像 {x h }の 零 平 均 値 化 に 伴 う X の 階 数 低 下
の た め ， 画 像 の 枚 数 が 4096＋ 1 以 上 な い と ， S x が 特
次 元 は 落 ち る が U, V の 次 元 は 変 化 し な い ．
異 行 列 と な り (6) 式 を 適 用 で き な い 問 題 が 生 じ る ． こ
の問題の解決には擬似逆行列や正則化項などの方法が
４ .５
知られているが，計算量や精度等の難点がある．また，
上記の枚数以上の画像の使用は不可能ではないが，膨
た 変 換 行 列 A, B お よ び Q を 使 用 し て ， テ ス ト 画 像
x t est か ら の 推 定 値 y t est が 次 式 で 求 め ら れ る ．
案 す る ． ま ず ， X, Y に そ れ ぞ れ Ｐ Ｃ Ａ を 用 い て 固 有
値の降順に階数分だけ用いる．それぞれの固有ベクト
y t est = ( A Q B - 1 ) t k(X, x t est ).
関数を要素としたベクトルである．
Ｋ Ｃ Ｃ Ａ に お い て は ， 式 (6,7)の よ う に S x の 代 り に
M 1 , N 1 と す る ． 中 間 変 量 P, Q を 次 式 で 求 め る ．
カ ー ネ ル 関 数 の 行 列 K の 共 分 散 行 列 Sk を 用 い る の で ，
普通のＣＣＡに比べて階数低下の問題はあまり起こら
(9)
ない．しかし，前節のようなノイズ成分の切り捨てに
よる推定精度向上の効果などを期待して，ＫＣＣＡに
(10)
このように，非零の固有値に対応する固有ベクトルに
おける中間変数への分解手法を適用することも可能で
あ る ． こ の と き ， テ ス ト 画 像 x t est か ら の 推 定 値 y t est は
よ り 射 影 す れ ば ， P, Q の 共 分 散 行 列 S p , S q は 正 則 行 列
と な り ， P, Q に 関 し て Ｃ Ｃ Ａ を 適 用 可 能 に な る ． さ
次のように求められる．
ら に ， 上 式 で L x - 1/ 2 と L y - 1/ 2 を そ れ ぞ れ 掛 け て い る か ら ，
S p ， S q は 共 に 単 位 行 列 と な る ． 従 っ て P， Q の Ｃ Ｃ Ａ
y t est = (W k L k - 1/ 2 A Q (W y L y - 1/ 2 B) - 1 ) t k(X, x t est ).(17)
では逆行列の計算が不要である．以上から，中間変数
に 対 す る Ｃ Ｃ Ａ の 変 換 行 列 A， B は ， そ れ ぞ れ
S pq S qp A = A G 2 ，
(11)
S qp S pq B = B G 2 ，
(12)
こ こ で ， Wk は Sk の 固 有 値 の 降 順 に 従 い ， 固 有 ベ ク ト
ルを列方向に並べた行列である．
従来から様々なカーネル関数が考案されているが，
本論文ではガウスカーネル関数
k(x i , x j ) = exp(-||x i - x j || 2 / a 2 )
の解として得られることが分る．
(13)
V = B Q = (W y L y
(14)
t
- 1/ 2
t
B) Y，
(18)
を利用した．関数の広がりの程度を示す a の値を実験
中 間 変 量 P， Q を 経 由 す れ ば ， 正 準 変 量 U， V は ，
U = A t P = (W x L x - 1/ 2 A) t X，
(16)
こ こ で ， k(X, x t est ) は X の 各 列 と x t est に よ る カ ー ネ ル
ル を 列 に 並 べ た 行 列 Wx , Wy を 作 り ， 固 有 値 の 対 角 行
列 を L x ， L y と お く ． こ こ で ， X, Y の 階 数 を そ れ ぞ れ
Q = (W y L y - 1/ 2 ) t Y.
ＫＣＣＡによる計測と分解
Ｋ Ｃ Ｃ Ａ で は ， 学 習 デ ー タ か ら 式 (6,7)に よ り 求 め
大な手間を必要とする難点がある．
そこで，本論文では正準相関分析の分解手法を提
P = (W x L x - 1/ 2 ) t X，
(15)
的 に 検 討 し た と こ ろ ， a = [学 習 デ ー タ の 個 数 ]の と き
に最良の結果を得た．以下のＫＣＣＡの実験では，こ
のように設定したガウスカーネルを使用する．
に よ り 計 算 さ れ る ． 以 上 よ り ， テ ス ト 画 像 x t est か ら 主
観 評 価 量 の 推 定 値 y t est は 次 式 で 与 え ら れ る ．
5
(a)
(a)
(b)
(b)
図 10． DB1 の 各 画 像 に 対 す る 推 定 値 対 主 観 評 価 値 .
図 ９ ． 各 画 像 に 対 す る 推 定 結 果 , (a)DB1, (b)DB2.
▽ :泣 き 顔 ， ◇ :笑 い 顔 ， ○ :驚 き 顔 ， ×:怒 り 顔 ，
(a):快 -不 快 ， (b):覚 醒 -鎮 静 ， 記 号 は 図 ９ と 同 一 ．
＋ :恐 怖 顔 ， □ :嫌 悪 顔 , ・ :中 立 顔 ．
(Ｂ )デ ー タ ベ ー ス の 均 質 性 (４ .１ 節 )の 程 度 に 違 い が
あ り ， DB1 は 均 質 性 が 低 く ， DB2 は 高 い ．
５． 実験結果
５ .１
各画像の測定結果
特 に 原 因 (Ｂ )に つ い て 述 べ る と ， DB2 は 10 人 ×７
表 情 ＝ 70 組 の 中 で ， 同 一 人 の 異 な る 強 度 の 同 種 の 表
図 ９ (a),(b) に は そ れ ぞ れ Ｄ Ｂ １ と Ｄ Ｂ ２ の 各 画 像
を Leave-One-Out 法 で 測 定 し た 快 ･不 快 対 覚 醒 ･鎮 静
の 分 散 図 を 示 す ． こ こ で ， Ｄ Ｂ １ の 注 視 特 性 に は (ii)
情 画 像 が ２ 枚 (３ 組 )， ３ 枚 (61 組 )， ４ 枚 (６ 組 )ず つ
含まれ，しかも顔面方向や照明方向，背景等の撮影条
の n=15 ， Ｄ Ｂ ２ で は 注 視 特 性 (iv) の n=29 を 用 い ，
(a),(b) 共 に Ｋ Ｃ Ｃ Ａ 法 に よ っ て 推 定 し た 結 果 を 示 す ．
件 が 良 好 に 制 御 さ れ て い る ． 従 っ て Leave-One-Out 法
における学習画像の中には，測定対象として除外され
これは図３の主観評価値と対応した，提案法による測
定値のプロットである．図３と同様，図９の測定値の
た 画 像 に 類 似 度 の 高 い 画 像 が 必 ず 残 っ て い る ． 図 11
の結果は，少数の大きな外れ値を含むものの，この高
位置と表情の関係も合理的な分布が得られている．
次 に ， 図 ９ の 快 ･不 快 と 覚 醒 ･鎮 静 の 測 定 値 が そ れ ぞ
い類似度の画像を手掛りに，かなり精度の高い測定が
可能になっていると考えられる．
れの主観評価値とどのような回帰関係にあるかを，図
10（ DB1 ） と 図 11 （ DB2） に 示 す ． こ れ ら の 結 果 は い
他 方 ， DB1 は 複 数 の 機 関 か ら 顔 表 情 画 像 を 寄 せ 集 め
たものであり，データの均質性が低く，人種や撮影条
ずれも傾き１の直線の近傍に分布する．従って，本方
法は，推定値に誤差（ばらつき）を含むものの，２つ
件，画質もまちまちである．また，表情画像というよ
り，顔面の表情筋の活動を解析するための画像も含ま
の感情の指標を概ね推定可能であることがわかる．
こ こ で DB1 の 測 定 値 の 誤 差 は DB2 に 比 べ ２ 倍 近 く 大
れる．また，各人物毎に４表情の画像がそろうのは本
学 学 生 19 名 分 の 76 枚 だ け で あ り ， こ の 中 に は 同 一 表
きい．これらの誤差の原因には次の２つが考えられる．
情 で 複 数 の 強 度 を と る 画 像 は 存 在 し な い ． 残 り の 41
名 分 68 枚 の 内 訳 (人 数 ×表 情 数 )は 次 の 通 り ： (22×1)
(Ａ )横 軸 の 主 観 評 価 値 は 多 数 の 被 験 者 の 評 価 値 の 平 均
であり，これ自身が被験者間の分散や，更に同一
被験者内の実験間の分散さえ持つ推定値である．
＋ (12×2)+(6×3)+(1×4)． 最 後 の (１ 名 ×４ 表 情 )は ,
（ 開 口 笑 顔 +閉 口 笑 顔 +驚 顔 +怒 顔 ） で あ る ． こ の う ち ，
6
(a)
(b)
図 11． DB2 の 各 画 像 に 対 す る 推 定 値 対 主 観 評 価 値 .
(a):快 -不 快 ， (b):覚 醒 -鎮 静 ， 記 号 は 図 ９ と 同 一 ．
１人当り２表情，３表情の画像の中に同種の異なる強
度 の 表 情 ２ 枚 を 含 む も の が ， そ れ ぞ れ ２ 名 ,１ 名 分 だ
２点間距離の平均値を表す．
以下では，表１の結果と主観評価の誤差との比較，
け存在する．以上のデータの不均質性にも関わらず，
図 10 の 測 定 値 は あ る 程 度 良 好 な 精 度 を 示 し て い る ．
データベースや解析手法の違い，注視特性の違いなど
による特性の変化などについて述べる．
５ .２
５ .２ .１
静止画像の実験結果のまとめ
主観評価値の平均誤差との比較
図 ３ (a)に お け る DB1 の 主 観 評 価 値 [快 ･不 快 ， 覚
表 １ は ， DB1 ， DB2 に 対 し て ２ 種 類 の 解 析 手 法 と ４
種 類 の 注 視 特 性 （ (i) ～ (iv)） を 用 い る と き ， Leave-
醒･鎮静，全体] の平均誤差は
[0.604, 0.864,
One-Out 法 に よ る 感 情 計 測 の 絶 対 値 誤 差 の 平 均 値 を ま
と め て い る ． こ の 表 で ， [快 ･不 快 ， 覚 醒 ･鎮 静 ] の 誤
1.164]で あ る ． こ れ に 比 べ ， 表 １ の Ｃ Ｃ Ａ （ 注 視 特 性
差 の 平 均 値 は そ れ ぞ れ の 測 定 値 (推 定 値 )と 主 観 評 価 値
の 差 の 絶 対 値 を と っ た 平 均 値 を 表 し ， [全 体 ] の 誤 差
同 じ く Ｋ Ｃ Ｃ Ａ （ 注 視 特 性 (ii)） の 測 定 値 は [1.38 ，
平均値は図９の２次元平面上で測定値と主観評価値の
評 価 と 同 程 度 の 分 散 (精 度 )で 測 定 で き た こ と が 分 る ．
(iii)） に よ る 測 定 値 は [1.47 ， 1.04 ， 0.962] 倍 の 誤 差 ，
0.881, 0.853]倍 の 誤 差 の 特 性 を 持 ち ， 平 均 的 に 主 観
表１．正準相関分析とカーネル正準相関分析による感情測定の平均誤差
注 １ ： DB1 と DB2 に お け る 主 観 評 価 の 平 均 値 か ら の 各 評 価 値 の 平 均 誤 差
[快 ･不 快 ， 覚 醒 ･鎮 静 ， 全 体 ]： DB1 = [0.604, 0.864, 1.164],
手法
注視特性
データ
(ii)ｶﾞｳｽ加 算 n=15
(iv)閾 値 2 値 化 n=29
DB2 = [0.506, 0.837, 1.081].
(iii) 矩 形 加 算 n=29
(i) 単 純 加 算
DB1
DB2
DB1
DB2
DB1
DB2
DB1
DB2
0.894
0.500
0.922
0.488
0.887
0.491
0.900
0.512
Ｃ
覚 醒 ･鎮 静
Ｃ
0.895
0.534
0.928
0.520
0.900
0.524
0.947
0.574
Ａ
全体
1.125
0.627
1.169
0.611
1.120
0.615
1.166
0.661
Ｋ
Ｃ
快 ･不 快
0.832
0.509
0.867
0.491
0.848
0.498
0.828
0.524
覚 醒 ･鎮 静
0.761
0.524
0.788
0.515
0.770
0.517
0.779
0.545
全体
0.993
0.621
1.039
0.600
1.009
0.608
1.001
0.645
測定項目
快 ･不 快
Ｃ
Ａ
7
響の除去も効果を上げていると思われる．
1.5
1.4
５ .３
中間変量の次元数減少の効果
中 間 変 量 P の 次 元 を 減 少 さ せ る 効 果 を 図 12 に 示 す ．
図 の 横 軸 は P の 次 元 数 ， 縦 軸 は DB1 に 対 す る Ｃ Ｃ Ａ
1.3
による主観評価値と測定値との絶対値誤差の平均値で
あ る ． 横 軸 の 右 端 は ， DB1 の 学 習 画 像 の 枚 数 143 か ら
1.2
1.1
142
141
140
130
120
110
100
90
80
70
60
50
40
30
20
10
X の ゼ ロ 平 均 化 に よ る 階 数 1 の 低 下 を 引 い て 142 と な
る ． 次 元 数 が 10 か ら 30 の 範 囲 で は ， 次 元 数 の 増 加 に
図 12． 中 間 変 数 P の 次 元 低 下 に よ る 測 定 誤 差
伴 っ て 推 定 誤 差 が 大 き く 減 少 す る が ， 30 以 上 で は 減
少率は激減し，必ずしも単調な減少を示すとは限らな
一 方 ， DB2 の 図 ３ (b) の 平 均 誤 差 は [0.506, 0.837,
1.081] で あ る ． 表 １ の Ｃ Ｃ Ａ （ 注 視 特 性 (iv)） の 測 定
い．従って，高速な学習が要求されるときは，ある程
度次元数を減らして演算量を低減することが有効と考
値 は [0.964 ， 0.621, 0.565]倍 の 誤 差 ， Ｋ Ｃ Ｃ Ａ （ 注
視 特 性 (iv)） は [0.970 ， 0.615, 0.555] 倍 の 誤 差 と な
えられる．本実験では演算の効率化を特に図っていな
い が ， Ｃ Ｐ Ｕ に Pentium Core2Duo 2.8GHz を 用 い ，
り，平均的に人の主観評価を上回る精度を得た．
表１のいずれの測定誤差も，人の主観評価におけ
Matlab v.14（ イ ン タ プ リ タ 言 語 ， マ ル チ コ ア 未 対 応
版 ） 上 で ， 142 次 元 と 30 次 元 の P に よ っ て 学 習 ・ 計
る 平 均 の 誤 差 に 比 べ ， 最 大 で 1.47 倍 か ら 最 小 で
0.506 倍 の 範 囲 と な っ て い る ． 特 に ， 全 体 の 測 定 項 目
測 を １ 通 り 計 算 す る た め の 平 均 時 間 は そ れ ぞ れ 約 60
秒 ， 5 秒 と な り ， 若 干 の 推 定 誤 差 の 増 加 と 引 換 え に 12
だ け に 着 目 す れ ば ， 人 の 主 観 評 価 よ り 平 均 で 0.962 倍
以下のばらつきにより感情の測定が可能であることが
倍の高速化を得た．
図 12 の 結 果 は 従 来 の 顔 の 研 究 に お け る 結 果 と 概 略
分った．
５ .２ .２
一致する．例えば，固有顔における非常に良好な顔画
像 表 現 に は 40 次 元 で 十 分 な こ と が 知 ら れ て い る [15]．
ＣＣＡとＫＣＣＡの比較
ま ず ， DB2 で は ， Ｋ Ｃ Ｃ Ａ に よ る Ｃ Ｃ Ａ か ら の 「 全
本 研 究 で は 頭 上 部 の 輪 郭 を 除 去 す る の で ， 40 以 下 の
次元で表現できていると思われる．
体」特性の改善は数％に留まっている．この原因は，
前 述 の よ う に DB2 の 撮 影 環 境 は 整 備 さ れ ， 少 人 数 （ 10
なお，本論文の本節以外の実験では，すべて最大
階数の P を用いて結果を求めている．
名）からの同一表情で異なる強度の画像を含むことに
あると考えられる．特に異なる強度の画像同士は互い
に相関が強く，線形演算で表現可能な変化を含み，Ｃ
ＣＡで良好に分析できると期待される．
５ .４
上の静止画像の実験における同一人で同種の表情
他 方 ， DB1 で は Ｋ Ｃ Ｃ Ａ に よ り ， Ｃ Ｃ Ａ に 比 べ て
５ ％ ～ 19 ％ ， 平 均 11％ の 誤 差 の 低 減 が 得 ら れ て い る ．
画 像 の 枚 数 は ， DB1 で 最 大 ２ 枚 （ ３ 名 ）， DB2 で 最 大 ４
枚（６名）と少数である．ここでは，提案手法が表
こ の 結 果 は ， DB1 に お け る 合 計 60 人 で ４ 種 類 の 表 情
の画像データにおける均質性の低さにより説明可能で
情・感情の連続的な変化を有効に計測可能か否かを調
査 す る ． 映 画 [16]か ら 男 性 女 性 各 １ 名 の 動 画 像 ２ 系 列
あろう．つまり，半数以上の被験者について未整備の
多 様 な 環 境 下 で 撮 影 さ れ て お り ， １ ,２ 種 類 の 表 情 画
に対して提案法を適用し，数十段階にわたり次第に変
化して行く表情画像からの感情の推定を試み，その変
像 の み の 人 物 が そ れ ぞ れ 22， 12 名 も 存 在 し て い る ．
そのようなデータは，均質性の高いデータと比べて，
化をどの程度把握できるか調べた．男性の動画像は約
10 秒 間 ， 女 性 の 動 画 像 は 約 30 秒 間 で あ る ． フ レ ー ム
顔画像の空間内で他のデータとの相関が低く，線形演
算による表現が困難と思われる．
５ .２ .３
動画像への適用
変換の際に次のようなフレームを取り除いた：大きく
下向きまたは横向きになり顔の自己遮へいが生じる部
分，顔表情にほとんど変化がない部分，インターレー
ス走査に関係したタイミングのずれによるノイズが発
注視特性の比較
表１のように注視特性の違いは感情の測定誤差に
大 き な 影 響 を 与 え な か っ た が ， DB1 の 実 験 の 結 果 で は
生した部分，障害物によって顔の相当部分が隠れる部
分 ． そ の 結 果 ， フ レ ー ム 数 は そ れ ぞ れ 119 枚 と 149 枚
フ ィ ル タ 範 囲 n = 15 と し た ガ ウ ス 加 算 法 が ， DB2 で は
n = 29 画 素 と し た 閾 値 ２ 値 化 法 が よ り 少 な い 推 定 誤 差
と な っ た ． DB1, DB2 に そ れ ぞ れ 同 じ 姓 別 の 解 析 対 象
人物の画像３枚を追加したデータベースを用いてＣＣ
を与えた．現在の段階では，全部の視点位置情報を総
和してフィルタリングのマスク形状だけを検討してい
Ａを実行した．この追加画像は上の解析対象の動画像
には含まれないが，比較的良く感情の特徴が表れた顔
るが，今後，表情ごとに分けた注視特性などを検討す
る 必 要 が あ る ． 閾 値 ２ 値 化 法 (iv)の 効 果 も 十 分 見 ら れ
画像である．
図 13， 図 14 の そ れ ぞ れ に お い て 図 (a)① ～ ⑧ は 全
ることから，画面下部のあごの左右側に出る背景の影
8
(a)
①
②
③
④
⑤
⑥
⑦
⑧
(a)
© Fuji Television Network (2004)[16]
(b)
①
②
⑤
⑥
③
⑦
④
⑧
© Fuji Television Network (2004)[16]
(c)
(b)
(c)
図 14． 女 性 の 動 画 像 の 顔 表 情 変 化 (a)と 測 定 結 果 (b,c)
図 13． 男 性 動 画 像 の 顔 表 情 変 化 (a)と 測 定 結 果 (b,c)
フ レ ー ム 内 か ら 抽 出 し た 画 像 を 示 し ， 図 (b),(c) は そ
れ ぞ れ 快 ･不 快 ， 覚 醒 ･鎮 静 の 測 定 値 の 時 間 変 化 を 示 す ．
図 14(a)の ① は 驚 き の 表 情 が 見 ら れ る ． 図 14(c)の
覚醒値は最高値を示している．①～②では，驚きの表
図 (a),(b),(c) の 番 号 ① ～ ⑧ は そ れ ぞ れ 対 応 す る フ レ
ームの画像とその位置を示す．
情の強さが徐々に低下していると認識される．この間，
覚醒値も低下の傾向にある．③で驚きの表情は消え，
５ .４ .１
嫌悪の表情へと変化していく．④～⑤の嫌悪を示す表
情で快値は低下し，覚醒値は増加している．⑥で表情
男性動画像
ここで用いる男性の動画像は，権威者の前に立っ
の変化は収まり，⑦では喜びの表情が見られる．⑥～
⑦は快値，覚醒値ともに増加している．⑧は苦笑いの
た 比 較 的 小 さ い お 辞 儀 の 動 作 の 中 で ， 困 惑 ･緊 張 し た
表情から喜びの表情へと変化するものである．
表 情 で あ り ， 快 値 ,覚 醒 値 と も に 低 下 し て い る ． こ れ
は苦笑いの表情があまり単純とは言えないことが原因
時 間 経 過 の 前 半 に お い て 図 13(a)の ① ～ ④ は 困 惑 ･
緊 張 し た 表 情 の 継 続 が 見 ら れ ， 図 (b)の 同 一 区 間 で は
と考えられる．
この女性動画像に対しても全体的に表情と感情の
多少の変動はあるものの快値の低下が見られる．④～
⑤で喜びへの表情の移行が見られ，快の値の増加も見
変化の動きをうまくとらえていると思われる．しかし，
男性の場合に比べ細かい変動成分が大きい．これは，
られる．⑥～⑦は喜びの表情に入るが表情の変化は少
な く ， 快 ・ 不 快 値 と 覚 醒 ･鎮 静 値 も あ ま り 変 化 し な い ．
男性の動画像に比べると，この動画像は顔の向きや傾
きの変化が大きく，正規化の際の変形が大きくなった
⑧は，喜びのなかでも特に強い表情であると認識され
る．快値，覚醒値は共に最高値を示している．
ことが原因として挙げられる.
図 13(c) は 図 (b)ほ ど 大 き い 増 加 は 見 ら れ な い ． し
かし全体を通して覚醒方向への増加が見られ，表情と
６．
感情の変化をうまくとらえているといえる．
５ .４ .２
おわりに
本論文では，正準相関分析法やカーネル正準相関
分析法，そして視線追跡データから得られた顔画像の
注視特性を用いて，顔表情画像から感情を計測・推定
女性動画像
この女性の動画像は，テレビのニュース番組を見
てその内容に関する電話を掛けながら，一喜一憂して
する方法を提案した．データの均質性の面でかなり特
性の異なる男女の顔表情画像データベースを利用し，
いる場面であり，多方向へのある程度大きい動きの中
で，驚きの表情から嫌悪の表情を経て，安堵感と苦笑
Russel の 感 情 円 環 の ２ 座 標 軸 を 感 情 の 指 標 と し て ，
人間の主観評価値がとる分散と同程度またはそれより
いの表情へと変化していくものである．
高い精度で計測をすることが可能となった．特に女性
9
参 考 文 献
のデータベースは良質の顔表情データを備えており，
そ の 測 定 誤 差 の 平 均 値 が 0.5 程 度 と い う 実 用 的 な レ ベ
[1] P.エ ク マ ン ， W.V.フ リ ー セ ン 著 ， 工 藤 訳 :"表 情 分
析 入 門 "， 誠 信 書 房 (1987).
ルでの計測が可能であることが分った．
４種類の注視特性による効果にはあまり大きな違
[2] 竹 原 卓 真 ， 野 村 理 朗 編 著 ： "｢顔 」 研 究 の 最 前 線 ",
北 大 路 書 房 (2005).
い は な か っ た が ， DB1 で は フ ィ ル タ 範 囲 n = 15 と し た
ガ ウ ス 加 算 法 ， DB2 で は n = 29 画 素 と し た 閾 値 ２ 値 化
[3]
法の有効性が実験的に示された．今回は，男女の５表
情の画像に対する注視点位置情報の総和をとって用い
J.A.Russell ： "A Circumplex Model of Affect”, J.
Personality and Social Psychology, 39, pp.11611178(1980).
[4] 金 子 正 秀 ： "顔 に 対 す る 工 学 的 取 扱 い ", 日 本 顔 学
会 誌 ， 8, 1, pp.3-20(2008).
たが，今後，視線移動の時間的要因や移動速度の情報
など，生理的・心理的な知見を参考にして，より複雑
[5] 赤 松 茂 ： "人 間 と コ ン ピ ュ ー タ に よ る 顔 表 情 の 認
識 [I][II][III][IV]”， 電 子 情 報 通 信 学 会 誌 ， Vol's.
85-86, No's.9,10,12,1 (2002, 2003).
な注視特性を組み込む必要があるだろう．具体的には，
表情ごとに異なる注視特性を切り替えること，視線移
動速度により注目度の強度を変化させ，注視点間の関
連性を重み係数として考慮に入れること等が考えられ
[6] M.Pantic
and
L.J.M.Rothkrantz ： "Automatic
Analysis of Facial Expressions : The State of the Art”,
IEEE Trans. PAMI, 22, 12, pp.1424-1445 (Dec.2000).
る．
正準相関分析の分解は学習時の計算量の低減に大き
[7] W.Zheng, X.Zhou, C.Zou and L.Zhao ： "Facial
Expression Recognition Using Kernel Canonical
Correlation Analysis (KCCA),” IEEE Trans. Neural
Network., 17, 1, pp.233-238 (2006).
く貢献できることが分った．主成分分析の過程におけ
る次元数の変化では，場合によっては次元を減らした
方が小さい誤差となることもあり，今後も次元数と注
[8] 坂 口 竜 己 ， 山 田 寛 ， 森 島 繁 生 ： "顔 画 像 を 基 に し
た３次元感情モデルの構築とその評価”電子情報
通 信 学 会 論 文 誌 ， J80A, 8, pp.1279-1284 (1997).
視特性手法の関係について考察する必要があることが
分った．
[9] 永 田 明 徳 ， 金 子 正 秀 ， 原 島 博 ： "平 均 顔 を 用 い た
顔 印 象 分 析 ”， 電 子 情 報 通 信 学 会 論 文 誌 ， J80A, 8,
pp.1266-1272 (1997).
カ ー ネ ル Ｃ Ｃ Ａ は 通 常 の Ｃ Ｃ Ａ に 比 べ て DB1 で 平
均 的 に 約 11％ の 誤 差 を 低 減 さ せ た が ， DB2 で は ほ と
んど効果が見られなかった．この相違の原因について
[10] 赤 穂 昭 太 郎 ： "カ ー ネ ル 正 準 相 関 分 析 "， 2000 年
情 報 論 的 学 習 理 論 ワ ー ク シ ョ ッ プ (July 2000).
は ， ５ .２ .２ で 述 べ た よ う な ２ つ の デ ー タ ベ ー ス の 均
質性やデータ間の関連性の違いにより説明することが
[11] K.Delac and M.Grgic, eds. : Face Recognition, ITECH Education and Pub.(2007).
可能である．カーネルのパラメータは実験的に a =
[学 習 デ ー タ の 個 数 ]の と き に 最 も 小 さ い 誤 差 を 得 た が ，
[12] Z.Zeng, M.Pantic, G.I.Roisman, and T.S.Huang : "A
Survey of Affect Recognition Methods: Audio, Visual,
and Spontaneous Expressions," IEEE Trans. PAMI, 31,
1,pp.39-58(2009).
カーネルパラメータの推測は困難なことが知られてお
り今後の検討が必要である．
本提案手法による更に正確な測定とその実用化の
[13] T.Kanade, J.F.Cohn and Y.Tian ： "Comprehensive
database for facial expression analysis", Proc. 4-th
IEEE Int. Conf. Automatic Face & Gesture Recog., pp.
46-53 (2000).
ためには，顔領域の抽出と顔の部分要素の正確な位置
推定による測定対象画像の正規化とその自動化が欠か
せない．顔追跡と部分要素の位置推定のためには様々
[14] M.J.Lyons, S.Akamatsu, M.Kamachi and J.Gyoba：
“Coding Facial Expressions with Gabor Wavelets,”
Proc. 3-rd Int. Conf. Automatic Face & Gesture
Recog. , pp.200- 205, (Apr.1998).
な手法が研究されているが，計算量や手法の複雑度が
本手法の２次元画像処理と適合するものを利用するこ
とが重要であろう．
[15] M.Kirby and L.Sirovich: "Application of the
Karhunen-Loeve Procedure for the Characterization of
Human Faces," IEEE Trans. PAMI, 12, 1, pp.103-108
(1990).
謝辞
本 研 究 に は 科 学 研 究 費 補 助 金 （ 基 盤 研 究 (C),
20500194) お よ び 九 州 大 学 ユ ー ザ ー サ イ エ ン ス 機 構
[16] Fuji Television Network et.al.： 映 画 "ス ウ ィ ン グ ガ
ー ル ズ " (2004).
（文部科学省平成１６年度科学技術振興調整費戦略的
拠点育成プログラム受託業務）の支援を戴いた．
10
たに
たく や
さ か た
谷 卓 哉 [非 会 員 ]
2007年 九 州 芸 術 工 科 大 学 画 像 設 計
学 科 卒 業 ． 2009年 九 州 大 学 大 学 院 芸
術工学府修士課程修了．同年東京エ
レ ク ト ロ ン 九 州 (株 )入 社 ， ソ フ ト 技
術部勤務．在学中は，顔表情画像の
認識・計測処理に関する研究に従事．
は せ が わ
[非 会 員 ]
2008年 九 州 大 学 芸 術 工 学 部 画 像 設
計学科卒業．現在同大学大学院芸術
工学府修士課程２年在学中．顔表情
画像の認識・計測処理に関する研究
に従事．
さかもと
かど た
廉田
ひろし
浩
[非 会 員 ]
1974 年 京 都 大 学 大 学 院 修 士 課 程 修 了 ．
同 年 松 下 電 器 産 業 ( 株 ) 入 社 ． MPU,
連想メモリ，並列計算機の研究開発
に 従 事 ． 2002 年 九 州 芸 術 工 科 大 学 教
授 ， 2003 年 九 州 大 学 大 学 院 芸 術 工 学
研究院教授，現在に至る．京大工博．
画像処理，メディアプロセッサアー
キテクチャの研究に従事．電子情報
通信学会会員．
ひろやす
坂本 博康
[非 会 員 ]
1977 年 九 州 大 学 大 学 院 博 士 課 程 中
途退学，同年九州大学理学部数学科
助 手 ． 熊 本 大 学 を 経 て ， 2000 年 九 州
芸 術 工 科 大 学 教 授 ， 2003 年 九 州 大 学
大学院芸術工学研究院教授，現在に
至る．理学博士．主として，多変量
解析，計算代数統計学の研究に従事．
日本統計学会，日本数学会，アメリ
カ 数 学 会 ， IEEE， 等 の 会 員 ．
こ う じ
長谷川 浩司
と し お
坂田 年男
[非 会 員 ]
1975年 九 州 工 業 大 学 電 子 工 学 科 卒
業 ． 1977年 同 大 学 大 学 院 修 士 課 程 修
了 ． 同 年 同 大 学 助 手 ， 1986年 九 州 芸
術 工 科 大 学 講 師 ， 2003年 同 教 授 ． 統
合により現在，九州大学大学院芸術
工学研究院教授．博士（工学）．計
算機視覚，顔画像処理，画像計測な
どの研究に従事．電子情報通信学会，
情報処理学会，映像情報メディア学
会，各会員．
ふくしま
しげひろ
福島 重廣
[非 会 員 ]
1971年 京 都 大 学 工 学 部 卒 業 ， 1973
年同大学院修士課程修了．運輸省電
子航法研究所，京都工芸繊維大学，
九 州 工 業 大 学 を 経 て ， 1997年 九 州 芸
術 工 科 大 学 大 学 院 教 授 ． 2003年 九 州
大学大学院芸術工学研究院教授，現
在に至る．京大工博．画像処理と医
用画像工学を中心に多様な画像関連
技 術 に 関 す る 研 究 に 従 事 ． IEEE， 電
子情報通信学会，医用画像工学会，
等の会員．
11
A Method for Measuring Emotion of Facial Expression Images
by Using CCA and Gazing Property
by
Takuya TANI, Kouji HASEGAWA, Hiroyasu SAKAMOTO,
Toshio SAKATA, Hirosi KADOTA and Shigehiro FUKUSHIMA
Abstract：
This paper proposes a method for measuring and estimating emotion level of a facial expression
image by using canonical correlation analysis (CCA) and Kernel CCA (KCCA). According to well
known circumplex model of emotion by J.A.Russel, we adopt a scheme of representing emotion by
two coordinate axes of valence and arousal. Our CCA and KCCA analyze two groups of variables :
1) gray scale images of facial expressions, and 2) their subjectively evaluated values of emotion in
the two coordinate axes. In order to reduce error or uncertainty of estimation for emotion level,
several weighting functions for reading facial expression are assembled from human gazing property
of eye tracking data. Due to insufficient number of training image samples, CCA method often gets
into difficulty of singular covariance matrices. A solution for the difficulty is proposed in this
paper by introducing intermediate variables via principal component analysis (PCA). Property of
nonlinear KCCA method with Gaussian kernel is compared to that of CCA method. The method is
applied to databases of still images and movie images of facial expressions. The experimental
results show that the proposed method is effective in the sense that it can estimate the level of
emotion from facial expression images with comparable estimation uncertainty to human observers.
Keywords :
Facial expression image, Emotion, Gazing property, Canonical Correlation Analysis,
Kernel CCA.
Contact Address : Hiroyasu SAKAMOTO
Faculty of Design, Kyushu University
4-9-1 Shiobaru, Minami-ku, Fukuoka 815-8540, Japan
Tel&Fax : 092-553-4506
E-mail : [email protected]
12
© Copyright 2024 Paperzz
