移動物体抽出における一時静止物体・ゴースト・影の統一的

社団法人電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS
信学技報
TECHNICAL REPORT OF IEICE.
移動物体抽出における一時静止物体・ゴースト・影の統一的処理手法
霧生
要一†
北澤
仁志†
† 東京農工大学工学府電気電子工学専攻
〒 184-8588 東京都小金井市中町 2-24-16
E-mail: †[email protected], ††[email protected]
あらまし
移動物体抽出における一時静止物体，ゴースト（静止している物体が動き出したときに発生する移動物体
の跡），影，照明変動の統一的処理手法を提案する．まず，オプティカルフローにより移動物体，静止物体，およびそ
れぞれの影を判別する．次に，エッジ，テクスチャ，物体と影の連結情報を用いて，一時静止物体，ゴースト，および
それぞれの影，照明変動の判別を行う．本報告では，提案手法を屋内，屋外の実環境で撮影した動画像に適用し，そ
の有用性の評価のための実験結果を示す．
キーワード
背景差分，物体識別，オプティカルフロー，テクスチャ
Unified Processing Method for Stopped Object, Ghost and Shadow in
Moving Object Extraction
Youichi KIRIU† and Hitoshi KITAZAWA†
† Department of Electrical and Eelectronic Engineering, Tokyo University of Agriculture and Technology
2-24-16 Nakacho, Koganei, Tokyo, 184-8588 Japan
E-mail: †[email protected], ††[email protected]
Abstract This paper proposes unified processing method for stopped object, ghost(trace of moving object which
appears when stopped object starts moving) shadow and illumination changing in moving object extraction. First,
the moving object, the stopped object, and the each shadow are distinguished by optical flow. Next, distinction of
the stopped object, the ghost, the each shadow, and the illumination changing are actualized by the edge, texture,
and the information about connection between objects and shadows. We applied this method to the dynamic picture images which are shot in the indoor and outdoor actual environment, and conducted the experimental result
to evaluate proposed method.
Key words Background Subtraction, Object Distinction, Optical Flow, Texture
1. はじめに
監視カメラ映像などの動画像の解析には，移動物体の抽出が
基本技術となっている．移動物体抽出には，輝度変動を用いた
背景差分法により，移動物体に関わる画素を抽出する手法が広
く用いられている [1]．しかし，変動輝度値に基づく移動物体抽
出では，図 1 のように，一時的に静止している物体（一時静止
物体の形状を変えてしまい，人物識別や行動識別のような移動
物体抽出後の処理に弊害をもたらすものである．移動物体抽出
情報を監視，防犯などに利用するためにはこれらを統一的に処
理する必要がある．
2. 輝度変動により抽出される領域の分類と背景
更新処理
物体），静止している物体が動き出したときに発生する移動物
入力画像中の各ピクセルは，それぞれ表 1 の 8 個の領域のい
体の跡（ゴースト）[2] を抽出し続けてしまう．また，それらの
ずれかに分類される．背景画像は固定ではなく，入力画像のノ
影や照明変動，カメラの露出変動のような不要物も抽出してし
イズなども考慮し，式 (1) を用いて更新される．I(t)，B(t) は，
まう．駐車場に停まる車のような一時静止物体を抽出し続ける
それぞれ時刻 t における入力画像，背景画像の輝度値，B(t + 1)
ことは余計な情報を残してしまい，ゴーストは実体のない擬似
は更新後の背景輝度値，ρ は背景更新率である．
的なものなので除去されるべきである．また，影や照明変動は，
—1—
ゴースト
(a)
移動物体
(b)
一時静止物体
(c)
移動物体
ゴースト
(a)
(d)
影
図1
(e)
(b)
影・照明変動判別処理後（屋内）
照明変動
背景差分法による抽出物
(c)
B(t + 1) = (1 − ρ)B(t) + ρI(t)
影・照明変動判別処理前（屋内）
影・照明変動判別処理前（屋外の人）
(d)
影・照明変動判別処理後（屋外の人）
(1)
移動物体，移動物体の影のピクセルは，移動物体として誤判
別する領域が現れた場合を考慮し，それが永遠に抽出され続け
ることのないように，微小な更新率を用いて背景更新を行う．
(e)
静止物体，静止している影は抽出され続けることのないよう，
影・照明変動判別処理前（屋外の自動車） (f)影・照明変動判別処理後（屋外の自動車）
背景画像に取り込む必要がある．さらに，一時静止物体，一時
静止物体の影は，一度静止してもすぐに動き出す可能性がある
ので，抽出を続け，一定時間その場に静止している場合に徐々
に背景画像に取り込んでいく．ゴースト，ゴーストの影は不要
影・照明変動判別処理前　（カメラの露出変動）
(g)
なものなので，すぐに背景画像に取り込むようにする．照明変
影・照明変動判別処理後　（カメラの露出変動）
(h)
動も同様に不要なものであるが，他の領域に比べ，面積が大き
く抽出されると考えられる．これをすぐに背景画像に取り込む
と背景画像が乱雑になってしまう恐れがあるため，徐々に背景
画像に取り込む．カメラの露出変動による抽出は照明変動に含
むものとする．
3. 領域の判別手順と手法
図3
影・照明変動判別処理の結果（赤：物体，黄：影・照明変動）
画像の座標 (x, y) におけるオプティカルフローの水平成分，垂
直成分をそれぞれ ux,y , vx,y とする．判別には，動きの有無が
必要となるので，式 (2) の移動ベクトルの長さ O を用いる．
O=
2
u2x,y + vx,y
(2)
図 2 に領域の判別手順を示す．まず，入力画像を背景差分法
により，前景と背景に分割する．次に，影・照明変動判別処理に
物体として抽出した領域におけるベクトルの長さの平均値を
より，前景を物体と影・照明変動に分割する．本研究では，正
OAve とする．静止物体には動きがないため，OAve は非常に小
規化距離を用いた判別手法 [3] を使用し，これにより物体と影・
さい値をとると考えられる．したがって，
照明変動の領域分割が可能であるという前提のもとに進めてい
くものとした．実際には，図 3(d)，(f) のように，撮影環境の
変化により影領域のエッジ部分を誤判別してしまうなど，物体
と影・照明変動の判別が困難な場合もある．物体は移動物体と
静止物体に分類し，その後，静止物体を一時静止物体とゴース
トに分類する．また，影・照明変動も移動物体の影と静止して
OAve >
= T hO
(3)
のとき移動物体とみなし，
OAve < T hO
(4)
のとき静止物体とみなす．
いる影・照明変動に分類し，その後，静止している影・照明変
図 4 は移動物体，一時静止物体，ゴーストのオプティカ
動を一時静止物体の影，ゴーストの影，照明変動に分類する．
ルフローの値である．移動物体は一時静止物体，ゴースト
3. 1 移動物体と静止物体の判別
に比べて大きい値をとっていることがわかる．本研究では，
表 1 に示すように，移動物体には動きがあり，静止物体（一
T hO = 0.9[pixel/sec] とした．
時静止物体とゴースト）には動きがないという違いがある．そ
こで，移動物体と静止物体の判別には，オプティカルフローを
用いた手法 [2] を使用した．
オプティカルフローとは，画像上のあるピクセルが次フレー
3. 2 一時静止物体とゴーストの判別
表 1 に示すように，一時静止物体は入力画像に実体があり，
背景画像には実体がないものである．反対に，ゴーストは入力
画像には実体がなく，背景画像に実体があるものである．
ムにどの方向へ，どの程度の距離を移動したかを表すベクトル
そこで，エッジ情報を用いて，一時静止物体とゴーストの判
である．オプティカルフローの計算方法として，本研究では勾
別を行う．抽出された静止物体の輪郭と背景画像における同位
配法を使用した．
置のエッジを比較する．ゴーストはエッジの重なるピクセルが
—2—
表1
画像中の領域とその特徴（○：背景更新を行う，◎：すぐに背景に取り込む，△：微小な
更新率で行う）
領域
背景更新
動き
実体の有無
連結している物体
入力画像
背景画像
移動物体
△
あり
あり
なし
-
移動物体の影
△
あり
あり
なし
移動物体
一時静止物体
○
なし
あり
なし
-
ゴースト
◎
なし
なし
あり
-
一時静止物体の影
○
なし
あり
なし
一時静止物体
ゴーストの影
◎
なし
なし
なし
ゴースト
照明変動
○
なし
なし
なし
なし
背景
○
-
-
-
-
静止物体
静止している影
入力画像
背景差分
背景
前景
物体
影・照明変動判別
影・照明変動
オプティカルフロー
静止物体
静止している影・照明変動
エッジ，
テクスチャ
連結情報
移動物体一時静止物体ゴースト移動物体の影一時静止物体の影ゴーストの影照明変動
図2
領域の判別手順（点線は判別手法の適用）
多く，一時静止物体は少ないと考えられる．エッジの検出には
像の同位置のテクスチャ特徴値の差分により，一時静止物体と
Prewitt のテンプレート型エッジ検出オペレータを用い，エッ
ゴーストの判別ができると考えられる．
ジがあるピクセルは 1，ないピクセルは 0 の値で表す．静止物
本研究では，テクスチャ特徴値として輝度ヒストグラムの分
体の輪郭の値はすべて 1 とする．式 (5) を用いて，エッジ値が
散値を用いた．一時静止物体，またはゴーストが発生した領域
重なる割合を E とすると，ゴーストは E が大きい値をとると
のピクセルを着目ピクセルとする．分散値を求めるために，着
考えられる．
E=
静止物体の輪郭と背景のエッジ値が等しいピクセル数
(5)
静止物体の輪郭の総ピクセル数
また，ゴーストの発生条件には次の 2 種類がある．
•
元々背景にある静止物体が動き出す場合
•
一時静止物体が背景に取り込まれた後に動き出す場合
後者の場合，入力画像におけるゴーストが発生した領域のテク
スチャは，一時静止物体が背景画像に取り込まれる前の元の背
景画像における同位置のテクスチャに近いと考えられる．そこ
で，ゴーストが発生した領域のテクスチャ特徴値と元の背景画
目ピクセルを中心とした周囲 k × k ピクセルブロックに関して，
（輝度値 l = 0, 1, . . . , 255 ）を求め，各
輝度ヒストグラム H(l)，
輝度値の頻度をブロックのピクセル数で割り，正規化する．正
規化するのは，テクスチャ特徴値が計測する領域の面積に依存
しないようにするためである．ここでは，k = 5 とした．そし
て，式 (7)，(8) より分散値を求める．
P (l) =
H(l)
k2
平均 M EN =
(6)
l=0
lP (l)
(7)
255
—3—
静止物体とゴーストの判別を行う．
オプティカルフロー
の平均値
[pixel/sec]
(a)
白：0～0.16
青：0.16～0.32
水：0.32～0.48
緑：0.48～0.64
黄：0.64～0.8
赤：0.8以上
移動物体
(b)
止物体とみなす．
(a)
ゴースト
一時静止物体
(b)
入力画像
(b)
(c)
ゴースト
背景画像
(a)
(d)
ゴースト（左）と移動物体（右）
図5
(e)
入力画像
(f)
エッジ値が重なる
割合[%]
白：0～20
青：20～40
水：40～60
緑：60～80
黄：80～100
図 7 エッジ値の重なる割合の実験値
図 4 オプティカルフローの実験値
一時静止物体
(9)
のとき，ゴーストとみなす．また，式 (9) 以外の場合，一時静
一時静止物体
(c)
(a)
E>
= T hE または |V ar − V arB | < T hV
一時静止物体
分散値の差分
白：0～2.0
青：2.0～4.0
水：4.0～6.0
緑：6.0～8.0
黄：8.0～10.0
赤：10.0以上
背景画像
一時静止物体とゴースト（赤：物体，黄：影・照明変動）
ゴースト
(b)
移動物体
図8
ゴースト
分散値の差分の実験値
図 7，8 はそれぞれ一時静止物体，ゴーストのエッジの重な
る割合，分散値の差分である．ゴーストはエッジの重なる割
ゴーストの抽出結果
合が大きく，分散値の差分が小さいのがわかる．図 7，8 より，
同時刻の入力画像
T hE = 70[％], T hV = 8.4 とする．
3. 3 移動物体の影，一時静止物体の影，ゴーストの影，照
明変動の判別
移動物体の影は，移動物体と共に動くと考えられる．逆に，
一時静止物体の影，ゴーストの影，照明変動は動きがないもの
と考えられる．したがって，前述したオプティカルフローを使
同時刻の背景画像
用し，影・照明変動の領域での平均値 OAve を求め，
元の背景画像
OAve >
= T hSh
図 6 ゴースト発生時のテクスチャの違い
分散 V AR =
l=0
(10)
のとき移動物体の影とみなし，
2
(l − M EN ) P (l)
(8)
255
入力画像におけるゴーストが発生した領域の平均分散値を
V ar，元の背景画像における同位置の平均分散値を V arB と
する．
以上のエッジ情報と分散値を併用し，以下の条件の下，一時
OAve < T hSh
(11)
のとき静止している影，照明変動（一時静止物体の影，ゴー
ストの影，照明変動）とみなす．
図 9 は移動物体の影，一時静止物体の影のオプティカルフロー
の値である．移動物体の影は一時静止物体の影に比べ，大きい値
—4—
オプティカルフロー
の平均値
(a)
移動物体の影
[pixel/sec]
白：0～0.08
青：0.08～0.16
水：0.16～0.24
緑：0.24～0.32
黄：0.32～0.4
赤：0.4以上
•
移動物体：ρ = 0.0001
•
移動物体の影：ρ = 0.0001
•
一時静止物体：ρ = 0.5
•
一時静止物体の影：ρ = 0.5
•
ゴースト：ρ = 1.0
•
ゴーストの影：ρ = 1.0
•
照明変動：ρ = 0.5
•
背景：ρ = 0.02
5. 実験結果
(b)
一時静止物体の影
図 9 影領域に対するオプティカルフローの実験値
以上の手法を適用した結果を図 10∼16 に示す．使用した画
像は 320 × 240pixel，4frame/sec である．
をとっていることがわかる．図 9 より，T hSh = 0.4[pixel/sec]
とした．
一時静止物体の影，ゴーストの影，照明変動の判別には物体
(a)
一時静止物体
一定時間静止後
(b)
(c)
さらに5フレーム後
との連結情報を用いる．その領域において，閾値以上のピクセ
ルが一時静止物体，ゴーストに連結している場合，それぞれ一
時静止物体の影，ゴーストの影とみなす．連結ピクセル数が閾
値以下の場合，照明変動とみなす．ここでは，閾値=15[pixel]
とした．連結情報がない影（例えばカメラのフレーム外にいる
人の影）は，オプティカルフローによる動きの有無によって移
(d) (a)
ときの背景
(e) (b)
のときの背景
(f) (c)
のときの背景
図 10 一時静止物体の判別と背景更新結果（屋内の人，
（赤：物体，黄：
動物体の影，または照明変動とみなすこととする．
影・照明変動））
4. 背景画像の更新
移動物体，移動物体の影の場合，2 章で述べたとおり，誤判
別された領域が永遠に抽出され続けることのないように，微小
な更新率を用いて更新を行う．一時静止物体の場合，静止して
いるフレーム数をカウントし，一定時間を越えたときに一時静
止物体とみなし，その時刻から背景画像に取り込んでいく．人
(a)
一時静止物体
一定時間静止後
(b)
(c)
さらに3フレーム後
を判別する場合，立ち止まっていても揺らぎを動きとみなして
しまい，背景画像に取り込むのが遅れる可能性がある．一時静
止物体の影の場合，まず一時静止物体が決定されてからそれに
連結している静止している影を一時静止物体の影とみなし，そ
の時刻から背景画像に取り込んでいく．ゴーストの場合，背景
にある物体が動き出し，その移動物体とゴーストが分離するま
では一つの物体として抽出されてしまう．分離後，ゴーストと
(d) (a)
ときの背景
(e) (b)
のときの背景
(f) (c)
のときの背景
図 11 一時静止物体の判別と背景更新結果（屋外の自動車，
（赤：物体，
黄：影・照明変動））
みなされた時刻から背景画像に取り込み，次フレームには除去
される．移動物体とゴーストの分離後のエッジやテクスチャの
図 10 は背景のエッジが複雑な部屋で，人が歩いてきて静止
値によって，判別，除去が遅れる場合がある．ゴーストの影の
した画像，図 11 は屋外で自動車が走ってきて静止した画像で
場合，一時静止物体の影と同様に，まずゴーストが決定されて
ある．これらより，一定時間（手動で設定）その場に静止して
からそれに連結している静止している影をゴーストの影とみな
いる物体および影を，一時静止物体とその影とみなし，背景画
し，その時刻から背景画像に取り込む．照明変動の場合，領域
像に取り込み，3∼5 フレーム後に一時静止物体の抽出を抑える
の面積が大きい場合が多いため，判別されてからすぐに背景に
ことができることがわかる．また，図 12 は図 10 で人が一時静
取り込むと，背景画像が乱雑になる恐れがある．したがって，
止物体として背景画像に取り込まれた後に動き出した画像，図
徐々に背景画像に取り込む．背景領域の場合，入力画像のノイ
13 は屋外で元々背景画像に含まれていた人が動き出した画像で
ズを考慮し，やや小さい更新率で背景画像更新を行う．
ある．これらより，ゴーストと判別されてからすぐ後にゴース
以上をふまえて，各領域の背景更新率を以下のように設定した．
トとその影を除去できることがわかる．図 14 は屋外で元々背
景画像に含まれていた自動車が動き出した画像である．ゴース
—5—
(a)
カメラの露出変動の抽出（黄色）
ゴースト（左）と移動物体（右）
(a)
フレーム後
(c) 2
フレーム後
(f) 2
(b) 1
(i)
照明変動への処理なし
フレーム後
フレーム後
(b)1
(d)
カメラの露出変動の抽出（黄色）
(ii)
(e) 1
照明変動への処理あり
フレーム後
図 15 カメラの露出変動の判別と処理結果（屋内，
（赤：物体，黄：影・
ときの背景
照明変動））
のときの背景
(c) (a)
(d) (b)
図 12 ゴーストの判別と背景更新結果（一時静止物体が背景に取り込
まれた後に動き出す場合，屋内の人，
（赤：物体，黄：影・照明
変動））
(a)
ゴースト（右）と移動物体（左）
(a)
フレーム後
(b)1
フレーム外の物体の影
(d) (a)
ときの背景
(b) 2
フレーム後
(e) (b)
のときの背景
(c) 4
フレーム後
(f) (c)
のときの背景
図 16 フレーム外の物体の影の判別と処理結果（屋外，
（赤：物体，黄：
影・照明変動））
動として処理している．図 15(ii) より，照明変動も徐々に背景
画像に取り込むことで，抽出を抑えられることがわかる．図 16
はフレーム外で静止している人の影である．この場合，
“ 動き
ときの背景
のときの背景
(c) (a)
(d) (b)
図 13 ゴーストの判別と背景更新結果（元々背景にある静止物体が動
き出す場合，屋外の人，
（赤：物体，黄：影・照明変動））
なし，連結なし ”なので照明変動とみなし，背景画像に取り込
むことができた．
6. むすび
本稿では，移動物体抽出においてオプティカルフロー，エッ
ジ，テクスチャを用いた一時静止物体・ゴースト・影の統一的
処理手法を提案し，その有効性を確認した．実験結果より，屋
内，屋外の環境で物体・影の種類を判別し，背景更新処理が可
(a)
ゴースト（右）と移動物体（左）
(b) 2
フレーム後
フレーム後
(c) 4
能であることを示した．しかし，物体の抽出状況により，エッ
ジやテクスチャの一致がとれない場合もある．また，オプティ
カルフローは計算量が多いため，照明変動のような大きな領域
の処理に時間がかかり，リアルタイムでの処理に影響を及ぼし
(d) (a)
ときの背景
(e) (b)
のときの背景
(f) (c)
のときの背景
図 14 ゴーストの判別と背景更新結果（元々背景にある静止物体が動
き出す場合，屋外の自動車，
（赤：物体，黄：影・照明変動））
トの形状がきれいな自動車の形をしておらず，背景画像にある
自動車とエッジが一致しなかったため，ゴーストを除去できず
抽出し続けてしまう問題が起きている．図 15 はカメラの露出
変動による抽出と処理結果である．カメラの露出変動は照明変
てしまう可能性がある．今後の課題としては，誤判別したとき
の対応，処理時間の短縮などが挙げられる．
文
献
[1] C.Stauﬀer,W.E.L.Grimson,”Adaptive background mixture
models for real-time tracking”,CVPR,1998
[2] Rita Cucchiara ，Constantino Grana ，Massimo Piccardi and
“ Detecting Objects, Ghosts, and Shadows in
Andrea Prati ，
Video Streams ，”IEEE Trans. PAMI Vol.25, No.10, 2003
[3] 松山隆司，和田俊和，波部斉，棚橋和也，
“ 照明変化に頑健な背
景差分，”電子情報通信学会論文誌 D-II Vol.J84-D-II No.10,
2001
—6—

Download Report