画像分割と特徴量マッチングに
基づいたオブジェク追跡システム
広島大学
ナノデバイス・バイオ融合科学研究所
准教授 小出 哲士
教 授 Mattausch, Hans Juergen
E-mail: {koide, hjm}@hiroshima-u.ac.jp
http://www.RNBS.hiroshima-u.ac.jp/
1
研究背景：オブジェクト追跡
アプリケーション
知能ロボット
監視カメラなどの被写体追跡
画像認識
動・静止画像中からリアルタイムで対象物体を検出する技術が必要
時間情報を利用した従来の物体追跡手法
u背景・フレーム差分法
対象物体の抽出が比較的容易
静止物体，複数物体，カメラが動く場合の
追跡困難
空間情報を利用した，
オブジェクトベース物体追跡手法を提案
l 画像分割処理
l オブジェクトマッチング処理
ハードウェアによるリアルタイム処理
uオプティカルフローベース手法
複数物体の識別が可能
照明変化に弱い
計算量が多い
研究目的
高度情報処理のためのフロントエンド
技術として利用可能な，
リアルタイム複数物体追跡LSIの開発
2
画像分割と特徴量マッチングによる追跡
入力画像（t）
処理開始
未抽出物体
存在？
・・・
NO
YES
画像分割（１物体抽出）
パターン
マッチング
物体特徴量
フレーム（t）
次フレーム
画像データ入力
位置
高さ
物体特徴量抽出
幅
・・・
物体特徴量フレーム（t-1）
提案アルゴリズムの特長
l
l
l
l
パターンマッチング
動きベクトル・推定位置計算
色
面積
frame (t)
MV
frame (t+1)
frame (t-1)
画像分割により静止体，動体の両方を抽出
剛体のみでなく，非剛体，物体が重なる場合（オクルージョン）も追跡可能
物体別にマッチング処理することにより同時に複数の物体の追跡が可能
カメラが動く場合でも物体の追跡が可能
3
物体追跡アーキテクチャブロック図
カメ
ラ
フ
レ
ー
ム
バ
ッ
フ
ァ
画像分割ブロック
前
処
理
回
路
特徴量抽出・
計算ブロック
重
み
計
算
回
路
イメージスキャン
アーキテクチャ
（m ×2 処理ユニット）
推定位置
計算回路
後
処
理
回
路
物体対応
保存メモリ
最適参照物体
再割り当て回路
モニター
マッチング競合
検出回路
パターンマッチングブロック
参照メモリ
マンハッタン距離
計算回路
最小距離検索回路
K. Yamaoka et al., ISCAS2006
提案アーキテクチャの特徴
T. Morimoto et al., APCCAS2006
l 画像分割ブロックの2次元構造を物体特徴量抽出に利用
l 分割結果を行並列に出力可能なため，高速な特徴抽出が可能
l メモリ機能のスイッチングによる参照メモリ構築時間の削減
l マッチング競合発生時の参照物体再割り当て処理による物体対応の最適化
4
提案アーキテクチャの処理性能見積もり
stage 1
stage 2
時間
処理順序
object 1
推定
物体
画像分割 特徴抽出 マッチング
位置計算
(frame t)
object 2
推定
物体
画像分割 特徴抽出 マッチング
位置計算
(frame t)
動作周波数 20MHz
40
35
QVGA (320 240)
80 60 pixels
処理時間 (msec)
画像中に存在する物体を逐次的に抽出
30
video frame rate
25
l
l
処理時間を占有する
画像分割と物体マッチング処理を異なる
パイプラインステージに分けて並列実行
QVGA画像において，動作周波数20MHz
で約230の物体をリアルタイム（≦33msec）
に追跡可能
20 画像分割時間が支配的
15
10
5
0
0
230
40
80
120
160
追跡物体数
200 240 260
5
物体追跡プロトタイプシステム
1. 信頼性の高いアーキテクチャの検証が可能 QVGAの画像に対しては，
ロジック部60%，メモリ20%の使用率で
2. シミュレーションの時間短縮
FPGA1チップ（EP2S180）に実装可能
3. 改良点をすばやくフィードバック可能
入出力回路
画像サイズ変更
画像分割回路
追跡回路
追跡回路
フレーム
バッファ
SRAM
SXCW60
EA40
A250 D/A変換
Monitor
output
A/D変換
ボタン制御
閾値設定
input
Camera
物体追跡システム
処理画像サイズ
80×60画素
PE数
80×2（2行）
ボード
SXCW60
FPGA デバイス
Stratix(EP1S60)
31,008 / 57,120
ロジックエレメント
(54%)
0.17 / 5.2 Mbits
エンベデッドメモリ
(3%)
3 / 144
DSPブロック
動作周波数
12.27 MHz
6
HSV色空間を利用した画像分割の改良
領域成長型画像分割
画素間の輝度値の差から結合重みを求め，
結合重みの大きい画素へ領域を成長
(k, l)
wij
0度
色相（H）
(i, j)
光の外乱的な反射による分割精度低下
無彩色領域
彩度（S）
RGB色空間による
画像分割
s
240度
有彩色領域
120度
色相（H）と彩度（S）の関係
同一領域が別々の領域に分割
RGBとHSV（Hue，Saturation，Value）色空間を用いた
ハイブリッド結合重み決定手法
7
HSV色空間を利用した画像分割の改良
(k, l)
画素(i, j)と(k, l)のRGB値入力
wij
0度
色相（H）
(i, j)
(c)
RGB値での結合重み計算
RGBからHSVへ変換
無彩色領域
画素(i, j)と(k, l)
S≦ s
無彩色
YES
無彩色
(a) RGBによる
結合重み(wij)決定
NO
NO
有彩色
有彩色
(c) 色相（H）による
結合重み(wij)決定
一方の画素のみ
S≦ s
無彩色
YES
有彩色
(b) 彩度（S）による
結合重み(wij)決定
(b)
彩度（S）
(a)
s
240度
有彩色領域
120度
色相（H）と彩度（S）の関係
RGBとHSV色空間を用いたハイブリッド結合重み決定手法
(a) RGBを用いた精度の高い画像分割
(b) 領域成長を抑制する方向へ結合重み変換（彩度Sを利用）
(c) 同一色相の場合は領域成長を助長する方向へ結合重み変換（色相Hを利用）
8
物体追跡機能シミュレーション例
従来のRGB色空間を用いた追跡結果
RGBとHSV色空間を用いたハイ
ブリッド結合重み計算手法を導入
分割ミス
分割精度改善
人物（無彩色領域）から机（有彩色領域）への領域成長抑制により分割精度改善
物体追跡の信頼性が向上
9
連想メモリの最小距離検索機能
入力パターン
1
4
3
2
参照データ内から入力データと最も類似
したデータを検索．
最類似パターン
のインデックス l 距離が２つのデータ間の違いを表現．
2
l ハミング距離(データ列，音声，白黒画像)．
l マンハッタン距離(カラー/グレイスケール
画像)．
l
参照データ
R
ハミング距離
マンハッタン距離
出力
入力ベクトル
コードブック (4 x 4)
Y
CB
入力画像
1 2 3
CR
W
D Manh, i = S IN j
j= 1
l
l
REFi, j
R
2
31
69
入力画像
英語文字データベース
出力
C
W
DHamm, i = S (IN j REFi, j )
j= 1
入力ベクトルを最類似パターンのインデックスで表現した圧縮 (マンハッタン距離)．
文字データベースとのマッチングによる手書き入力の認識 (ハミング距離)．
最小距離検索連想メモリは様々なパターンマッチング
を必要とするアプリケーションに応用可能
10
特徴量マッチングのための連想メモリ
ディジタル・アナログ融合回路技術による
従来技術との比較
検索処理の高速化
動作点を入力条件に応じて自己自動調整可能な
距離増幅回路（ＷＬＡ増幅回路）
高速，全並列最小ハミング・マンハッタン距離検索
参照パターン当たりの小面積，低消費電力を実現
従来ＣＭＯＳ技術による実現が容易
人工知能，ロボット，ネットワーク等のパターン認識
処理のアプリケーションに応用可能
最小マンハッタン距離検索
連想メモリ試作チップ
（0.35um CMOS技術）
l 最小距離検索時間 : < 240ns
l 消費電力 : < 260mW at 10MHz (34.7mW/mm2)
l 処理性能 : 170GOPS (20GOPS/mm2)
l 実際の画像圧縮などへの適用時の検索時間 : < 150ns
11
学習機能を有する連想メモリ
Øニューラルネットワークを凌駕する新しい学習方式．
Ø人間の脳の学習機能を模倣した短期記憶と長期記憶の概念に基づく
連想メモリベースの学習アルゴリズムとアーキテクチャ
長期記憶領域
ØＬＳＩチップによる集積化に向いたアーキテクチャ
強
(長期間の記憶に用いる)
記憶の強さ
パターン特徴
抽出ユニット
連想メモリ
認識決定
ユニット
認識結果
出力
学習データ
学習
劣化
弱
パターン入力
フロントエンド
適応的パターン
学習ユニット
短期記憶領域
(一時的な記憶に用いる)
忘却
n認識処理におけるデータベースと
適応的パターン学習ユニット
(1) 距離情報 (ハミング距離/マンハッタン距離/ユークリッド距離)
(2) １つまたは複数のしきい値を用いたスキーム
(3) 知識ベースの類推アルゴリズム
(4) 既知の入力情報から未知の入力に関する情報を学習
なる連想メモリの参照データに対し
記憶の強さの指標としてrankを対
応付ける．
nrankの上位の参照データを長期
記憶，下位の参照データを短期記
憶としてモデル化．
※マタウシュ ハンスユルゲン, 小出哲士, 溝上政弘, "参照データ認識・学習方法及びパターン認識システム",
特願2003-434596
12
学習機能を有する連想メモリ技術の融合
全並列最小距離検索
学習連想メモリベースコンピューティングアーキテクチャ
バイオセンサ
生体信号
信号
入力データ
特徴抽出
特徴解析
パターン
生成
連想メモリ
・検索時間 <150nsec,
パターン
学習
ユニット
パターン
最適化
ユニット
学習パターン 290Mbps
アドレス
入力
パターン
Ｎ次元
ベクトル
知識パターン
参照メモリ
（連想メモリ）
290M
～1Tbit/sec
bps
・並列検索能力：170GOPS
290Mbps
(20GOPS/mm2)
・多様な距離指標：
ハミング・マンハッタン・
Winnerパターン
Winnerアドレス
最近傍 290M
bps
検索
ユニット
ユークリッド
判断と
動作決定
ユニット
アーキテクチャ
脳の学習機能を模倣した
短期記憶と長期記憶の概念
Winnerアドレス 290Mbps
動作信号
Winner読み出し＆
認識決定ユニット
連想メモリベース自動学習
290Mbps
認識結果：
Winnerパターン
Winner距離
機械の動作
音声合成
装置,etc
・オンライン学習が可能
・記憶の増加が容易
最適化学習機能
入力データに応じて
参照データを最適化可能
13
従来技術とその問題点
既に実用化されているものには、時間情報を利
用した「背景・フレーム差分法」や「オプティカルフ
ローベース手法」等があるが、
l静止物体，複数物体，カメラが動く場合の
追跡が難しい。
l照明変化に弱い。
l処理のための計算量が多い。
等の問題があり、適用可能なアプリケーションが
限定されていた。
14
新技術の特徴・従来技術との比較（１）
画像分割と特徴量マッチングにより、
u画像分割により静止・動物体の両方を抽出。
u剛体のみならず、非剛体、物体が重なる場合も
追跡可能。
u物体毎に特徴量マッチングを行うことにより、同
時に複数物体（>100）の追跡が可能。
uカメラが動く場合でも物体の追跡が可能。
uハードウェア化によりビデオフレームレートでの
複数物体のリアルタイム追跡を実現。
15
新技術の特徴・従来技術との比較（２）
u複数の物体追跡のための特徴量マッチングに、
最小距離検索連想メモリを用いることにより、コ
ンパクトかつ高速・低消費電力なシステムを構
築可能。
u連想メモリに学習機能を付加することにより、オ
ンラインでの特徴量の学習（補正）により、追跡
物体の追跡ミスの補正が可能。
u画像分割・特徴量マッチング処理システムをソ
フトウェアだけでなく、LSIやFPGAなどのハード
ウェアとして実現可能。
16
想定される用途
ディジタルカメラ、ハンディカム、ディジタル家
電、モバイル機器
車載システム、ナビゲーションシステム
画像認識、個人認証、情報検索、ネットワーク
ＩＤＳシステム
作業ロボット、介護ロボット、知能ロボット
血液・尿検査システム、ヘルスケアシステム、
医療画像処理応用
17
想定される業界
利用者・対象
半導体・LSI製造
コンシューマーエレクトロニクス
カーエレクトロニクス
セキュリティ
FA（Factory Automation）
介護・ヘルスケア・医療応用
18
実用化に向けた課題
現在、画像分割、特徴量マッチングについてソフト
ウェア／ハードウェアによる検証が可能なところまで
開発済み。
連想メモリの基本動作、テストLSI試作、テストアプリ
ケーションへの検証まで開発済み。
今後、対象とするアプリケーションに適用し、実験
データを取得することで、許容可能な条件決定やパ
ラメータの最適化などを行う必要がある。
実用化に向けて、対象とするアプリケーションに要求
される仕様まで、検出精度を向上できるような技術を
確立する必要がある。
19
企業への期待
対象アプリケーションへの応用技術を持つ、
企業との共同研究を希望。
実用化を進めていただける企業を募集（技術
移転の対応可能）。
また、検出・認識処理を必要とするアプリケー
ションを開発中の企業には、本技術の導入が
有効と思われる。
20
本技術に関する知的財産権（１）
発明の名称：画像分割装置および画像分割方法
出願番号：特願2008-274673
出願人：広島大学
発明者：小出哲士,マタウシュ,永岡奈緒美,菅原達也,岡崎啓太
発明の名称：物体追跡装置および物体追跡方法
出願番号：特願2008-274694
出願人：広島大学
発明者：小出哲士,マタウシュ,永岡奈緒美,菅原達也,岡崎啓太
現在、国際特許出願手続き中
21
本技術に関する知的財産権（２）
発明の名称：最小ユークリッド距離検索連想メモリ装置
出願番号：特願2005-266250
出願人：広島大学
発明者：マタウシュ・ハンスユルゲン、小出哲士、アベディン
発明の名称：参照データ最適化装置とパターン認識システム
出願番号：特許3861157
出願人：広島大学
発明者：マタウシュ・ハンスユルゲン, 小出 哲士, 白川 佳則
複数の関連特許も出願・登録済み
22
お問い合わせ先
広島大学
産学連携部門コーディネーター
榧木 高男
ＴＥＬ ０８２－４２１ － ３７０４
ＦＡＸ ０８２－４２１ － ３７８８
e-mail [email protected]
23
© Copyright 2024 Paperzz
