POS情報との統合解析を指向した画像処理に基づく ショッパー動線解析

修士論文概要 (2014 年 2 月 13 日)
SSI-MT79123171
POS 情報との統合解析を指向した画像処理に基づく
ショッパー動線解析
北海道大学 情報科学研究科 システム情報科学専攻
システム創成情報学講座 システム制御情報学研究室
越中谷俊樹
1
序論
2
商品を基準の解析空間「ゾーン」
ショッパーの行動目的は商品を購入することであり,
コンビニなどのマーケティング手法の中でインスト
アマーチャンダイジング (ISM)[1] という考え方がある. 効果的に解析するには商品との関係を考える必要があ
ISM とはショッパー(小売店に来店する顧客)の購買行 る.我々はショッパーと商品に対しショッパーが関与で
動を解析することで売上を向上させるための取り組み
きる領域をゾーン Z (図 1) と呼び,以下のように定義
である.ISM を行うことにより,店舗はより有効な広
する.cl はゾーンの各頂点,ω は重み,T は滞留時間
告や商品配置を検討して売上を向上させることができ
る.ISM において顧客の行動は来店,通過,滞留,商
品確認,かごに入れる,購入の6パターンに分類され
ている.従来から解析には,購入商品を記録する Point
of Sales(POS) システムが使用されてきた.POS 情報
を利用することにより,顧客行動の中の「購入」を解析
Zone
Trajectory
出来たが,ショッパーの店内行動に由来する「購入」以
外の 5 つの行動は解析出来なかった.動線を記録,解
析できれば,ISM の精度をさらに向上させ,より有効
(a) ショッパー動線
な商品配置などの店舗設計が検討出来る.我々は,多く
の店舗において防犯目的で既に設置された監視カメラ
の映像から人物検出を用いて動線を取得する手法を用
いる.さらに効率的に動線を解析するため,特にマー
ケティングに適した動線のデータ削減の手法について
も検討する.本論文では POS 情報とショッパー動線を
同定する手法を提案し,実店舗で取得した監視カメラ
映像と POS 情報を用いた実験の結果について述べる.
(b) ゾーンで量子化したショッパー動線
(c) ゾーンベース動線
図 2: ショッパー動線のゾーン変換
図 1: ゾーンの定義図
1
図 3: POS 情報とショッパー動線の同定
のしきい値である.またゾーン Zj の領域を Zj とする. 用いて類似度を算出する.まず,ゾーンの中心間の距離
Z
= {{cl }l=1,2,3,4 , ω, T }
cl
= [ Xl
ゾーンベース動線
Yl ]T
を DZ (Zi , Zj ) とすると,エントリー En と Em の距
(1) 離 DE (E , E ) 以下のように定義できる.
n
m
(2)
DE (En , Em ) = DZ (Zi,n , Zj,m )
(9)
out
※ En = {Zi,n , tin
n , tn }
ショッパー動線を作成するために人
物検出を行い人物位置を求め,フレームごとに人物位置
(10)
DP を用いた動線類似度算出法は以下のように定義す
る.α は距離の重み,β は動線の長さの違いに対する
を追跡する.人物検出には李らが提案する SWT(Smart
Window Transform) と Joint-HOG 特徴,Adaboost に
重み,sp,q は動線 ZTp と ZTq の類似度,dp,q は相違
よる手法 [2] を用い,トラッキングには時系列の最近傍
度, dmax は全ての ZT の組み合わせの中で最大の相
探索を用いる.動線 T は以下のように時刻付き人物位
違度である.
置 pi の時系列で表す.
d(i, j) = {DE (En , Em )}α

pi = [ Xi Yi ti ]T
(3)

 d(n − 1, m) + β
T = {pi }i=1,2,···
(4)
+ min
(11)
d(n, m − 1) + β


d(n − 1, m − 1)
ショッパー動線をゾーンを用いて変換した動線をゾーン
dp,q = d(N, M )
(12)
ベース動線(図 2)と呼ぶ.ゾーンベース動線を記述す
dmax − dp,q
るため,下のようにエントリー E を定義する.滞留時
sp,q =
· 100
(13)
dmax
間がしきい値 T より長いエントリーをストップエント
リー E S と呼び,ストップエントリーの時系列により
ゾーンベース動線 ZT を記述する.
E
ES
ZT
tin , tout
= {Z, tin , tout }


pi−1 ∈
/ Zj , pi ∈ Zj
 Z = Zj
in
t = ti pi−1 ∈
/ Zj , pi ∈ Zj

 out
t = ti pi ∈ Zj , pi+1 ∈
/ Zj
in
= {En | tout
n − tn ≥ Tj }
3
(5)
POS 動線類似度算出法
POS-ZT 変換 ショッパー動線との類似度を算出する
(6) ため,POS 情報をゾーンベース動線に変換する (POSZT 変換).POS 情報は購入商品と購入時刻の情報を持
(7) つ.商品 m と商品棚 G,および商品棚 G とゾーン Z
(8) の関係は既知のため,それぞれ変換が可能である.この
変換を fGM (m) ,fZG (G) とおくと,商品 m からゾー
はゾーンに入った時刻,出た時刻である.
ンへ Z の変換 fZM (m) は以下のように定義できる.
S
= {{Em
}m=1,2,··· }
= fZG (G)
(14)
算出する手法を “動線類似度算出法”と呼ぶ.本論文で
= fZG (fGM (m))
(15)
は動的計画法 (Dynamic Programming[3] 以下,DP) を
= fZG · fGM (m) = fZM (m)
(16)
動線類似度算出
Z
ゾーンベース動線どうしの類似度を
2
ZT
POS
ZTpos = {{Em}m=0,1,...} = {{Zm, tmin, tmout }m=0,1,...}
POS - ZT Translation
put in order
POS = ({mi},tc)
3!
ZTu1pos Z2
Z3
Z1
ZTu2pos Z1
Z2
Z3
ZTu3pos Z2
Z1
Z3
ZT
fZM(m) = Z
図 4: POS-ZT 変換:購入商品のゾーンベースへの変換
これらを用いて POS-ZT 変換を以下のように定義する.
表 1: ショッパー動線と同定を行う POS 情報
POS 情報
mi は購入商品, tc は購入時刻である.
= ({mi }, tc )
(17)
˜
E
˜ t˜in , t˜out }
= {Z,
(18)
Z˜
= fZM (mi )
(19)
˜m }m=1,2,··· }
= {{E
(20)
POS
ZT
pos
4
時刻
商品名
数
金額
1045
COトイレクリーナー 12
4
712
実店舗データによる解析実験
t˜in , t˜out は E を構成するためにダミーの時間を入れ POS 情報とショッパー動線の同定および購買行動解析
る.ZTpos は購入商品数 n とすると n! 通り存在する. 実験データの取得には,コープさっぽろの協力のもと
ZTpos の集合を ZT とする.このとき, u を 1∼n を 北海道余市郡にあるコープさっぽろ余市店にカメラを
並び替えた順列とし,u の集合を U = {u1 , u2 , ..., un! } 5 台設置し,2012 年 9 月 6 日から 11 月 6 日までの 2ヶ
とする.
月間撮影を行った.本実験では 2012 年 9 月 15 日午前
ZT
pos
pos
= {ZTpos
u1 , ZTu2 , ..., ZTun! }
10:00 から 11:00 の 1 時間に,日用品の通路を撮影した
(21) カメラの映像を使用した.人物検出,動線抽出により
検出した 195 人のショッパー動線と表 1 の POS 情報の
POS 情報は購入商品と購入時刻
類似度を求めた.ZT と ZT の類似度がしきい値以上
を記録している.POS-ZT 変換では購入商品を用いた
のショッパー動線のことを照合候補と呼ぶ.まず,POS
が,ここでは POS 情報に記録された購入時刻を用いて
動線類似度算出法を用いて照合候補の数を減らし,次
ショッパー動線と POS 情報の類似度を算出する手法を
に残った照合候補の中から目視で同定を行った.
ショッパー存在確率
動線類似度算出法を用いることで,図 5 のように照合
提案する.ショッパーはまず売場を回遊し,商品をカゴ
にいれ,最後にレジで会計(POS 情報に記録)をする. 候補の数を 195 人から 16 人まで減らすことが出来た.
そのため,ショッパーが売場に存在する時間は POS 情 この 16 人から目視で同定を行った結果,2 度の滞留を
報に記録された購入時刻よりも必ず前になる.購入時刻 含むショッパー動線が対応した.POS 情報とショッパー
から推定してショッパーが売場に存在する確率を “ショッ 動線の同定が出来たことで,検出した滞留をさらに購
入挙動と迷い挙動に分けることが出来た(図 6).同定
パー存在確率”と呼ぶ.
するまでは単純に 2 度滞留していることしか分からな
かったが,同定することで滞留を購入挙動,迷い挙動に
POS 動線類似度算出法における類似度 動線類似度算 分けることが出来た.
出法を用いた POS 情報とゾーンベース動線の類似度を
算出法を提案する.前章の POS-ZT 変換を用いて POS
9 月 15 日 10:00
∼11:00 に会計をした 16 人のショッパーの POS 情報と,
算出法により類似度を算出することができる.POS-ZT
同時刻に検出した 145 人分のショッパー動線を用いて
変換により得た ZTpos は購入商品数 n として n! 通り
POS 動線類似度算出法による購入挙動と迷い挙動の判
存在する.類似度を求める際は,この中で最も類似度
別精度の検証を行った.精度検証の結果は図 7 に示す.
が高かった ZTpos
uj の類似度を ZT と ZT の類似度と 検出率,未検出率,誤検出率の算出式は修士論文 (p.38)
する.
購入挙動と迷い挙動の判別精度検証
情報をゾーンベース動線に変換することで,動線類似度
3
[%]
100
Buying
Considering
50
0
Detection rate
Undetected rate
Misdetection rate
図 5: POS 動線類似度算出法による算出結果
図 7: 購入挙動,迷い挙動の検出精度(POS 動線類似
度算出法のみ)
換した動線をゾーンベース動線として新しく定義した.
Considering
このゾーンベース動線どうしの類似度を算出する手法
として動線類似度算出法を提案した.また,POS 情報
をゾーンベース動線に変換する手法として POS-ZT 変
Buying
換を提案し,これらを用いて POS 情報とショッパー動
線を同定する方法について述べた.実験では 195 人分の
ショッパー動線と POS 情報の同定を行い,滞留の検出
および滞留を購入挙動と迷い挙動に分けることが出来
図 6: 「購入挙動」と「迷い挙動」の分類結果
た.また,16 人分の POS 情報と 195 人分のショッパー
動線を用いて購入挙動,迷い挙動の検出精度を評価し
に記載した.購入挙動と迷い挙動の判定は POS 動線類
た.迷い挙動は検出率は 70.7 %,誤検出は 6.0 %と実
似度算出法を用いて行った.POS 情報に記録された購
用化には十分な精度であることが確認できた.これに
入商品を含むゾーンと一致したゾーンでの滞留が購入
より,マーケティングにおいて重要な迷い挙動に注目し
挙動,一致しなかったゾーンでの滞留が迷い挙動であ
て解析を行えるため,商品配置や商品のプロモーション
る.POS 動線類似度算出法の類似判定のしきい値は 95
の検討も詳細かつ正確に行うことが可能である.今後,
%とした.正解値である Ground Truth(以後,GT)は
年齢や性別などの ID 情報についても,画像から取得し
映像から目視で判定した.購入挙動は商品をかごに入
た色特徴から年齢や性別を推定してマッチングするこ
れたとき,迷い挙動は商品を手に取って戻したときと
とで,さらに精度を向上することが出来ると考える.
ただ立ち止まっただけの時とした.しかし,実際は一
つのゾーンベース動線と一致する POS 情報は多くても
参考文献
1 つである.そのため,購入挙動の判定には多数の誤検
出が発生している.しかし,マーケティングにおいて重
[1] 流通経済研究所. インストア・マーチャンダイジン
グ: 製配販コラボレーションによる売場作り. 日本
要なのは,商品を購入しなかった迷い挙動である.迷
い挙動の解析を行う際には,統計的な解析が必要とな
経済新聞出版社, 2008.
るため,検出率が高いことよりも誤検出が少ない方が
より良いと考える.本実験における精度検証では POS
[2] 李媛, 伊藤誠也, 三好雅則, 金子俊一, 藤吉弘亘.
動線類似度算出法のみでの誤検出率は 6.0 %であり迷い
Smart Window Transform を用いた人物検出. 精
密工学会秋季大会学術講演会講演論文集, pp. 920–
921, 2011.
挙動の検出に関しては十分に実用化が可能である.
5
結論
[3] Bertsekas. Dynamic programming and optimal
control, Vol. 1 of 2. Athena Scientific Belmont,
画像解析を用いてショッパーの動線を解析する手法を
提案した.動線のデータ量を圧縮するために商品を基準
MA, 1995.
とした解析空間「ゾーン」を提案し,ゾーンを用いて変
4