修士論文概要 (2014 年 2 月 13 日) SSI-MT79123171 POS 情報との統合解析を指向した画像処理に基づく ショッパー動線解析 北海道大学 情報科学研究科 システム情報科学専攻 システム創成情報学講座 システム制御情報学研究室 越中谷俊樹 1 序論 2 商品を基準の解析空間「ゾーン」 ショッパーの行動目的は商品を購入することであり, コンビニなどのマーケティング手法の中でインスト アマーチャンダイジング (ISM)[1] という考え方がある. 効果的に解析するには商品との関係を考える必要があ ISM とはショッパー(小売店に来店する顧客)の購買行 る.我々はショッパーと商品に対しショッパーが関与で 動を解析することで売上を向上させるための取り組み きる領域をゾーン Z (図 1) と呼び,以下のように定義 である.ISM を行うことにより,店舗はより有効な広 する.cl はゾーンの各頂点,ω は重み,T は滞留時間 告や商品配置を検討して売上を向上させることができ る.ISM において顧客の行動は来店,通過,滞留,商 品確認,かごに入れる,購入の6パターンに分類され ている.従来から解析には,購入商品を記録する Point of Sales(POS) システムが使用されてきた.POS 情報 を利用することにより,顧客行動の中の「購入」を解析 Zone Trajectory 出来たが,ショッパーの店内行動に由来する「購入」以 外の 5 つの行動は解析出来なかった.動線を記録,解 析できれば,ISM の精度をさらに向上させ,より有効 (a) ショッパー動線 な商品配置などの店舗設計が検討出来る.我々は,多く の店舗において防犯目的で既に設置された監視カメラ の映像から人物検出を用いて動線を取得する手法を用 いる.さらに効率的に動線を解析するため,特にマー ケティングに適した動線のデータ削減の手法について も検討する.本論文では POS 情報とショッパー動線を 同定する手法を提案し,実店舗で取得した監視カメラ 映像と POS 情報を用いた実験の結果について述べる. (b) ゾーンで量子化したショッパー動線 (c) ゾーンベース動線 図 2: ショッパー動線のゾーン変換 図 1: ゾーンの定義図 1 図 3: POS 情報とショッパー動線の同定 のしきい値である.またゾーン Zj の領域を Zj とする. 用いて類似度を算出する.まず,ゾーンの中心間の距離 Z = {{cl }l=1,2,3,4 , ω, T } cl = [ Xl ゾーンベース動線 Yl ]T を DZ (Zi , Zj ) とすると,エントリー En と Em の距 (1) 離 DE (E , E ) 以下のように定義できる. n m (2) DE (En , Em ) = DZ (Zi,n , Zj,m ) (9) out ※ En = {Zi,n , tin n , tn } ショッパー動線を作成するために人 物検出を行い人物位置を求め,フレームごとに人物位置 (10) DP を用いた動線類似度算出法は以下のように定義す る.α は距離の重み,β は動線の長さの違いに対する を追跡する.人物検出には李らが提案する SWT(Smart Window Transform) と Joint-HOG 特徴,Adaboost に 重み,sp,q は動線 ZTp と ZTq の類似度,dp,q は相違 よる手法 [2] を用い,トラッキングには時系列の最近傍 度, dmax は全ての ZT の組み合わせの中で最大の相 探索を用いる.動線 T は以下のように時刻付き人物位 違度である. 置 pi の時系列で表す. d(i, j) = {DE (En , Em )}α pi = [ Xi Yi ti ]T (3) d(n − 1, m) + β T = {pi }i=1,2,··· (4) + min (11) d(n, m − 1) + β d(n − 1, m − 1) ショッパー動線をゾーンを用いて変換した動線をゾーン dp,q = d(N, M ) (12) ベース動線(図 2)と呼ぶ.ゾーンベース動線を記述す dmax − dp,q るため,下のようにエントリー E を定義する.滞留時 sp,q = · 100 (13) dmax 間がしきい値 T より長いエントリーをストップエント リー E S と呼び,ストップエントリーの時系列により ゾーンベース動線 ZT を記述する. E ES ZT tin , tout = {Z, tin , tout } pi−1 ∈ / Zj , pi ∈ Zj Z = Zj in t = ti pi−1 ∈ / Zj , pi ∈ Zj out t = ti pi ∈ Zj , pi+1 ∈ / Zj in = {En | tout n − tn ≥ Tj } 3 (5) POS 動線類似度算出法 POS-ZT 変換 ショッパー動線との類似度を算出する (6) ため,POS 情報をゾーンベース動線に変換する (POSZT 変換).POS 情報は購入商品と購入時刻の情報を持 (7) つ.商品 m と商品棚 G,および商品棚 G とゾーン Z (8) の関係は既知のため,それぞれ変換が可能である.この 変換を fGM (m) ,fZG (G) とおくと,商品 m からゾー はゾーンに入った時刻,出た時刻である. ンへ Z の変換 fZM (m) は以下のように定義できる. S = {{Em }m=1,2,··· } = fZG (G) (14) 算出する手法を “動線類似度算出法”と呼ぶ.本論文で = fZG (fGM (m)) (15) は動的計画法 (Dynamic Programming[3] 以下,DP) を = fZG · fGM (m) = fZM (m) (16) 動線類似度算出 Z ゾーンベース動線どうしの類似度を 2 ZT POS ZTpos = {{Em}m=0,1,...} = {{Zm, tmin, tmout }m=0,1,...} POS - ZT Translation put in order POS = ({mi},tc) 3! ZTu1pos Z2 Z3 Z1 ZTu2pos Z1 Z2 Z3 ZTu3pos Z2 Z1 Z3 ZT fZM(m) = Z 図 4: POS-ZT 変換:購入商品のゾーンベースへの変換 これらを用いて POS-ZT 変換を以下のように定義する. 表 1: ショッパー動線と同定を行う POS 情報 POS 情報 mi は購入商品, tc は購入時刻である. = ({mi }, tc ) (17) ˜ E ˜ t˜in , t˜out } = {Z, (18) Z˜ = fZM (mi ) (19) ˜m }m=1,2,··· } = {{E (20) POS ZT pos 4 時刻 商品名 数 金額 1045 COトイレクリーナー 12 4 712 実店舗データによる解析実験 t˜in , t˜out は E を構成するためにダミーの時間を入れ POS 情報とショッパー動線の同定および購買行動解析 る.ZTpos は購入商品数 n とすると n! 通り存在する. 実験データの取得には,コープさっぽろの協力のもと ZTpos の集合を ZT とする.このとき, u を 1∼n を 北海道余市郡にあるコープさっぽろ余市店にカメラを 並び替えた順列とし,u の集合を U = {u1 , u2 , ..., un! } 5 台設置し,2012 年 9 月 6 日から 11 月 6 日までの 2ヶ とする. 月間撮影を行った.本実験では 2012 年 9 月 15 日午前 ZT pos pos = {ZTpos u1 , ZTu2 , ..., ZTun! } 10:00 から 11:00 の 1 時間に,日用品の通路を撮影した (21) カメラの映像を使用した.人物検出,動線抽出により 検出した 195 人のショッパー動線と表 1 の POS 情報の POS 情報は購入商品と購入時刻 類似度を求めた.ZT と ZT の類似度がしきい値以上 を記録している.POS-ZT 変換では購入商品を用いた のショッパー動線のことを照合候補と呼ぶ.まず,POS が,ここでは POS 情報に記録された購入時刻を用いて 動線類似度算出法を用いて照合候補の数を減らし,次 ショッパー動線と POS 情報の類似度を算出する手法を に残った照合候補の中から目視で同定を行った. ショッパー存在確率 動線類似度算出法を用いることで,図 5 のように照合 提案する.ショッパーはまず売場を回遊し,商品をカゴ にいれ,最後にレジで会計(POS 情報に記録)をする. 候補の数を 195 人から 16 人まで減らすことが出来た. そのため,ショッパーが売場に存在する時間は POS 情 この 16 人から目視で同定を行った結果,2 度の滞留を 報に記録された購入時刻よりも必ず前になる.購入時刻 含むショッパー動線が対応した.POS 情報とショッパー から推定してショッパーが売場に存在する確率を “ショッ 動線の同定が出来たことで,検出した滞留をさらに購 入挙動と迷い挙動に分けることが出来た(図 6).同定 パー存在確率”と呼ぶ. するまでは単純に 2 度滞留していることしか分からな かったが,同定することで滞留を購入挙動,迷い挙動に POS 動線類似度算出法における類似度 動線類似度算 分けることが出来た. 出法を用いた POS 情報とゾーンベース動線の類似度を 算出法を提案する.前章の POS-ZT 変換を用いて POS 9 月 15 日 10:00 ∼11:00 に会計をした 16 人のショッパーの POS 情報と, 算出法により類似度を算出することができる.POS-ZT 同時刻に検出した 145 人分のショッパー動線を用いて 変換により得た ZTpos は購入商品数 n として n! 通り POS 動線類似度算出法による購入挙動と迷い挙動の判 存在する.類似度を求める際は,この中で最も類似度 別精度の検証を行った.精度検証の結果は図 7 に示す. が高かった ZTpos uj の類似度を ZT と ZT の類似度と 検出率,未検出率,誤検出率の算出式は修士論文 (p.38) する. 購入挙動と迷い挙動の判別精度検証 情報をゾーンベース動線に変換することで,動線類似度 3 [%] 100 Buying Considering 50 0 Detection rate Undetected rate Misdetection rate 図 5: POS 動線類似度算出法による算出結果 図 7: 購入挙動,迷い挙動の検出精度(POS 動線類似 度算出法のみ) 換した動線をゾーンベース動線として新しく定義した. Considering このゾーンベース動線どうしの類似度を算出する手法 として動線類似度算出法を提案した.また,POS 情報 をゾーンベース動線に変換する手法として POS-ZT 変 Buying 換を提案し,これらを用いて POS 情報とショッパー動 線を同定する方法について述べた.実験では 195 人分の ショッパー動線と POS 情報の同定を行い,滞留の検出 および滞留を購入挙動と迷い挙動に分けることが出来 図 6: 「購入挙動」と「迷い挙動」の分類結果 た.また,16 人分の POS 情報と 195 人分のショッパー 動線を用いて購入挙動,迷い挙動の検出精度を評価し に記載した.購入挙動と迷い挙動の判定は POS 動線類 た.迷い挙動は検出率は 70.7 %,誤検出は 6.0 %と実 似度算出法を用いて行った.POS 情報に記録された購 用化には十分な精度であることが確認できた.これに 入商品を含むゾーンと一致したゾーンでの滞留が購入 より,マーケティングにおいて重要な迷い挙動に注目し 挙動,一致しなかったゾーンでの滞留が迷い挙動であ て解析を行えるため,商品配置や商品のプロモーション る.POS 動線類似度算出法の類似判定のしきい値は 95 の検討も詳細かつ正確に行うことが可能である.今後, %とした.正解値である Ground Truth(以後,GT)は 年齢や性別などの ID 情報についても,画像から取得し 映像から目視で判定した.購入挙動は商品をかごに入 た色特徴から年齢や性別を推定してマッチングするこ れたとき,迷い挙動は商品を手に取って戻したときと とで,さらに精度を向上することが出来ると考える. ただ立ち止まっただけの時とした.しかし,実際は一 つのゾーンベース動線と一致する POS 情報は多くても 参考文献 1 つである.そのため,購入挙動の判定には多数の誤検 出が発生している.しかし,マーケティングにおいて重 [1] 流通経済研究所. インストア・マーチャンダイジン グ: 製配販コラボレーションによる売場作り. 日本 要なのは,商品を購入しなかった迷い挙動である.迷 い挙動の解析を行う際には,統計的な解析が必要とな 経済新聞出版社, 2008. るため,検出率が高いことよりも誤検出が少ない方が より良いと考える.本実験における精度検証では POS [2] 李媛, 伊藤誠也, 三好雅則, 金子俊一, 藤吉弘亘. 動線類似度算出法のみでの誤検出率は 6.0 %であり迷い Smart Window Transform を用いた人物検出. 精 密工学会秋季大会学術講演会講演論文集, pp. 920– 921, 2011. 挙動の検出に関しては十分に実用化が可能である. 5 結論 [3] Bertsekas. Dynamic programming and optimal control, Vol. 1 of 2. Athena Scientific Belmont, 画像解析を用いてショッパーの動線を解析する手法を 提案した.動線のデータ量を圧縮するために商品を基準 MA, 1995. とした解析空間「ゾーン」を提案し,ゾーンを用いて変 4
© Copyright 2024 Paperzz