ボトムアップな隠れ単語列の推定による隠れ状態系列予測手法
○長坂翔吾, 谷口忠大 (立命館大学), 坂東誉司 (デンソー)
人見謙太郎, ナイワラ・P・チャンドラシリ (トヨタ IT 開発センター)
1
はじめに
本研究では観測された時系列遷移パターンを用いた
長期的な状態系列予測手法について自動車運転データ
による検証実験した. 本手法では観測データの二重分
節構造を仮定し解析する. 二重分節構造とは自然言語
の特性であり人間の扱う言語の分節は単語と文字の二
つに分類できるという性質である. この特性により少
数の文字を組合わせ意味を表現する多数の単語を扱う
ことができる. 本研究では二重分節構造に基づく解析
を行い時系列データの隠れ状態系列予測手法について
評価実験を行いその有効性を検証した.
予測手法
予測手法の概要図を Fig. 1 に示す.
本手法で
は観測データの隠れ状態の推定に Sticky Hierarchical Dirichlet Process-Hidden Markov Model (Sticky
HDP-HMM) 1) を用いることにより二重分節構造にお
ける文字単位の分節化をしている. Sticky HDP-HMM
では学習データより適切な隠れ状態数を推定し, 時系列
データの隠れ状態系列を推定することができる.
また Nested Pitman-Yor Language Model(NPYLM)
を利用した教師なし形態素解析手法 2) を応用すること
で, Sticky HDP-HMM により得られた隠れ状態系列を
チャンク単位に分節化する. 分節化されたチャンク列
からチャンク遷移のモデルを学習することにより, この
情報を利用することで長期的な予測が可能となる.
予測では観測データとしてチャンクの途中までの観
測されているデータを想定するため, 入力データでの
チャンク化を行った後に次のチャンクを予測する手法
は適切ではない. 本手法では観測されているデータ末
尾部分をチャンクの一部と見なして補完を行うことに
よりこの問題を解決した.
3
実験
予測手法の有効性を評価するため自動車運転データ
による評価実験を行った. 自動車の運転挙動はドライ
バの動作が強く影響し, また自動車の直進, 左折などの
運転状態を言語により表現できることより, 二重分節構
造持った時系列データであると考えられる.
実験条件は文献 3) と同じ条件とした. 手法ごとの予
測精度の比較のため状態単位の遷移を行うマルコフモ
デルと, 末尾補完を行わない NPYLM による予測を同
様に行った.
実験結果を Fig. 2 に示す. Fig. 2 より本手法では長
い状態数の予測ができていることがわかる. 本手法で
は NPYLM によるチャンクの分節化が行われるため状
態遷移単位での予測を行う手法と比べて高い精度の予
測ができていることがわかる. また末尾補完しない手
法と比較して, データ末尾部のチャンクを適切に予測で
きていることがわかる.
Fig. 1: 手法概要図
6
5
ฏ‫ۉ‬༧ଌ௕
2
ϚϧίϑભҠϞσϧ
ĕėĠēĔïิ‫͠ͳ׬‬ð
ఏҊϞσϧ
5.300
4
3
2
1.420
1
0.400
0
Fig. 2: 予測長ごとの出現頻度ヒストグラム
4
研究課題
今後の課題として状態遷移の時間予測が挙げられる.
本手法では時系列データを HMM により解析している
ため各状態の持続時間は指数分布に従い, 長い持続時間
を持つ状態の確率が小さく評価される. この問題に対
して状態の持続時間の分布を一般分布に拡張したセミ
マルコフモデルを適用することにより, 状態の持続分布
の推定を行えることができるためチャンクの切り替わ
り時間を正確に予測することができると考えられる.
参考文献
1) E.B. Fox, E.B. Sudderth, M.I. Jordan, and A.S. Willsky. The sticky hdp-hmm for systems with state persistence. In Proceedings of the International Conference
on Machine Learning, 2008.
2) 持橋大地, 山田武士, 上田修功. ベイズ階層言語モデルに
よる教師なし形態素解析. 情報処理学会研究報告, 2009.
3) T. Taniguchi, S. Nagasaka, K. Hitomi, N.P. Chandrasiri, and T. Bando. Semiotic prediction of driving
behavior using unsupervised double articulation analyzer. In Intelligent Vehicles Symposium (IV), pp. 849–
854. IEEE, 2012.