離散時間マルコフ連鎖 - システム情報科学専攻

2012/4/28
システムデザイン
第7回
（金井担当分）
2012/ 05/22
1
本講義の目標

有限状態機械によるシステムの動的挙動の解析



推移確率行列と挙動解析
推移確率行列による挙動解析例１


札幌の天気の推移
推移確率行列による挙動解析例２


マルコフ連鎖
自動車マーケットシェアの推移
推移確率行列による挙動解析例３

Web Page Ranking
2
1
2012/4/28
問題設定

問題：

システムの状態遷移が確率的(pij)に生ずる場合，遷
移を繰り返してゆくと，時間の経過とともに，各状態へ
存在する確率(πj)がどのように変化するか？
例
天気の推移
市場シェア
の推移
π1
p13
p12
p21
p32
p23
q2
p13
p12
p31
p21
π1
p31
p32
p23
q2
q3
q3
3
マルコフ過程の応用
•
•
•
•
•
•
•
•
•
•
熱力学
統計力学
酵素反応
統計的検定
データ圧縮
パターン認識
音声認識
生命情報学
待ち行列理論
インターネット
•
•
•
•
•
•
•
•
経済学
金融工学
社会科学
生物学
気象学
ギャンブル
自動作曲
スポーツゲーム解析
4
2
2012/4/28
マルコフ過程

マルコフ過程(Markov Process)
マルコフ性（式(1)）を満たす確率過程

Prxs  t   A | xu , 0  u  s  Prxs  t   A | xs 
(1)
xt  : 時刻t における状態変数（確率変数）の値
状態空間の部分集合
A:
Pr | : 条件付き確率
将来の状態の条件付き確率分布が、現在状態のみ
に依存し、過去のいかなる状態にも依存しない
確率過程

5
マルコフ連鎖

マルコフ連鎖(Markov Chain)
離散状態をもつマルコフ過程


離散時間マルコフ連鎖(Discrete-time Markov Chain)

時間が離散的に推移するマルコフ連鎖

Pr xt  1  xi | x   x j ,   0,1,2,, t

 Pr xt  1  xi | xt   x jt
S  x1 , x2 ,, x N :



(2)
状態空間(離散的な状態変数値の集合)
次状態の条件付き確率分布が、現在状態のみに依存し、
過去のいかなる状態にも依存しない．
6
3
2012/4/28
斉時的マルコフ連鎖

斉時的マルコフ連鎖(Homogeneous Markov Chain)

次状態の条件付き確率分布が，時刻に依存せず，前状
態のみに依存して一定値をとるマルコフ連鎖

 
t , Pr xt  1  xi | xt   x j  Pr xt   xi | xt  1  x j

7
状態存在確率と推移確率の関係



 i t : マルコフ連鎖が,時刻t で状態xiに存在する確率
 i t   Prxt   xi  i  1,2,......,N 
pij t： 状態xjから状態xiに推移する確率 (推移確率)
i, j  1,2,......,N 
pij t   Pr xt  1  xi | xt   x j


定理より，式(3)が成立
 i t  1 
N
p
ij
t  j t 
πi(t+1)
(3)
j 1
piN
ただし
0  pij t   1, かつ
N

i 1
pij t   1 ( j  1,...,N )
pi1
xi
xN
πN(t)
π1(t)
x1
pi2
pij
x2
π2(t)
xj
πj(t)
8
4
2012/4/28
推移確率行列によるマルコフ連鎖の表現
離散時間マルコフ連鎖は，下記の２つ組で定義可能

S, Pt 
S  x1 , x2 ,, x N 

：状態空間

P(t )  pij (t ) i , j 1,..,N
：推移確率行列

pij t   Pr xt  1  xi | xt   x j

: 状態xjから状態xiに推移する確率
9
状態遷移図によるマルコフ連鎖の表現

離散時間マルコフ連鎖は，ノード：状態，アーク属性：
状態間の推移確率（pij）とした状態遷移図で表現可能
推移確率行列Ｐ
状態遷移図
0.51
0.29
0.42
x1
0.20
0.29
0.38
x3
0.43
0.15
x1
x2
x3
 0.51 0.29 0.42 x1
P  0.20 0.33 0.15 x2
0.29 0.38 0.43 x3
∑=1.0
∑=1.0
∑=1.0
x2
0.33
10
5
2012/4/28
離散時間マルコフ連鎖で表現された
システムの挙動解析(1)
S, Pt  で定義される離散時間マルコフ連鎖において，
時間の経過とともに，システムが各状態へ存在する確率(πi)が
どのように変化するであろうか？
ただし，マルコフ連鎖は「斉時的」(推移確率は一定)とする．

初期状態(t=0)における状態ベクトル Π0 を式(4)で定義する．

Π0   1 0,  2 0,,  N 0t
(4)

時刻t=1の状態ベクトル Π1 は，式(3)より

∴ 時刻 t の状態ベクトル Πt  は，
Π1  P Π0
Πt   PPP  P Π0  P t Π0
(5)
t回
離散時間マルコフ連鎖で表現された
システムの挙動解析(2)

十分に時間が経過した後(t→∞)に，Πt  が一定値 Π  に
収束する(「エルゴード的」と呼ぶ) と仮定するならば，

Π  lim P t Π0
t 

(6)
式(6)より定常状態での Π  は，式(7)を満たすことが分かる．
Π  PΠ


(7)
式(7)より，推移確率行列Pは固有値1をもち， Π  は固有値１
に対応し N
を満たす固有ベクトルであることが分かる．
   1
i
i 1

離散時間マルコフ連鎖の定常状態の状態確率は，
初期状態に依存せず，推移確率行列のみで決定される．
6
2012/4/28
推移確率行列による挙動解析例１
ー札幌の天気の推移ー
今日の札幌地方の天気は「晴れ（x1）」であった．今月の天気の推移確率
行列が下記で与えられる時,1日後，2日後，10日後の天気を予測せよ．ま
た今日が「雨（x3）」であった場合はどうなるか？
今月の「晴れ」，「曇り」，「雨」の日の割合はどの程度か？


状態遷移図
推移確率行列Ｐ
0.51
0.29
0.20
x1
0.42
x1
x2
x3
 0.51 0.29 0.42 x1
P  0.20 0.33 0.15 x2
0.29 0.38 0.43 x3
0.29
0.38
x3
∑=1.0
0.15
∑=1.0
∑=1.0
x2
0.43
13
0.33
推移確率行列による挙動解析例１
ー札幌の天気の推移ー

x1 ：「今日は晴れ」， x2 ：「今日は曇り」， x3 ：「今日は雨」の状態とする．
 

題意より，「今日は晴れ」なので，Π 0  1 0

1日後の「晴れ」「曇り」「雨」の確率
0t
Π1 は，
Π1  P 1 0 0  0.51 0.20 0.29t
t

Π2 は，
Π2  P 1 0 0  0.44 0.21 0.35t
2日後の「晴れ」「曇り」「雨」の確率
t
2

 
10日後の「晴れ」「曇り」「雨」の確率 Π 10 は，
Π10  P
10
1
0 0  0.43 0.21 0.36t
t
14
7
2012/4/28
推移確率行列による挙動解析例１
ー札幌の天気の推移ー
 
もし「今日は雨」から始めると， Π 0  0

1日後の「晴れ」「曇り」「雨」の確率

0 1t
 0.51 0.29 0.42
P  0.20 0.33 0.15
0.29 0.38 0.43
Π1 は，
Π1  P 0 0 1t  0.42 0.15 0.43t

2日後の「晴れ」「曇り」「雨」の確率 Π 2

行列Pの固有値 λ1, λ2 , λ3 は，
1  1
は，
λ2  0.1350 + 0.0669i
Π2  P 2 0 0 1t  0.44 0.20 0.36t
λ3  0.1350  0.0669i
 
10日後の「晴れ」「曇り」「雨」の確率 Π 10 は，

Π10  P10 0 0 1t  0.43 0.21 0.36t
λ1＝1 に対応した固有ベクトルで
1   2   3  1 となるものは
0.43166
0.2092 0.3591t
 
→ 「今日は晴れ」から出発した場合と Π 10 がほぼ一致
15
推移確率行列による挙動解析例１
ー札幌の天気の推移ー


推移確率行列Pの固有値解析による方法
 0.51 0.29 0.42
P  0.20 0.33 0.15 であるので，固有値 λ1, λ2 , λ3 は，
0.29 0.38 0.43
1  1 , λ2  0.1350 + 0.0669i, λ3  0.1350  0.0669i

よって，1  1 に対応した固有ベクトルで
となるものは
0.43166
1   2   3  1
0.2092 0.3591t
•今日の天気がなんであっても，十分日数が経過した後の天気の状態は，
推移確率行列のみで定まる．
16
•「札幌の今月の晴れ，曇り，雨の割合は，0.43，0.21，0.36である．」
8
2012/4/28
推移確率行列による挙動解析例２
ー自動車のマーケットシェアの推移ー
問題：
Ｔ社とN社の車の所有者がいる．５年後に車を買い替える際の
割合が下記のように与えられる場合，買い替えを繰り返してゆく
と，Ｔ社Ｎ社の市場シェアは長期的にどのように変化してゆくか．


Ｔ社の車の所有者：
買い替え時に，99%がＴ社，1%がＮ社の車を購入
Ｎ社の車の所有者：
買い替え時に，95%がN社，5%がT社の車を購入
Ｔ社→Ｔ社，Ｎ社→Ｎ社の買い替え割合：「ブランド・ロイヤリティ」
（特定ブランドに対し、顧客がどの程度の執着心を持っているかを示す
17
マーケティング分野の数値）
推移確率行列による挙動解析例２
ー自動車のマーケットシェアの推移ー

x1 ：「T社の車を所有」の状態， x2 ：「Ｎ社の車を所有」の状態と
すると，状態遷移図と推移確率行列Pは，下記のようになる．
状態遷移図
推移確率行列Ｐ
0.05
x1
x1
x2
0.01
0.99
0.95
x2
0.99 0.05 x1
P

 0.01 0.95 x2
ブランドロイヤリティが99％，95％と高く，他社への乗り換えが少ないので
，せいぜい６割４割ぐらいのマーケットシェアに落ち着きそうだが．．．．
18
9
2012/4/28
推移確率行列による挙動解析例２
ー自動車のマーケットシェアの推移ー
0.99 0.05

 0.01 0.95

推移確率行列Ｐは， P  

Pの固有値 λ1, λ2 は，

1  1 に対応した固有ベクトルで 1   2  1 となるものは
0.834

1  1 , λ2  0.94
0.166t
従って，長期的にみると，Ｔ社：Ｎ社の均衡市場シェアは
5:1にも差が開いてしまう．
ブランドロイヤリティがわずか数％の差でも，長期的マーケットシェアは
19
極端に差がつく．（粉ミルクの市場シェアで実証ずみ．）
推移確率行列による挙動解析例２
ー自動車のマーケットシェアの推移ー
1
1
π1（T社シェア）
0.8
0.8
0.6
πi
πi
0.6
0.4
0.4
0.2
0.2
π2（N社シェア）
0
0
t
50 100 150 200 250 300 350 400 450 500
Π0  1 0t から出発した場合
π1（T社シェア）
π2（N社シェア）
t
0
0
50 100 150 200 250 300 350 400 450 500
Π0  0 1t から出発した場合
20
10
2012/4/28
推移確率行列による挙動解析例3
ー Web Page Rankingー
問題：



Hyperリンク関係をもつ右図のよ
うな７つのWebページ（
ID=1,2,…,7）がある．
リンク関係は，これらページ群内
だけで閉じているものとする．
（ページ群以外からのリンクの出
入りは無いと仮定）
このとき，７つのWebページの
ページランキングを計算せよ．
（よく参照されるページ(それ自身ラ
ンキングが高いページ)からの被リン
ク数の多さ）
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/pagerank.html
より
21
推移確率行列による挙動解析例3
ー Web Page Rankingー

リンク関係の隣接行列Ａを作成
 
A  aij
1 ページiからjへのリンクが存在
a 
ij


ID 1
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/pagerank.html
より
0
2
3
4
5
6
7
0, 1, 1, 1, 1, 0, 1 1
　1
, 0, 0, 0, 0, 0, 0
　2
1, 1, 0, 0, 0, 0, 0 3


A  0, 1, 1, 0, 1, 0, 0 4
1, 0, 1, 1, 0, 1, 0 5


1, 0, 0, 0, 1, 0, 0 6
0, 0, 0, 0, 1, 0, 07 22


11
2012/4/28
推移確率行列による挙動解析例3
ー Web Page Rankingー

隣接行列Aを転置し，各列を非ゼロ成分数で割ること
により，推移確率行列Pを得る．(転置＝「どれだけリン
クされているか」)
0,
1/5,

1/5,

P  1/5,
1/5,

0,
 1/5,

1, 1/2,
0, 1/2,
0,
0,
0,
0,
0,
0,
0,
0,
0,
0,
0, 1/4, 1/2, 0
1/3, 0,
0,
0

1/3, 1/4, 0,
0

0, 1/4, 0,
0
1/3,
0, 1/2, 1


0, 1/4, 0, 0 
0,
0, 0, 0 

23
推移確率行列による挙動解析例3
ー Web Page Rankingー

Pの固有値を計算すると，
1  1 , λ2  -0.4443 + 0.2341i , λ3  

1  1 に対応した固有ベクトルで 1   2     7  1
となるものは
(小数点３位で四捨五入)
[ 0.304 , 0.166, 0.141, 0.105, 0.179, 0.045 , 0.061 ] t
1

2
3
4
5
6
7
ページランキングは，固有ベクトル成分の降順となるので，
1位：ID=1, 2位：ID=5,
3位：ID=2,
4位：ID=3, 5位：ID=4,
6位：ID=7,
7位：ID=6
24
12
2012/4/28
推移確率行列による挙動解析例3
ーWeb Page Rankingー
Rankの高いPage
からのリンク
Rankの高い
Page

1.
Rankの低い
Page
（ID=1,2から
のリンクなし）
2.
Rankの
高い
Page
3.



Rankの高い
Page
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/pagerank.html
PageRankが高くなる条件
被リンク数 (単純な意味での人気
度) が多いこと．
評価の高い(Rankの高い)ページ
からのリンクが多いこと (裏付けの
ある人気) ．
リンク元ページでの他リンク数が
少ないこと (選び抜かれた人気)．
高RankのPageからのリンクが
ないPageのRankは下がる．
自分からリンクをいくら張っても
Rankは上がらない．
Google Page Rankingの原理
(特許化，20数億次元の固有値解析)25
より
26
ページランクの例（１）
Hokkaido Univ.
Page Rank = 7/10
Waseda Univ.
Page Rank = 8/10
13
2012/4/28
ページランクの例（２） of Page Rank （2）
M.I.T
Page Rank = 9/10
Google USA
Page Rank = 10/10
27
14

Download Report