Reinforcement_Learning_An_Introduction.pdf

!"#$%&!' ()$! !* ,-)&./0 + ,/ &!'0 #" !"#$%&!' ()$! !* 3 4! ,-'!55 ,-)&./ 6 7 %87)%87# 1 :;&&)$< 2 = 0'#$< #" !"#$%&!' ()$! !* > ? @/ #*$).A %)/ &)$B0 D EFGHGF I JIIKGL
4! !8)$&5 ?)!5 ' M$#@/ & 4%' #!8N)/; O'A#50 + :#"'&)- 4%' #! :/ %' #! 3 ,P)/;)' #! P$0;0 Q!0'$;%' #! 1 Q!%$&!')/ Q&./ &!')' #! 2 7$)%B !* ) R#!0')' #!)$< M$#@/ & > S.' & 0' % Q! ' )/ N)/;0 T !"#$%&!' U#&.)$ 0#! 9 M;$0; ' O'A#50 C 400#% )' P :)$%A U#!%/;0 #! VWI XIYIZI [IG\ ]KHI Z
+ 7A 4*!'8,!P $#!&!' Q!'$")% + _#)/0 )!5 `)$50 ++ ';$!0 +3 4 a! b5 R#')' #! "#$ ,. 0#5 % )!5 U#!' !;)/ 7)0B0 +1 7A O)$B#P M$#.$'< +2 O)$B#P c% 0 #! M$#%000 +> N)/; d;!%' #!0 +T S.' &)/ N)/; d;!%' #!0 +9 S.' &)/ '< )!5 4..$#- &)' #! +
+
1
2
9
3
3
+C
+
++
+1
+2
3
3
33
31
3>
39
1C
^
1+
1>
1T
2C
2
21
2>
>+
>T
3
+C :;&&)$< >9
+ ? @/ #*$).A %)/ )!5 = 0'#$ %)/ &)$B0 TC
GZ ]\GZZ\
3 M#/ %< ,P)/;)' #! TT
3 M#/ %< Q&.$#P&!' 9
3+ M#/ %< Q' $)' #! 93
33 N)/; Q' $)' #! 9T
31 40<!%A$#!#;0 c<!)& % M$#*$)&& !* C
32 _!$)/ 5 M#/ %< Q' $)' #! C
3> , % !%< #" c<!)& % M$#*$)&& !* C+
3T :;&&)$< C3
39 = 0'#$ %)/ )!5 ? @/ #*$).A %)/ &)$B0 C1
^ I GH IW 1 O#!' U)$/# M#/ %< ,P)/;)' #! CT
1 O#!' U)$/# ,0' &)' #! #" 4%' #! N)/;0 1+ O#!' U)$/# U#!'$#/ +
13 S!8M#/ %< O#!' U)$/# U#!'$#/ 1
11 ,P)/;)' !* S! M#/ %< A / d#//#` !* 4!#'A$ T
12 S 8M#/ %< O#!' U)$/# U#!'$#/ 9
1> Q!%$&!')/ Q&./ &!')' #! 1T :;&&)$< 19 = 0'#$ %)/ )!5 ? @/ #*$).A %)/ &)$B0 +
VIZ ! GH " III [IG\
D^
2 7c M$5 %' #! 1
2 45P)!')*0 #" 7c M$5 %' #! O'A#50 9
2+ S.' &)/ '< #" 7c #C $ +
23 :)$0)6 S!8M#/ %< 7c U#!'$#/ +1
21 % 8/ )$! !*6 S 8M#/ %< 7c U#!'$#/ +T
22 4%'#$8U$ ' % O'A#50 #&$ 3
2> 8()$! !* "#$ a!5 0%#;!'5 U#!' !;)/ 7)0B0 #&$ 3+
2T _)&0 ' 4"'$ :')'0 ' )!5 #'A$ :.% )/ U)00 33
29 U#!%/;0 #!0 32
2C = 0'#$ %)/ )!5 ? @/ #*$).A %)/ &)$B0 3>
1
EH\KH VGI ^^
> !80'. 7c M$5 %' #! 12
> 7A d#$`)$5 N ` #" 7c #$ 2C
>+ 7A ?)%B`)$5 N ` #" 7c #$ 2+
>3 , ; P)/ !% #" 'A d#$`)$5 )!5 ?)%B`)$5 N `0 22
>1 :)$0) #$ 29
>2 % #$ >
>> ,/ * @ / '< 7$)%0 "#$ 4%'#$8U$ ' % O'A#50 #&$ >3
>T ./) % !* 7$)%0 >1
>9 Q&./ &!')' #! Q00;0 >>
>C N)$ )@/ #&$ >T
> U#!%/;0 #!0 >9
> ? @/ #*$).A %)/ )!5 = 0'#$ %)/ &)$B0 TC
IIGH G G J !! ZG T N)/; M$5 %' #! ` 'A d;!%' #! 4..$#- &)' #! T+
T _$)5 !'8c0%!' O'A#50 T2
T+ ( !)$ O'A#50 T9
T3 U#!'$#/ ` 'A d;!%' #! 4..$#- &)' #! 9T
T1 S 8M#/ %< ?##'0'$).. !* C+
T2 :A#;/5 ?##'0'$). C>
T> :;&&)$< CT
TT ? @/ #*$).A %)/ )!5 = 0'#$ %)/ &)$B0 C9
]HG \ G [IG\
D
9 O#5/0 )!5 M/) !! !* +
9 Q!'*$)' !* M/) !! !* ' 4%' !* ' )!5 ()$! !* 1
9+ A! 'A O#5/ 0 $#!* C
93 M$ #$ ' 5 :`. !* +
91 d;// P0 :)&./ ?)%B;.0 2
92 7$) %'#$< :)&./ !* +C
9> =;$ 0' % :)$%A ++
9T :;&&)$< +1
99 = 0'#$ %)/ )!5 ? @/ #*$).A %)/ &)$B0 +2
ZI D C 7A a! b5 N ` +9
C S'A$ d$#!' $ c &!0 #!0 3
2
G I I D^
7c8_)&&#! 31
:)&;/0 UA%B$0 M/)<$ 1C
+ 7A 4%$#@#' 1+
3 ,/P)'#$ c 0.)'%A !* 12
1 c<!)& % UA)!!/ 4//# %)' #! 2C
2 #@8:A#. :%A5;/ !* 23
b$0' %)& '# "#%;0 #! À)' 0 !#` B!#`! )0 $ !"#$%&!' / )$! !* ! /)' 9>9
`$ @#'A )' 'A a! P$0 '< #" O)00)%A;0''0 `#$B !* #! #! #" 'A )$/ 0' .$# %'0
'# $P P 'A #/5 5) 'A)' !'`#$B0 #" !;$#!8/ B )5).' P / &!'0 & *A' .$#P '# @ )
.$#& 0 !* )..$#)%A '# )$' b% )/ )5).' P !'// *!% 7A .$# %' -./# $5 'A A'$#0')' %
'A#$< #" )5).' P 0<0'&0 5P/# .5 @< 4 =)$$< /# ." =)$$< 0 `#$B `)0 ) $ %A 0#;$%
#" 5)0 ' )!5 ` `$ .$& ''5 '# -./# $ 'A& %$ ' %)//< )!5 %#&.)$ 'A& ` 'A 'A /# !*
A 0'#$< #" .$ #$ `#$B ! )5).' P 0<0'&0 S;$ ')0B @%)& #! #" ')0 !* 'A 5)0 ).)$'
)!5 ;!5$0')!5 !* 'A $ $/)' #!0A .0 )!5 $/)' P &.#$')!% 7A 0 %#!' !;0 '# 'A 0 5)<'
@;' ! 9>9 ` %)& '# $)/ 'A)' .$A).0 'A 0 &./0' #" 'A 5)0 ' À %A A)5 /# !*
@! ')B! "#$ *$)!'5 ' A)5 ! ")%' $% P5 $/)' P/< / ''/ )''!' #! "$#& ) %#&.;')' #!)/
.$0.%' P 7A 0 `)0 0 &./< 'A 5) #" ) / )$! !* 0<0'& 'A)' `)!'0 0#&'A !* ' 'A)'
)5).'0 '0 @A)P #$ ! #$5$ '# &)- & ) 0.% )/ 0 *!)/ "$#& '0 !P $#!&!' 7A 0 `)0 'A
5) #" ) A5#! 0' % / )$! !* 0<0'& ' #$ ' )0 ` `#;/5 0)< !#` ' 'A 5) #" $ !"#$%&!'
/ )$! !*
( B #'A$0 ' ` A)5 ) 0!0 'A)' $ !"#$%&!' / )$! !* A)5 @! 'A#$#;*A/< -./# $5
! 'A )$/< 5)<0 #" )$' b% )/ !'// *!% )!5 %<@$!' %0 S! %/# 0$ !0.%' #! ' 'A#;*A ' `
"#;!5 'A)' ' A)5 @! -./# $5 #!/< 0/ *A'/< "#;!5 'A)' À / $ !"#$%&!' / )$! !*
A)5 %/ )$/< &#' P)'5 0#& #" 'A )$/ 0' %#&.;')' #!)/ 0';5 0 #" / )$! !* ' 0#& #" À %A
`$ &#0' &.$00 P ' &#0' #" 'A0 $0)$%A$0 A)5 *#! #! '# #'A$ 'A !*0 ' 0;%A )0
.)''$! %/)00 b%)' #! ' 0;.$P 05 / )$! !* ' )5).' P %#!'$#/' #$ 'A< A)5 )@)!5#!5 'A
0';5< #" / )$! !* )/' #*'A$ 40 ) $0;/' ' 'A 0.% )/ 00;0 !P#/P 5 ! / )$! !* A#` '# *'
0#&'A !* "$#& 'A !P $#!&!' $% P5 $/)' P/< / ''/ )''!' #! Q! $'$#0.%' ' "#%;0 !*
#! 'A 0 5) `)0 'A %$ ' %)/ 0'. 'A)' 0' 'A 0 @$)!%A #" $0)$%A ! &#' #! ( ''/ .$#*$00
%#;/5 @ &)5 ! 'A %#&.;')' #!)/ 0';5< #" $ !"#$%&!' / )$! !* ;!' / ' `)0 $%#*! 5
'A)' 0;%A ) ";!5)&!')/ 5) A)5 !#' <' @! 'A#$#;*A/< -./# $5
7A b/5 A)0 %#& ) /# !* `)< 0 !% 'A! ' P#/P !* )!5 &)';$ !* ! 0P$)/ 5 $%' #!0
!"#$%&!' / )$!b%!* A)0 *$)5;)//< @%#& #! #" 'A &#0' )%' P $0)$%A
)$)0
!
&)8
%A ! / )$! !* ' )$' )/ !'// *!% ' )!5 !;$)/8 !'`#$B $0)$%A 7A b/5 A)0 5P/# .5
0'$#!* &)'A&)' %)/ "#;!5)' #!0 )!5 &.$00 P )../ %)' #!0 7A #P$)// .$#@/ & #" / )$!8
!* "$#& !'$)%' #! '# )%A P *#)/0 0 0' / ")$ "$#& @ !* 0#/P 5 ' @;' #;$ ;!5$0')!5 !*
#" ' A)0 &.$#P5 0 *! b%)!'/< %)! !#` ./) % %#&.#!!' 5)0 ' 0;%A )0 '&.#$)/8
5 $!% / )$! !* ' 5<!)& % .$#*$)&& !* ' )!5 ";!%' #! )..$#- &)' #! ' ` 'A ! ) %#A$!'
.$0.%' P ` 'A $0.%' '# 'A #P$)// .$#@/ & 7A %#&.;')' #!)/ 0';5< #" $ !"#$%&!'
/ )$! !* 0 !#` ) /) $* b/5 ' ` 'A A;!5$50 #" )%' P $0)$%A$0 )$#;!5 'A `#$/5 ! 5 P$0
>
T
5 0% ./ !0 0;%A )0 .0<%A#/# *<' %#!'$#/ 'A#$<' )$' b% )/ !'// *!% ' )!5 !;$#0% !% M)$8
' %;/) $/< &.#$')!' A)P @! 'A %#!'$ @;' #!0 0')@/ 0A !* )!5 5P/# . !* 'A $/)' #!0A .0
'# 'A 'A#$< #" #.' &)/ %#!'$#/ )!5 5<!)& % .$#*$)&& !*
*#)/ ! `$ ' !* 'A 0 @##B 0 '# .$#P 5 ) %/ )$ )!5 0 &./ )%%#;!' #" 'A B< 5)0
)!5S;$)/* #$ 'A&0 #" $ !"#$%&!' / )$! !* `)!'5 #;$ '$)'&!' '# @ )%%00 @/ '#
$)5$0 ! )// #" 'A $/)'5 5 0% ./ !0 ' @;' ` %#;/5 !#' %#P$ )// #" 'A0 .$0.%' P0 !
5') / S;$ '$)'&!' ')B0 )/& #0' -%/;0 P/< 'A .# !' #" P ` #" )$' b% )/ !'// *!% )!5
!* !$ !* ' / )P !* %#P$)* #" %#!!%' #!0 '# .0<%A#/# *<' !;$#0% !% ' )!5 #'A$ b/5 0
'# #'A$0 #$ '# )!#'A$ ' & )/0 # %A#0 !#' '# .$#5;% ) $ *#$#;0 "#$&)/ '$)'&!'
#" $ !"#$%&!' / )$! !* 5 5 !#' $)%A "#$ 'A A *A0' .#00 @/ /P/ #" &)'A&)' %)/
)@0'$)%' #! )!5 5 5 !#' $/< #! ) 'A#$&8.$##" "#$&)' '$ 5 '# %A##0 ) /P/ #"
&)'A&)' %)/ 5') / 'A)' .# !'0 'A &)'A&)' %)//< !%/ !5 ! 'A $ *A' 5 $%' #!0 ` 'A#;'
5 0'$)%' !* "$#& 'A 0 &./ % '< )!5 .#'!' )/ *!$)/ '< #" 'A ;!5$/< !* 5)0
7A @##B %#!0 0'0 #" 'A$ .)$'0 M)$' Q 0 !'$#5;%'#$< )!5 .$#@/ & #$ !'5 "#%;0
#! 'A 0 &./0' )0.%'0 #" $ !"#$%&!' / )$! !* )!5 #! '0 &) ! 5 0' !*; 0A !* ")';$0
S! ";// %A).'$ 0 5P#'5 '# !'$#5;% !* 'A $ !"#$%&!' / )$! !* .$#@/ & À#0 0#/;' #!
` -./# $ ! 'A $0' #" 'A @##B M)$' QQ .$0!'0 À)' ` 0 )0 'A 'A$ &#0' &.#$')!'
/ &!')$< 0#/;' #! &'A#506 5<!)& % .$#*$)&& !* ' 0 &./ O#!' U)$/# &'A#50 ' )!5
'&.#$)/8 5 $!% / )$! !* 7A b$0' #" 'A0 0 ) ./) !! !* &'A#5 )!5 )00;&0 -./ % '
B!#`/ 5* #" )// )0.%'0 #" ) .$#@/ & ' À$)0 'A #'A$ '`# )$ / )$! !* &'A#50 M)$'
QQQ 0 %#!%$!5 ` 'A *!$)/ !* 'A0 &'A#50 )!5 @/ !5 !* 'A& '#*'A$ ,/ * @ / '<
'$)%0 )//#` ;! b%)' #! #" O#!' U)$/# )!5 '&.#$)/8 5 $!% &'A#50 ' )!5 ";!%' #!
)..$#- &)'#$0 0;%A )0 )$' b% )/ !;$)/ !'`#$B0 -'!5 )// 'A &'A#50 0# 'A)' 'A< %)! @
)../ 5 '# &;%A /) $*$ .$#@/ &0 @$ !* ./) !! !* )!5 / )$! !* &'A#50 '#*'A$ )*) !
)!5 $/)' 'A& '# A;$ 0' % 0)$%A d !)//<' ` .$0!' 0P$)/ %)0 0';5 0 ' !%/;5 !* 0#&
#" 'A &#0' &.$00 P )../ %)' #!0 #" $ !"#$%&!' / )$! !* '# 5)' ' )!5 @$ < 5 0%;00
0#& #" 'A #.! .$#@/ &0 )!5 !)$8";';$ .$#0.%'0 "#$ $ !"#$%&!' / )$! !*
7A 0 @##B `)0 50 *!5 '# @ ;05 )0 ) '-' ! ) #!80&0'$ %#;$0 ' .$A).0 0;../8
&!'5 @< $)5 !*0 "$#& 'A / '$)';$ #$ @< ) &#$ &)'A&)' %)/'-' 0;%A )0 'A -%// !'
#! @< ?$'0B)0 )!5 70 '0 B/ 0 # 992 $ 7A 0 @##B %)! )/0 # @ ;05 )0 .)$' #" ) @$#)5$
%#;$0 #! &)%A ! / )$! !* ' )$' b% )/ !'// *!% ' #$ !;$)/ !'`#$B0 Q! 'A 0 %)0 ' ' &)<
@ 50 $)@/ '# %#P$ #!/< ) 0;@0' #" 'A &)'$ )/ $%#&&!5 %#P$ !* UA).'$ "#$
) @$ " #P$P ` ' UA).'$ 'A$#;*A :%' #! ' )// #" 'A !#!80')$$5 0%' #!0 #" UA).'$
+ ' )!5 'A! 0/ %' !* 0%' #!0 "$#& 'A $&) ! !* %A).'$0 )%%#$5 !* '# ' & )!5 !'$0'0
UA).'$0 3 ' 1 ' )!5 2 @; /5 #! )%A #'A$ )!5 )$ @0' %#P$5 ! 0 ;!% ' @;' #" 'A0 '
UA).'$ 2 0 'A &#0' &.#$')!' "#$ 'A 0;@ %' )!5 "#$ 'A $0' #" 'A @##B 4 %#;$0
"#%;0 !* #! &)%A ! / )$! !* #$ !;$)/ !'`#$B0 0A#;/5 %#P$ UA).'$ T ' )!5 ) %#;$0
"#%;0 !* #! )$' b% )/ !'// *!% #$ ./) !! !* 0A#;/5 %#P$ UA).'$ 9 UA).'$ C 0A#;/5
)/& #0' )/` )<0 @ %#P$5 @%);0 ' 0 P$< 0A#$' )!5 0;&&)$ 0 'A #P$)// ;! b5 P `
#" $ !"#$%&!' / )$! !* &'A#50 5P/# .5 ! 'A @##B 7A$#;*A#;' 'A @##B ' 0%' #!0
'A)' )$ &#$ 5 %;/' )!5 !#' 00!' )/ '# 'A $0' #" 'A @##B )$ &)$B5 ` 'A ) 7A0
%)! @ #& ''5 #! b$0' $)5 !* ` 'A#;' %$)' !* .$#@/ &0 /)'$ #! :#& -$% 00 )$ )/0 #
&)$B5 ` 'A ) '# !5 %)' 'A)' 'A< )$ &#$ )5P)!%5 )!5 !#' 00!' )/ '# ;!5$0')!5 !*
9
'A @)0 % &)'$ )/ #" 'A %A).'$
7A @##B 0 /) $*/< 0/"8%#!') !5 7A #!/< &)'A&)' %)/ @)%B*$#;!5 )00;&5 0
")& / )$ '< ` 'A / &!')$< %#!%.'0 #" .$#@)@ / '<' 0;%A )0 -.%')' #!0 #" $)!5#& P)$ )@/0
UA).'$ T 0 0;@0')!' )//< )0 $ '# 5 *0' " 'A $)5$ )/$)5< A)0 0#& ")& / )$ '< ` 'A
)$' b% )/ !;$)/ !'`#$B0 #$ 0#& #'A$ B !5 #" 0;.$P 05 / )$! !* &'A#5 ' @;' ' %)! )/0 #
@ $)5 ` 'A#;' .$ #$ @)%B*$#;!5 0'$#!*/< $%#&&!5 `#$B !* 'A -$% 00 .$#P 55
'A$#;*A#;' 'A @##B :#/;' #! &)!;)/0 )$ )P) /) @/ '# !0'$;%'#$0 7A 0 )!5 #'A$ $/)'5
)!5 ' &/< &)'$ )/ 0 )P) /) @/ P ) !'$!' `@ 0 '0
4' 'A !5 #" &#0' %A).'$0 0 ) 0%' #! !' '/ 5 ? @/ #*$).A %)/ )!5 = 0'#$ %)/ 8
&)$B0 À$ ! ` %$5 ' 'A 0#;$%0 #" 'A 5)0 .$0!'5 ! 'A)' %A).'$ ' .$#P 5 .# !'8
$0 '# ";$'A$ $)5 !* )!5 #!*# !* $0)$%A ' )!5 50%$ @ $/P)!' A 0'#$ %)/ @)%B*$#;!5
c0. ' #;$ )''&.'0 '# &)B 'A0 0%' #!0 );'A#$ ')' P )!5 %#&./' ' ` A)P ;!5#;@'8
5/< /"' #;' 0#& &.#$')!' .$ #$ `#$B d#$ 'A)' ` ).#/# * )!5 `/% #& %#$$%' #!0
)!5 -'!0 #!0 "#$ !%#$.#$)' #! !'# ) /)'$ 5 ' #!
Q! 0#& 0!0 ` A)P @! `#$B !* '#`)$50 'A 0 @##B "#$ '`!'< <)$0 ' )!5 ` A)P
/# '0 #" .#./ '# 'A)!B d $0' ' ` 'A)!B 'A#0 À# A)P .$0#!)//< A/.5 ;0 5P/# . 'A
#P$)// P ` .$0!'5 ! 'A 0 @##B6 =)$$< /# ." "#$ A/. !* ;0 $%#*! 'A)' $ !"#$%&!'
/ )$! !* !55 '# @ $P P5 UA$ 0 )'B !0 ' c & '$ ?$'0B)0 ' #A! 70 '0 B/ 0 ' )!5 M);/
$@#0 "#$ A/ . !* ;0 0 'A P)/ ; #" 'A $/) ' #!0A .0 '# 5<!)& % .$#*$)&& !* #A!
O##$ )!5 & A# "#$ !0 *A'0 )!5 !0. $)' #!0 "$#& )! &)/ / )$! !* 'A#$< S/ P$
:/" $ 5* "#$ &.A)0 !* 'A @$)5'A )!5 &.#$')!% #" )5).')' #! )!5 ' &#$ *!$)//<'
#;$ %#// )*;0 )!5 0';5!'0 À# A)P %#!'$ @;'5 ! %#;!'/00 `)<06 #! / )&0 ' UA)$/ 0
' M'$ c)<)! ' )!5 (&#! ?) $5
4!5$0#! ' :)' !5$ : !*A ' :'P ?$)5'B ' ?#@ U$ '0b%)!'/
S;$ P ` #" $ !"#$%&!' / )$! !* A)0 )/0 # @! 0 *! < !$ %A5 @< 5 0%;00 #!0 ` 'A
M);/ U#A! ' M);/ a'*# ' O)$'A) :'!0'$;. ' _$$< 70);$# ' O B #$5)! ' (0/ )/@ / !* '
4!5$` O##$ ' UA$ 0 4'B0#! ' 7#& O '%A/b%/' R /0 R /00#! ' 7#& c)! ' )!5 ?#@ R)$!5$)
'A)!B 'A 'A 4 $ d#$% S % #" :% !'
0)$%A ' 'A R)' #!)/ :% !% d#;!5)' #! '
)!5 _7, ()@#$)'#$ 0 "#$ 'A $ /# !* )!5 ")$80 *A'5 0;..#$'
)/0 # ` 0A '# 'A)!B 'A &)!< .#./ À# A)P $)5 5$)"'0 #" 'A 0 @##B )!5 .$#P 55
P)/;)@/ %#&&!'0 ' !%/;5 !*6 7#& )/' ' #A! 70 '0 B/ 0 ' M)`/ U %A#0 ' S// _) / & # '
UA;%B 4!5$0#! ' :';)$' ;00//' M);/ U#A! ' '' )!5/# P ' ?$ )! :A..)$5 ' 7A#&)0
S U#!!//' %A)$5 U#** !0 ' U$ 0' !) N$0 !# ' #A! = = '' ' 4!5$)0 ?)5/' ' )< M#!' '
# ?%B ' ;0';0 M )'$ ' O)$'A) :'!0'$;. ' :)' !5$ : !*A ' 7#&& ))BB#/) ' c & '$
?$'0B)0 ' ?! N)! #<' 7#$@ #$! ,B&)! ' UA$ 0' !) ? #$B&)! ' )B#@ U)$/0'$# & ' )!5 S//
M)/& *$! d !)//<' ` 'A)!B _`<! O '%A// "#$ A/. !* ! &)!< `)<0 ' )!5 =)$$< :')!'#!
)!5 ?#@ M$ #$ "#$ @ !* #;$ %A)&. #!0 )' OQ7 M$00
C
7A 5) 'A)' ` / )$! @< !'$)%' !* ` 'A #;$ !P $#!&!' 0 .$#@)@/< 'A b$0' '# #%%;$ '#
;0 À! ` 'A !B )@#;' 'A !)';$ #" / )$! !* A! )! !")!' ./)<0 ' `)P0 '0 )$&0 ' #$
/# #B0 )@#;' ' ' A)0 !# -./ % ' ')%A$ ' @;' ' 5#0 A)P ) 5 $%' 0!0#$ 8&#'#$ %#!!%' #! '#
'0 !P $#!&!' ,-$% 0 !* 'A 0 %#!!%' #! .$#5;%0 ) `)/' A #" !"#$&)' #! )@#;' %);0
)!5 %' ' )@#;' 'A %#!0 ;!%0 #" )%' #!0 ' )!5 )@#;' À)' '# 5# ! #$5$ '# )%A P
*#)/0 7A$#;*A#;' #;$ / P0 ' 0;%A !'$)%' #!0 )$ ;!5#;@'5/< ) &) #$ 0#;$% #" B!#`/ 5*
)@#;' #;$ !P $#!&!' )!5 #;$0/P 0 A'A$ ` )$ / )$! !* '# 5$ P ) %)$ #$ '# A#/5
) %#!P$0)' #! ' ` )$ )// )%;'/< )`)$ #" A#` #;$ !P $#!&!' $0.#!50 '# À)' ` 5# '
)!5 ` 0B '# ! ;!% À)' A)..!0 'A$#;*A #;$ @A)P #$ ()$! !* "$#& !'$)%' #! 0
) "#;!5)' #!)/ 5) ;!5$/< !* !)$/< )// 'A#$ 0 #" / )$! !* )!5 !'// *!%
Q! 'A 0 @##B ` -./# $ ) )..$#)%A '# / )$! !* "$#& !'$)%' #! )'A$
'A)! 5 $%'/< 'A#$ !* )@#;' A#` .#./ #$ )! &)/0 / )$! ' ` -./# $ 5)/ 5 / )$! !*
0 ';)' #!0 )!5 P)/;)' 'A %' P!00 #" P)$ #;0 / )$! !* &'A#50 7A)' 0 ' ` )5#.'
'A .$0.%' P #" )! )$' b% )/ !'// *!% $0)$%A$ #$ !* !$ -./# $ 50 *!0 "#$
&)%A !0 'A)' )$ %' P ! 0#/P !* / )$! !* .$#@/ &0 #" 0% !' b% #$ %#!#& % !'$0' '
P)/;)' !* 'A 50 *!0 'A$#;*A &)'A&)' %)/ )!)/< 0 0 #$ %#&.;')' #!)/ -.$ &!'0 7A
)..$#)%A ` -./# $ ' %)// 5 ' 0 &;%A &#$ "#%;05 #! *#)/8 5 $%'5
/ )$! !* "$#& !'$)%' #! 'A)! )$ #'A$ )..$#)%A0 '# &)%A ! / )$! !*
!
!"#$%&!' / )$! !* 0 / )$! !* À)' '# 5#" A#` '# &). 0 ';)' #!0 '# )%' #!0" 0# )0
'# &)- & ) !;&$ %)/ $`)$5 0 *!)/ 7A / )$!$ 0 !#' '#/5 À %A )%' #!0 '# ')B ' )0
! &#0' "#$&0 #" &)%A ! / )$! !* ' @;' !0')5 &;0' 5 0%#P$ À %A )%' #!0 < /5 'A &#0'
$`)$5 @< '$< !* 'A& Q! 'A &#0' !'$0' !* )!5 %A)// !* !* %)00 ' )%' #!0 &)< ) %'
!#' #!/< 'A &&5 )' $`)$5 ' @;' )/0 # 'A !-' 0 ';)' #! )!5 ' 'A$#;*A 'A)' ' )// 0;@0 ;!'
$`)$50 7A0 '`# %A)$)%'$ 0' %0" '$ )/8 )!58$$#$ 0)$%A )!5 5/)<5 $`)$5" )$ 'A '`#
&#0' &.#$')!' 5 0' !*; 0A !* ")';$0 #" $ !"#$%&!' / )$! !*
!"#$%&!' / )$! !* 0 5b!5 !#' @< %A)$)%'$ !* / )$! !* )/* #$ 'A&0 ' @;' @< %A)$8
)%'$ !* ) / )$! !* # 4!< )/* #$ 'A& 'A)' 0 `// 0; '5 '# 0#/P !* 'A)' .$#@/ & `
+
3
%#!0 5$ '# @ ) $ !"#$%&!' / )$! !* )/* #$ 'A& 4 ";// 0.% b%)' #! #" 'A $ !"#$%&!'
/ )$! !* .$#@/ & ! '$&0 #" #.' &)/ %#!'$#/ #" O)$B#P 5% 0 #! .$#%000 &;0' `) ' ;!' /
UA).'$ + ' @;' 'A @)0 % 5) 0 0 &./< '# %).';$ 'A &#0' &.#$')!' )0.%'0 #" 'A $)/
.$#@/ & ")% !* ) / )$! !* )*!' !'$)%' !* ` 'A '0 !P $#!&!' '# )%A P ) *#)/ U/ )$/<
0;%A )! )*!' &;0' @ )@/ '# 0!0 'A 0')' #" 'A !P $#!&!' '# 0#& -'!' )!5
&;0' @ )@/ )'# ')B )%' #!0 'A)' ) %' 'A)' 0')' 7A )*!' &;0' )/0 # A)P ) *#)/ #$
*#)/0 $/)' !* '# 'A 0')' #" 'A !P $#!&!' S;$ "#$&;/)' #! 0 !'!55 '# !%/;5 ;0'
'A0 'A$ )0.%'0" 0!0)' #! ' )%' #! ' )!5 *#)/" ! 'A 0 &./ 0' .#00 @/ "#$& ` 'A#;'
'$ P )/ !* )!< #" 'A&
!"#$%&!' / )$! !* 0 5 $!' "$#& 0;.$P 05 / )$! !* ' 'A B !5 #" / )$! !* 0';5 5
! &#0' %;$$!' $0)$%A ! &)%A ! / )$! !* ' 0')' 0' %)/ .)''$! $%#*! ' #! ' )!5 )$' b% )/
!;$)/ !'`#$B0 :;.$P 05 / )$! !* 0 / )$! !* "$#& -)&./0 .$#P 55 @< 0#& B!#`/8
5*)@/ -'$!)/ 0;.$P 0#$ 7A 0 0 )! &.#$')!' B !5 #" / )$! !* ' @;' )/# ! ' 0 !#'
)5 ;)' "#$ / )$! !* "$#& !'$)%' #! Q! !'$)%' P .$#@/ &0 ' 0 #"'! &.$)%' %)/ '#
#@') ! -)&./0 #" 50 $5 @A)P #$ 'A)' )$ @#'A %#$$%' )!5 $.$0!')' P #" )// 'A 0 '8
;)' #!0 ! À %A 'A )*!' A)0 '# )%' Q! ;!%A)$'5 '$$ '#$<" À$ #! `#;/5 -.%'
/ )$! !* '# @ &#0' @!b% )/" )! )*!' &;0' @ )@/ '# / )$! "$#& '0 #`! -.$ !%
S! #" 'A %A)// !*0 'A)' )$ 00 ! $ !"#$%&!' / )$! !* )!5 !#' ! #'A$ B !50 #"
/ )$! !* 0 'A '$)5# @'`! -./# $)' #! )!5 -./# ')' #! 7# #@') ! ) /#' #" $`)$5 ' )
$ !"#$%&!' / )$! !* )*!' &;0' .$"$ )%' #!0 'A)' ' A)0 '$ 5 ! 'A .)0' )!5 "#;!5 '#
@ %' P ! .$#5;% !* $`)$5 ?;' '# 5 0%#P$ 0;%A )%' #!0 ' A)0 '# '$< )%' #!0 'A)' '
A)0 !#' 0/ %'5 @"#$ 7A )*!' A)0 '# À)' ' )/$)5< B!#`0 ! #$5$ '# #@') !
$`)$5 ' @;' ' )/0 # A)0 '# ! #$5$ '# &)B @''$ )%' #! 0/ %' #!0 ! 'A ";';$
7A 5 / &&) 0 'A)' ! 'A$ -./# ')' #! !#$ -./# $)' #! %)! @ .;$0;5 -%/;0 P/< ` 'A#;'
") / !* )' 'A ')0B 7A )*!' &;0' '$< ) P)$ '< #" )%' #!0 .$#*$00 P/< ")P#$ 'A#0 'A)'
)..)$ '# @ @0' S! ) 0'#%A)0' % ')0B ' )%A )%' #! &;0' @ '$ 5 &)!< ' &0 '# $/ )@/<
0' &)' '0 -.%'5 $`)$5 7A -./# $)' #! -./# ')' #! 5 / &&) A)0 @! !'!0 P/<
0';5 5 @< &)'A&)' % )!0 "#$ &)!< 5%)50 #0 UA).'$ $ d#$ !#` ` 0 &./< !#' 'A)'
'A !' $ 00; #" @)/) !% !* -./# ')' #! )!5 -./# $)' #! 5#0 !#' P! )$ 0 ! 0;.$P 05
/ )$! !* )0 ' 0 ;0;)//< 5b!5
4!#'A$ B< ")';$ #" $ !"#$%&!' / )$! !* 0 'A)' ' -./ % '/< %#!0 5$0 'A .$#@/ & #" ) *#)/8 5 $%'5 )*!' !'$)%' !* ` 'A )! ;!%$') ! !P $#!&!' 7A 0 0 !
%#!'$)0' ` 'A &)!< )..$#)%A0 'A)' )55$00 0;@.$#@/ &0 ` 'A#;' )55$00 !* A#` 'A<
& *A' b' !'# ) /) $*$ . %';$ d#$ -)&./ ' ` A)P &!' #!5 'A)' &;%A #" &)%A !
/ )$! !* $0)$%A 0 %#!%$!5 ` 'A 0;.$P 05 / )$! !* ` 'A#;' -./ % '/< 0.% "< !* A#` 0;%A
)! )@ / '< `#;/5 b!)//< @ ;0";/ S'A$ $0)$%A$0 A)P 5P/# .5 'A#$ 0 #" ./) !! !* ` 'A
*!$)/ *#)/0 ' @;' ` 'A#;' %#!0 5$ !* ./) !! !* 0 $#/ ! $)/8' & 5% 0 #!8&)B !* ' #$ 'A
;0' #! #" À$ 'A .$5 %' P &#5/0 !%00)$< "#$ ./) !! !* `#;/5 %#& "$#& 4/' A#;*A
'A0 )..$#)%A0 A)P < /5 5 &)!< ;0";/ $0;/'0 ' 'A $ "#%;0 #! 0#/)'5 0;@.$#@/ &0 0 )
0 *! b%)!' / & ')' #!
!"#$%&!' / )$! !* ')B0 'A #..#0 ' ')%B ' @< 0')$' !* ` 'A ) %#&./' ' !'$)%' P '
*#)/8 0B !* )*!' 4// $ !"#$%&!' / )$! !* )*!'0 A)P -./ % ' *#)/0 ' %)! 0!0 )0.%'0
#" 'A $ !P $#!&!'0 ' )!5 %)! %A##0 )%' #!0 '# ! ;!% 'A $ !P $#!&!'0 O#$#P$ '
1
' 0 ;0;)//< )00;&5 "$#& 'A @* !! !* 'A)' 'A )*!' A)0 '# #.$)' 50. ' 0 *! b%)!'
;!%$') !'< )@#;' 'A !P $#!&!' ' ")%0 A! $ !"#$%&!' / )$! !* !P#/P 0 ./) !! !* '
' A)0 '# )55$00 'A !'$./)< @'`! ./) !! !* )!5 $)/8' & )%' #! 0/ %' #! ' )0 `// )0
'A ;0' #! #" A#` !P $#!&!')/ &#5/0 )$ )% ; $5 )!5 &.$#P5
A! $ !"#$%&!'
/ )$! !* !P#/P 0 0;.$P 05 / )$! !* ' ' 5#0 0# "#$ P$< 0.% b% $)0#!0 'A)' 5'$& !
À %A %).)@ / ' 0 )$ %$ ' %)/' )!5 À %A )$ !#' d#$ / )$! !* $0)$%A '# &)B .$#*$00 '
&.#$')!' 0;@.$#@/ &0 A)P '# @ 0#/)'5 )!5 0';5 5 ' @;' 'A< 0A#;/5 @ 0;@.$#@/ &0
'A)' )$ &#' P)'5 @< %/ )$ $#/0 ! %#&./' ' !'$)%' P ' *#)/8 0B !* )*!'0 ' P! " )//
'A 5') /0 #" 'A %#&./' )*!' %)!!#' <' @ b// 5 !
S! #" 'A /) $*$ b%'$!50 #" À %A $ !"#$%&!' / )$! !* 0 ) .)$' 0 'A)' '#`)$50 *$)'$
%#!')%' @'`! )$' )/ !'// *!% )!5 #'A$ !* !$ !* 5 0% ./ !0 R#' )// 'A)' /# !*
)*# ' )$' b% )/ !'// *!% `)0 P `5 )0 )/& #0' !' $/< 0.)$)' "$#& %#!'$#/ 'A#$< )!5
0')' 0' %0 Q' A)5 '# 5# ` 'A /# * % )!5 0<&@#/0 ' !#' !;&@$0 4$' b% )/ !'// *!% `)0 /) $*
(Q: M .$#*$)&0 ' !#' / !)$ )/* @$) ' 5 $!' )/ ;)' #!0 ' #$ 0')' 0' %0 SP$ 'A /)0' 5%)50
'A 0 P ` A)0 *$)5;)//< $#55 O#5$! )$' b% )/ !'// *!% $0)$%A$0 )%%.' 0')' 0' %)/
)!5 %#!'$#/8'A#$< )/* #$ 'A&0 ' "#$ -)&./ ' )0 $/P)!' %#&.' !* &'A#50 #$ 0 &./< )0
'##/0 #" 'A $ '$)5 7A .$P #;0/< *!#$5 )$)0 /< !* @'`! )$' b% )/ !'// *!% )!5
%#!P!' #!)/ !* !$ !* )$ !#` )&#!* 'A &#0' )%' P #" )//' !%/;5 !* !` b/5 0 0;%A
)0 !;$)/ !'`#$B0 ' !'// *!' %#!'$#/' )!5 #;$ '#. % ' $ !"#$%&!' / )$! !* Q! $ !"#$%8
&!' / )$! !* ` -'!5 5)0 "$#& #.' &)/ %#!'$#/ 'A#$< )!5 0'#%A)0' % )..$#- &)' #!
'# )55$00 'A @$#)5$ )!5 &#$ )&@ ' #;0 *#)/0 #" )$' b% )/ !'// *!%
4 *##5 `)< '# ;!5$0')!5 $ !"#$%&!' / )$! !* 0 '# %#!0 5$ 0#& #" 'A -)&./0 )!5
.#00 @/ )../ %)' #!0 'A)' A)P *; 55 '0 5P/# .&!'6
4 &)0'$ %A00 ./)<$ &)B0 ) &#P 7A %A# % 0 !"#$&5 @#'A @< ./) !! !*"
)!' % .)' !* .#00 @/ $./ 0 )!5 %#;!'$8$./ 0" )!5 @< &&5 )' ' !'; ' P ;5*8
&!'0 #" 'A 50 $)@ / '< #" .)$' %;/) $ .#0 ' #!0 )!5 &#P0
$)/
4! )5).' P %#!'$#// $ )5 ;0'0 .)$)&'$0 #" ) .'$#/ ;& $b!$< 0 #.$)' #! ! b5
' & 7A %#!'$#// $ #.' & 0 'A < /5 %#0' ;)/ '< '$)5# @)05 #! 0.%
&)$* !)/ %#0'0 ` 'A#;' 0' %B !* 0'$ %'/< '# 'A 0' .# !'0 #$ * !)//< 0;**0'5 @< A;&)!
!* !$0
4 *) // %)/" 0'$;**/0 '# '0 "' & !;'0 )"'$ @ !* @#$! =)/" )! A#;$ /)'$ ' 0
$;!! !* )' +C & /0 .$ A#;$
' 0A#;/5 !'$ ) !` $##& ! 0)$%A #" &#$ '$)0A '#
4 &#@ / $#@#' 5% 50 À'A$
%#// %' #$ 0')$' '$< !* '# b!5 '0 `)< @)%B '# '0 @)''$< $%A)$* !* 0')' #! Q' &)B0
'0 5% 0 #! @)05 #! A#` ; %B/< )!5 )0 /< ' A)0 @! )@/ '# b!5 'A $%A)$*$ !
'A .)0'
2
MA / .$.)$0 A 0 @$)B")0' A! %/# 0/< -)& !5 ' P! 'A 0 )..)$!'/< &;!5)!
)%' P '< $P)/0 '0/" )0 ) %#&./- `@ #" %#!5 ' #!)/ @A)P #$ )!5 !'$/# %B !* *#)/8
0;@*#)/ $/)' #!0A .06 `)/B !* '# 'A %;.@#)$5 ' #.! !* ' ' 0/ %' !* ) %$)/ @#- '
'A! $)%A !* "#$ ' *$)0. !* ' )!5 $'$ P !* 'A @#- S'A$ %#&./- ' ';!5 ' !'$)%' P
0 ;!%0 #" @A)P #$ )$ $ ; $5 '# #@') ! ) @#`/' 0.##! ' )!5 & /B ;* ,)%A 0'.
!P#/P 0 ) 0$ 0 #" < &#P&!'0 '# #@') ! !"#$&)' #! )!5 '# *; 5 $)%A !* )!5
/# %#&#' #! ). 5 ;5*&!'0 )$ %#!' !;)//< &)5 )@#;' A#` '# %)$$< 'A #@ %'0 #$
À'A$ ' 0 @''$ '# "$$< 0#& #" 'A& '# 'A 5 ! !* ')@/ @"#$ #@') ! !* #'A$0
,)%A 0'. 0 *; 55 @< *#)/0 ' 0;%A )0 *$)0. !* ) 0.##! ' #$ *'' !* '# 'A $"$ *$)'#$'
)!5 0 ! 0$P % #" #'A$ *#)/0 ' 0;%A )0 A)P !* 'A 0.##! '# )' ` 'A #!% 'A %$)/
0 .$.)$5 )!5 #" ;/' &)'/< #@') ! !* !#;$ 0A&!'
7A0 -)&./ 0 0A)$ ")';$0 'A)' )$ 0# @)0 % 'A)' 'A< )$ )0< '# #P$/# #B 4//
!P#/P @'`! )! )%' P 5% 0 #!8&)B !* )*!' )!5 '0 !P $#!&!' ' ` 'A !
À %A 'A )*!' 0B0 '# )%A P ) 50. ' )@#;' '0 'A !P $#!&!' 7A
)*!' 0 )%' #!0 )$ .$& ''5 '# ) %' 'A ";';$ 0')' #" 'A !P $#!&!' #* ' 'A !-'
%A00 .#0 ' #! ' 'A /P/ #" $0$P# $0 #" 'A $b!$<' 'A !-' /# %)' #! #" 'A $#@#' $' 'A$@<
) %' !* 'A #.' #!0 )!5 #..#$';! ' 0 )P) /) @/ '# 'A )*!' )' /)'$ ' &0 U#$$%' %A# %
$ ; $0 ')B !* !'# )%%#;!' !5 $%' ' 5/)<5 %#!0 ;!%0 #" )%' #!0 ' )!5 'A;0 &)< $ ; $
"#$0 *A' #$ ./) !! !*
4' 'A 0)& ' & ' ! )// 'A0 -)&./0 'A %'0 #" )%' #!0 %)!!#' @ ";//< .$5 %'5 '
)!5 0# 'A )*!' &;0' "$ ;!'/< &#! '#$ '0 !P $#!&!' )!5 $)%' )..$#.$ )'/< d#$
-)&./ ' MA / &;0' `)'%A 'A & /B A .#;$0 !'# A 0 %$)/ @#`/ '# B. ' "$#& #P$ #` !*
4// 'A0 -)&./ 0 !P#/P *#)/0 'A)' )$ -./ % ' ! 'A 0!0 'A)' 'A )*!' %)! ;5*
.$#*$00 '#`)$5 '0 *#)/ #! 'A @)0 0 #" À)' ' %)! 5 $%'/< 0!0 7A %A00 ./)<$ B!#`0
À'A$ #$ !#' A ` !0 ' 'A $b!$< %#!'$#// $ B!#`0 A#` &;%A .'$#/ ;& 0 @ !* .$#5;%5 '
'A &#@ / $#@#' B!#`0 À! '0 @)''$ 0 $;! 5#`! ' )!5 MA / B!#`0 À'A$ #$ !#' A 0
! #< !* A 0 @$)B")0'
Q! )// #" 'A0 -)&./0 'A )*!' %)! ;0 '0 -.$ !% '# &.$#P '0 .$"#$&)!%
#P$ ' & 7A %A00 ./)<$ $b!0 'A !'; ' #! A ;00 '# P)/;)' .#0 ' #!0 ' 'A$@<
&.$#P !* A 0 ./)< 'A *) // %)/" &.$#P0 'A % !%< ` 'A À %A ' %)! $;! MA /
/ )$!0 '# 0'$)&/ ! A 0 @$)B")0' &)B !* 7A B!#`/ 5* 'A )*!' @$ !*0 '# 'A ')0B )'
'A 0')$'" 'A$ "$#& .$P #;0 -.$ !% ` 'A $/)'5 ')0B0 #$ @; /' !'# ' @< 50 *! #$
P#/;' #!" ! ;!%0 À)' 0 ;0";/ #$ )0< '# / )$! ' @;' !'$)%' #! ` 'A 'A !P $#!&!'
0 00!' )/ "#$ )5 ;0' !* @A)P #$ '# -./# ' 0.% b% ")';$0 #" 'A ')0B
!
?<#!5 'A )*!' )!5 'A !P $#!&!' ' #! %)! 5!' "< "#;$ &) ! 0;@8/ &!'0 '# )
$ !"#$%&!' / )$! !* 0<0'&6 ) ' ) ' ) ' )!5 ' #.' #!)//<'
) #" 'A !P $#!&!'
4 5b!0 'A / )$! !* )*!' 0 `)< #" @A)P !* )' ) * P! ' & #;*A/< 0.)B !* '
) .#/ %< 0 ) &).. !* "$#& .$% P5 0')'0 #" 'A !P $#!&!' '# )%' #!0 '# @ ')B! À!
>
! 'A#0 0')'0 Q' %#$$0.#!50 '# À)' ! .0<%A#/# *< `#;/5 @ %)// 5 ) 0' #" 0' &;/;08
$0.#!0 $;/0 #$ )00#% )' #!0 Q! 0#& %)00 'A .#/ %< &)< @ ) 0 &./ ";!%' #! #$ /# #B;.
')@/ ' À$)0 ! #'A$0 ' &)< !P#/P -'!0 P %#&.;')' #! 0;%A )0 ) 0)$%A .$#%00 7A
.#/ %< 0 'A %#$ #" ) $ !"#$%&!' / )$! !* )*!' ! 'A 0!0 'A)' ' )/# ! 0 0; % !' '#
5'$& ! @A)P #$ Q! *!$)/' .#/ % 0 &)< @ 0'#%A)0' %
4 5b!0 'A *#)/ ! ) $ !"#$%&!' / )$! !* .$#@/ & #;*A/< 0.)B8
!* ' ' &).0 .$% P5 0')'0 ##$ 0')'8)%' #! .) $0 $ #" 'A !P $#!&!' '# ) 0 !*/ !;&@$ '
) ' !5 %)' !* 'A !'$ !0 % 50 $)@ / '< #" 'A 0')' 4 $ !"#$%&!'8/ )$! !* )*!' 0
0#/ #@ %' P 0 '# &)- & 'A '#')/ $`)$5 ' $% P0 ! 'A /# !* $;! 7A $`)$5 ";!%8
' #! 5b!0 À)' )$ 'A *##5 )!5 @)5 P!'0 "#$ 'A )*!' Q! ) @ #/# * %)/ 0<0'& ' ' `#;/5
!#' @ !)..$#.$ )' '# 5!' "< $`)$50 ` 'A ./ )0;$ )!5 .) ! 7A< )$ 'A &&5 )'
)!5 5b! !* ")';$0 #" 'A .$#@/ & ")%5 @< 'A )*!' 40 0;%A ' 'A $`)$5 ";!%' #!
&;0' !%00)$ /< @ b-5 Q' &)<' A#`P$' @ ;05 )0 ) @)0 0 "#$ %A)!* !* 'A .#/ %< d#$
-)&./ ' " )! )%' #! 0/ %'5 @< 'A .#/ %< 0 "#//#`5 @< /#` $`)$5 'A! 'A .#/ %< &)<
@ %A)!*5 '# 0/ %' 0#& #'A$ )%' #! ! 'A)' 0 ';)' #! ! 'A ";';$ Q! *!$)/' $`)$5
";!%' #!0 &)< )/0 # @ 0'#%A)0' %
A$)0 ) $`)$5 ";!%' #! !5 %)'0 À)' 0 *##5 ! )! &&5 )' 0!0 ' ) 0.% b0 À)' 0 *##5 ! 'A /# !* $;! #;*A/< 0.)B !* ' 'A #" ) 0')' 0 'A '#')/
)&#;!' #" $`)$5 )! )*!' %)! -.%' '# )%%;&;/)' #P$ 'A ";';$ 0')$' !* "$#& 'A)'
0')' A$)0 $`)$50 5'$& ! 'A &&5 )' ' !'$ !0 % 50 $)@ / '< #" !P $#!&!')/
0')'0 ' P)/;0 !5 %)' 'A 50 $)@ / '< #" 0')'0 )"'$ ')B !* !'# )%%#;!' 'A
0')'0 'A)' )$ / B/< '# "#//#` ' )!5 'A $`)$50 )P) /) @/ ! 'A#0 0')'0 d#$ -)&./ ' )
0')' & *A' )/` )<0 < /5 ) /#` &&5 )' $`)$5 ' @;' 0' / A)P ) A *A P)/; @%);0 ' 0
$*;/) $/< "#//#`5 @< #'A$ 0')'0 'A)' < /5 A *A $`)$50 S$ 'A $P$0 %#;/5 @ '$; 7#
&)B ) A;&)! )!)/# *<' $`)$50 )$ / B ./ )0;$ # " A *A$ )!5 .) ! # " /#` $' À$)0 P)/;0
%#$$0.#!5 '# ) &#$ $b!5 )!5 ")$80 *A'5 ;5*&!' #" A#` ./ )05 #$ 5 0./ )05 ` )$
'A)' #;$ !P $#!&!' 0 ! ) .)$' %;/) $ 0')' ,-.$005 'A 0 `)<' ` A#. ' 0 %/ )$ 'A)'
P)/; ";!%' #!0 "#$&)/ ) P$< @)0 % )!5 ")& / )$ 5)
`)$50 )$ ! ) 0!0 .$ &)$<' À$)0 P)/;0 ' )0 .$5 %' #!0 #" $`)$50 ' )$ 0%#!5)$<
'A#;' $`)$50 'A$ %#;/5 @ !# P)/ ; 0 ' )!5 'A #!/< .;$.#0 #" 0' &)' !* P)/ ; 0 0 '#
)%A P &#$ $`)$5 RP$'A/00 ' ' 0 P)/;0 ` 'A À %A ` )$ &#0' %#!%$!5 À!
&)B !* )!5 P)/;)' !* 5% 0 #!0 4%' #! %A# %0 )$ &)5 #! 'A @)0 0 #" P)/; ;5*&!'0
0B )%' #!0 'A)' @$ !* )@#;' 0')'0 #" A *A0' P)/ ; ' !#' A *A0' $`)$5 ' @%);0 'A0
)%' #!0 #@') ! "#$ ;0 'A *$)'0' )&#;!' #" $`)$5 #P$ 'A /# !* $;! Q! 5% 0 #!8&)B !*
)!5 ./) !! !* ' 'A 5$ P5 ;)!' '< %)// 5 P)/; 0 'A #! ` 'A À %A ` )$ &#0' %#!%$!5
a!"#$';!)'/<' ' 0 )/0 # &;%A A)$5$ '# 5'$& ! P)/;0 'A)! ' 0 '# 5'$& ! $`)$50
`)$50 )$ @)0 %)//< * P! 5 $%'/< @< 'A !P $#!&!' ' @;' P)/;0 &;0' @ 0' &)'5 )!5
$80' &)'5 "$#& 'A 0 ;!%0 #" #@0$P)' #!0 )! )*!' &)B0 #P$ '0 !' $ / "' &
Q! ")%' ' 'A &#0' &.#$')!' %#&.#!!' #" )/& #0' )// $ !"#$%&!' / )$! !* )/* #$ 'A&0 0
) &'A#5 "#$ % !'/< 0' &)' !* P)/;0 7A &.#$')!% )!5 %!'$)/ '< #" 0' &)' !*
P)/;0 0 .$A).0 'A &#0' &.#$')!' 'A !* ` A)P / )$!5 )@#;' $ !"#$%&!' / )$! !*
! 'A /)0' '`# 5%)50
4/' A#;*A )// 'A $ !"#$%&!' / )$! !* &'A#50 ` %#!0 5$ ! 'A 0 @##B )$ 0'$;%';$5
T
)$#;!5 0' &)' !* P)/; ";!%' #!0 ' ' 0 !#' 0'$ %'/< !%00)$< '# 5# 'A 0 '# 0#/P $ !"#$%8
&!' / )$! !* .$#@/ &0 d#$ -)&./ ' 0)$%A &'A#50 0;%A )0 *!' % )/* #$ 'A&0 ' *!' %
.$#*$)&& !* ' 0 &;/)'5 )!!)/ !* ' )!5 #'A$ ";!%' #! #.' & )' #! &'A#50 ' A)P @!
;05 '# 0#/P $ !"#$%&!' / )$! !* .$#@/ &0 7A0 &'A#50 0)$%A 5 $%'/< ! 'A 0.)%
#" .#/ % 0 ` 'A#;' P$ )..)/ !* '# P)/; ";!%' #!0 %)// 'A0 &'A#50
@%);0 'A $ #.$)' #! 0 )!)/# *#;0 '# A#` @ #/# * %)/ P#/;' #! .$#5;%0 #$*)! 0&0 ` 'A
0B / 5 @A)P #$ P! 'A#;*A 'A< 5# !#' 'A&0/P 0 / )$! 5;$ !* 'A $ !5 P 5;)/ / "' &0 Q"
'A 0.)% #" .#/ % 0 0 0; % !'/< 0&)//' #$ %)! @ 0'$;%';$5 0# 'A)' *##5 .#/ % 0 )$ %#&8
&#! #$ )0< '# b!5 ' 'A! P#/;' #!)$< &'A#50 )$ #"'! %' P Q! )55 ' #! ' P#/;' #!)$<
&'A#50 A)P )5P)!')*0 #! .$#@/ &0 ! À %A 'A / )$! !* )*!' %)!!#' )%%;$)'/< 0!0
'A 0')' #" '0 !P $#!&!'
RP$'A/00 ' À)' ` &)! @< $ !"#$%&!' / )$! !* !P#/P 0 / )$! !* À / !'$)%' !*
` 'A 'A !P $#!&!' ' À %A P#/;' #!)$< &'A#50 5# !#' 5# Q' 0 #;$ @/ " 'A)' &'A#50
)@/ '# ')B )5P)!')* #" 'A 5') /0 #" !5 P 5;)/ @A)P #$)/ !'$)%' #!0 %)! @ &;%A &#$
% !' 'A)! P#/;' #!)$< &'A#50 ! ) *$)' &)!< %)00 ,P#/;' #!)$< &'A#50 *!#$
&;%A #" 'A ;0";/ 0'$;%';$ #" 'A $ !"#$%&!' / )$! !* .$#@/ &6 'A< 5# !#' ;0 'A ")%'
'A)' 'A .#/ %< 'A< )$ 0)$%A !* "#$ 0 ) ";!%' #! "$#& 0')'0 '# )%' #!0 'A< 5# !#' !#' %
À %A 0')'0 )! !5 P 5;)/ .)000 'A$#;*A 5;$ !* '0 / "' & ' #$ À %A )%' #!0 ' 0/ %'0 Q!
0#& %)00 'A 0 !"#$&)' #! %)! @ & 0/ )5 !* #* ' À! 0')'0 )$ & 08.$% P5 $' @;'
&#$ #"'! ' 0A#;/5 !)@/ &#$ % !' 0)$%A 4/' A#;*A P#/;' #! )!5 / )$! !* 0A)$
&)!< ")';$0 )!5 %)! !)';$)//< `#$B '#*'A$ )0 'A< 5# ! !)';$ ' ` 5# !#' %#!0 5$
P#/;' #!)$< &'A#50 @< 'A&0/P 0 '# @ 0.% )//< `//8 0; '5 '# $ !"#$%&!' / )$! !*
.$#@/ &0 d#$ 0 &./ % '<' ! 'A 0 @##B À! ` ;0 'A '$& $ !"#$%&!' / )$! !* `
5# !#' !%/;5 P#/;' #!)$< &'A#50
7A "#;$'A )!5 b!)/ / &!' #" 0#& $ !"#$%&!' / )$! !* 0<0'&0 0 ) #" 'A
!P $#!&!' 7A 0 0 0#&'A !* 'A)' & & %0 'A @A)P #$ #" 'A !P $#!&!' d#$ -)&8
./ ' * P! ) 0')' )!5 )%' #! ' 'A &#5/ & *A' .$5 %' 'A $0;/' )!' !-' 0')' )!5 !-'
$`)$5 O#5/0 )$ ;05 "#$ ' @< À %A ` &)! )!< `)< #" 5% 5 !* #! ) %#;$0
#" )%' #! @< %#!0 5$ !* .#00 @/ ";';$ 0 ';)' #!0 @"#$ 'A< )$ )%';)//< -.$ !%5 7A
!%#$.#$)' #! #" &#5/0 )!5 ./) !! !* !'# $ !"#$%&!' / )$! !* 0<0'&0 0 ) $/)' P/< !`
5P/# .&!' ,)$/< $ !"#$%&!' / )$! !* 0<0'&0 `$ -./ % '/< '$ )/8 )!58$$#$ / )$!$0
À)' 'A< 5 5 `)0 P `5 )0 )/& #0' 'A #" ./) !! !* RP$'A/ 00 ' ' *$)5;)//<
@%)& %/ )$ 'A)' $ !"#$%&!' / )$! !* &'A#50 )$ %/# 0/< $/)'5 '# 5<!)& % .$#*$)&8
& !* &'A#50 ' À %A 5# ;0 &#5/0 ' )!5 'A)' 'A< ! ';$! )$ %/# 0/< $/)'5 '# 0')'80.)%
./) !! !* &'A#50 Q! UA).'$ 9 ` -./# $ $ !"#$%&!' / )$! !* 0<0'&0 'A)' 0 &;/' )8
!#;0/< / )$! @< '$ )/ )!5 $$#$ ' / )$! ) &#5/ #" 'A !P $#!&!' ' )!5 ;0 'A &#5/ "#$
./) !! !* O#5$! $ !"#$%&!' / )$! !* 0.)!0 'A 0.%'$;& "$#& /#`8/P/' '$ )/8 )!58$$#$
/ )$! !* '# A *A8/P/' 5/ @$)' P ./) !! !*
9
7# / ;0'$)' 'A *!$)/ 5) #" $ !"#$%&!' / )$! !* )!5 %#!'$)0' ' ` 'A #'A$ ).8
.$#)%A0 ' ` !-' %#!0 5$ ) 0 !*/ -)&./ ! &#$ 5') /
U#!0 5$ 'A ")& / )$ %A /5 0 *)& #" 7 %87)%87# 7`# ./)<$0 ')B ';$!0 ./)< !* #!
) 'A$8@<8'A$ @#)$5 S! ./)<$ ./)<0 0 )!5 'A #'A$ S 0 ;!' / #! ./)<$ ` !0 @<
./)% !* 'A$ #" A 0 &)$B0 ! ) $#` ' A#$ #!')//<' P$' %)//<' #$ 5 )*#!)//<' )0 'A ./)<$
A)0 ! 'A 0 *)&6
X O O
O X X
X
Q" 'A @#)$5 b//0 ;. ` 'A ! 'A$ ./)<$ *'' !* 'A$ ! ) $#` ' 'A *)& 0 ) 5$)`
?%);0 ) 0B / 5 ./)<$ %)! ./)< 0# 'A)' A !P$ /# 00 ' /' ;0 )00;& 'A)' ` )$ ./)< !*
)*) !0' )! &.$"%' ./)<$' #! À#0 ./)< 0 0#&' &0 !%#$$%' )!5 )//#`0 ;0 '# ` !
d#$ 'A &#&!' ' ! ")%' ' /' ;0 %#!0 5$ 5$)`0 )!5 /# 000 '# @ ;)//< @)5 "#$ ;0 =#`
& *A' ` %#!0'$;%' ) ./)<$ 'A)' ` / b!5 'A &.$"%' #!0 ! '0 #..#!!' 0 ./)< )!5 / )$!
'# &)- & '0 %A)!%0 #" ` !! !* 4/' A#;*A 'A 0 0 ) P$< 0 &./ .$#@/ & ' ' %)!!#' $)5 /< @ 0#/P 5 ! ) 0)' 0")%'#$< `)<
@< %/)00 %)/ '%A! ;0 d#$ -)&./ ' 'A %/)00 %)/ & ! &)- 0#/;' #! "$#& *)& 'A#$<
0 !#' %#$$%' A$ @%);0 ' )00;&0 ) .)$' %;/) $ `)< #" ./)< !* @< 'A #..#!!' d#$
-)&./ ' ) & ! &)- ./)<$ `#;/5 !P$ $)%A ) *)& 0')' "$#& À %A ' %#;/5 /# 0 ' P!
" ! ")%' ' )/` )<0 `#! "$#& 'A)' 0')' @%);0 #" !%#$$%' ./)< @< 'A #..#!!' U/)00 %)/
#.' & )' #! &'A#50 "#$ 0 ;!' )/ 5% 0 #! .$#@/ &0 ' 0;%A )0 5<!)& % .$#*$)&& !* ' %)!
)! #.' &)/ 0#/;' #! "#$ )!< #..#!!' ' @;' $ ; $ )0 !.;' ) %#&./ ' 0.% b%)' #!
#" 'A)' #..#!!' ' !%/;5 !* 'A .$#@)@ / ' 0 ` 'A À %A 'A #..#!!' &)B0 )%A &#P !
)%A @#)$5 0')' (' ;0 )00;& 'A)' 'A 0 !"#$&)' #! 0 !#' )P) /) @/ ) .$ #$ "#$ 'A 0
.$#@/ & ' )0 ' 0 !#' "#$ 'A P)0' &) #$ '< #" .$#@/ &0 #" .$)%' %)/ !'$0' S! 'A #'A$
A)!5 ' 0;%A !"#$&)' #! %)! @ 0' &)'5 "$#& -.$ !% ' ! 'A 0 %)0 @< ./)< !* &)!<
*)&0 )*) !0' 'A #..#!!' 4@#;' 'A @0' #! %)! 5# #! 'A 0 .$#@/ & 0 '# b$0' / )$! )
&#5/ #" 'A #..#!!' 0 @A)P #$' ;. '# 0#& /P/ #" %#!b5!% ' )!5 'A! )../< 5<!)& %
.$#*$)&& !* '# %#&.;' )! #.' &)/ 0#/;' #! * P! 'A )..$#- &)' #..#!!' &#5/ Q!
'A !5 ' 'A 0 0 !#' 'A)' 5 $!' "$#& 0#& #" 'A $ !"#$%&!' / )$! !* &'A#50 `
-)& ! /)'$ ! 'A 0 @##B
4! P#/;' #!)$< )..$#)%A '# 'A 0 .$#@/ & `#;/5 5 $%'/< 0)$%A 'A 0.)% #" .#00 @/
.#/ % 0 "#$ #! ` 'A ) A *A .$#@)@ / '< #" ` !! !* )*) !0' 'A #..#!!' =$ ' ) .#/ %< 0 )
$;/ 'A)' '//0 'A ./)<$ À)' &#P '# &)B "#$ P$< 0')' #" 'A *)&" P$< .#00 @/
%#!b*;$)' #! #" 0 )!5 S 0 #! 'A 'A$8@<8'A$ @#)$5 d#$ )%A .#/ %< %#!0 5$5 ' )!
0' &)' #" '0 ` !! !* .$#@)@ / '< `#;/5 @ #@') !5 @< ./)< !* 0#& !;&@$ #" *)&0
)*) !0' 'A #..#!!' 7A 0 P)/;)' #! `#;/5 'A! 5 $%' À %A .#/ %< #$ .#/ % 0 `$
!-' %#!0 5$5 4 '<. %)/ P#/;' #!)$< &'A#5 `#;/5 A / % / &@ ! .#/ %< 0.)% ' 0;%%00 P/<
C
*!$)' !* )!5 P)/;)' !* .#/ % 0 ! )! )''&.' '# #@') ! !%$&!')/ &.$#P&!'0 S$ '
.$A).0 ' ) *!' %80'</ )/* #$ 'A& %#;/5 @ ;05 À %A `#;/5 &) !') ! )!5 P)/;)' )
.#.;/)' #! #" .#/ % 0 ( '$)//< A;!5$50 #" 5 $!' #.' & )' #! )/* #$ 'A&0 %#;/5 @
)../ 5 ?< 0)$%A !* 'A .#/ %< 0.)% ` &)! 'A)' )$ .$#.#05
)!5 %#&.)$5 #! 'A @)0 0 #" 0%)/) $ P)/;)' #!0
=$ 0 A#` 'A 7 %87)%87# .$#@/ & `#;/5 @ )..$#)%A5 ;0 !* $ !"#$%&!' / )$! !*
)!5 )..$#- &)' P)/; ";!%' #!0 d $0' ` 0' ;. ) ')@/ #" !;&@$0 ' #! "#$ )%A .#00 @/
0')' #" 'A *)& ,)%A !;&@$ ` / @ 'A /)'0' 0' &)' #" 'A .$#@)@ / '< #" #;$ ` !! !*
"$#& 'A)' 0')' '$)' 'A 0 0' &)' )0 'A 0')' 0 %;$$!' ' )!5 'A À#/ ')@/ 0
'A / )$!5 P)/; ";!%' #! :')' 4 A)0 A *A$ P)/; 'A)! 0')' ? ' #$ 0 %#!0 5$5 @''$
'A)! 0')' ? ' " 'A %;$$!' 0' &)' #" 'A .$#@)@ / '< #" #;$ ` !! !* "$#& 4 0 A *A$ 'A)!
' 0 "$#& ? 400;& !* ` )/` )<0 ./)< 0 ' 'A! "#$ )// 0')'0 ` 'A 'A$ 0 ! ) $#` 'A
.$#@)@ / '< #" ` !! !* 0 ' @%);0 ` A)P )/$)5< `#! : & /) $/<' "#$ )// 0')'0 ` 'A 'A$
S 0 ! ) $#` ' #$ 'A)' )$ b// 5 ;.' 'A %#$$%' .$#@)@ / '< 0 C ' )0 ` %)!!#' ` ! "$#&
'A& 0' 'A ! ' )/ P)/;0 #" )// 'A #'A$ 0')'0 ' 'A !#!'$& !)/0 ' '# C1 ' $.$0!' !*
)! !"#$&5 *;00 'A)' ` A)P ) 1C %A)!% #" ` !! !*
R#` ` ./)< &)!< *)&0 )*) !0' 'A #..#!!' 7# 0/ %' #;$ &#P0 ` -)& !
'A 0')'0 'A)' `#;/5 $0;/' "$#& )%A #" #;$ .#00 @/ &#P0 ##! "#$ )%A @/) !B 0.)%
#! 'A @#)$5 $ )!5 /# #B ;. 'A $ %;$$!' P)/;0 ! 'A ')@/ O#0' #" 'A ' & ` &#P
' 0/ %' !* 'A &#P 'A)' / )50 '# 'A 0')' ` 'A *$)'0' P)/; ' 'A)' 0 ' ` 'A 'A
A *A0' 0' &)'5 .$#@)@ / '< #" ` !! !* S%%)0 #!)//<' A#`P$' ` 0/ %' $)!5#&/< "$#&
#! #" 'A #'A$ &#P0 !0')5 'A0 )$ %)// 5 &#P0 @%);0 'A< %);0 ;0
'# -.$ !% 0')'0 'A)' ` & *A' #'A$` 0 !P$ 0 4 0 ;!% #" &#P0 &)5 )!5
%#!0 5$5 5;$ !* ) *)& %)! @ 5 )*$)&&5 )0 ! d *;$ A / ` )$ ./)< !* ' ` %A)!* 'A P)/ ; 0 #" 'A 0')'0 ! À %A ` b!5 #;$0/P 0
5;$ !* 'A *)& )''&.' '# &)B 'A& &#$ )%%;$)' 0' &)'0 #" 'A .$#@)@ / ' 0
#" ` !! !* "$#& 'A#0 0')'0 7# 5# 'A 0 ' ` @)%B ;. 'A P)/; #" 'A 0')' )"'$ )%A
*$5< &#P '# 'A 0')' @"#$ 'A &#P ' )0 0;**0'5 @< 'A )$$#`0 ! d *;$ O#$
.$% 0/<' 'A %;$$!' P)/; #" 'A )$/ $ 0')' 0 )5 ;0'5 '# @ %/# 0$ '# 'A P)/; #" 'A
/)'$ 0')' 7A 0 %)! @ 5#! @< &#P !* 'A )$/ $ 0')' 0 P)/; ) "$)%' #! #" 'A `)<
'#`)$5 'A P)/; #" 'A /)'$ 0')' Q" ` /' 5!#' 'A 0')' @"#$ 'A *$5< &#P '
)!5 'A 0')' )"'$ ' 'A! 'A ;.5)' '# 'A 0' &)'5 P)/; #" ' 5!#'5 # $ ' %)! @
`$ ''!6
# $ # $ # $ # $
À$ 0 ) 0&)// .#0 ' P "$)%' #! %)// 5 'A ' À %A ! ;!%0 'A
$)' #" / )$! !* 7A 0 ;.5)' $;/ 0 )! -)&./ #" ) / )$! !* &'A#5 '
0# %)// 5 @%);0 ' 0 %A)!*0 )$ @)05 #! ) 5 $!% ' # $ # $ ' @'`! 0' &)'0
)' '`# 5 $!' ' &0
7A &'A#5 50%$ @5 )@#P .$"#$&0 ; ' `// #! 'A 0 ')0B d#$ -)&./ ' " 'A
0'.80 .)$)&'$ 0 $5;%5 .$#.$/< #P$ ' & ' 'A 0 &'A#5 %#!P$*0 ' "#$ )!< b-5
opponent's move
our move
opponent's move
our move
opponent's move
our move
{
{
{
{
{
{
starting position
a
•
•b
•
c c*
•d
e*
•e
•f
•
g g*
..
.
d *;$ 6 4 0 ;!% #" 7 %87)%87# &#P0 7A 0#/ 5 / !0 $.$0!' 'A &#P0 ')B!
5;$ !* ) *)& 'A 5)0A5 / !0 $.$0!' &#P0 'A)' ` ##;$ )/* #$ 'A& $ %#!0 5$5 @;'
5 5 !#' &)B S;$ 0%#!5 &#P `)0 )! -./# $)'#$< &#P ' &)! !* 'A)' 0 `)0 ')B! P!
'A#;*A )!#'A$ 0 @/ !* &#P ' 'A)' / )5 !* '# e ' `)0 $)!B5 A *A$ ,-./# $)'#$< &#P0 5#
!#' $0;/' ! )!< / )$! !* ' @;' )%A #" #;$ #'A$ &#P0 5# ' %);0 !* # )0 0;**0'5
@< 'A %;$P5 )$$#`0 )!5 5') / 5 ! 'A '-'
#..#!!' ' '# 'A '$; .$#@)@ / ' 0 #" ` !! !* "$#& )%A 0')' * P! #.' &)/ ./)< @< #;$
./)<$ d;$'A$&#$ ' 'A &#P0 'A! ')B! #-%.' #! -./# $)'#$< &#P0 $ )$ ! ")%' 'A
#.' &)/ &#P0 )*) !0' 'A #..#!!' Q! #'A$ `#$50 ' 'A &'A#5 %#!P$*0 '# )! #.' &)/
.#/ %< "#$ ./)< !* 'A *)& Q" 'A 0'.80 .)$)&'$ 0 !#' $5;%5 )// 'A `)< '# $#
#P$ ' & ' 'A! 'A 0 ./)<$ )/0 # ./)<0 `// )*) !0' #..#!!'0 'A)' %A)!* 'A $ `)< #" ./)< !*
0/#`/< #P$ ' &
7A 0 -)&./ / ;0'$)'0 'A 5 $!%0 @'`! P#/;' #!)$< &'A#50 )!5 &'A#50 'A)'
/ )$! P)/; ";!%' #!0 7# P)/;)' ) .#/ %<' )! P#/;' #!)$< &'A#5 &;0' A#/5 ' b-5 )!5
./)< &)!< *)&0 )*) !0' 'A #..#!!' ' #$ 0 &;/)' &)!< *)&0 ;0 !* ) &#5/ #" 'A
#..#!!' 7A "$ ;!%< #" ` !0 * P0 )! ;!@ )05 0' &)' #" 'A .$#@)@ / '< #" ` !! !*
` 'A 'A)' .#/ %<' )!5 %)! @ ;05 '# 5 $%' 'A !-' .#/ %< 0/ %' #! ?;' )%A .#/ %< %A)!*
0 &)5 #!/< )"'$ &)!< *)&0 ' )!5 #!/< 'A b!)/ #;'%#& #" )%A *)& 0 ;056 À)'
A)..!0 'A *)&0 0 *!#$5 d#$ -)&./ ' " 'A ./)<$ ` !0 ' 'A! #" '0 @A)P #$
! 'A *)& 0 * P! %$5 ' ' !5.!5!'/< #" A#` 0.% b% &#P0 & *A' A)P @! %$ ' %)/
'# 'A ` ! U$5 ' 0 P! * P! '# &#P0 'A)' !P$ #%%;$$5 N)/; ";!%' #! &'A#50 ' !
%#!'$)0' ' )//#` !5 P 5;)/ 0')'0 '# @ P)/;)'5 Q! 'A !5 ' @#'A P#/;' #!)$< )!5 P)/;
";!%' #! &'A#50 0)$%A 'A 0.)% #" .#/ % 0 ' @;' / )$! !* ) P)/; ";!%' #! ')B0 )5P)!')*
#" !"#$&)' #! )P) /) @/ 5;$ !* 'A %#;$0 #" ./)<
7A 0 -)&./ 0 P$< 0 &./ ' @;' ' / ;0'$)'0 0#& #" 'A B< ")';$0 #" $ !"#$%8
&!' / )$! !* &'A#50 d $0' ' 'A$ 0 'A &.A)0 0 #! / )$! !* À / !'$)%' !* ` 'A
)! !P $#!&!' ' ! 'A 0 %)0 ` 'A )! #..#!!' ./)<$ :%#!5 ' 'A$ 0 ) %/ )$ *#)/' )!5
%#$$%' @A)P #$ $ ; $0 ./) !! !* #$ "#$0 *A' 'A)' ')B0 !'# )%%#;!' 5/)<5 %'0 #"
#! 0 %A# %0 d#$ -)&./ ' 'A 0 &./ $ !"#$%&!' / )$! !* ./)<$ `#;/5 / )$! '# 0' ;.
&;/' 8&#P '$).0 "#$ ) 0A#$'80 *A'5 #..#!!' Q' 0 ) 0'$ B !* ")';$ #" 'A $ !"#$%&!'
/ )$! !* 0#/;' #! 'A)' ' %)! )%A P 'A %'0 #" ./) !! !* )!5 /# #B)A)5 ` 'A#;' ;0 !* )
&#5/ #" 'A #..#!!' )!5 ` 'A#;' %)$$< !* #;' )! -./ % ' 0)$%A #P$ .#00 @/ 0 ;!%0
#" ";';$ 0')'0 )!5 )%' #!0
A / 'A 0 -)&./ / ;0'$)'0 0#& #" 'A B< ")';$0 #" $ !"#$%&!' / )$! !* ' ' 0 0#
0 &./ 'A)' ' & *A' * P 'A &.$00 #! 'A)' $ !"#$%&!' / )$! !* 0 &#$ / & '5 'A)! '
$)//< 0 4/' A#;*A 7 %87)%87# 0 ) '`#8.$0#! *)& ' $ !"#$%&!' / )$! !* )/0 # )../ 0
À! 'A$ 0 !# -./ % ' -'$!)/ )5P$0)$<' 'A)' 0 ' ! 'A %)0 #" ) *)& )*) !0' !)';$
!"#$%&!' / )$! !* 0 )/0 # !#' $0'$ %'5 '# .$#@/ &0 ! À %A @A)P #$ @$)B0 5#`!
!'# 0.)$)' . 0#50 ' / B 'A 0.)$)' *)&0 #" 7 %87)%87# ' ` 'A $`)$5 #!/< )' 'A
!5 #" )%A . 0#5 Q' 0 ;0' )0 )../ %)@/ À! @A)P #$ %#!' !;0 !5b! '/< )!5 À!
$`)$50 #" P)$ #;0 &)*! ';50 %)! @ $% P5 )' )!< ' &
7 %87)%87# A)0 ) $/)' P/< 0&)//' b! ' 0')' 0' ' À$)0 $ !"#$%&!' / )$! !* %)!
@ )../ 5 '# P$< /) $* ' #$ P! !b! ' ' 0')' 0'0 d#$ -)&./ ' _$$< 70);$# # 99 '
991 $ %#&@ !5 'A )/* #$ 'A& 50%$ @5 )@#P ` 'A )! )$' b% )/ !;$)/ !'`#$B '# / )$!
'# ./)< 'A *)& #" @)%B*)&&#! ' À %A A)0 )..$#- &)'/< C 0')'0 R#' % 'A)' ` 'A
'A 0 &)!< 0')'0 ' 0 &.#00 @/ '# P$ -.$ !% &#$ 'A)! ) 0&)// "$)%' #! #" 'A&
70);$# 0 .$#*$)& / )$!5 '# ./)< ")$ @''$ 'A)! )!< .$P #;0 .$#*$)& ' )!5 !#` ./)<0
)' 'A /P/ #" 'A `#$/5 0 @0' A;&)! ./)<$0 #0 UA).'$ $ 7A !;$)/ !'`#$B
.$#P 50 'A .$#*$)& ` 'A 'A )@ / '< '# *!$)/ "$#& '0 -.$ !% ' 0# 'A)' ! !`
+
0')'0 ' 0/ %'0 &#P0 @)05 #! !"#$&)' #! 0)P5 "$#& 0 & /) $ 0')'0 ")%5 ! 'A .)0' ' )0
5'$& !5 @< '0 !'`#$B =#` `// ) $ !"#$%&!' / )$! !* )*!' %)! `#$B ! .$#@/ &0
` 'A 0;%A /) $* 0')' 0'0 0 !' &)'/< ' 5 '# A#` )..$#.$ )'/< ' %)! *!$)/ "$#& .)0'
-.$ !% Q' 0 ! 'A 0 $#/ 'A)' ` A)P 'A *$)'0' !5 "#$ 0;.$P 05 / )$! !* &'A#50
` 'A $ !"#$%&!' / )$! !* R;$)/ !'`#$B0 )$ !#' 'A #!/<' #$ !%00)$ /< 'A @0' ' `)<
'# 5# 'A 0
Q! 'A 0 7 %87)%87# -)&./ ' / )$! !* 0')$'5 ` 'A !# .$ #$ B!#`/ 5* @<#!5 'A $;/ 0
#" 'A *)& ' @;' $ !"#$%&!' / )$! !* @< !# &)!0 !') /0 ) # P ` #" / )$! !*
)!5 !'// *!% S! 'A %#!'$)$<' .$ #$ !"#$&)' #! %)! @ !%#$.#$)'5 !'# $ !"#$%&!'
/ )$! !* ! ) P)$ '< #" `)<0 'A)' %)! @ %$ ' %)/ "#$ % !' / )$! !* )/0 # A)5 )%%00
'# 'A '$; 0')' ! 'A 7 %87)%87# -)&./ ' À$)0 $ !"#$%&!' / )$! !* %)! )/0 # @
)../ 5 À! .)$' #" 'A 0')' 0 A 55! ' #$ À! 5 $!' 0')'0 )..)$ '# 'A / )$!$ '#
@ 'A 0)& 7A)' %)0 ' A#`P$ ' 0 0;@0')!' )//< &#$ 5 %;/' ' )!5 ` 5# !#' %#P$ '
0 *! b%)!'/< ! 'A 0 @##B
d !)//<' 'A 7 %87)%87# ./)<$ `)0 )@/ '# /# #B )A)5 )!5 B!#` 'A 0')'0 'A)' `#;/5
$0;/' "$#& )%A #" '0 .#00 @/ &#P0 7# 5# 'A 0 ' ' A)5 '# A)P ) &#5/ #" 'A *)& 'A)'
)//#`0 ' '# 'A !B )@#;' A#` '0 !P $#!&!' `#;/5 %A)!* ! $0.#!0 '# &#P0 'A)' '
&)< !P$ &)B O)!< .$#@/ &0 )$ / B 'A 0 ' @;' ! #'A$0 P! ) 0A#$'8'$& &#5/ #"
'A %'0 #" )%' #!0 0 /) %B !* !"#$%&!' / )$! !* %)! @ )../ 5 ! 'A$ %)0 R#
&#5/ 0 $ ; $5 ' @;' &#5/0 %)! )0 /< @ ;05 " 'A< )$ )P) /) @/ #$ %)! @ / )$!5
E
I I :;..#0 ' !0')5 #" ./)< !* )*) !0' ) $)!5#& #..#!!' ' 'A $ !"#$%&!'
/ )$! !* )/* #$ 'A& 50%$ @5 )@#P ./)<5 )*) !0' '0/" A)' 5# <#; 'A !B `#;/5 A)..!
! 'A 0 %)0 #;/5 ' / )$! ) 5 $!' `)< #" ./)< !* E
I I D
O)!< 7 %87)%87# .#0 ' #!0 )..)$ 5 $!' @;' )$ $)//< 'A 0)& @8
%);0 #" 0<&&'$ 0 =#` & *A' ` )&!5 'A $ !"#$%&!' / )$! !* )/* #$ 'A& 50%$ @5
)@#P '# ')B )5P)!')* #" 'A 0 Q! À)' `)<0 `#;/5 'A 0 &.$#P ' R#` 'A !B )*) ! '
0;..#0 'A #..#!!' 5 5 !#' ')B )5P)!')* #" 0<&&'$ 0 Q! 'A)' %)0 ' 0A#;/5 ` Q' 0
'$; 'A! 'A)' 0<&&'$ %)//< ; P)/ !' .#0 ' #!0 0A#;/5 !%00)$ /< A)P 'A 0)& P)/; E
I I :;..#0 'A $ !"#$%&!' / )$! !* ./)<$ `)0 ' 'A)' 0 '
' )/` )<0 ./)<5 'A &#P 'A)' @$#;*A' ' '# 'A .#0 ' #! 'A)' ' $)'5 'A @0' #;/5 '
/ )$! '# ./)< @''$ ' #$ `#$0 ' 'A)! ) !#!8*$5< ./)<$ A)' .$#@/ &0 & *A' #%%;$
E
I I :;..#0 / )$! !* ;.5)'0 #%%;$$5 )"'$ &#P0 ' !%/;5 !*
-./# $)'#$< &#P0 Q" 'A 0'.80 .)$)&'$ 0 $5;%5 #P$ ' & )..$#.$ )'/<' 'A! 'A
0')' P)/;0 `#;/5 %#!P$* '# ) 0' #" .$#@)@ / ' 0 A)' )$ 'A '`# 0'0 #" .$#@)@ / ' 0
%#&.;'5 À! ` 5# ' )!5 À! ` 5# !#' ' / )$! "$#& -./# $)'#$< &#P0 400;& !* 'A)'
` 5# %#!' !; '# &)B -./# $)'#$< &#P0 ' À %A 0' #" .$#@)@ / ' 0 & *A' @ @''$ '#
/ )$! A %A `#;/5 $0;/' ! &#$ ` !0 E
I I ^
3
U)! <#; 'A !B #" #'A$ `)<0 '#
&.$#P 'A $ !"#$%&!' / )$! !*
./)<$ U)! <#; 'A !B #" )!< @''$ `)< '# 0#/P 'A 7 %87)%87# .$#@/ & )0 .#05 !
!"#$%&!' / )$! !* 0 ) %#&.;')' #!)/ )..$#)%A '# ;!5$0')!5 !* )!5 );'#&)' !* *#)/8
5 $%'5 / )$! !* )!5 5% 0 #!8&)B !* Q' 0 5 0' !*; 0A5 "$#& #'A$ %#&.;')' #!)/ ).8
.$#)%A0 @< '0 &.A)0 0 #! / )$! !* @< 'A !5 P 5;)/ "$#& 5 $%' !'$)%' #! ` 'A '0 !P 8
$#!&!' ' ` 'A#;' $/< !* #! -&./) $< 0;.$P 0 #! #$ %#&./' &#5/0 #" 'A !P $#!&!'
Q! #;$ #. ! #! ' $ !"#$%&!' / )$! !* 0 'A b$0' b/5 '# 0$ #;0/< )55$00 'A %#&.;')' #!)/
00;0 'A)' )$ 0 À! / )$! !* "$#& !'$)%' #! ` 'A )! !P $#!&!' ! #$5$ '# )%A P
/# !*8'$& *#)/0 !"#$%&!' / )$! !* ;00 ) "#$&)/ "$)&`#$B 5b! !* 'A !'$)%' #! @'`! )*!'
)!5 !P $#!&!' ! '$&0 #" 0')'0 ' )%' #!0 ' )!5 $`)$50 7A 0 "$)&`#$B 0 !'!55 '# @
) 0 &./ `)< #" $.$0!' !* 00!' )/ ")';$0 #" 'A )$' b% )/ !'// *!% .$#@/ & 7A0
")';$0 !%/;5 ) 0!0 #" %);0 )!5 %' ' #" ;!%$') !'< )!5 !#!5'$& ! 0& ' )!5 'A
- 0'!% #" -./ % ' *#)/0 O#0' $/P)!' 0 'A "#$&)/ 0& #" O)$B#P 5% 0 #! .$#%000 '
À %A .$#P 50 ) .$% 0 ' )!5 $/)' P/< !;'$)/' `)< #" !%/;5 !* 'A B< ")';$0
7A %#!%.'0 #" P)/; )!5 P)/; ";!%' #!0 )$ 'A B< ")';$0 #" 'A $ !"#$%&!'
/ )$! !* &'A#50 'A)' ` %#!0 5$ ! 'A 0 @##B ')B 'A .#0 ' #! 'A)' P)/; ";!%' #!0
)$ 00!' )/ "#$ % !' 0)$%A ! 'A 0.)% #" .#/ % 0 7A $ ;0 #" P)/; ";!%' #!0
5 0' !*; 0A $ !"#$%&!' / )$! !* &'A#50 "$#& P#/;' #!)$< &'A#50 'A)' 0)$%A 5 $%'/<
! .#/ %< 0.)% *; 55 @< 0%)/) $ P)/;)' #!0 #" !' $ .#/ % 0
7A A 0'#$< #" $ !"#$%&!' / )$! !* A)0 '`# &) ! 'A$)50 ' @#'A /# !* )!5 $ %A ' À %A `$
.;$0;5 !5.!5!'/< @"#$ !'$'` ! !* ! &#5$! $ !"#$%&!' / )$! !* 'A$)5
%#!%$!0 / )$! !* @< '$ )/ )!5 $$#$ )!5 0')$'5 ! 'A .0<%A#/# *< #" )! &)/ / )$!S!!* 7A 0
'A$)5 $;!0 'A$#;*A 0#& #" 'A )$/ 0' `#$B ! )$' b% )/ !'// *!% )!5 / 5 '# 'A $P P)/ #"
$ !"#$%&!' / )$! !* ! 'A )$/< 9TC0 7A #'A$ 'A$)5 %#!%$!0 'A .$#@/ & #" #.' &)/
%#!'$#/ )!5 '0 0#/;' #! ;0 !* P)/; ";!%' #!0 )!5 5<!)& % .$#*$)&& !* d#$ 'A &#0' .)$' '
'A 0 'A$)5 5 5 !#' !P#/P / )$! !* 4/' A#;*A 'A '`# 'A$)50 `$ /) $*/< !5.!5!' '
'A -%.' #!0 $P#/P )$#;!5 ) 'A $5 ' / 00 5 0' !%' 'A$)5 %#!%$! !* '&.#$)/8 5 $!%
&'A#50 0;%A )0 ;05 ! 'A 7 %87)%87# -)&./ ! 'A 0 %A).'$ 4// 'A$ 'A$)50 %)&
'#*'A$ ! 'A /)' 9TC0 '# .$#5;% 'A &#5$! b/5 #" $ !"#$%&!' / )$! !* )0 `
.$0!' ' ! 'A 0 @##B
7A 'A$)5 "#%;0 !* #! '$ )/8 )!58$$#$ / )$! !* 0 'A #! ` 'A À %A ` )$ &#0' ")& / )$
)!5 )@#;' À %A ` A)P 'A &#0' '# 0)< ! 'A 0 @$ " A 0'#$< ?"#$ 5# !* 'A)' ' A#`P$ '
` @$ < 5 0%;00 'A #.' &)/ %#!'$#/ 'A$)5
7A '$& #.' &)/ %#!'$#/ %)& !'# ;0 ! 'A /)' 91C0 '# 50%$ @ 'A .$#@/ & #"
1
50 *! !* ) %#!'$#// $ '# & ! & ) &)0;$ #" ) 5<!)& %)/ 0<0'& 0 @A)P #$ #P$ ' &
S! #" 'A )..$#)%A0 '# 'A 0 .$#@/ & `)0 5P/# .5 ! 'A & 5891C0 @< %A)$5 ?//& )!
)!5 %#// )*;0 @< -'!5 !* ) 9'A %!';$< 'A#$< #" =)& /' #! )!5 )%#@ 7A 0 )..$#)%A
;00 'A %#!%.' #" ) 5<!)& %)/ 0<0'& 0 0')' )!5 #" ) P)/; ";!%' #! ' #$ #.' &)/ $';$!
";!%' #! ' '# 5b! ) ";!%' #!)/ ;)' #! ' !#` #"'! %)// 5 'A ?//& )! ;)' #! 7A
%/)00 #" &'A#50 "#$ 0#/P !* #.' &)/ %#!'$#/ .$#@/ &0 @< 0#/P !* 'A 0 ;)' #! %)& '# @
B!#`! )0 5<!)& % .$#*$)&& !* # ?//& )! ' 91>) $ ?//& )! # 91>@$ )/0 # !'$#5;%5 'A
5 0%$' 0'#%A)0' % P$0 #! #" 'A #.' &)/ %#!'$#/ .$#@/ & B!#`! )0 O)$B#P )! 5% 0 #!
.$#%000 # OcM0 $' )!5
#! =#`)$5 # 92C $ 5P 05 'A .#/ %< '$)' #! &'A#5 "#$ OcM0 4// #" 'A0 )$
00!' )/ / &!'0 ;!5$/< !* 'A 'A#$< )!5 )/* #$ 'A&0 #" &#5$! $ !"#$%&!' / )$! !*
c<!)& % .$#*$)&& !* 0 ` 5/< %#!0 5$5 'A #!/< ")0 @/ `)< #" 0#/P !* *!$)/
0'#%A)0' % #.' &)/ %#!'$#/ .$#@/ &0 Q' 0; $0 "$#& À)' ?//& )! %)// 5 'A %;$0 #"
5 &!0 #!)/ '<' &)! !* 'A)' '0 %#&.;')' #!)/ $ ; $&!'0 *$#` -.#!!' )//< ` 'A 'A
!;&@$ #" 0')' P)$ )@/0 ' @;' ' 0 0' / ")$ &#$ % !' )!5 &#$ ` 5/< )../ %)@/ 'A)!
)!< #'A$ &'A#5 c<!)& % .$#*$)&& !* A)0 @! -'!0 P/< 5P/# .5 ! 'A /)0' "#;$
5%)50 ' !%/;5 !* -'!0 #!0 '# .)$' )//< #@0$P)@/ OcM0 #0;$P<5 @< (#P #<' 99$'
&)!< )../ %)' #!0 #0;$P<5 @< A ' ' 9T1 ' 9TT ' 99+ $' )..$#- &)' #! &'A#50 #0;$8
P<5 @< ;0' ' 992 $' )!5 )0<!%A$#!#;0 &'A#50 # ?$'0B)0 ' 9T ' 9T+ $ O)!< -%// !'
&#5$! '$)'&!'0 #" 5<!)& % .$#*$)&& !* )$ )P) /) @/ #* ' ?$'0B)0 ' 991 M;'$8
&)! ' 993 #00 ' 9T+ )!5 A ''/ ' 9T ' 9T+ $ ?$<0#! # 992 $ .$#P 50 ) 5') / 5
);'A#$ ')' P A 0'#$< #" #.' &)/ %#!'$#/
Q! 'A 0 @##B ' ` %#!0 5$ )// #" 'A `#$B #! #.' &)/ %#!'$#/ '# )/0 # @ `#$B ! $8
!"#$%&!' / )$! !* 5b! $ !"#$%&!' / )$! !* )0 )!< %' P `)< #" 0#/P !*
$ !"#$%&!' / )$! !* .$#@/ &0 ' )!5 ' 0 !#` %/ )$ 'A)' 'A0 .$#@/ &0 )$ P$< %/# 0/<
$/)'5 '# #.' &)/ %#!'$#/ .$#@/ &0 ' .)$' %;/) $/< 'A#0 "#$&;/)'5 )0 OcM0 4%%#$5 !*/<
` &;0' %#!0 5$ 'A 0#/;' #! &'A#50 #" #.' &)/ %#!'$#/' 0;%A )0 5<!)& % .$#*$)&& !* '
'# )/0 # @ $ !"#$%&!' / )$! !* &'A#50 S" %#;$0 ' )/& #0' )// #" 'A0 &'A#50 $ ; $
%#&./' B!#`/ 5* #" 'A 0<0'& '# @ %#!'$#// 5 ' )!5 "#$ 'A 0 $)0#! ' "/0 ) / ''/
;!!)';$)/ '# 0)< 'A)' 'A< )$ .)$' #" $ !"#$%&!' S! 'A #'A$ A)!5 ' &)!<
5<!)& % .$#*$)&& !* &'A#50 )$ !%$&!')/ )!5 '$)' P ( B '$; / )$! !* &'A#50 '
'A< *$)5;)//< $)%A 'A %#$$%' )!0`$ 'A$#;*A 0;%%00 P )..$#- &)' #!0 40 ` 0A#`
! 'A $0' #" 'A 0 @##B ' 'A0 0 & /) $ ' 0 )$ ")$ &#$ 'A)! 0;.$b% )/ 7A 'A#$ 0 )!5
0#/;' #! &'A#50 "#$ 'A %)00 #" %#&./' )!5 !%#&./' B!#`/ 5* )$ 0# %/# 0/< $/)'5
'A)' ` "/ 'A< &;0' @ %#!0 5$5 '#*'A$ )0 .)$' #" 'A 0)& 0;@ %' &)''$
(' ;0 $';$! !#` '# 'A #'A$ &) #$ 'A$)5 / )5 !* '# 'A &#5$! b/5 #" $ !"#$%&!'
/ )$! !* ' 'A)' %!'$5 )$#;!5 'A 5) #" '$ )/8 )!58$$#$ / )$! !* 7A 0 'A$)5 @*)! !
.0<%A#/# *<' À$ $ !"#$%&!' 'A#$ 0 #" / )$! !* )$ %#&&#! M$A).0 'A b$0' '#
0;%% !'/< -.$00 'A 00!% #" '$ )/8 )!58$$#$ / )$! !* `)0 ,5`)$5 7A#$!5 B ')B 'A 0
00!% '# @ 'A 5) 'A)' )%' #!0 "#//#`5 @< *##5 #$ @)5 #;'%#&0 A)P 'A $ '!5!%<
'# @ $80/ %'5 )/' $5 )%%#$5 !*/< Q! 7A#$!5 B 0 `#$506
S" 0P$)/ $0.#!00 &)5 '# 'A 0)& 0 ';)' #! ' 'A#0 À %A )$ )%%#&8
2
.)! 5 #$ %/# 0/< "#//#`5 @< 0)' 0")%' #! '# 'A )! &)/ ` / ' #'A$ 'A !*0 @ !*
;)/' @ &#$ b$&/< %#!!%'5 ` 'A 'A 0 ';)' #! ' 0# 'A)' ' À! ' $%;$0 ' 'A<
` / @ &#$ / B/< '# $%;$ 'A#0 À %A )$ )%%#&.)! 5 #$ %/# 0/< "#//#`5 @<
5 0%#&"#$' '# 'A )! &)/ ` / ' #'A$ 'A !*0 @ !* ;)/' A)P 'A $ %#!!%' #!0
` 'A 'A)' 0 ';)' #! `)B!5 ' 0# 'A)' ' À! ' $%;$0 ' 'A< ` / @ / 00 / B/< '#
#%%;$ 7A *$)'$ 'A 0)' 0")%' #! #$ 5 0%#&"#$' ' 'A *$)'$ 'A 0'$!*'A! !*
#$ `)B! !* #" 'A @#!5 #7A#$!5 B ' 9 ' . 33 $
7A#$!5 B %)// 5 'A 0 'A ()` #" , %' @%);0 ' 50%$ @0 'A %' #" $ !"#$% !*
P!'0 #! 'A '!5!%< '# 0/ %' )%' #!0 4/' A#;*A 0#&' &0 %#!'$#P$0 )/ #* ' 0
&@/ ' 92 ' 92> O) ;$ ' 993 $ 'A ()` #" , %' 0 ` 5/< $*)$55 )0 )! #@P #;0
@)0 % .$ !% ./ ;!5$/< !* &;%A @A)P #$ #* ' = /* )$5 )!5 ?#`$ ' 9>1 c!!'' ' 9>T
U)&.@//' 91T U B# ' 991 $ 7A ()` #" , %' !%/;50 'A '`# &#0' &.#$')!' )0.%'0 #" À)' ` &)! @< '$ )/8
)!58$$#$ / )$! !* d $0' ' ' 0 $)'A$ 'A)! !0'$;%' #!)/ ! 'A 0!0 #" O#!#5 '
&)! !* 'A)' ' !P#/P 0 '$< !* )/' $!)' P0 )!5 0/ %' !* )&#!* 'A& @< %#&.)$ !* 'A $
%#!0 ;!%0 :%#!5 ' ' 0 ' &)! !* 'A)' 'A )/' $!)' P0 "#;!5 @< 0/ %' #!
)$ )00#% )'5 ` 'A .)$' %;/) $ 0 ';)' #!0 R)';$)/ 0/ %' #! ! P#/;' #! 0 ) .$ & -)&./
#" ) 0/ %' #!)/ .$#%00 ' @;' ' 0 !#' )00#% )' P :;.$P 05 / )$! !* 0 )00#% )' P ' @;'
!#' 0/ %' #!)/ Q' 0 'A %#&@ !)' #! #" 'A0 '`# 'A)' 0 00!' )/ '# 'A ()` #" , %'
)!5 '# '$ )/8 )!58$$#$ / )$! !* 4!#'A$ `)< #" 0)< !* 'A 0 0 'A)' 'A ()` #" , %' 0
)! / &!')$< `)< #" %#&@ ! !* )!5 6 0)$%A ! 'A "#$& #" '$< !* )!5
0/ %' !* )&#!* &)!< )%' #!0 ! )%A 0 ';)' #! ' )!5 &&#$< ! 'A "#$& #" $&&@$ !*
À)' )%' #!0 `#$B5 @0' ' )00#% )' !* 'A& ` 'A 'A 0 ';)' #!0 ! À %A 'A< `$ @0'
U#&@ ! !* 0)$%A )!5 &&#$< ! 'A 0 `)< 0 00!' )/ '# $ !"#$%&!' / )$! !*
Q! )$/< )$' b% )/ !'// *!% ' @"#$ ' `)0 5 0' !%' "$#& #'A$ @$)!%A0 #" !* !$ !* '
0P$)/ $0)$%A$0 @*)! '# -./# $ '$ )/8 )!58$$#$ / )$! !* )0 )! !* !$ !* .$ !% ./ 7A
)$/ 0' %#&.;')' #!)/ !P0' *)' #!0 #" '$ )/8 )!58$$#$ / )$! !* `$ .$A).0 @< O !0B< )!5
d)$/< )!5 U/) $B ' @#'A ! 913 Q! A 0 MAc 5 00$')' #! ' O !0B< 5 0%;005 %#&.;')' #!)/
&#5/0 #" $ !"#$%&!' / )$! !* )!5 50%$ @5 A 0 %#!0'$;%' #! #" )! )!)/# * &)%A ! ' %#&8
.#05 #" %#&.#!!'0 A %)// 5 :R4U0 #:'#%A)0' % R;$)/8 4!)/# * !"#$%&!' U)/% ;/)8
'#$0 $ d)$/< )!5 U/) $B 50%$ @5 )!#'A$ !;$)/8 !'`#$B / )$! !* &)%A ! 50 *!5 '# / )$!
@< '$ )/8 )!58$$#$ Q! 'A 92C0 #! b!50 'A '$&0 $ !"#$%&!' )!5 $ !"#$%&!'
/ )$! !* @ !* ` 5/< ;05 ! 'A !* !$ !* / '$)';$ "#$'A b$0' ' & #* ' )/' )!5 d; '
921 O!5/' 922 d; ' 9>C O!5/ )!5 O%U/) $! ' 9>C $ M)$' %;/) $/< ! ;!' )/ `)0
O !0B< 0 .).$ :'.0 7#`)$5 4$' b% )/ Q!'// *!% # O !0B<' 92$' À %A 5 0%;005 0P8
$)/ 00;0 $/P)!' '# $ !"#$%&!' / )$! !* ' !%/;5 !* À)' A %)// 5 'A # 6 A#` 5# <#; 5 0'$ @;' %$5 ' "#$ 0;%%00 )&#!* 'A &)!< 5% 0 #!0 'A)' &)< A)P
@! !P#/P 5 ! .$#5;% !* ' 4// #" 'A &'A#50 ` 5 0%;00 ! 'A 0 @##B )$ ' ! ) 0!0 '
5 $%'5 '#`)$5 0#/P !* 'A 0 .$#@/ &
7A !'$0'0 #" d)$/< )!5 U/) $B # 913 U/) $B )!5 d)$/<' 911 $ 0A "'5 "$#& '$ )/8
)!58$$#$ / )$! !* '# *!$)/ )' #! )!5 .)''$! $%#*! ' #! ' 'A)' 0 ' "$#& $ !"#$%&!'
/ )$! !* '# 0;.$P 05 / )$! !* 7A 0 @*)! ) .)''$! #" %#!";0 #! )@#;' 'A $/)' #!8
>
0A . @'`! 'A0 '<.0 #" / )$! !* O)!< $0)$%A$0 0&5 '# @/ P 'A)' 'A< `$
0';5< !* $ !"#$%&!' / )$! !* À! 'A< `$ )%';)//< 0';5< !* 0;.$P 05 / )$! !* d#$
-)&./ ' !;$)/8 !'`#$B . #!$0 0;%A )0 #0!@/)'' # 91T $ )!5 5$#` )!5 =# # 92C $
`$ %/ )$/< &#' P)'5 @< $ !"#$%&!' / )$! !*" 'A< ;05 'A /) !*;)* #" $`)$50 )!5
.;! 0A&!'0" @;' 'A 0<0'&0 'A< 0';5 5 `$ 0;.$P 05 / )$! !* 0<0'&0 0; ')@/ "#$
.)''$! $%#*! ' #! )!5 .$%.';)/ / )$! !* ,P! '#5)<' $0)%A$0 )!5 '-'@##B0 #"'!
& ! & #$ @/; $ 'A 5 0' !%' #! @'`! 'A0 '<.0 #" / )$! !* :#& &#5$! !;$)/8
!'`#$B '-'@##B0 ;0 'A '$& '$ )/8 )!58$$#$ '# 50%$ @ !'`#$B0 'A)' / )$! "$#& '$) !8
!* -)&./0 @%);0 'A< ;0 $$#$ !"#$&)' #! '# ;.5)' %#!!%' #! ` *A'0 7A 0 0 )!
;!5$0')!5)@/ %#!";0 #! ' @;' ' 0;@0')!';)//< & 000 'A 00!' )/ 0/ %' #!)/ %A)$)%'$ #"
'$ )/8 )!58$$#$ / )$! !*
M)$'/< )0 ) $0;/' #" 'A0 %#!";0 #!0 ' $0)$%A !'# *!; ! '$ )/8 )!58$$#$ / )$! !*
@%)& $)$ ! 'A 'A 92C0 )!5 9>C0 Q! 'A !-' "` .)$)*$).A0 ` 5 0%;00 0#& #"
'A -%.' #!0 )!5 .)$' )/ -%.' #!0 '# 'A 0 '$!5
S! #" 'A0 `)0 'A `#$B @< ) R` )/) !5 $0)$%A$ !)&5 #A! 4!5$) 4!5$)
# 92+ $ 5P/# .5 ) 0<0'& %)// 5 :7((4 'A)' / )$!5 @< '$ )/ )!5 $$#$ ! !'$)%' #!
` 'A '0 !P $#!&!' 7A 0 0<0'& !%/;55 )! !'$!)/ &#5/ #" 'A `#$/5 )!5 ' /)'$ ' )!
!'$!)/ &#!#/# *; '# 5)/ ` 'A .$#@/ &0 #" A 55! 0')' #4!5$) ' 929) $ 4!5$) 0
/)'$ `#$B ./) %5 &#$ &.A)0 0 #! / )$! !* "$#& ) ')%A$' @;' 0' / !%/;55 '$ )/8 )!5 $$#$
#4!5$) ' 9>> $ a!"#$';!)'/< ' 4!5$) 0 . #!$ !* $0)$%A `)0 !#' `/ /8 B!#`! ' )!5
5 5 !#' *$)'/< &.)%' 0;@0 ;!' $ !"#$%&!' / )$! !* $0)$%A
O#$ ! ;!' )/ `)0 'A `#$B #" c#!)/5 O %A Q! 92 )!5 92+ A 50%$ @5 )
0 &./ '$ )/8 )!58$$#$ / )$! !* 0<0'& "#$ / )$! !* A#` '# ./)< 7 %87)%87# ##$ R#;*A'0
)!5 U$#000 $ %)// 5 O,R4U, #"#$ O)'%A@#- ,5;%)@/ R#;*A'0 )!5 U$#000 ,!* ! $ Q'
%#!0 0'5 #" ) &)'%A@#- "#$ )%A .#00 @/ *)& .#0 ' #! ' )%A %#!') ! !* ) !;&@$ #"
%#/# $5 @)50 ' ) %#/# $ "#$ )%A .#00 @/ &#P "$#& 'A)' .#0 ' #! ?< 5$)` !* ) @)5 )'
$)!5#& "$#& 'A &)'%A@#- %#$$0.#!5 !* '# 'A %;$$!' *)& .#0 ' #! ' #! %#;/5 5'$8
& ! O,R4U, 0 &#P A! ) *)& `)0 #P$ ' @)50 `$ )555 #$ $&#P5 "$#& 'A
@#-0 ;05 5;$ !* ./)< '# $ !"#$% #$ .;! 0A O,R4U, 0 5% 0 #!0 O %A )!5 UA)&@$0
# 92T $ 50%$ @5 )!#'A$ 7 %87)%87# $ !"#$%&!' / )$!$ %)/ / 5 _(,, # _)& ()$! !*
,-.%' &)- !* ,!* ! $ )!5 ) $ !"#$%&!' / )$! !* %#!'$#// $ %)// 5 ?S ,: 7A< ).8
./ 5 ?S ,: '# 'A ')0B #" / )$! !* '# @)/) !% ) .#/ A !*5 '# ) &#P)@/ %)$' #! 'A
@)0 0 #" ) ") /; $ 0 *!)/ #%%;$ !* #!/< À! 'A .#/ "// #$ 'A %)$' $)%A5 'A !5 #" )
'$)%B 7A 0 ')0B `)0 )5).'5 "$#& 'A )$/ $ `#$B #" 5$#` )!5 :& 'A # 923 $' À# ;05
0;.$P 05 / )$! !* &'A#50 ' )00;& !* !0'$;%' #! "$#& ) ')%A$ )/$)5< )@/ '# @)/) !%
'A .#/ O %A )!5 UA)&@$0 P$0 #! #" .#/8@)/) !% !* 0 #! #" 'A @0' )$/< -)&./0
#" ) $ !"#$%&!' / )$! !* ')0B ;!5$ %#!5 ' #!0 #" !%#&./' B!#`/ 5* Q' ! ;!%5
&;%A /)'$ `#$B ! $ !"#$%&!' / )$! !* ' @* !! !* ` 'A 0#& #" #;$ #`! 0';5 0 # ?)$'# '
:;''#! )!5 4!5$0#! ' 9T+ :;''#! ' 9T3 $ O %A A)0 %#!0 0'!'/< &.A)0 5 'A $#/
#" '$ )/8 )!58$$#$ )!5 / )$! !* )0 00!' )/ )0.%'0 #" )$' b% )/ !'// *!% # O %A ' 9>3 $ 5$#` ' _;.') ' )!5 O) '$) # 9>+ $ &#5 b5 'A (O: )/* #$ 'A& #" 5$#` )!5 =# # 92C $ '# .$#5;% ) $ !"#$%&!' / )$! !* $;/ 'A)' %#;/5 / )$! "$#& 0;%%00 )!5 ") / ; $
0 *!)/0 !0')5 #" "$#& '$) ! !* -)&./0 7A< %)// 5 'A 0 "#$& #" / )$! !* 0/ %' P
T
@##'0'$). )5).')' #! )!5 50%$ @5 ' )0 / )$! !* ` 'A ) %$ ' % !0')5 #" / )$! !*
` 'A ) ')%A$ 7A< )!)/< 5 'A 0 $;/ )!5 0A#`5 A#` ' %#;/5 / )$! '# ./)< @/) %B )%B
7A 0 `)0 )! 0#/)'5 "#$)< !'# $ !"#$%&!' / )$! !* @< 5$#` ' À#0 %#!'$ @;' #!0 '#
0;.$P 05 / )$! !* `$ &;%A &#$ ! ;!' )/
0)$%A #! A)5 ) &#$ 5 $%' ! ;!% #! 'A '$ )/8 )!58$$#$ 'A$)5
#" &#5$! $ !"#$%&!' / )$! !* $0)$%A 7A0 `$ &'A#50 "#$0#/P !* ) !#!8)00#% )' P '
.;$/< 0/ %' #!)/ / )$! !* .$#@/ & B!#`! )0 'A # @< )!#/# *< '# ) 0/#'8
&)%A ! ' #$ #!8)$&5 @)!5 ' ' -%.' ` 'A /P$0 #0 UA).'$ $ ()$! !* );'#&)')
`$ 0 &./ ' /#`8&&#$< &)%A !0 "#$ 0#/P !* 'A 0 .$#@/ & 70'/ ! # 9>+ $ !'$#5;%5
'A0 &)%A !0 ! 'A `0' ' )!5 -%// !' 0;$P<0 )$ .$#P 55 @< R)$!5$) )!5 7A)')%A)$
# 9>3 ' 9T9 $ ?)$'# )!5 4!)5)! # 9T1 $ -'!55 'A0 &'A#50 '# 'A )00#% )' P %)0
#A! =#/ /) !5 # 9>1 $ #;'/ !5 ) *!$)/ 'A#$< #" )5).' P 0<0'&0 @)05 #! 0/ %' #!)/
.$ !% ./0 = 0 )$/< `#$B %#!%$!5
'$
)/
)!5
$$#$
.$
&)$
/
<
!
'0
!#!8)00#%
)'
P
"#$&
' )0 !
P#/;' #!)$< &'A#50 )!5 'A 8)$&5 @)!5 ' Q! 9T2 A !'$#5;%5 ' '$;
$ !"#$%&!'8/ )$! !* 0<0'&0 !%/;5 !* )00#% )' #! )!5 P)/; ";!%' #!0 4 B< %#&.#!!'
#" =#//) !5 0 %/)00 "$ 0<0'&0 `)0 )/` )<0 ) ' )! P#/;' #!)$< &'A#5 À#0
$#/ `)0 '# P#/P ;0";/ $.$0!')' #!0 U/)00 b$ 0<0'&0 A)P @! -'!0 P/< 5P/# .5
@< &)!< $0)$%A$0 '# "#$& ) &) #$ @$)!%A #" $ !"#$%&!' / )$! !* $0)$%A #* ' 0
'-' @< _#/5 @$* ' 9T9 )!5 /0 #! ' 993 $' @;' *!' % )/* #$ 'A&0" À %A @< 'A&0/P 0
)$ !#' $ !"#$%&!' / )$! !* 0<0'&0" A)P $% P5 &;%A &#$ )''!' #!
7A !5 P 5;)/ &#0' $0.#!0 @/ "#$ $P P !* 'A '$ )/8 )!58$$#$ 'A$)5 '# $ !"#$%&!'
/ )$! !* ` 'A ! )$' b% )/ !'// *!% 0 =)$$< /# ." # 9> ' 9>1 ' 9T $ /# ." $%#*! 5
'A)' 00!' )/ )0.%'0 #" )5).' P @A)P #$ `$ @ !* /# 0' )0 / )$! !* $0)$%A$0 %)& '#
"#%;0 )/& #0' -%/;0 P/< #! 0;.$P 05 / )$! !* A)' `)0 & 00 !* ' )%%#$5 !* '# /# ." ' `$
'A A5#! % )0.%'0 #" @A)P #$ ' 'A 5$ P '# )%A P 0#& $0;/' "$#& 'A !P $#!&!' '
'# %#!'$#/ 'A !P $#!&!' '#`)$5 50 $5 !50 )!5 )`)< "$#& ;!50 $5 !50 7A 0 0
'A 00!' )/ 5) #" $ !"#$%&!' / )$! !* /# ." 0 5)0 `$ 0.% )//< ! ;!' )/ #! 'A
);'A#$0 @%);0 #;$ )0000&!' #" 'A& # ?)$'# )!5 :;''#! ' 9T@ $ / 5 '# #;$ )..$% )' #!
#" 'A 5 0' !%' #! @'`! 0;.$P 05 )!5 $ !"#$%&!' / )$! !* ' )!5 '# #;$ P!';)/ "#%;0
#! $ !"#$%&!' / )$! !* O;%A #" 'A )$/< `#$B 'A)' ` )!5 %#// )*;0 )%%#&./ 0A5 `)0
5 $%'5 '#`)$5 0A#` !* 'A)' $ !"#$%&!' / )$! !* )!5 0;.$P 05 / )$! !* `$ !55
P$< 5 $!' # ?)$'# ' :;''#! ' )!5 ?$#;`$ ' 9T ?)$'# )!5 :;''#! ' 9T) ?)$'# )!5
4!)!5)! ' 9T1 $ S'A$ 0';5 0 0A#`5 A#` $ !"#$%&!' / )$! !* %#;/5 )55$00 &.#$')!'
.$#@/ &0 ! !;$)/8 !'`#$B / )$! !* ' ! .)$' %;/) $ ' A#` ' %#;/5 .$#5;% / )$! !* )/* #$ 'A&0
"#$ &;/' 8/)<$ !'`#$B0 # ?)$'# ' 4!5$0#! ' )!5 :;''#! ' 9T ?)$'# )!5 4!5$0#! ' 9T1
' 9T1 ?)$'# ' 9T1 ?)$'# ' 9T2 ?)$'# )!5 #$5)! ' 9T2 $ ?)$'# )!5';$!4!)!5)!
!#` '# 'A 'A $5 'A$)5 '# 'A A 0'#$< #" $ !"#$%&!' / )$! !* ' 'A)' %#!%$! !*
'&.#$)/8 5 $!% / )$! !* 7&.#$)/8 5 $!% / )$! !* &'A#50 )$ 5 0' !%' P ! @ !*
5$ P! @< 'A 5 $!% @'`! '&.#$)//< 0;%%00 P 0' &)'0 #" 'A 0)& ;)!' '<' "#$
-)&./ ' #" 'A .$#@)@ / '< #" ` !! !* ! 'A 7 %87)%87# -)&./ 7A 0 'A$)5 0 0&)// $
)!5 / 00 5 0' !%' 'A)! 'A #'A$ '`# ' @;' A)0 ./)<5 ) .)$' %;/) $/< &.#$')!' $#/ ! 'A b/5 '
! .)$' @%);0 '&.#$)/8 5 $!% &'A#50 0& '# @ !` )!5 ;! ; '# $ !"#$%&!'
/ )$! !*
9
7A #$ * !0 #" '&.#$)/8 5 $!% / )$! !* )$ ! .)$' ! )! &)/ / )$! !* .0<%A#/# *<' !
.)$' %;/) $ ' ! 'A !#' #! #" 4 0%#!5)$< $ !"#$%$ 0 ) 0' &;/;0 'A)'
A)0 @! .) $5 ` 'A ) .$ &)$< $ !"#$%$ 0;%A )0 "##5 #$ .) ! )!5 ' )0 ) $0;/' ' A)0 %#&
'# ')B #! 0 & /) $ $ !"#$% !* .$#.$' 0 O !0B< # 913 $ &)<b%A)P @! 'A b$0' '# $)/ 'A)' 'A 0 .0<%A#/# * %)/ .$ !% ./ %#;/5 @ &.#$')!' "#$ )$' )/ / )$! !* 0<0'&0 4$'A;$
:)&;/ # 919 $ `)0 'A b$0' '# .$#.#0 )!5 &./ &!' ) / )$! !* &'A#5 'A)' !%/;55
'&.#$)/8 5 $!% 5)0 ' )0 .)$' #" A 0 %/ @$)'5 %A%B$08./)< !* .$#*$)& :)&;/ &)5
!# $"$!% '# O !0B< 0 `#$B #$ '# .#00 @/ %#!!%' #!0 '# )! &)/ / )$! !* = 0 !0. $)' #!
)..)$!'/< %)& "$#& U/) ;5 :A)!!#! 0 # 91C) $ 0;**0' #! 'A)' ) %#&.;'$ %#;/5 @
.$#*$)&&5 '# ;0 )! P)/;)' #! ";!%' #! '# ./)< %A00 ' )!5 'A)' ' & *A' @ )@/ '#
'# &.$#P '0 ./)< @< &#5 "< !* 'A 0 ";!%' #! #!/ ! # Q' 0 .#00 @/ 'A)' 'A0 5)0 #"
:A)!!#! )/0 # ! ;!%5 ?//& )! ' @;' ` B!#` #" !# P 5!% "#$ 'A 0$ O !0B< # 92$
-'!0 P/< 5 0%;005 :)&;/0 `#$B ! A 0 :'.0 .).$ ' 0;**0' !* 'A %#!!%' #! '#
0%#!5)$< $ !"#$%&!' 'A#$ 0 ' !)';$)/ )!5 )$' b% )/
40 ` A)P 5 0%;005 ' ! 'A 5%)5 "#//#` !* 'A `#$B #" O !0B< )!5 :)&;/' / ''/
%#&.;')' #!)/ `#$B `)0 5#! #! '$ )/8 )!58$$#$ / )$! !* ' )!5 )..)$!'/< !# %#&.;')' #!)/
`#$B )' )// `)0 5#! #! '&.#$)/8 5 $!% / )$! !*
Q! 9> ' /# ." @$#;*A' '$ )/8 )!58$$#$ / )$! !* '#*'A$ ` 'A )! &.#$')!' %#&.#!!' #"
'&.#$)/8 5 $!% / )$! !* /# ." `)0 !'$0'5 ! .$ !% ./ 0 'A)' `#;/5 0%)/ '# / )$! !*
! P$< /) $* 0<0'&0 ' )!5 'A;0 `)0 !'$ *;5 @< !#' #!0 #" /# %)/ $ !"#$%&!' ' À$@<
0;@%#&.#!!'0 #" )! #P$)// / )$! !* 0<0'& %#;/5 $ !"#$% #! )!#'A$ = 5P/# .5 'A
5) #" *!$)/ 5 $ !"#$%&!' ' À$@< P$< %#&.#!!' #!#& !)//<' P$< !;$#!$
P `5 )// #" '0 !.;'0 ! $ !"#$%&!' '$&0 ' -% ')'#$< !.;'0 )0 $`)$50 )!5 !A @ '#$<
!.;'0 )0 .;! 0A&!'0 7A 0 0 !#' 'A 0)& 5) )0 À)' ` !#` B!#` )0 '&.#$)/8
5 $!% / )$! !* ' )!5 ! $'$#0.%' ' 0 ")$'A$ "$#& ' 'A)! `)0 :)&;/0 `#$B RP$8
'A/ 00 ' /# ." 0 `#$B )/0 # / !B5 'A 5) ` 'A '$ )/8 )!58$$#$ / )$! !* )!5 ` 'A 'A &)00 P
&. $ %)/ 5)')@)0 #" )! &)/ / )$! !* .0<%A#/# *<
:;''#! # 9>T) % $ 5P/# .5 /# ." 0 5)0 ";$'A$ ' .)$' %;/) $/< 'A / !B0 '# )! &)/ / )$!8
!* 'A#$ 0 ' 50%$ @ !* / )$! !* $;/0 5$ P! @< %A)!*0 ! '&.#$)//< 0;%%00 P .$5 %' #!0
= )!5 ?)$'# $b!5 'A0 5)0 )!5 5P/# .5 ) .0<%A#/# * %)/ &#5/ #" %/)00 %)/ %#!5 8
' #! !* @)05 #! '&.#$)/8 5 $!% / )$! !* #:;''#! )!5 ?)$'# ' 9T ?)$'# )!5 :;''#! '
9T $ 7A$ "#//#`5 0P$)/ #'A$ ! ;!' )/ .0<%A#/# * %)/ &#5/0 #" %/)00 %)/ %#!5 ' #!8
!* @)05 #! '&.#$)/8 5 $!% / )$! !* #* ' /# ." ' 9TT O##$ ' )/' 9T2 :;''#!
)!5 ?)$'# ' 9T> ' 99C $ :#& !;$#0% !% &#5/0 5P/# .5 )' 'A 0 ' & )$ `// !'$8
.$'5 ! '$&0 #" '&.#$)/8 5 $!% / )$! !* # =)`B !0 )!5 )!5/' 9T3 ?<$! ' 99C
_/.$ ! ' )/' 9T1 70);$# ' 9T2 d$ 0'#! ' )/' 993 $' )/' A#;*A ! &#0' %)00 'A$ `)0
!# A 0'#$ %)/ %#!!%' #! 4 $%!' 0;&&)$< #" / !B0 @'`! '&.#$)/8 5 $!% / )$! !*
)!5 !;$#0% !% 5)0 0 .$#P 55 @< :%A;/' ' c)<)! ' )!5 O#!')*; ' 99> $ Q! #;$ `#$B #! '&.#$)/8 5 $!% / )$! !* ;. ;!' / 9T ` `$ 0'$#!*/< ! ;!%5
@< )! &)/ / )$! !* 'A#$ 0 )!5 @< /# ." 0 `#$B /)' #!0A .0 '# O !0B< 0 :'.0 .)8
.$ )!5 '# :)&;/0 %A%B$0 ./)<$0 )..)$ '# A)P @! $%#*! 5 #!/< )"'$`)$50 ?<
9T ' A#`P$' ` `$ ";//< )`)$ #" )// 'A .$ #$ `#$B &!' #!5 )@#P )0 .)$' #" 'A
'&.#$)/8 5 $!% )!5 '$ )/8 )!58$$#$ 'A$)50 4' 'A 0 ' & ` 5P/# .5 ) &'A#5 "#$
+C
;0 !* '&.#$)/8 5 $!% / )$! !* ! '$ )/8 )!58$$#$ / )$! !* ' B!#`! )0 'A )%'#$8%$ ' % )$%A 8
'%';$ ' )!5 )../ 5 'A 0 &'A#5 '# O %A )!5 UA)&@$0 .#/8@)/) !% !* .$#@/ & # ?)$'# '
:;''#! )!5 4!5$0#! ' 9T+ $ 7A 0 &'A#5 `)0 -'!0 P/< 0';5 5 ! :;''#! 0 # 9T3 $ MAc
'A0 0 )!5 -'!55 '# ;0 @)%B.$#.)*)' #! !;$)/ !'`#$B0 ! 4!5$0#! 0 # 9T2 $ MAc 'A8
0 0 4$#;!5 'A 0 ' & ' =#//) !5 # 9T2 $ !%#$.#$)'5 '&.#$)/8 5 $!% &'A#50 -./ % '/<
!'# A 0 %/)00 b$ 0<0'&0 4 B< 0'. `)0 ')B! @< :;''#! ! 9TT @< 0.)$)' !* '&.#$)/8
5 $!% / )$! !* "$#& %#!'$#/' '$)' !* ' )0 ) *!$)/ .$5 %' #! &'A#5 7A)' .).$
)/0 # !'$#5;%5 'A 7c # $ )/* #$ 'A& )!5 .$#P5 0#& #" '0 %#!P$*!% .$#.$' 0
40 ` `$ b!)/ !* #;$ `#$B #! 'A )%'#$8%$ ' % )$%A '%';$ ! 9T ' ` 5 0%#P$5
) .).$ @< Q) ! ''! # 9>> $ À %A %#!') !0 'A )$/ 0' B!#`! .;@/ %)' #! #" ) '&.#$)/8
5 $!% / )$! !* $;/ = .$#.#05 'A &'A#5 'A)' ` !#` %)// 7c #C $ "#$ ;0 )0 .)$' #"
)! )5).' P %#!'$#// $ "#$ 0#/P !* OcM0 ''! 0 `#$B `)0 ) 50%!5)!' #" 4!5$) 0 )$/<
-.$ &!'0 ` 'A :7((4 )!5 #'A$ '$ )/8 )!58$$#$ / )$! !* 0<0'&0 7A;0 ' ''! 0 9>>
.).$ 0.)!!5 @#'A &) #$ 'A$)50 #" $ !"#$%&!'8/ )$! !* $0)$%A" '$ )/8 )!58$$#$ )!5
#.' &)/ %#!'$#/" À / &)B !* ) 5 0' !%' )$/< %#!'$ @;' #! '# '&.#$)/8 5 $!% / )$! !*
d !)//<' 'A '&.#$)/8 5 $!% )!5 #.' &)/ %#!'$#/ 'A$)50 `$ ";//< @$#;*A' '#*'A$
! 9T9 ` 'A UA$ 0 )'B !0 0 5P/# .&!' #" % 8/ )$! !* 7A 0 `#$B -'!55 )!5 !'*$)'5
.$ #$ `#$B ! )// 'A$ 'A$)50 #" $ !"#$%&!' / )$! !* $0)$%A M);/ $@#0 # 9T> $ )/0 #
%#!'$ @;'5 '# 'A 0 !'*$)' #! @< )$*; !* "#$ 'A %#!P$*!% #" '$ )/8 )!58$$#$ / )$! !*
)!5 5<!)& % .$#*$)&& !* 0 !% 9>> ?< 'A ' & #" )'B !0 0 `#$B 'A$ A)5 @!
'$&!5#;0 *$#`'A ! $ !"#$%&!' / )$! !* $0)$%A ' .$ &)$ /< ! 'A &)%A ! / )$! !*
0;@b/5 #" )$' b% )/ !'// *!% ' @;' )/0 # ! !;$)/ !'`#$B0 )!5 )$' b% )/ !'// *!% &#$
@$#)5/< Q! 99 ' 'A $&)$B)@/ 0;%%00 #" _$$< 70);$# 0 @)%B*)&&#! ./)< !* .$#*$)& '
7c8_)&&#! ' @$#;*A' )55 ' #!)/ )''!' #! '# 'A b/5 S'A$ &.#$')!' %#!'$ @;' #!0
&)5 ! 'A $%!' A 0'#$< #" $ !"#$%&!' / )$! !* )$ '## !;&$#;0 '# &!' #! ! 'A 0
@$ " )%%#;!' ` % ' 'A0 )' 'A !5 #" 'A !5 P 5;)/ %A).'$0 ! À %A 'A< )$ 0
!
d#$ )55 ' #!)/ *!$)/ %#P$)* #" $ !"#$%&!' / )$! !* ' ` $"$ 'A $)5$ '# 'A @##B0
@< ?$'0B)0 )!5 70 '0 B/ 0 # 992 $ )!5 )/@ / !* # 99+ $ 7`# 0.% )/ 00;0 #" 'A #;$!)/
"#%;0 #! $ !"#$%&!' / )$! !*6 :;''#! # 99 $ )!5 )/@ / !* # 992 $ a0";/ 0;$P<0 )$ .$#P 55 @< ?)$'# # 991 $' )/@ / !* ' ( ''&)! ' )!5 O##$ # 992 $' )!5
$'A )!5 )P !5$)! # 99> $ 7A -)&./ #" MA /0 @$)B")0' ! 'A 0 %A).'$ `)0 !0. $5 @< 4*$ # 9TT $ $"$
'A $)5$ '# UA).'$ 2 "#$ $"$!%0 '# 'A B !5 #" '&.#$)/ 5 $!% &'A#5 ` ;05
! 'A 7 %87)%87# -)&./ O#5$! )''&.'0 '# $/)' 'A B !50 #" )/* #$ 'A&0 ;05 ! $ !"#$%&!' / )$! !* '# 'A
!$P#;0 0<0'& )$ &)5 @< ?)$'# # 991 $' d$ 0'#! ' )/ # 993 $' =)&.0#! # 9T9 $' =#;B
' )/ # 991 $' O#!')*; ' )/ # 992 $' )!5 :%A;/' ' )/ # 99> $ 7A &#0' &.#$')!' ")';$ 5 0' !*; 0A !* $ !"#$%&!' / )$! !* "$#& #'A$ '<.0 #" / )$!8
!* 0 'A)' ' ;00 '$) ! !* !"#$&)' #! 'A)' 'A )%' #!0 ')B! $)'A$ 'A)! @< * P !* %#$$%' )%' #!0 7A 0 0 À)' %$)'0 'A !5 "#$ )%' P -./# $)' #! ' "#$ )! -./ % '
'$ )/8 )!58$$#$ 0)$%A "#$ *##5 @A)P #$ M;$/< P)/;)' P "5@)%B !5 %)'0 A#` *##5 'A
)%' #! ')B! `)0 ' @;' !#' À'A$ ' `)0 'A @0' #$ 'A `#$0' )%' #! .#00 @/ ,P)/;)' P
"5@)%B 0 'A @)0 0 #" &'A#50 "#$ ";!%' #! #.' & )' #! ' !%/;5 !* P#/;' #!)$< &'A8
#50 M;$/< !0'$;%' P "5@)%B ' #! 'A #'A$ A)!5 ' !5 %)'0 'A %#$$%' )%' #! '# ')B '
!5.!5!'/< #" 'A )%' #! )%';)//< ')B! 7A 0 B !5 #" "5@)%B 0 'A @)0 0 #" 0;.$P 05
/ )$! !* ' À %A !%/;50 /) $* .)$'0 #" .)''$! %/)00 b%)' #! ' )$' b% )/ !;$)/ !'`#$B0 ' )!5
0<0'& 5!' b%)' #! Q! 'A $ .;$ "#$&0 ' 'A0 '`# B !50 #" "5@)%B )$ ; ' 5 0' !%'6
P)/;)' P "5@)%B 5.!50 !' $/< #! 'A )%' #! ')B! ' À$)0 !0'$;%' P "5@)%B 0
!5.!5!' #" 'A )%' #! ')B! 7A$ )$ )/0 # !'$0' !* %)00 @'`! 'A0 '`# !
À %A P)/;)' #! )!5 !0'$;%' #! @/ !5 '#*'A$
Q! 'A 0 %A).'$ ` 0';5< 'A P)/;)' P )0.%' #" $ !"#$%&!' / )$! !* ! ) 0 &./ b5
0'' !* ' #! 'A)' 5#0 !#' !P#/P / )$! !* '# )%' ! &#$ 'A)! #! 0 ';)' #! 7A 0 0'' !* 0 'A #! ! À %A &#0' .$ #$ `#$B !P#/P !* P)/;)' P "5@)%B A)0
@! 5#! ' )!5 ' )P# 50 &;%A #" 'A %#&./- '< #" 'A ";// $ !"#$%&!' / )$! !* .$#@/ &
:';5< !* 'A 0 %)0 ` / !)@/ ;0 '# 0 &#0' %/ )$/< A#` P)/;)' P "5@)%B 5 $0 "$#& '
)!5 <' %)! @ %#&@ !5 ` 'A ' !0'$;%' P "5@)%B
7A .)$' %;/) $ !#!8)00#% )' P ' P)/;)' P8"5@)%B .$#@/ & 'A)' ` -./# $ 0 ) 0 &./
P$0 #! #" 'A 8)$&5 @)!5 ' .$#@/ & ;0 'A 0 .$#@/ & '# !'$#5;% ) !;&@$ #"
@)0 % / )$! !* )/* #$ 'A&0 'A)' ` -'!5 ! /)'$ %A).'$0 '# )../< '# 'A ";// $ !"#$%&!'
/ )$! !* .$#@/ & !5 'A 0 %A).'$ @< ')B !* ) 0'. %/# 0$ '# 'A ";// $ !"#$%&!'
/ )$! !* .$#@/ & @< 5 0%;00 !* À)' A)..!0 À! 'A @)!5 ' .$#@/ & @%#&0 )00#% )' P '
'A)' 0 ' À! )%' #!0 )$ ')B! ! &#$ 'A)! #! 0 ';)' #!
U#!0 5$ 'A "#//#` !* / )$! !* .$#@/ & #; )$ ")%5 $.)'5/< ` 'A ) %A# % )&#!* 5 $!' #.' #!0 ' #$ )%' #!0 4"'$ )%A %A# % <#; $% P ) !;&$ %)/ $`)$5 %A#0! "$#&
+
+
) 0')' #!)$< .$#@)@ / '< 5 0'$ @;' #! 5.!5!' #! 'A )%' #! <#; 0/ %'5 #;$ #@ %' P
0 '# &)- & 'A -.%'5 '#')/ $`)$5 #P$ 0#& ' & .$ #5 ' "#$ -)&./ ' #P$ CCC
)%' #! 0/ %' #!0 ,)%A )%' #! 0/ %' #! 0 %)// 5 ) 7A 0 0 'A #$ * !)/ "#$& #" 'A # # ' 0# !)&5 @< )!)/# *< '# ) 0/#'
&)%A ! ' #$ #!8)$&5 @)!5 ' ' -%.' ` 'A /P$0 !0')5 #" #! ,)%A )%' #! 0/ %' #!
0 / B ) ./)< #" #! #" 'A 0/# ' &)%A ! 0 /P$0 ' )!5 'A $`)$50 )$ 'A .)<# 0 "#$ A '' !* 'A
)%B.#' 7A$#;*A $.)'5 ./)<0 <#; )$ '# &)- & <#;$ ` !! !*0 @< %#!%!'$)' !* <#;$
./)<0 #! 'A @0' /P$0 4!#'A$ )!)/# *< 0 'A)' #" ) 5#%'#$ %A##0 !* @'`! -.$ &!')/
'$)'&!'0 "#$ ) 0$ 0 #" 0$ #;0/< / .)' !'0 ,)%A ./)< 0 ) '$)'&!' 0/ %' #! ' )!5 )%A
$`)$5 0 'A 0;$P P)/ #$ `// @ !* #" 'A .)' !' 7#5)< 'A '$& 8)$&5 @)!5 '
.$#@/ & 0 #"'! ;05 "#$ ) *!$)/ )' #! #" 'A .$#@/ & 50%$ @5 )@#P ' @;' ! 'A 0 @##B
` ;0 ' '# $"$ ;0' '# 'A 0 0 &./ %)0
Q! #;$ 8)$&5 @)!5 ' .$#@/ & ' )%A )%' #! A)0 )! -.%'5 #$ &)! $`)$5 * P! 'A)'
'A)' )%' #! 0 0/ %'5 /' ;0 %)// 'A 0 'A #" 'A)' )%' #! Q" <#; B!` 'A P)/; #"
)%A )%' #! ' 'A! ' `#;/5 @ '$ P )/ '# 0#/P 'A 8)$&5 @)!5 ' .$#@/ &6 <#; `#;/5 0 &./<
)/` )<0 0/ %' 'A )%' #! ` 'A A *A0' P)/; )00;& 'A)' <#; 5# !#' B!#` 'A )%' #!
P)/;0 ` 'A %$') !'<' )/' A#;*A <#; &)< A)P 0' &)'0
Q" <#; &) !') ! 0' &)'0 #" 'A )%' #! P)/;0 ' 'A! )' )!< ' & 'A$ 0 )' / )0' #!
)%' #! À#0 0' &)'5 P)/; 0 *$)'0' %)// 'A 0 ) )%' #! Q" <#; 0/ %' ) *$5<
)%' #! ' ` 0)< 'A)' <#; )$ <#;$ %;$$!' B!#`/ 5* #" 'A P)/; #" 'A )%' #!0
Q" !0')5 <#; 0/ %' #! #" 'A !#!8*$5< )%' #!0 ' 'A! ` 0)< <#; )$ @%);0
'A 0 !)@/0 <#; '# &.$#P <#;$ 0' &)' #" 'A !#!8*$5< )%' #! 0 P)/; ,-./# ')' #!
0 'A $ *A' 'A !* '# 5# '# &)- & -.%'5 $`)$5 #! 'A #! ./)<' @;' -./# $)' #! &)<
.$#5;% *$)'$ '#')/ $`)$5 ! 'A /# !* $;! d#$ -)&./ ' 0;..#0 'A *$5< )%' #! 0
P)/; 0 B!#`! ` 'A %$') !'<' À / 0P$)/ #'A$ )%' #!0 )$ 0' &)'5 '# @ !)$/< )0 *##5
@;' ` 'A 0;@0')!' )/ ;!%$') !'< 7A ;!%$') !'< 0 0;%A 'A)' )' / )0' #! #" 'A0 #'A$
)%' #!0 0 .$#@)@/< )%';)//< @''$ 'A)! 'A *$5< )%' #! ' #!/< <#; 5#! ' B!#` À %A Q"
<#; A)P &)!< ./)<0 <' '# &)B ' 'A! ' &)< @ @''$ '# -./# $ 'A !#!8*$5< )%' #!0
)!5 5 0%#P$ À %A #" 'A& )$ @''$ 'A)! 'A *$5< )%' #! `)$5 0 /#`$ ! 'A 0A#$'
$;! ' 5;$ !* -./# $)' #! ' @;' A *A$ ! 'A /# !* $;! @%);0 )"'$ <#; A)P 5 0%#P$5 'A
@''$ )%' #!0 ' <#; %)! -./# ' ?%);0 ' 0 !#' .#00 @/ '# @#'A -./# $ )!5 -./# '
` 'A )!< 0 !*/ )%' #! 0/ %' #! ' #! #"'! $"$0 '# 'A %#! %' @'`! -./# $)' #! )!5
-./# ')' #!
Q! )!< 0.% b% %)0 ' À'A$ ' 0 @''$ '# -./# ' #$ -./# $ 5.!50 ! ) %#&./`)< #! 'A .$% 0 P)/;0 #" 'A 0' &)'0 ' ;!%$') !' 0 ' )!5 'A !;&@$ #" $&) ! !*
./)<0 7A$ )$ &)!< 0#.A 0' %)'5 &'A#50 "#$ @)/) !% !* -./# $)' #! )!5 -./# ')' #! "#$
.)$' %;/) $ &)'A&)' %)/"#$&;/)' #!0 #" 'A 8)$&5 @)!5 ' )!5 $/)'5 .$#@/ &0 =#`P$ '
&#0' #" 'A0 &'A#50 &)B 0'$#!* )00;&.' #!0 )@#;' 0')' #!)$ '< )!5 .$ #$ B!#`/ 5*
'A)' )$ 'A$ P #/)'5 #$ &.#00 @/ '# P$ "< ! )../ %)' #!0 )!5 ! 'A ";// $ !"#$%&!'
/ )$! !* .$#@/ & 'A)' ` %#!0 5$ ! 0;@0 ;!' %A).'$0 7A *;)$)!'0 #" #.' &)/ '< #$
@#;!55 /# 00 "#$ 'A0 &'A#50 )$ #" / ''/ %#&"#$' À! 'A )00;&.' #!0 #" 'A $ 'A#$<
5# !#' )../<
Q! 'A 0 @##B ` 5# !#' `#$$< )@#;' @)/) !% !* -./# ')' #! )!5 -./# $)' #! ! ) 0#.A 08
++
' %)'5 `)< ` `#$$< #!/< )@#;' @)/) !% !* 'A& )' )// Q! 'A 0 %A).'$ ` .$0!' 0P$)/
0 &./ @)/) !% !* &'A#50 "#$ 'A 8)$&5 @)!5 ' .$#@/ & )!5 0A#` 'A)' 'A< `#$B &;%A
@''$ 'A)! &'A#50 'A)' )/` )<0 -./# ' Q! )55 ' #! ' ` .# !' #;' 'A)' 0;.$P 05 / )$! !*
&'A#50 ##$ $)'A$ 'A &'A#50 %/# 00' '# 0;.$P 05 / )$! !* &'A#50 À! )5).'5 '#
'A 0 .$#@/ & $ .$"#$& .##$/< #! 'A 0 .$#@/ & @%);0 'A< 5# !#' @)/) !% -./# ')' #! )!5
-./# $)' #! )' )// 7A !5 '# @)/) !% -./# $)' #! )!5 -./# ')' #! 0 ) 5 0' !%' P %A)// !*
'A)' )$ 00 ! $ !"#$%&!' / )$! !* 'A 0 &./ % '< #" 'A 8)$&5 @)!5 ' .$#@/ & !)@/ 0
;0 '# 0A#` 'A 0 ! ) .)$' %;/) $/< %/ )$ "#$&
@* ! @< /# #B !* &#$ %/# 0/< )' 0#& 0 &./ )/* #$ 'A&0 "#$ 0' &)' !* 'A P)/;
#" )%' #!0 )!5 "#$ ;0 !* 'A 0' &)'0 '# &)B )%' #!80/ %' #! 5% 0 #!0 Q! 'A 0 %A).'$ '
` 5!#' 'A '$; #)%';)/$ P)/; #" )%' #! G )0 # $ ' )!5 'A 0' &)'5 P)/; )"'$ ./)<0 )0 # $ %)// 'A)' 'A '$; P)/; #" )! )%' #! 0 'A &)! $`)$5 * P! 'A)' 'A
)%' #! 0 0/ %'5 S! !)';$)/ `)< '# 0' &)' 'A 0 0 @< )P$)* !* 'A $`)$50 )%';)//<
$% P5 À! 'A )%' #! `)0 0/ %'5 Q! #'A$ `#$50 ' " ' )"'$ 5% 0 #!0 ' )%' #! G A)0
@! %A#0! ' &0 ' < /5 !* $`)$50 ' 'A! '0 P)/; 0 0' &)'5 '# @
# $
# $ Q" C ' 'A! ` 5b! # $ !0')5 )0 0#& 5");/' P)/; ' * ' # $ C 40
' @< 'A /)` #" /) $* !;&@$0 # $ %#!P$*0 '# # $ %)// 'A 0 'A &'A#5 "#$ 0' &)' !* )%' #! P)/;0 @%);0 )%A 0' &)' 0 ) 0 &./ )P$)* #"
'A 0)&./ #" $/P)!' $`)$50 S" %#;$0 'A 0 0 ;0' #! `)< '# 0' &)' )%' #! P)/;0 '
!#' !%00)$ /< 'A @0' #! RP$'A/00 ' "#$ !#` /' ;0 0')< ` 'A 'A 0 0 &./ 0' &)' #!
)/* #$ 'A& )!5 ';$! '# 'A ;0' #! #" A#` 'A 0' &)'0 & *A' @ ;05 '# 0/ %' )%' #!0
7A 0 &./ 0' )%' #! 0/ %' #! $;/ 0 '# 0/ %' 'A )%' #! ##$ #! #" 'A )%' #!0 $ ` 'A
A *A0' 0' &)'5 )%' #! P)/; ' ' '# 0/ %' #! 'A 'A ./)< #! #" 'A *$5< )%' #!0 ' ' "#$ À %A # $ &)- # $ 7A 0 &'A#5 )/` )<0 -./# '0 %;$$!' B!#`/ 5* '#
&)- & &&5 )' $`)$5 ' 0.!50 !# ' & )' )// 0)&./ !* )..)$!'/< !"$ #$ )%' #!0
'# 0 " 'A< & *A' $)//< @ @''$ 4 0 &./ )/' $!)' P 0 '# @A)P *$5 /< &#0' #"
'A ' & ' @;' P$< #!% ! ) À / ' 0)< ` 'A 0&)// .$#@)@ / '< ' !0')5 0/ %' )! )%' #!
)' $)!5#& ' ;! "#$&/<' !5.!5!'/< #" 'A )%' #!8P)/; 0' &)'0 %)// &'A#50 ;0 !*
'A 0 !)$8*$5< )%' #! 0/ %' #! $;/ &'A#50 4! )5P)!')* #" 'A0 &'A#50
0 'A)' ! 'A / & ' )0 'A !;&@$ #" ./)<0 !%$)00 ' GP$< )%' #! ` / @ 0)&./ 5 )! !b! '
!;&@$ #" ' &0 ' *;)$)!' !* 'A)' "#$ )// ' )!5 'A;0 !0;$ !* 'A)' )// 'A # $
%#!P$* '# # $ 7A 0 #" %#;$0 &./ 0 'A)' 'A .$#@)@ / '< #" 0/ %' !* 'A #.' &)/
)%' #! %#!P$*0 '# ' ' '# !)$ %$') !'< 7A0 )$ ;0' )0<&.'#' % *;)$)!'0 '
A#`P$ ' )!5 0)< / ''/ )@#;' 'A .$)%' %)/ %' P!00 #" 'A &'A#50
+3
1.5
= 0.1
= 0.01
1
Average
reward
0.5
0
0
250
500
750
1000
Plays
100%
80%
= 0.1
%
Optimal
action
60%
= 0.01
40%
= 0 (greedy)
20%
0%
0
250
500
750
1000
Plays
d *;$ 6 4P$)* .$"#$&)!% #" 8*$5< )%' #!8P)/; &'A#50 #! C8)$&5 '0'@5
7A0 5)') )$ )P$)*0 #P$ CCC ')0B0 4// &'A#50 ;05 0)&./ )P$)*0 )0 'A $
)%' #!8P)/; 0' &)'0
7# $#;*A/< )0000 'A $/)' P %' P!00 #" 'A *$5< )!5 8*$5< &'A#50 ' `
%#&.)$5 'A&
!;&$
%)/
/
<
#!
)
0;
'
#"
'0'
.$#@/
&0
7A
0
0
)
0'
#"
CCC
$)!5#&/
<
*!$)'5 8)$&5 @)!5 ' ')0B0 ` 'A d#$ )%A )%' #! ' G ' 'A $`)$50 `$ 0/ %'5
"$#& ) !#$&)/ #_);00 )! $ .$#@)@ / '< 5 0'$ @;' #! ` 'A &)! # $ )!5 P)$ )!% 7A
CCC 8)$&5 @)!5 ' ')0B0 `$ *!$)'5 @< $80/ %' !* 'A # $ CCC ' &0 ' )%A
)%%#$5 !* '# ) !#$&)/ 5 0'$ @;' #! ` 'A &)! )!5 P)$ )!% 4P$)* !* #P$ ')0B0 ' `
%)! ./# ' 'A .$"#$&)!% )!5 @A)P #$ #" P)$ #;0 &'A#50 )0 'A< &.$#P ` 'A -.$ !%
#P$ CCC ./)<0 ' )0 ! d *;$ %)// 'A 0 0; ' #" '0' ')0B0 'A # d *;$ %#&.)$0 ) *$5< &'A#5 ` 'A '`# 8*$5< &'A#50 # C )!5 $' )0 50%$ @5 )@#P ' #! 'A C8)$&5 '0'@5 ?#'A &'A#50 "#$&5 'A $ )%' #!8P)/ ; 0' &)'0 ;0 !* 'A 0)&./8)P$)* '%A! ; 7A ;..$ *$).A 0A#`0 'A !%$)0 !
-.%'5 $`)$5 ` 'A -.$ !% 7A *$5< &'A#5 &.$#P0 0/ *A'/< ")0'$ 'A)! 'A
#'A$ &'A#50 )' 'A P$< @* !! !* ' @;' 'A! /P/0 # )' ) /#`$ /P/ Q' )%A P0
) $`)$58.$80'. #" #!/< )@#;' %#&.)$5 '# 'A @0' .#00 @/ #" )@#;' 1 1 #! 'A 0
'0'@5 7A *$5< &'A#5 .$"#$&0 0 *! b%)!'/< `#$0 ! 'A /# !* $;! @%);0 ' #"'!
+1
*'0 0';%B .$"#$& !* 0;@#.' &)/ )%' #!0 7A /#`$ *$).A 0A#`0 'A)' 'A *$5< &'A#5
"#;!5 'A #.' &)/ )%' #! #!/< ! )..$#- &)'/< #!8'A $5 #" 'A ')0B0 Q! 'A #'A$ '`#8
'A $50 ' '0 ! ' )/ 0)&./0 #" 'A #.' &)/ )%' #! `$ 5 0)..# !' !* ' )!5 ' !P$ $';$!5 '#
' 7A 8*$5< &'A#50 P!';)//< .$"#$& @''$ @%);0 'A< %#!' !; '# -./# $ ' )!5
%#!' !; '# &.$#P 'A $ %A)!%0 #" $%#*! !* 'A #.' &)/ )%' #! 7A &'A#5
-./# $0 &#$ ' )!5 ;0;)//< b!50 'A #.' &)/ )%' #! )$/ $ ' @;' !P$ 0/ %'0 ' &#$ 'A)!
9 #" 'A ' & 7A C &'A#5 &.$#P0 &#$ 0/#`/<' @;' P!';)//< .$"#$&0
@''$ 'A)! 'A &'A#5 @< @#'A .$"#$&)!% &)0;$0 Q' 0 )/0 # .#00 @/ '# $5;%
#P$ ' & '# '$< '# *' 'A @0' #" @#'A A *A )!5 /#` P)/;0
7A )5P)!')* #" 8*$5< #P$ *$5< &'A#50 5.!50 #! 'A .$#@/ & d#$ -)&./ '
0;..#0 'A $`)$5 P)$ )!% A)5 @! /) $*$ ' 0)< C !0')5 #" 'A !# 0 $ $`)$50 '
')B0 &#$ -./# $)' #! '# b!5 'A #.' &)/ )%' #! ' )!5 8*$5< &'A#50 0A#;/5 ")$ P!
@''$ $/)' P '# 'A *$5< &'A#5 S! 'A #'A$ A)!5 ' " 'A $`)$5 P)$ )!%0 `$ $# '
'A! 'A *$5< &'A#5 `#;/5 B!#` 'A '$; P)/; #" )%A )%' #! )"'$ '$< !* ' #!% Q!
'A 0 %)0 'A *$5< &'A#5 & *A' )%';)//< .$"#$& @0' @%);0 ' `#;/5 0##! b!5 'A
#.' &)/ )%' #! )!5 'A! !P$ -./# $ ?;' P! ! 'A 5'$& ! 0' % %)0 ' 'A$ 0 ) /) $*
)5P)!')* '# -./# $ !* " ` `)B! 0#& #" 'A #'A$ )00;&.' #!0 d#$ -)&./ ' 0;..#0
'A @)!5 ' .$#@/ & `$ !#!0')' #!)$<' 'A)' 0 ' 'A)' 'A '$; P)/;0 #" 'A )%' #!0 %A)!*5
#P$ ' & Q! 'A 0 %)0 -./# $)' #! 0 !55 P! ! 'A 5'$& ! 0' % %)0 '# &)B 0;$
#! #" 'A !#!8*$5< )%' #!0 A)0 !#' %A)!*5 '# @%#& @''$ 'A)! 'A *$5< #! 40
` ` / 0 ! 'A !-' "` %A).'$0 ' %' P !#!0')' #!)$ '< 0 'A %)0 &#0' %#&&#!/<
!%#;!'$5 ! $ !"#$%&!' / )$! !* ,P! " 'A ;!5$/< !* .$#@/ & 0 0')' #!)$< )!5
5'$& ! 0' % ' 'A / )$!$ ")%0 ) 0' #" @)!5 '8/ B 5% 0 #! .$#@/ &0 )%A #" À %A %A)!*0
#P$ ' & 5; '# 'A / )$! !* .$#%00 '0/" !"#$%&!' / )$! !* .$#@/ &0 A)P ) 0'$#!*
$ ; $&!' "#$ 0#& 0#$' #" @)/) !% @'`! -./# $)' #! )!5 -./# ')' #!
E
I I D Q! 'A %#&.)$ 0#! 0A#`! ! d *;$ ' À %A &'A#5 ` / .$"#$& @0' ! 'A /# !* $;! '
! '$&0 #" %;&;/)' P $`)$5 )!5 %;&;/)' P .$#@)@ / '< #" 0/ %' !* 'A @0' )%' #! =#`
&;%A @''$ ` / ' @ 4/' A#;*A 8*$5< )%' #!80/ %' #! 0 )! %' P )!5 .#.;/) $ &)!0 #" @)/) !% !* -./#8
$)' #! )!5 -./# ')' #! ! $ !"#$%&!' / )$! !* ' #! 5$)`@)%B 0 'A)' À! ' -./# $0 '
%A##00 ;)//< )&#!* )// )%' #!0 7A 0 &)!0 'A)' ' 0 ;0' )0 / B/< '# %A##0 'A `#$0'
)..)$ !* )%' #! )0 ' 0 '# %A##0 'A !-'8'#8@0' Q! ')0B0 À$ 'A `#$0' )%' #!0 )$
P$< @)5 ' 'A 0 &)< @ ;!0)' 0")%'#$< 7A #@P #;0 0#/;' #! 0 '# P)$< 'A )%' #! .$#@)@ /8
' 0 )0 ) *$)55 ";!%' #! #" 0' &)'5 P)/; 7A *$5< )%' #! 0 0' / * P! 'A A *A0'
0/ %' #! .$#@)@ / '<' @;' )// 'A #'A$0 )$ $)!B5 )!5 ` *A'5 )%%#$5 !* '# 'A $ P)/;
0' &)'0 7A0 )$ %)// 5 )%' #! 0/ %' #! $;/0 7A &#0'
%#&&#!
0#"'&)&'A#5 ;00 ) _ @@0 ' #$ ?#/' &)!! ' 5 0'$ @;' #! Q' %A##00 )%' #! G #! 'A 'A ./)< ` 'A
.$#@)@ / '<
+2
$
À$ 0 ) .#0 ' P .)$)&'$ %)// 5 'A = *A '&.$)';$0 %);0 'A
)%' #!0 '# @ )// #!)$/< $ ; 8.$#@)@/ (#` '&.$)';$0 %);0 ) *$)'$ 5 $!% !
0/ %' #! .$#@)@ / '< "#$ )%' #!0 'A)' 5 $ ! 'A $ P)/; 0' &)'0 Q! 'A / & ' )0 C
' 0#"'&)- )%' #! 0/ %' #! @%#&0 'A 0)& )0 *$5< )%' #! 0/ %' #! S" %#;$0 ' 'A
0#"'&)- %' %)! @ .$#5;%5 ! ) /) $* !;&@$ #" `)<0 #'A$ 'A)! @< ) _ @@0 5 0'$ @;' #!
d#$ -)&./ ' #! %#;/5 0 &./< )55 ) $)!5#& !;&@$ "$#& ) /# !*8') / 5 5 0'$ @;' #! '#
)%A # $ ' )!5 'A! . %B 'A )%' #! À#0 0;& `)0 /) $*0'
A'A$ 0#"'&)- )%' #! 0/ %' #! #$ 8*$5< )%' #! 0/ %' #! 0 @''$ 0 ;!%/ )$ )!5
&)< 5.!5 #! 'A ')0B )!5 #! A;&)! ")%'#$0 ?#'A &'A#50 A)P #!/< #! .)$)&'$
'A)' &;0' @ 0' O#0' .#./ b!5 ' )0 $ '# 0' 'A .)$)&'$ ` 'A %#!b5!%
0'' !* $ ; $0 B!#`/ 5* #" 'A / B/< )%' #! P)/;0 ' )!5 #" .#`$0 #" I B!#` #"
!# %)$";/ %#&.)$)' P 0';5 0 #" 'A0 '`# 0 &./ )%' #!80/ %' #! $;/0
E
I I D D
=#` 5#0 'A 0#"'&)- )%' #! 0/ %' #! &'A#5 #;0 !* 'A _ @@0 5 0'$ @;' #!$ ")$ #! 'A
C8)$&5 '0'@5 Q&./ &!' 'A &'A#5 )!5 $;! ' )' 0P$)/ '&.$)';$0 '# .$#5;%
*$).A0 0 & /) $ '# 'A#0 ! d *;$ 7# P$ "< <#;$ %#5 ' b$0' &./ &!' 'A 8*$5<
&'A#50 )!5 $.$#5;% 0#& 0.% b% )0.%' #" 'A $0;/' 0 ! d *;$ E
I I D :A#` 'A)' ! 'A %)0 #" '`# )%' #!0 ' 'A 0#"'&)- #.$)' #! ;0 !* 'A _ @@0 5 0'$ @;' #!
@%#&0 'A /# * 0' % ' #$ 0 *&# 5 ' ";!%' #! %#&&#!/< ;05 ! )$' b% )/ !;$)/ !'`#$B0 A)'
%' 5#0 'A '&.$)';$ .)$)&'$ A)P #! 'A ";!%' #!
P #
7A 8)$&5 @)!5 ' .$#@/ & ` %#!0 5$5 )@#P 0 ) %)0 ! À %A 'A "5@)%B 0
.;$/< P)/;)' P 7A $`)$5 $% P5 )"'$ )%A )%' #! * P0 0#& !"#$&)' #! )@#;' A#`
*##5 'A )%' #! `)0 ' @;' ' 0)<0 !#'A !* )' )// )@#;' À'A$ 'A )%' #! `)0 %#$$%' #$
!%#$$%' ' 'A)' 0 ' À'A$ ' `)0 ) @0' )%' #! #$ !#' =$ ' %#$$%'!00 0 ) $/)' P .$#.$'<
#" )%' #!0 'A)' %)! #!/< @ 5'$& !5 @< '$< !* 'A& )// )!5 %#&.)$ !* 'A $ $`)$50 Q!
'A 0 0!0 'A .$#@/ & 0 !A$!'/< #! $ ; $ !* -./ % ' 0)$%A )&#!* 'A )/' $!)' P
)%' #!0 #; A)P '# .$"#$& 0#& "#$& #" 'A *!$)'8)!58'0' &'A#5 À$@< <#;
'$< )%' #!0 ' #@0$P 'A #;'%#&0 ' )!5 0/ %' P/< $') ! 'A#0 'A)' )$ 'A &#0' %' P
7A 0 0 / )$! !* @< 0/ %' #! ' ! %#!'$)0' '# / )$! !* @< !0'$;%' #! ' )!5 )// $ !"#$%&!'
/ )$! !* &'A#50 A)P '# ;0 ' ! #! "#$& #$ )!#'A$
7A 0 %#!'$)0'0 0A)$./< ` 'A 0;.$P 058/ )$! !* ' À$ 'A "5@)%B "$#& 'A !P $#!8
&!' 5 $%'/< !5 %)'0 À)' 'A %#$$%' )%' #! 0A#;/5 A)P @! Q! 'A 0 %)0 'A$ 0 !#
!5 '# 0)$%A6 À)'P$ )%' #! <#; '$<' <#; ` / @ '#/5 À)' 'A $ *A' #! `#;/5 A)P
+>
@! 7A$ 0 !# !5 '# '$< ) P)$ '< #" )%' #!0 'A !0'$;%' P "5@)%B 0 '<. %)//< #" 'A )%' #! 0/ %'5 #0# 0 !#' $)//< "5@)%B )' )//$ Q' & *A' 0' / @ !%00)$<
'# 0)$%A ! 'A .)$)&'$ 0.)% #" 'A 0;.$P 05 / )$! !* 0<0'& #* ' 'A ` *A'80.)%
#" ) !;$)/ !'`#$B$' @;' 0)$%A !* ! 'A 0.)% #" )%' #!0 0 !#' $ ; $5
S" %#;$0 ' 0;.$P 05 / )$! !* 0 ;0;)//< )../ 5 '# .$#@/ &0 'A)' )$ &;%A &#$ %#&./! 0#& `)<0 'A)! 'A 8)$&5 @)!5 ' Q! 0;.$P 05 / )$! !* 'A$ 0 !#' #! 0 ';)' #!
! À %A )%' #! 0 ')B! ' @;' ) /) $* 0' #" 5 $!' 0 ';)' #!0 ' )%A #" À %A &;0' @
$0.#!55 '# %#$$%'/< 7A &) ! .$#@/ & ")% !* ) 0;.$P 05 / )$! !* 0<0'& 0 '#b5%#!0'$;%'
) &).. !* "$#& 'A 0 ';)' #!0 '# )%' #!0 'A)' & & %0 'A %#$$%' )%' #!0 0.% @< 'A
!P $#!&!' )!5 'A)' *!$)/ 0 %#$$%'/< '# !` 0 ';)' #!0 4 0;.$P 05 / )$! !* 0<0'&
%)!!#' @ 0) 5 '# / )$! '# %#!'$#/ '0 !P $#!&!' @%);0 ' "#//#`0 ' $)'A$ 'A)! ! ;!%0 '
'A !0'$;%' P !"#$&)' #! ' $% P0 Q!0')5 #" '$< !* '# &)B '0 !P $#!&!' @A)P !
) %$') ! `)<' ' '$ 0 '# &)B @A)P )0 !0'$;%'5 @< '0 !P $#!&!'
d#%;0 !* #! 'A 0.% )/ %)0 #" ) 0 !*/ 0 ';)' #! 'A)' 0 !%#;!'$5 $.)'5/< A/.0
&)B ./) ! 'A 5 0' !%' #! @'`! P)/;)' #! )!5 !0'$;%' #! :;..#0 'A$ )$ CC
.#00 @/ )%' #!0 )!5 <#; 0/ %' )%' #! !;&@$ + ,P)/;)' P "5@)%B `#;/5 * P <#; )
0%#$ ' 0)< C9 ' "#$ 'A)' )%' #! À$)0 !0'$;%' P '$) ! !* !"#$&)' #! `#;/5 0)< À)' #'A$
)%' #! ' 0)< )%' #! !;&@$ 2> ' `#;/5 )%';)//< A)P @! %#$$%' 7A /)''$ 0 %/ )$/< &;%A
&#$ !"#$&)' P '$) ! !* !"#$&)' #! ,P! " !0'$;%' #!)/ !"#$&)' #! 0 !# 0<' ' 0 0' /
&#$ !"#$&)' P 'A)! P)/;)' P "5@)%B Q' 0 )/` )<0 '$; 'A)' ) !0'$;%' #! %)!
@ ;05 '# )5P)!')* '# 5 $%' %A)!*0 ! 'A )%' #! 0/ %' #! $;/ ' À$)0 P)/;)' P
"5@)%B &;0' @ %#&.)$5
` 'A 'A)' #" #'A$ )%' #!0 @"#$ )!< !"$!%0 %)! @ &)5
)@#;' )%' #! 0/ %' #!
7A 5 $!% @'`! P)/;)' P "5@)%B )!5 !0'$;%' P !"#$&)' #! $&) !0 0 *! "8
%)!' P! " 'A$ )$ #!/< '`# )%' #!0 )!5 '`# .#00 @/ $`)$50 d#$ 'A0 # # ')0B0 ' /' ;0 %)// 'A '`# $`)$50 )!5 Q" <#; $% P5 0;%%00 ' 'A! <#; & *A'
$)0#!)@/< !"$ 'A)' À)'P$ )%' #! <#; 0/ %'5 `)0 %#$$%' ' )!5 " <#; $% P5 ") /; $ '
'A! <#; & *A' !"$ 'A)' À)'P$ )%' #! <#; 5 5 0/ %' `)0 %#$$%' #; %#;/5 'A!
B. ) ')//< #" A#` #"'! )%A )%' #! `)0 # !"$$5 '# @ $ %#$$%' )!5 0/ %' 'A )%' #! 'A)'
`)0 %#$$%' &#0' #"'! (' ;0 %)// 'A 0 'A )/* #$ 'A& @%);0 ' %#$$0.#!50
&#0' %/# 0/< '# À)' 0;.$P 05 / )$! !* &'A#50 & *A' 5# ! 'A %)0 #" #!/< ) 0 !*/ !.;'
.)''$! Q" 'A $`)$50 )$ 5'$& ! 0' % ' 'A! 'A !"$!%0 #" 'A 0;.$P 05 )/* #$ 'A&
)$ )// %#$$%' )!5 ' .$"#$&0 -%// !'/< Q" 'A $`)$50 )$ 0'#%A)0' % ' 'A! 'A . %';$ 0
&#$ %#&./ %)'5
Q! 'A 0'#%A)0' % %)0 ' ) .)$' %;/) $ @ !)$< @)!5 ' ')0B 0 5b!5 @< '`# !;&@$0 ' 'A
! " # $ % & $ % & ' ' % ( % ) * + , *- % $ ' ' , ' . ' / ' 01 2 3 & +T
1
B
EASY
PROBLEMS
Success
probability
for action 2
DIFFICULT
PROBLEMS
0.5
EASY
PROBLEMS
DIFFICULT
PROBLEMS
A
0
0
0.5
1
Success probability for action 1
d *;$ 6 7A )0< )!5 5 %;/' $* #!0 ! 'A 0.)% #" )// @ !)$< @)!5 ' ')0B0
.$#@)@ / ' 0 #" 0;%%00 "#$ )%A .#00 @/ )%' #! 7A 0.)% #" )// .#00 @/ ')0B0 0 'A;0 )
;! ' 0 ;)$ ' )0 0A#`! ! d *;$ 7A ;..$8/"' )!5 /#`$8$ *A' ;)5$)!'0 %#$$0.#!5
'# $/)' P/< )0< ')0B0 "#$ À %A 'A 0;.$P 05 )/* #$ 'A& `#;/5 `#$B `// d#$ 'A0 ' 'A
.$#@)@ / '< #" 0;%%00 "#$ 'A @''$ )%' #! 0 *$)'$ 'A)! ) A)/" )!5 'A .$#@)@ / '< #"
0;%%00 "#$ 'A .##$$ )%' #! 0 /00 'A)! ) A)/" d#$ 'A0 ')0B0 ' 'A )%' #! !"$$5 '# @
%#$$%' )0 50%$ @5 )@#P ` / )%';)//< @ 'A %#$$%' )%' #! &#$ 'A)! A)/" 'A ' &
=#`P$ ' @ !)$< @)!5 ' ')0B0 ! 'A #'A$ '`# ;)5$)!'0 #" d *;$ )$ &#$ 5 %;/'
)!5 %)!!#' @ 0#/P 5 %' P/< @< 'A 0;.$P 05 )/* #$ 'A& d#$ -)&./ ' %#!0 5$ ) ')0B
` 'A 0;%%00 .$#@)@ / ' 0 )!5 ' %#$$0.#!5 !* '# .# !' 4 ! 'A /#`$8/"' 5 %;/'
;)5$)!' #" d *;$ ?%);0 @#'A )%' #!0 .$#5;% ") /; $ )' / )0' TC #" 'A ' & '
)!< &'A#5 'A)' ')B0 ") /; $ )0 )! !5 %)' #! 'A)' 'A #'A$ )%' #! `)0 %#$$%' ` / #0% / )'
@'`! 'A '`# )%' #!0 ' !P$ 0''/ !* #! 'A @''$ #! R#` %#!0 5$ ) ')0B ` 'A 0;%%00
.$#@)@ / ' 0 T )!5 9 ' %#$$0.#!5 !* '# .# !' ? ! 'A ;..$8$ *A' 5 %;/' ;)5$)!' #"
d *;$ Q! 'A 0 %)0 @#'A )%' #!0 .$#5;% 0;%%00 )/& #0' )// 'A ' & 4!< &'A#5
'A)' ')B0 0;%%00 )0 )! !5 %)' #! #" %#$$%'!00 %)! )0 /< @%#& 0';%B 0/ %' !* 'A
`$#!* )%' #!
d *;$ + 0A#`0 'A )P$)* @A)P #$ #" 'A 0;.$P 05 )/* #$ 'A& )!5 0P$)/ #'A$
)/* #$ 'A&0 #! 'A @ !)$< @)!5 ' ')0B0 %#$$0.#!5 !* '# .# !'0 4 )!5 ? d#$ %#&.)$ 0#! '
)/0 # 0A#`! 0 'A @A)P #$ #" )! 8*$5< )%' #!8P)/; &'A#5 # C $ )0 50%$ @5 !
:%' #! Q! @#'A ')0B0 ' 'A 0;.$P 05 )/* #$ 'A& / )$!0 '# 0/ %' 'A @''$ )%' #! #!/<
0/ *A'/< &#$ 'A)! A)/" 'A ' &
7A *$).A0 ! d *;$ + )/0 # 0A#` 'A )P$)* @A)P #$ #" '`# #'A$ )/* #$ 'A&0 ' B!#`!
)0 )!5 7A0 )$ %/)00 %)/ &'A#50 "$#& 'A b/5 #" 'A)'
"#//#` ) /# * % 0 & /) $ '# 'A)' #" 'A 0;.$P 05 )/* #$ 'A& ?#'A &'A#50 )$ 0'#%A)0' % '
;.5)' !* 'A .$#@)@ / ' 0 #" 0/ %' !* )%A )%' #! ' 5!#'5 # $ )!5 # $ 7A &'A#5 !"$0 'A %#$$%' )%' #! ;0' )0 'A 0;.$P 05 )/* #$ 'A& 5#0 ' )!5 'A! )5 ;0'0 '0
+9
100%
BANDIT A
LR-I
90%
action values
%
Optimal
action
80%
70%
supervised
60%
50%
LR-P
0
100
200
300
400
500
Plays
100%
BANDIT B
action values
90%
%
Optimal
action
LR-I
80%
LR-P
70%
60%
supervised
50%
0
100
200
300
Plays
400
500
d *;$ + 6 M$"#$&)!% #" 0/ %'5 )/* #$ 'A&0 #! 'A @ !)$< @)!5 ' ')0B0 %#$$0.#!5 !*
'# .# !'0 4 )!5 ? ! d *;$ 7A0 5)') )$ )P$)*0 #P$ CCC $;!0
3C
.$#@)@ / ' 0 )0 "#//#`0 Q" 'A )%' #! !"$$5 '# @ %#$$%' #! ./)< `)0 ' 'A! # $ 0
!%$&!'5 ) "$)%' #! ' ' #" 'A `)< "$#& '0 %;$$!' P)/; '#`)$50 #!6
# $ # # $$ # $
#
+ $
7A .$#@)@ / '< #" 'A #'A$ )%' #! 0 )5 ;0'5 !P$0/<' 0# 'A)' 'A '`# .$#@)@ / ' 0
0;& '# #! d#$ 'A $0;/'0 0A#`! ! d *;$ + ' C 7A 5) #" 0 P$<
0 & /) $ '# 'A)' #" 'A 0;.$P 05 )/* #$ 'A& ' #!/< ' 0 0'#%A)0' % )'A$ 'A)! %#&& '' !*
'#')//< '# 'A )%' #! !"$$5 '# @ @0' ' *$)5;)//< !%$)00 '0 .$#@)@ / '<
7A !)& 0')!50 "#$ / !)$ ' $`)$58.!)/'<' &)! !* 'A)' 'A ;.5)' # + $
0 / !)$ ! 'A .$#@)@ / ' 0 )!5 'A)' 'A ;.5)' 0 .$"#$&5 #! @#'A 0;%%00 #$`)$5 $
./)<0 )!5 ") /; $ #.!)/'< $ ./)<0 7A !)& 0')!50 "#$ / !)$ ' $`)$58 !)%' #! 7A 0
)/* #$ 'A& 0 5!' %)/ '# -%.' 'A)' ' #!/< ;.5)'0 '0 .$#@)@ / ' 0 ;.#! 0;%%00
./)<0 ") /; $ ./)<0 )$ *!#$5 !' $/< 7A $0;/'0 ! d *;$ + 0A#` 'A)' .$"#$&0
/ ''/ ' " )!<' @''$ 'A)! 'A 0;.$P 05 )/* #$ 'A& #! 'A @ !)$< @)!5 ' ')0B0 %#$$0.#!5 !*
'# .# !'0 4 )!5 ? ! d *;$ P!';)//< .$"#$&0 P$< `// #! 'A 4 ')0B ' @;' !#'
#! 'A ? ')0B ' )!5 / )$!0 0/#`/< ! @#'A %)00
? !)$< @)!5 ' .$#@/ &0 )$ )! !0'$;%' P 0.% )/ %)0 @/ !5 !* )0.%'0 #" 0;.$P 05
)!5 $ !"#$%&!' / )$! !* .$#@/ &0 ?%);0 'A $`)$50 )$ @ !)$<' ' 0 .#00 @/ '# !"$
0#&'A !* )@#;' 'A %#$$%' )%' #! * P! ;0' ) 0 !*/ $`)$5 S! 0#& !0')!%0 #" 0;%A
.$#@/ &0 ' 'A0 !"$!%0 )$ ; ' $)0#!)@/ )!5 / )5 '# %' P )/* #$ 'A&0 Q! #'A$
!0')!%0 ' A#`P$ ' 0;%A !"$!%0 )$ /00 )..$#.$ )' )!5 / )5 '# .##$ @A)P #$ Q! @)!5 '
.$#@/ &0 ` 'A !#!8@ !)$< $`)$50 ' 0;%A )0 'A C8)$&5 '0' @)!5 ' !'$#5;%5 ! :%' #!
' ' 0 !#' )' )// %/ )$ A#` 'A 5)0 @A !5 'A0 !"$!%0 %#;/5 @ )../ 5 '# .$#5;%
%' P )/* #$ 'A&0 4// #" 'A0 )$ P$< 0 &./ .$#@/ &0 ' @;' )/$)5< ` 0 'A !5 "#$
%).)@ / ' 0 @<#!5 'A#0 #" 0;.$P 05 / )$! !* &'A#50
E
I I D U#!0 5$ ) 0 &./ b5 0;.$P 05 / )$! !* .$#@/ & ! À %A 'A$ 0 #!/< #! 0 ';)' #!
# !.;' .)''$! $ )!5 '`# )%' #!0
)%' #! ' 0)< G ' 0 %#$$%' )!5 'A #'A$ ' K ' 0 !%#$$%'
7A !0'$;%' #! 0 *!)/ 0 !# 0<6 ' S!
!0'$;%'0 'A `$#!* )%' #! ` 'A .$#@)@ / '< ! 'A)' 0 ' ` 'A
.$#@)@ / '< ! ' 0)<0 'A)' K 0 %#$$%' #; %)! 'A !B #" 'A 0 )0 ) @ !)$< @)!5 ' .$#@/ & " <#;
'$)' )*$ !* ` 'A 'A #.#00 @/< `$#!* $ !0'$;%' #! 0 *!)/ )0 ' )!5 5 0)*$ !* ` 'A
' )0 c 0%;00 'A $0;/' !* %/)00 #" @ !)$< @)!5 ' .$#@/ &0 Q0 )!<'A !* 0.% )/ )@#;'
'A0 .$#@/ &0 =#` 5#0 'A 0;.$P 05 )/* #$ 'A& .$"#$& #! 'A 0 '<. #" .$#@/ & / % ' * $2 3 2 3 & '
3
7A )%' #!8P)/; &'A#50 ` A)P 5 0%;005 0# ")$ )// 0' &)' 'A $ )%' #! P)/;0 )0 'A
0)&./ G)P$)*0 #" #@0$P5 $`)$50 7A #@P #;0 &./ &!')' #! 0 '# &) !') ! ' "#$ )%A
)%' #! ' ' ) $%#$5 #" )// 'A $`)$50 'A)' A)P "#//#`5 'A 0/ %' #! #" 'A)' )%' #! 7A! '
À!P$ 0' &)' #" 'A )%' #! P)/; 0 !55 ' ' %)! @ %#&.;'5 )%%#$5 !* '# # $'
À %A ` $.)' A$6
# $ (2.1)
À$ )$ )// 'A $`)$50 $% P5 "#//#` !* )// 0/ %' #!0 #" )%' #! G ;. ;!' / ./)<
4 .$#@/ & ` 'A 'A 0 0'$) *A'"#$`)$5 &./ &!')' #! 0 'A)' '0 &&#$< )!5 %#&.;')' #!)/
$ ; $&!'0 *$#` #P$ ' & ` 'A#;' @#;!5 7A)' 0 ' )%A )55 ' #!)/ $`)$5 "#//#` !* )
0/ %' #! #" )%' #! G $ ; $0 &#$ &&#$< '# 0'#$ ' )!5 $0;/' 0 ! &#$ %#&.;')' #!
@ !* $ ; $5 '# %#&.;' # $ 40 <#; & *A' 0;0.%' ' 'A 0 0 !#' $)//< !%00)$< Q' 0 )0< '# 5P 0 !%$&!')/ ;.5)'
"#$&;/)0 "#$ %#&.;' !* )P$)*0 ` 'A 0&)//' %#!0')!' %#&.;')' #! $ ; $5 '# .$#%00 )%A
!` $`)$5 d#$ 0#& )%' #! ' /' 5!#' 'A )P$)* #" '0 b$0' L $`)$50 _ P! 'A 0
)P$)* )!5 ) # $ 0' $`)$5 '
' 'A )P$)* #" )// L $`)$50 %)! @ %#&.;'5
@<6
# $
# 3 $
À %A A#/5 0 P! "#$ L ' #@')L ! !* "#$ )$@ '$)$< 7A 0 &./ &!')' #!
$ ; $0 &&#$< #!/< "#$ )!5 ' )!5 #!/< 'A 0&)// %#&.;')' #! # 3 $ "#$ )%A !`
$`)$5
7A ;.5)' $;/ # 3 $ 0 #" ) "#$& 'A)' #%%;$0 "$ ;!'/< 'A$#;*A#;' 'A 0 @##B 7A
*!$)/ "#$& 06
X
h h h X
i
i
i
7A -.$00 #! 0 )! ! 'A 0' &)' Q' 0 $5;%5
@<
')B !* ) 0'. '#`)$5 'A ')$*' 7A ')$*' 0 .$0;&5 '# !5 %)' ) 50 $)@/ 5 $%' #!
3
! À %A '# &#P ' 'A#;*A ' &)< @ !# 0< Q! 'A %)0 )@#P ' "#$ -)&./ ' 'A ')$*' 0
'A # $0' $`)$5
R#' 'A)' 'A 0'. 0 ;05 ! 'A !%$&!')/
&'A#5
50%$
@5
)@#P
%A)!*0
"$#&
' & 0'. '# ' & 0'. Q! .$#%00 !* 'A L'A $`)$5 "#$ )%' #! G ' 'A)' &'A#5 ;00 ) 0'.8
0 #" Q! 'A 0 @##B ` 5!#' 'A 0'. 0 @< 'A 0<&@#/ ' #$ ' &#$ *!$)//<' @<
# $ d#$ -)&./ ' 'A )@#P !%$&!')/
&./ &!')' #! #" 'A 0)&./ )P$)* &'A#5
0 50%$ @5 @< 'A ;)' #! # $ 4%%#$5 !*/<' ` 0#&' &0 ;0 'A !"#$&)/
0A#$'A)!5 '# $"$ '# 'A 0 %)0 ' / )P !* 'A )%' #! 5.!5!% &./ % '
E
I I D ^
_ P .0;5#8%#5 "#$ ) %#&./' )/* #$ 'A& "#$ 'A 8)$&5 @)!5 ' .$#@/ & a0
*$5< )%' #! 0/ %' #! )!5 !%$&!')/ %#&.;')' #! #" )%' #! P)/;0 ` 'A 0'.
0 400;& ) ";!%' #! # $ 'A)' ')B0 )! )%' #! )!5
$';$!0 ) $`)$5 a0 )$$)<0
)!5 P)$ )@/0 5# !#' 0;@0%$ .' )!<'A !* @< 'A ' & !5- Q!5 %)' A#` 'A )%' #! P)/;0
)$ ! ' )/ 5 )!5 ;.5)'5 )"'$ )%A $`)$5
!
7A )P$)* !* &'A#50 5 0%;005 0# ")$ )$ )..$#.$ )' ! ) 0')' #!)$< !P $#!&!' ' @;' !#'
" 'A @)!5 ' 0 %A)!* !* #P$ ' & 40 ` !#'5 )$/ $' ` #"'! !%#;!'$ $ !"#$%&!'
/ )$! !* .$#@/ &0 'A)' )$ %' P/< !#!0')' #!)$< Q! 0;%A %)00 ' &)B0 0!0 '# ` *A'
$%!' $`)$50 b-5
&#$ A)P /< 'A)! /# !* .)0' #!0 S! #" 'A &#0' .#.;/) $ `)<0 #" 5# !*
'A 0 0 '# ;0 ) 0'. 0 d#$ -)&./ ' 'A !%$&!')/ ;.5)' $;/ # 3 $ "#$ ;.5)' !*
)! )P$)* #" 'A L .)0' $`)$50 0 &#5 b5 '# @
# 1 $
À$ 'A 0'. 0 ' ' C ' 0 %#!0')!' 7A 0 $0;/' 0 !
@ !* ) ` *A'5
)P$)* #" .)0' $`)$50 )!5 'A ! ' )/ 0' &)' 6
# $ # $ # $ # $ # $ # $
# $
# $ X # $
2 $
# $
%)// 'A 0 ) ` *A'5 )P$)* @%);0 'A 0;& #" 'A ` *A'0 0 # $ ' )0 <#; %)! %A%B <#;$0/" R#' 'A)' 'A ` *A' ' # $ ' * P! '# 'A $`)$5 ' '
5.!50 #! A#` &)!< $`)$50 )*# ' L ' ' `)0 #@0$P5 7A ;)!' '< 0 /00 'A)! '
#
P
3+
)!5 'A;0 'A ` *A' * P! '# 5%$)00 )0 'A !;&@$ #" !'$P! !* $`)$50 !%$)00
Q! ")%' ' 'A ` *A' 5%)<0 -.#!!' )//< )%%#$5 !* '# 'A -.#!!' #! 4%%#$5 !*/<'
'A 0 0 0#&' &0 %)// 5 )! :#&' &0 ' 0 %#!P! !' '# P)$< 'A 0'. 0 "$#& 0'. '# 0'. (' # $ 5!#'
'A 0'. 0 ;05 '# .$#%00 'A $`)$5 $% P5 )"'$ 'A L'A 0/ %' #! #" )%' #! G 40
` A)P !#'5 ' 'A %A# % # $ $0;/' 0 ! 'A 0)&./8)P$)* &'A#5 ' À %A 0
*;)$)!'5 '# %#!P$* '# 'A '$; )%' #! P)/;0 @< 'A /)` #" /) $* !;&@$0 ?;' #" %#;$0
%#!P$*!% 0 !#' *;)$)!'5 "#$ )// %A# %0 #" 'A 0 ;!% # $ 4 %/)00 % $0;/'
! 0'#%A)0' % )..$#- &)' #! 'A#$< * P0 ;0 'A %#!5 ' #!0 $ ; $5 '# )00;$ %#!P$*!%
` 'A .$#@)@ / '< #!6
X
# $ )!5
# $ X
#
> $
7A b$0' %#!5 ' #! 0 $ ; $5 '# *;)$)!' 'A)' 'A 0'.0 )$ /) $* !#;*A '# P!';)//<
#P$%#& )!< ! ' )/ %#!5 ' #!0 #$ $)!5#& ;%';)' #!0 7A 0%#!5 %#!5 ' #! *;)$)!'0
'A)' P!';)//< 'A 0'.0 @%#& 0&)// !#;*A '# )00;$ %#!P$*!%
R#' 'A)' @#'A %#!P$*!% %#!5 ' #!0 )$ &' "#$ 'A 0)&./8)P$)* %)0 ' # $ ' @;' !#' "#$ 'A %)0 #" %#!0')!' 0'. 0 ' # $ Q! 'A /) ''$ %)0 ' 'A 0%#!5 %#!8
5 ' #! 0 !#' &' ' !5 %)' !* 'A)' 'A 0' &)'0 !P$ %#&./'/< %#!P$* @;' %#!' !; '#
P)$< ! $0.#!0 '# 'A &#0' $%!'/< $% P5 $`)$50 40 ` &!' #!5 )@#P ' 'A 0 0
)%';)//< 50 $)@/ ! ) !#!0')' #!)$< !P $#!&!' ' )!5 .$#@/ &0 'A)' )$ %' P/< !#!0')8
' #!)$< )$ 'A !#$& ! $ !"#$%&!' / )$! !* Q! )55 ' #! ' 0'.80 0 ;!%0 'A)' &'
'A %#!5 ' #!0 # > $ #"'! %#!P$* P$< 0/#`/< #$ !5 %#!0 5$)@/ ';! !* ! #$5$ '#
#@') ! ) 0)' 0")%'#$< %#!P$*!% $)' 4/' A#;*A 0'.80 0 ;!%0 'A)' &' 'A0 %#!8
P$*!% %#!5 ' #!0 )$ #"'! ;05 ! 'A#$' %)/ `#$B ' 'A< )$ 0/5 #& ;05 ! )../ %)' #!0
)!5 &. $ %)/ $0)$%A
E
I I D
Q" 'A 0'. 0 0 ' # $ ' )$ !#' %#!0')!' ' 'A! 'A 0' &)' # $ 0 ) ` *A'5 )P$)*
#" .$P #;0/< $% P5 $`)$50 ` 'A ) ` *A' !* 5 $!' "$#& 'A)' * P! @< # 2 $ A)'
0 'A ` *A' !* #! )%A .$ #$ $`)$5 "#$ 'A *!$)/ %)0 E
I I D c0 *! )!5 %#!5;%' )! -.$ &!' '# 5&#!0'$)' 'A 5 %;/' 0 'A)' 0)&./8)P$)*
&'A#50 A)P #! !#!0')' #!)$< .$#@/ &0 a0 ) &#5 b5 P$0 #! #" 'A C8)$&5 '0'@5 !
À %A )// 'A # $ 0')$' #;' ;)/ )!5 'A! ')B !5.!5!' $)!5#& `)/B0 M$.)$ ./#'0
/ B d *;$ "#$ )! )%' #!8P)/; &'A#5 ;0 !* 0)&./ )P$)*0 ' !%$&!')//< %#&.;'5
@< ' )!5 )!#'A$ )%' #!8P)/; &'A#5 ;0 !* ) %#!0')!' 0'. 0 ' C a0
)!5 ' " !%00)$<' $;!0 /# !*$ 'A)! CCC ./)<0
33
100%
optimistic, greedy
Q0 = 5, = 0
80%
%
Optimal
action
realistic, ε-greedy
Q0 = 0, = 0.1
60%
40%
20%
0%
0
200
400
600
800
1000
Plays
d *;$ 3 6 7A %' #" #.' & 0' % ! ' )/ )%' #!8P)/;0 0' &)'0 #! 'A C8)$&5 '0'@5
?#'A )/* #$ 'A&0 ;05 %#!0')!' 0'. 0 ' 4// 'A &'A#50 ` A)P 5 0%;005 0# ")$ )$ 5.!5!' '# 0#& -'!' #! 'A ! ' )/ )%' #!8
P)/; 0' &)'0 ' # $ Q! 'A /) !*;)* #" 0')' 0' %0 ' 'A0 &'A#50 )$ # @< 'A $
! ' )/ 0' &)'0 d#$ 'A 0)&./8)P$)* &'A#50 ' 'A @ )0 5 0)..)$0 #!% )// )%' #!0
A)P @! 0/ %'5 )' / )0' #!% ' @;' "#$ &'A#50 ` 'A %#!0')!' ' 'A @ )0 0 .$&)!!' '
'A#;*A 5%$)0 !* #P$ ' & )0 * P! @< # 2 $ Q! .$)%' % ' 'A 0 B !5 #" @ )0 0 ;0;)//< !#'
) .$#@/ & ' )!5 %)! 0#&' &0 @ P$< A/.";/ 7A 5#`!0 5 0 'A)' 'A ! ' )/ 0' &)'0
@%#& ' ! %' ' ) À#/ 0' #" .)$)&'$0 'A)' &;0' @ . %B5 @< 'A ;0$ ' " #!/< '#
0' 'A& )// '# $# 7A ;.0 5 0 'A)' 'A< .$#P 5 )! )0< `)< '# 0;../< 0#& .$ #$
B!#`/ 5* )@#;' À)' /P/ #" $`)$50 %)! @ -.%'5
Q! ' )/ )%' #! P)/;0 %)! )/0 # @ ;05 )0 ) 0 &./ `)< #" !%#;$)* !* -./# $)' #! :;..#0
'A)' !0')5 #" 0'' !* 'A ! ' )/ )%' #! P)/;0 '# $# ' )0 ` 5 5 ! 'A C8)$&5 '0'@5 '
` 0' 'A& )// '# 1 %)// 'A)' 'A # $ ! 'A 0 .$#@/ & )$ 0/ %'5 "$#& ) !#$&)/
5 0'$ @;' #! ` 'A &)! C )!5 P)$ )!% 4! ! ' )/ 0' &)' #" 1 0 'A;0 ` /5 /< #.' & 0' %
?;' 'A 0 #.' & 0& !%#;$)*0 )%' #!8P)/; &'A#50 '# -./# $ A %AP$ )%' #!0 )$
! ' )//< 0/ %'5 ' 'A $`)$5 0 /00 'A)! 'A 0')$' !* 0' &)'0 'A / )$!$ 0` '%A0 '#
#'A$ )%' #!0 ' @ !* 5 0)..# !'5 ` 'A 'A $`)$50 ' 0 $% P !* 7A $0;/' 0 'A)' )//
)%' #!0 )$ '$ 5 ' 0P$)/ ' &0 ' @"#$ 'A P)/; 0' &)'0 %#!P$* 7A 0<0'& 5#0 )
") $ )&#;!' #" -./# $)' #! P! " *$5< )%' #!0 )$ 0/ %'5 )// 'A ' &
d *;$ 3 0A#`0 'A .$"#$&)!% #! 'A C8)$&5 @)!5 ' '0'@5 #" ) *$5< &'A#5
;0 !* # $ 1 ' "#$ )// G d#$ %#&.)$ 0#! ' )/0 # 0A#`! 0 )! 8*$5< &'A#5 ` 'A
# $ C ?#'A &'A#50 ;05 ) %#!0')!' 0'. 0 ' Q! ' )//< ' 'A #.' & 0' %
&'A#5 .$"#$&0 `#$0 ' @%);0 ' -./# $0 &#$ ' @;' P!';)//< ' .$"#$&0 @''$ @%);0
'0 -./# $)' #! 5%$)00 ` 'A ' & %)// 'A 0 '%A! ; "#$ !%#;$)* !* -./# $)' #!
$*)$5 ' )0 ) 0 &./ '$ %B 'A)' %)! @ ; ' %' P #!
0')' #!)$< .$#@/ &0 ' @;' ' 0 ")$ "$#& @ !* ) *!$)//< ;0";/ )..$#)%A '# !%#;$)* !*
31
-./# $)' #! d#$ -)&./ ' ' 0 !#' `// 0; '5 '# !#!0')' #!)$< .$#@/ &0 @%);0 '0 5$ P
"#$ -./# $)' #! 0 !A$!'/< '&.#$)$< Q" 'A ')0B %A)!*0 ' %$)' !* ) $!`5 !5 "#$
-./# $)' #! ' 'A 0 &'A#5 %)!!#' A/. Q!55 ' )!< &'A#5 'A)' "#%;00 #! 'A ! ' )/ 0')'
! )!< 0.% )/ `)< 0 ;!/ B/< '# A/. ` 'A 'A *!$)/ !#!80')' #!)$< %)0 7A @* !! !*
#" ' & #%%;$0 #!/< #!% ' )!5 'A;0 ` 0A#;/5 !#' "#%;0 #! ' '## &;%A 7A 0 %$ ' % 0&
)../ 0 )0 `// '# 'A 0)&./8)P$)* &'A#50 ' À %A )/0 # '$)' 'A @* !! !* #" ' & )0 )
0.% )/ P!' ' )P$)* !* ` 'A ;)/` *A'0 )// 0;@0 ;!' $`)$50 RP$'A/00 ' )// #" 'A0
&'A#50 )$ P$< 0 &./ ' )!5 #! #$ 0#& 0 &./ %#&@ !)' #! #" 'A& 0 #"'! )5 ;)'
! .$)%' % Q! 'A $0' #" 'A 0 @##B ` &)B "$ ;!' ;0 #" &)!< #" 'A -./ # $)' #!
'%A! ;0 'A)' ` -./# $ A$ ` 'A ! 'A 0 &./ $ !#!8)00#% )' P 0'' !* #" 'A 8)$&5
@)!5 ' .$#@/ &
E
I I D 7A $0;/' 0 0A#`! ! d *;$ 3 0A#;/5 @ ; ' $/ )@/ @%);0 'A< )$ )P$)*0 #P$
CCC !5 P 5;)/' $)!5#&/< %A#0! C8)$&5 @)!5 ' ')0B0 A<' 'A! ' )$ 'A$ #0% / )' #!0
)!5 0. B0 ! 'A )$/< .)$' #" 'A %;$P "#$ 'A #.' & 0' % &'A#5 A)' & *A' &)B 'A 0
&'A#5 .$"#$& .)$' %;/) $/< @''$ #$ `#$0 ' #! )P$)* ' #! .)$' %;/) $ )$/< ./)<0 4 %!'$)/ !'; ' #! ;!5$/< !* $ !"#$%&!' / )$! !* 0 'A)' )%' #!0 "#//#`5 @< /) $* $`)$50
0A#;/5 @ &)5 &#$ / B/< '# $%;$ ' À$)0 )%' #!0 "#//#`5 @< 0&)// $`)$50 0A#;/5 @
&)5 /00 / B/< '# $%;$ ?;' A#` 0 'A / )$!$ '# B!#` À)' %#!0' ';'0 ) /) $* #$ )
0&)// $`)$5 Q" )! )%' #! 0 ')B! )!5 'A !P $#!&!' $';$!0 ) $`)$5 #" 1 ' 0 'A)' /) $*
#$ 0&)// 7# &)B 0;%A ) ;5*&!' #! &;0' %#&.)$ 'A $`)$5 ` 'A 0#& 0')!5)$5 #$
$"$!% /P/' %)// 5 'A 4 !)';$)/ %A# % "#$ 'A $"$!% $`)$5 0 )!
)P$)* #" .$P #;0/< $% P5 $`)$50 Q! #'A$ `#$50 ' ) $`)$5 0 !'$.$'5 )0 /) $* " ' 0
A *A$ 'A)! )P$)* ' )!5 0&)// " ' 0 /#`$ 'A)! )P$)* ()$! !* &'A#50 @)05 #! 'A 0
5) )$ %)// 5 &'A#50 7A0 &'A#50 )$ 0#&' &0 &#$
%' P 'A)! )%' #!8P)/; &'A#50 7A< )$ )/0 # 'A .$%;$0#$0 '# )%'#$8%$ ' % &'A#50 '
)! &.#$')!' %/)00 #" &'A#50 ' À %A ` .$0!' /)'$ ' "#$ 0#/P !* 'A ";// $ !"#$%&!'
/ )$! !* .$#@/ &
!"#$%&!'8%#&.)$ 0#! &'A#50 '<. %)//< 5# !#' &) !') ! 0' &)'0 #" )%' #! P)/;0
@;' #!/< #" )! #P$)// $`)$5 /P/ Q! #$5$ '# . %B )&#!* 'A )%' #!0 ' 'A< &) !') ! )
0.)$)'G &)0;$ #" 'A $ .$"$!% "#$ )%A )%' #! (' ;0 5!#' 'A .$"$!% "#$
)%' #! #! ./)< @< # $ 7A .$"$!%0 & *A' @ ;05 '# 5'$& ! )%' #!80/ %' #!
.$#@)@ / ' 0 )%%#$5 !* '# ) 0#"'&)- $/)' #!0A . ' * 6
# T $
# $ À$ # $ 5!#'0 'A .$#@)@ / '< #" 0/ %' !* )%' #! G #! 'A 'A ./)< 7A $ !8
"#$%&!' %#&.)$ 0#! 5) 0 ;05 ! ;.5)' !* 'A )%' #! .$"$!%0 4"'$ )%A ./)<' 'A
P 32
100%
reinforcement
comparison
80%
%
Optimal
action
-greedy
= 0.1, α = 0.1
60%
40%
-greedy
= 0.1, α = 1/k
20%
0%
0
200
400
600
800
1000
Plays
d *;$ 1 6 !"#$%&!' %#&.)$ 0#! &'A#50 P$0;0 )%' #!8P)/; &'A#50 #! 'A C8
)$&5 '0'@5
.$"$!% "#$ 'A )%' #! 0/ %'5 #! 'A)' ./)<' ' 0 !%$&!'5 @< 'A 5 $!% @'`!
'A $`)$5 ' ' )!5 'A $"$!% $`)$5 ' 6
# $ # $ # $ # 9 $
À$ 0 ) .#0 ' P 0'.80 .)$)&'$ 7A 0 ;)' #! &./ &!'0 'A 5) 'A)' A *A
$`)$50 0A#;/5 !%$)0 'A .$#@)@ / '< #" $80/ %' !* 'A )%' #! ')B! )!5 /#` $`)$50
0A#;/5 5%$)0 '0 .$#@)@ / '<
7A $"$!% $`)$5 0 )! !%$&!')/ )P$)* #" $%!'/< $% P5 $`)$50 ' À %AP$
)%' #!0 `$ ')B! 4"'$ 'A ;.5)' # 9 $' 'A $"$!% $`)$5 0 ;.5)'56
# $ # C $
À$ ' C ' 0 ) 0'. 0 )0 ;0;)/ 7A ! ' )/ P)/; #" 'A $"$!% $`)$5 ' ' %)! @ 0' 'A$ #.' & 0' %)/ /< ' '# !%#;$)* -./# $)' #! ' #$ )%%#$5 !* '# .$ #$ B!#`/ 5*
7A ! ' )/ P)/;0 #" 'A )%' #! .$"$!%0 %)! 0 &./< )// @ 0' '# $# U#!0')!' 0
) *##5 %A# % A$ @%);0 'A 5 0'$ @;' #! #" $`)$50 0 %A)!* !* #P$ ' & )0 )%' #!
0/ %' #! &.$#P0 0 A$ 'A b$0' %)0 ! À %A 'A / )$! !* .$#@/ & 0 %' P/<
!#!0')' #!)$< P! 'A#;*A 'A ;!5$/< !* .$#@/ & 0 0')' #!)$<
!"#$%&!'8%#&.)$ 0#! &'A#50 %)! @ P$< %' P ' 0#&' &0 .$"#$& !* P!
@''$ 'A)! )%' #!8P)/; &'A#50 d *;$ 1 0A#`0 'A .$"#$&)!% #" 'A )@#P )/* #$ 'A&
# $ #! 'A C8)$&5 '0'@5 7A .$"#$&)!%0 #" 8*$5< # C $ )%' #!8P)/ ; &'A#50 ` 'A C )!5 )$ )/0 # 0A#`! "#$ %#&.)$ 0#!
E
I I D 7A 0#"'&)- )%' #!80/ %' #! $;/ * P! "#$ $ !"#$%&!'8%#&.)$ 0#! &'A#50 # T $
/) %B0 'A '&.$)';$ .)$)&'$ ' ' ;05 ! 'A )$/ $ 0#"'&)- ;)' #! # $ A< 5#
<#; 'A !B 'A 0 `)0 5#! =)0 )!< &.#$')!' - @ / '< @! /# 0' A$ @< #& '' !* 3>
E
I I D 7A $ !"#$%&!'8%#&.)$ 0#! &'A#50 50%$ @5 A$ A)P '`# 0'.80 .)$)&'$0 '
)!5 U#;/5 ` ' ! *!$)/' $5;% 'A 0 '# ;0' #! .)$)&'$ @< %A##0 !* A)'
`#;/5 @ /# 0' @< 5# !* 'A 0 E
I I D :;..#0 'A ! ' )/ $"$!% $`)$5 ' ' 0 ")$ '## /#` A)'P$ )%' #! 0 0/ %'5 b$0'
` / 'A! .$#@)@/< !%$)0 ! '0 .$#@)@ / '< #" 0/ %' #! 7A;0 ' 0 / B/< '# @ 0/ %'5
)*) ! ' )!5 !%$)05 ! .$#@)@ / '< )*) ! Q! 'A 0 `)< )! )$/< )%' #! 'A)' 0 !# @''$ 'A)!
)!< #'A$ %#;/5 %$#`5 #;' )// #'A$ )%' #!0 "#$ ) /# !* ' & 7# %#;!'$)%' 'A 0 %' ' ' 0
%#&&#! '# )55 ) ")%'#$ #" # # $$ '# 'A !%$&!' ! # 9 $ c0 *! )!5 &./ &!'
)! -.$ &!' '# 5'$& ! À'A$ #$ !#' 'A 0 $)//< &.$#P0 'A .$"#$&)!% #" 'A
)/* #$ 'A&
4!#'A$ %/)00 #" %' P / )$! !* &'A#50 "#$ 'A 8)$&5 @)!5 ' .$#@/ & )$ &'A#50 M;$0; ' &'A#50 &) !') ! @#'A )%' #!8P)/; 0' &)'0 )%' #! .$"$!%0 '
` 'A 'A .$"$!%0 %#!' !;)//< .;$0; !* 'A )%' #! 'A)' 0 *$5< )%%#$5 !* '# 'A
%;$$!' )%' #!8P)/; 0' &)'0 Q! 'A 0 &./0' .;$0; ' &'A#5 ' 'A )%' #! .$"$!%0 '
# $ ' )$ 'A .$#@)@ / ' 0 ` 'A À %A )%A )%' #! ' G ' 0 0/ %'5 #! ./)< ;0' @"#$ 0/ %' !* 'A )%' #! ' 'A .$#@)@ / ' 0 )$ ;.5)'5 0# )0 '# &)B 'A *$5<
)%' #! &#$ / B/< '# @ 0/ %'5 :;..#0 )$* &)- # $ 0 'A *$5< )%' #! ##$
) $)!5#& 0)&./ "$#& 'A *$5< )%' #!0 " 'A$ )$ &#$ 'A)! #! $ ;0' .$ #$ '# 0/ %' !*
)%' #! 7A! 'A .$#@)@ / '< #" 0/ %' !* 0 !%$&!'5 ) "$)%' #! ' ' #" 'A
`)< '#`)$5 #!6
# $ # $ # # $$ # $
À / 'A .$#@)@ / ' 0 #" 0/ %' !* 'A #'A$ )%' #!0 )$ 5%$&!'5 '#`)$5 $#6
# $ # $ #C # $$ # $
for all
4"'$ 0 ')B! )!5 ) !` $`)$5 #@0$P5 ' 'A )%' #! P)/; ' # $ ' 0 ;.5)'5 !
#! #" 'A `)<0 5 0%;005 ! 'A .$%5 !* 0%' #!0 ' * ' '# @ ) 0)&./ )P$)* #" 'A
#@0$P5 $`)$50 ' ;0 !* # $ d *;$ 2 0A#`0 'A .$"#$&)!% #" 'A .;$0; ' )/* #$ 'A& 50%$ @5 )@#P À! 'A )%8
' #! P)/;0 `$ 0' &)'5 ;0 !* 0)&./ )P$)*0 # !%$&!')//< %#&.;'5 ;0 !* $ Q! 'A0 $0;/' 0 ' 'A ! ' )/ )%' #! .$#@)@ / ' 0 `$ # $ ' "#$ )// G )!5 'A .)8
$)&'$ `)0 C d#$ %#&.)$ 0#! ' ` )/0 # 0A#` 'A .$"#$&)!% #" )! 8*$5< &'A#5
# $ ` 'A )%' #! P)/ ; 0 )/0 # 0' &)'5 ;0 !* 0)&./ )P$)*0 7A .$"#$&)!% #" 'A
3T
100%
pursuit
80%
%
Optimal
action
-greedy
= 0.1, α = 1/k
60%
40%
reinforcement
comparison
20%
0%
0
200
400
600
Plays
800
1000
d *;$ 2 6 M$"#$&)!% #" 'A .;$0; ' &'A#5 P 08)8P 0 )%' #!8P)/; )!5 $ !"#$%&!'8
%#&.)$ 0#! &'A#50 #! 'A C8)$&5 '0'@5
$ !"#$%&!'8%#&.)$ 0#! )/* #$ 'A& "$#& 'A .$P #;0 0%' #! 0 )/0 # 0A#`! 4/' A#;*A 'A
.;$0; ' )/* #$ 'A& .$"#$&0 'A @0' #" 'A0 'A$ #! 'A 0 ')0B )' 'A0 .)$)&'$ 0'' !*0 '
'A #$5$ !* %#;/5 `// @ 5 $!' ! #'A$ %)00 4// 'A$ #" 'A0 &'A#50 )..)$ '#
A)P 'A $ ;00 )!5 )5P)!')*0
E
I I D D
4! 8*$5< &'A#5 )/` )<0 0/ %'0 ) $)!5#& )%' #! #! ) "$)%' #! ' ' #" 'A ' &
0'.0 =#` )@#;' 'A .;$0; ' )/* #$ 'A& / ' P!';)//< 0/ %' 'A #.' &)/ )%' #! ` 'A
.$#@)@ / '< )..$#)%A !* %$') !'< E
I I D d#$ &)!< #" 'A .$#@/ &0 ` ` / !%#;!'$ /)'$ ! 'A 0 @##B ' 0 !#' ")0 @/ '#
5 $%'/< ;.5)' )%' #! .$#@)@ / ' 0 7# ;0 .;$0; ' &'A#50 ! 'A0 %)00 ' 0 !%00)$<
'# &#5 "< 'A& '# ;0 )%' #! .$"$!%0 'A)' )$ !#' .$#@)@ / ' 0 ' @;' À %A 5'$& !
)%' #! .$#@)@ / ' 0 )%%#$5 !* '# ) 0#"'&)- $/)' #!0A . 0;%A )0 'A _ @@0 5 0'$ @;' #! # T
$ =#` %)! 'A .;$0; ' )/* #$ 'A& 50%$ @5 )@#P @ &#5 b5 '# @ ;05 ! 'A 0 `)< :.% "< ) %#&./' )/* #$ 'A& ' !%/;5 !* 'A ;)' #!0 "#$ )%' #!8P)/;0 ' .$"$!%0 ' )!5
.$#@)@ / ' 0 )' )%A ./)<
E
I I D =#` `// 5#0 'A )/* #$ 'A& <#; .$#.#05 !
,-$% 0 3
.$"#$& c0 *! )!5 $;! )! -.$ &!' )0000 !* 'A .$"#$&)!% #" <#;$ &'A#5
c 0%;00 'A $#/ #" .)$)&'$ P)/; 0'' !*0 ! <#;$ -.$ &!'
E
I I D ^
7A .;$0; ' )/* #$ 'A& 50%$ @5 )@#P 0 0; '5 #!/< "#$ 0')' #!)$< !P $#!&!'0 @%);0
'A )%' #! .$#@)@ / ' 0 %#!P$* ' )/@ ' 0/#`/<' '# %$') !'< =#` %#;/5 <#; %#&@ ! 'A
.;$0; ' 5) ` 'A 'A 8*$5< 5) '# #@') ! ) &'A#5 ` 'A .$"#$&)!% %/# 0 '# 'A)' #"
'A .;$0; ' )/* #$ 'A& ' @;' À %A )/` )<0 %#!' !;0 '# -./# $ '# 0#& 0&)// 5*$ 39
:# ")$ ! 'A 0 %A).'$ ` A)P %#!0 5$5 #!/< !#!8)00#% )' P ')0B0 ' ! À %A 'A$ 0 !#
!5 '# )00#% )' 5 $!' )%' #!0 ` 'A 5 $!' 0 ';)' #!0 Q! 'A0 ')0B0 'A / )$!$ 'A$
'$ 0 '# b!5 ) 0 !*/ @0' )%' #! À! 'A ')0B 0 0')' #!)$<' #$ '$ 0 '# '$)%B 'A @0' )%' #!
)0 ' %A)!*0 #P$ ' & À! 'A ')0B 0 !#!0')' #!)$< =#`P$ ' ! ) *!$)/ $ !"#$%&!'
/ )$! !* ')0B 'A$ 0 &#$ 'A)! #! 0 ';)' #! ' )!5 'A *#)/ 0 '# / )$! ) .#/ %<6 ) &).. !*
"$#& 0 ';)' #!0 '# 'A )%' #!0 'A)' )$ @0' ! 'A#0 0 ';)' #!0 7# 0' 'A 0')* "#$ 'A
";// .$#@/ & ' ` @$ < 5 0%;00 'A 0 &./0' `)< ! À %A !#!8)00#% )' P ')0B0 -'!5 '#
'A )00#% )' P 0'' !*
40 )! -)&./ ' 0;..#0 'A$ )$ 0P$)/ 5 $!' 8)$&5 @)!5 ' ')0B0 ' )!5 'A)' #!
)%A ./)< <#; %#!"$#!' #! #" 'A0 %A#0! )' $)!5#& 7A;0 ' 'A @)!5 ' ')0B %A)!*0
$)!5#&/< "$#& ./)< '# ./)< 7A 0 `#;/5 )..)$ '# <#; )0 ) 0 !*/ ' !#!0')' #!)$< 8)$&5
@)!5 ' ')0B ' À#0 '$; )%' #! P)/;0 %A)!* $)!5#&/< "$#& ./)< '# ./)< #; %#;/5 '$< ;0 !*
#! #" 'A &'A#50 50%$ @5 ! 'A 0 %A).'$ 'A)' %)! A)!5/ !#!0')' #!)$ '<' @;' ;!/ 00
'A '$; )%' #! P)/;0 %A)!* 0/#`/<' 'A0 &'A#50 ` / !#' `#$B P$< `// R#` 0;..#0 '
A#`P$ ' 'A)' À! ) @)!5 ' ')0B 0 0/ %'5 "#$ <#; ' <#; )$ * P! 0#& 5 0' !%' P %/;
)@#;' '0 5!' '< #@;' !#' '0 )%' #! P)/;0 $ O)<@ <#; )$ ")% !* )! )%';)/ 0/#' &)%A !
'A)' %A)!*0 'A %#/# $ #" '0 5 0./)< )0 ' %A)!*0 '0 )%' #! P)/;0 R#` <#; %)! / )$! )
.#/ %< )00#% )' !* )%A ')0B ' 0 *!)/ 5 @< 'A %#/# $ <#; 0 ' ` 'A 'A @0' )%' #! '# ')B
À! ")% !* 'A)' ')0B ' * ' " $5 ' ./)< )$& " *$! ' ./)< )$& 'A 'A $ *A' .#/ %< <#;
%)! ;0;)//< 5# &;%A @''$ 'A)! <#; %#;/5 ! 'A )@0!% #" )!< !"#$&)' #! 5 0' !*; 0A !*
#! @)!5 ' ')0B "$#& )!#'A$
7A 0 0 )! -)&./ #" )! ')0B ' 0# %)// 5 @%);0 ' !P#/P 0 @#'A
'$ )/8 )!58$$#$ / )$! !* ! 'A "#$& #" "#$ 'A @0' )%' #!0 )!5 #" 'A0
)%' #!0 ` 'A 'A 0 ';)' #!0 ! À %A 'A< )$ @0' 400#% )' P 0)$%A ')0B0 )$ !'$&5 )'
@'`! 'A 8)$&5 @)!5 ' .$#@/ & )!5 'A ";// $ !"#$%&!' / )$! !* .$#@/ & 7A<
)$ / B 'A ";// $ !"#$%&!' / )$! !* .$#@/ & ! 'A)' 'A< !P#/P / )$! !* ) .#/ %<' @;'
/ B 'A 8)$&5 @)!5 ' .$#@/ & ! 'A)' )%A )%' #! ) %'0 #!/< 'A &&5 )' $`)$5 Q"
)%' #!0 )$ )//#`5 '# ) %' 'A )0 `// )0 'A $`)$5 ' 'A! ` A)P 'A ";//
$ !"#$%&!' / )$! !* .$#@/ & .$0!' 'A 0 .$#@/ & ! 'A !-' %A).'$ )!5 %#!0 5$
'0 $)& b%)' #!0 'A$#;*A#;' 'A $0' #" 'A @##B
E
I I D :;..#0 <#; ")%b%)/) @ !)$< @)!5 ' ')0B À#0 '$; )%' #! P)/;0 %A)!* $)!5#&/
<
"$#&
./)< '# ./)< :.% /<' 0;..#0 'A)' "#$ )!< ./)< 'A '$; P)/;0 #" )%' #!0 )!5 D )$
$0.%' P/< )!5 ` 'A .$#@)@ / '< 1 #%)0 4 $' )!5 9 )!5 T ` 'A .$#@)@ / '< 1 #%)0
? $ Q" <#; )$ !#' )@/ '# '// À %A %)0 <#; ")% )' )!< ./)<' À)' 0 'A @0' -.%')' #!
#" 0;%%00 <#; %)! )%A P )!5 A#` 0A#;/5 <#; @A)P '# )%A P ' R#` 0;..#0 'A)'
#! )%A ./)< <#; )$ '#/5 " <#; )$ ")% !* %)0 4 #$ %)0 ? #)/' A#;*A <#; 0' / 5#! ' B!#`
'A '$; )%' #! P)/;0 $ 7A 0 0 )! )00#% )' P 0)$%A ')0B A)' 0 'A @0' -.%')' #! #"
0;%%00 <#; %)! )%A P ! 'A 0 ')0B ' )!5 A#` 0A#;/5 <#; @A)P '# )%A P ' 1C
A)P .$0!'5 ! 'A 0 %A).'$ 0#& 0 &./ `)<0 #" @)/) !% !* -./# $)' #! )!5 -./# ')8
' #! 7A 8*$5< &'A#50 0 &./< %A##0 $)!5#&/< ) 0&)// "$)%' #! #" 'A ' & ' 'A
0#"'&)- &'A#50 *$)5 'A $ )%' #! .$#@)@ / ' 0 )%%#$5 !* '# 'A %;$$!' )%' #!8P)/; 08
' &)'0 ' )!5 'A .;$0; ' &'A#50 ;0' B. ')B !* 0'.0 '#`)$5 'A %;$$!' *$5< )%' #!
4$ 'A0 0 &./ &'A#50 $)//< 'A @0' ` %)! 5# ! '$&0 #" .$)%' %)//< ;0";/ )/* #8
$ 'A&0 :# ")$ ' 'A )!0`$ )..)$0 '# @ <0 c0. ' 'A $ 0 &./ % '<' ! #;$ #. ! #! 'A
&'A#50 .$0!'5 ! 'A 0 %A).'$ %)! ") $/< @ %#!0 5$5 'A 0')'8#"8'A8)$' 7A$ )$
&#$ 0#.A 0' %)'5 &'A#50 ' @;' 'A $ %#&./- '< )!5 )00;&.' #!0 &)B 'A& &.$)%' %)/
"#$ 'A ";// $ !"#$%&!' / )$! !* .$#@/ & 'A)' 0 #;$ $)/ "#%;0 :')$' !* ! UA).'$ 1 `
.$0!' / )$! !* &'A#50 "#$ 0#/P !* 'A ";// $ !"#$%&!' / )$! !* .$#@/ & 'A)' ;0 ! .)$'
'A 0 &./ &'A#50 -./# $5 ! 'A 0 %A).'$
4/' A#;*A 'A 0 &./ &'A#50 -./# $5 ! 'A 0 %A).'$ &)< @ 'A @0' ` %)! 5# )'
.$0!' ' 'A< )$ ")$ "$#& ) ";//< 0)' 0")%'#$< 0#/;' #! '# 'A .$#@/ & #" @)/) !% !* -./# $)' #!
)!5 -./# ')' #! %#!%/;5 'A 0 %A).'$ ` 'A ) @$ " /# #B )' 0#& #" 'A %;$$!' 5)0
'A)' ' À / !#' )0 <' .$)%' %)//< ;0";/' &)< .# !' 'A `)< '#`)$5 @''$ 0#/;' #!0
S! .$#& 0 !* 5) 0 '# ;0 0' &)'0 #" 'A ;!%$') !'< #" 'A )%' #!8P)/; 0' &)'0
'# 5 $%' )!5 !%#;$)* -./# $)' #! d#$ -)&./ ' 0;..#0 'A$ )$ '`# )%' #!0 0' &)'5
'# A)P P)/;0 0/ *A'/< /00 'A)! 'A)' #" 'A *$5< )%' #! ' @;' À %A 5 $ *$)'/< ! 'A $
5*$ #" ;!%$') !'< S! 0' &)' 0 P$< %$') ! .$A).0 'A)' )%' #! A)0 @! '$ 5
&)!< ' &0 )!5 &)!< $`)$50 A)P @! #@0$P5 7A ;!%$') !'< "#$ 'A 0 )%' #! P)/; 0
0# /#` 'A)' '0 '$; P)/; 0 P$< ;!/ B/< '# @ A *A$ 'A)! 'A P)/; #" 'A *$5< )%' #!
7A #'A$ )%' #! 0 B!#`! / 00 `//' )!5 'A 0' &)' #" '0 P)/; 0 P$< ;!%$') ! 7A
'$; P)/; #" 'A 0 )%' #! %#;/5 )0 /< @ @''$ 'A)! 'A)' #"b$0'
'A *$5< )%' #! S@P #;0/<' '
&)B0 &#$ 0!0 '# -./# $ 'A 0%#!5 )%' #! 'A)! 'A
7A 0 / ! #" 'A#;*A' / )50 '# &'A#50 7A0 &'A#50 0' &)'
"#$ )%A )%' #! 'A # $ %#!b5!% !'$P)/ #" 'A )%' #! P)/; 7A)' 0 ' $)'A$ 'A)!
/ )$! !* 'A)' 'A )%' #! P)/; 0 )..$#- &)'/< C ' 'A< / )$! 'A)' ' 0 @'`! 9 )!5 ` 'A 91 %#!b5!% 7A )%' #! 0/ %'5 0 'A! 'A )%' #! À#0 %#!b5!% !'$P)/ A)0
'A A *A0' ;..$ / & ' 7A 0 !%#;$)*0 -./# $)' #! #" )%' #!0 'A)' )$ ;!%$') ! A)P
) %A)!% #" ;/' &)'/< @ !* 'A @0' )%' #! Q! 0#& %)00 #! %)! #@') ! *;)$)!'0 'A)'
'A #.' &)/ )%' #! A)0 @! "#;!5 ` 'A %#!b5!% ;)/ '# 'A %#!b5!% ")%'#$ #* ' 'A
91 $ Q!'$P)/ 0' &)' #! &'A#50 )$ .$#@/ &)' % ! .$)%' % @%);0 #" 'A %#&./- '< #"
'A 0')' 0' %)/ &'A#50 ;05 '# 0' &)' 'A %#!b5!% !'$P)/0 O#$#P$ ' 'A ;!5$/< !*
0')' 0' %)/ )00;&.' #!0 $ ; $5 @< 'A0 &'A#50 )$ #"'! !#' 0)' 0b5 RP$'A/ 00 '
'A 5) #" ;0 !* %#!b5!% !'$P)/0 ' #$ 0#& #'A$ &)0;$ #" ;!%$') !'<' '# !%#;$)*
-./# $)' #! #" .)$' %;/) $ )%' #!0 0 0#;!5 )!5 )..)/ !*
7A$ 0 )/0 # ) `//8 B!#`! )/* #$ 'A& "#$ %#&.;' !* 'A ?)<0 #.' &)/ `)< '# @)/) !%
-./# $)' #! )!5 -./# ')' #! 7A 0 &'A#5 0 %#&.;')' #!)//< !'$)%')@/ À! 5#! -)%'/<'
@;' 'A$ &)< @ % !' `)<0 '# )..$#- &)' ' Q! 'A 0 #.' &)/ &'A#5 ` )00;& 'A)'
` B!#` 'A 5 0'$ @;' #! #" .$#@/ & !0')!%0 ' ' 'A .$#@)@ / '< #" )%A .#00 @/ 0'
#" '$; )%' #! P)/;0 _ P! )!< )%' #! 0/ %' #! ' ` %)! 'A! %#&.;' 'A .$#@)@ / '<
1
#" )%A .#00 @/ &&5 )' $`)$5 )!5 'A $0;/' )!' .#0'$ #$ .$#@)@ / '< 5 0'$ @;' #! #P$
)%' #! P)/;0 7A 0 P#/P !* 5 0'$ @;' #! @%#&0 'A #" 'A .$#@/ &
_ P! ) A#$ #! ' 0)< CCC ./)<0 ' #! %)! %#!0 5$ )// .#00 @/ )%' #!0 ' )// .#00 @/ $0;/' !*
$`)$50 ' )// .#00 @/ !-' )%' #!0 ' )// !-' $`)$50 ' )!5 0# #! "#$ )// CCC ./)<0 _ P!
'A )00;&.' #!0 ' 'A $`)$50 )!5 .$#@)@ / ' 0 #" )%A .#00 @/ %A) ! #" P!'0 %)! @
5'$& !5 ' )!5 #! !5 #!/< . %B 'A @0' ?;' 'A '$ #" .#00 @ / ' 0 *$#`0 -'$&/<
$). 5/< P! " 'A$ )$ #!/< '`# )%' #!0 )!5 '`# $`)$50 'A '$ ` / A)P / )P0
7A 0 )..$#)%A %' P/< ';$!0 'A @)!5 ' .$#@/ & !'# )! !0')!% #" 'A ";// $ !"#$%&!'
/ )$! !* .$#@/ & Q! 'A !5 ' ` &)< @ )@/ '# ;0 $ !"#$%&!' / )$! !* &'A#50 '#
)..$#- &)' 'A 0 #.' &)/ 0#/;' #! ?;' 'A)' 0 ) '#. % "#$ %;$$!' $0)$%A )!5 @<#!5 'A
0%#. #" 'A 0 !'$#5;%'#$< @##B
7A %/)00 %)/ 0#/;' #! '# @)/) !% !* -./# $)' #! )!5 -./# ')' #! ! 8)$&5 @)!5 ' .$#@8
/ &0 0 '# %#&.;' 0.% )/ ";!%' #!0 %)// 5 7A0 .$#P 5 )! #.' &)/ 0#/;8
' #! '# ) %$') ! B !5 #" @)!5 ' .$#@/ & &#$ *!$)/ 'A)! 'A)' %#!0 5$5 A$ ' @;' À %A
)00;&0 'A .$ #$ 5 0'$ @;' #! #" .#00 @/ .$#@/ &0 0 B!#`! a!"#$';!)'/<' 'A 0 &'A#5
5#0 !#' )..)$ '# *!$)/ 'A$ ! '0 'A#$< #$ %#&.;')' #!)/ '$)%')@ / '< '# 'A ";//
$ !"#$%&!' / )$! !* .$#@/ & 'A)' ` %#!0 5$ ! 'A $0' #" 'A @##B
1
Q! 'A 0 %A).'$ ` !'$#5;% 'A .$#@/ & 'A)' ` '$< '# 0#/P ! )// 'A $0' #" 'A @##B
d#$ ;0 ' 'A 0 .$#@/ & 5b!0 'A b/5 #" $ !"#$%&!' / )$! !*6 )!< &'A#5 'A)' 0 0; '5
'# 0#/P !* 'A 0 .$#@/ & ` %#!0 5$ '# @ ) $ !"#$%&!' / )$! !* &'A#5
S;$ #@ %' P ! 'A 0 %A).'$ 0 '# 50%$ @ 'A $ !"#$%&!' / )$! !* .$#@/ & ! )
@$#)5 0!0 '$< '# %#!P< 'A ` 5 $)!* #" .#00 @/ )../ %)' #!0 'A)' %)! @ "$)&5
)0 $ !"#$%&!' / )$! !* .$#@/ &0 )/0 # 50%$ @ &)'A&)' %)//< 5)/ 5 "#$&0 #" 'A
$ !"#$%&!' / )$! !* .$#@/ & "#$ À %A .$% 0 'A#$' %)/ 0')'&!'0 %)! @ &)5 !'$#5;% B< / &!'0 #" 'A .$#@/ & 0 &)'A&)' %)/ 0'$;%';$ ' 0;%A )0 P)/; ";!%' #!0
)!5 ?//& )! ;)' #!0 40 ! )// #" )$' b% )/ !'// *!% ' 'A$ 0 ) '!0 #! @'`! @$)5'A
#" )../ %)@ / '< )!5 &)'A&)' %)/ '$)%')@ / '< Q! 'A 0 %A).'$ ` !'$#5;% 'A 0 '!0 #! )!5
5 0%;00 0#& #" 'A '$)5# 0 )!5 %A)// !*0 'A)' ' &./ 0
! 7A $ !"#$%&!' / )$! !* .$#@/ & 0 &)!' '# @ ) 0'$) *A'"#$`)$5 "$)& !* #" 'A .$#@/ &
#" / )$! !* "$#& !'$)%' #! '# )%A P ) *#)/ 7A / )$!$ )!5 5% 0 #!8&)B$ 0 %)// 5 'A
7A 'A !* ' !'$)%'0 ` 'A ' %#&.$ 0 !* P$<'A !* #;'0 5 'A )*!' ' 0 %)// 5 'A
7A0 !'$)%' %#!' !;)//<' 'A )*!' 0/ %' !* )%' #!0 )!5 'A !P $#!&!'
$0.#!5 !* '# 'A#0 )%' #!0 )!5 .$0!' !* !` 0 ';)' #!0 '# 'A )*!'
7A !P $#!&!' )/0 # * P0 $ 0 '# $`)$50 ' ) 0.% )/ 0 *!)/ À#0 P)/;0 'A )*!' '$ 0
'# &)- & #P$ ' & 4 %#&./' 0.% b%)' #! #" )! !P $#!&!' 5b!0 ) ' #!
!0')!% #" 'A $ !"#$%&!' / )$! !* .$#@/ &
O#$ 0.% b%)//<' 'A )*!' )!5 !P $#!&!' !'$)%'
)'
)%A
#"
)
0
;!% #" 5 0%$'
' & 0'.0 ' C + 4' )%A ' & 0'. ' ' 'A )*!' $% P0 0#& $.$0!')' #!
#" 'A !P $#!&!' 0 ' ' À$ 0 'A 0' #" .#00 @/ 0')'0 ' )!5 #! 'A)' @)0 0
- ' ' ' $ & ' - ' % * $ ' . ' 01 1
01 1 & 1+
- ' 01 1
'
13
Agent
state
st
reward
action
rt
at
rt+1
st+1
Environment
d *;$ +6 7A $ !"#$%&!' / )$! !* "$)&`#$B
0/ %'0 )! ' # $ ' À$ # $ 0 'A 0' #" )%' #!0 )P) /) @/ ! 0')' .)$' )0 ) %#!0 ;!% #" '0 )%' #! ' 'A )*!' $% P0 ) !;&$ %)/
S! ' & 0'. /)'$' ! b!50
' ' )!5
'0/" ! ) !` 0')' ' d *;$ + 5 )*$)&0 'A )*!'8!P $#!&!' !'$)%' #!
4' )%A ' & 0'. ' 'A )*!' &./ &!'0 ) &).. !* "$#& 0')' $.$0!')' #!0 '#
.$#@)@ / ' 0 #" 0/ %' !* )%A .#00 @/ )%' #! 7A 0 &).. !* 0 %)// 5 'A )*!' 0 )!5
5!#'5 ' À$ # $ 0 'A .$#@)@ / '< 'A)' " !"#$%&!' / )$! !*
&'A#50 0.% "< A#` 'A )*!' %A)!*0 '0 .#/ %< )0 ) $0;/' #" '0 -.$ !% 7A )*!' 0
*#)/' $#;*A/< 0.)B !* ' 0 '# &)- & 'A '#')/ )&#;!' #" $`)$5 ' $% P0 #P$ 'A /# !*
$;!
7A 0 "$)&`#$B 0 )@0'$)%' )!5 P$< - @/ ' )//#` !* ' @ )../ 5 '# &)!< 5 $!'
.$#@/ &0 ! &)!< 5 $!' `)<0 d#$ -)&./ ' 'A ' & 0'.0 !5 !#' $"$ '# b-5
!'$P)/0 #" $)/ ' & 'A< %)! $"$ '# )$@ '$)$< 0;%%00 P 0')*0 #" 5% 0 #! &)B !* )!5
)%' !* 7A )%' #!0 %)! @ /#`8/P/ %#!'$#/0 0;%A )0 'A P#/' )*0 )../ 5 '# 'A &#'#$0
#" ) $#@#' )$& ' #$ A *A8/P/ 5% 0 #!0 0;%A )0 À'A$ #$ !#' '# A)P /; !%A #$ '# *#
'# *$)5;)' 0%A##/ : & /) $/<' 'A 0')'0 %)! ')B ) ` 5 P)$ '< #" "#$&0 7A< %)! @
%#&./'/< 5'$& !5 @< /#`8/P/ 0!0)' #!0 ' 0;%A )0 5 $%' 0!0#$ $)5 !*0 ' #$ 'A< %)!
@ &#$ A *A8/P/ )!5 )@0'$)%' ' 0;%A )0 0<&@#/ % 50%$ .' #!0 #" #@ %'0 ! ) $##& :#&
#" À)' &)B0 ;. ) 0')' %#;/5 @ @)05 #! &&#$< #" .)0' 0!0)' #!0 #$ P! @ !' $/<
&!')/ #$ 0;@ %' P d#$ -)&./ ' )! )*!' %#;/5 @ ! 'A 0')' #" !#' @ !* 0;$ À$
)! #@ %' 0 ' #$ #" A)P !* ;0' @! 0;$.$ 05 ! 0#& %/ )$/< 5b!5 0!0 : & /) $/<' 0#&
)%' #!0 & *A' @ '#')//< &!')/ #$ %#&.;')' #!)/ d#$ -)&./ ' 0#& )%' #!0 & *A' %#!'$#/
À)' )! )*!' %A##00 '# 'A !B )@#;' ' #$ À$ ' "#%;00 '0 )''!' #! Q! *!$)/' )%' #!0
%)! @ )!< 5% 0 #!0 ` `)!' '# / )$! A#` '# &)B ' )!5 'A 0')' $.$0!')' #!0 %)! @
)!<'A !* ` %)! B!#` 'A)' & *A' @ ;0";/ ! &)B !* 'A&
Q! .)$' %;/) $ ' ' 0 ) & 0')B '# 'A !B #" 'A !'$")% @'`! 'A )*!' )!5 'A !8
P $#!&!' )0 'A .A<0 %)/ @#;!5)$< #" ) $#@#' 0 #$ )! &)/0 @#5< a0;)//<' 'A @#;!5)$<
0 5$)`! %/# 0$ '# 'A )*!' 'A)! 'A)' d#$ -)&./ ' 'A &#'#$0 )!5 &%A)! %)/ / !B)*0
#" ) $#@#' )!5 '0 0!0 !* A)$5`)$ 0A#;/5 ;0;)//< @ %#!0 5$5 .)$'0 #" 'A !P $#!&!'
$)'A$ 'A)! .)$'0 #" 'A )*!' : & /) $/<' " ` )../< 'A "$)&`#$B '# ) .$0#! #$ )! &)/'
- 0
0
0
0 ' % % ' 11
'A &;0%/0 ' 0B/'#! ' )!5 0!0#$< #$*)!0 0A#;/5 )// @ %#!0 5$5 .)$' #" 'A !P $#!&!'
`)$50 '## )$ .$0;&)@/< %#&.;'5 !0 5 'A .A<0 %)/ @#5 0 #" !)';$)/ )!5 )$' b% )/
/ )$! !* 0<0'&0 ' @;' )$ %#!0 5$5 -'$!)/ '# 'A )*!'
7A *!$)/ $;/ ` "#//#` 0 'A)' )!<'A !* 'A)' %)!!#' @ %A)!*5 )$@ '$)$ /< @< 'A
)*!' 0 %#!0 5$5 '# @ #;'0 5 #" ' )!5 'A;0 .)$' #" '0 !P $#!&!' 5# !#' )00;&
'A)' P$<'A !* ! 'A !P $#!&!' 0 ;!B!#`! '# 'A )*!' d#$ -)&./ ' 'A )*!' #"'!
B!#`0 ; ' ) @ ' )@#;' A#` '0 $`)$50 )$ %#&.;'5 )0 ) ";!%' #! #" '0 )%' #!0 )!5
'A 0')'0 ! À %A 'A< )$ ')B! ?;' ` )/` )<0 %#!0 5$ 'A $`)$5 %#&.;')' #! '# @
-'$!)/ '# 'A )*!' @%);0 ' 5b!0 'A ')0B ")% !* 'A )*!' )!5 'A;0 &;0' @ @<#!5
'0 )@ / '< '# %A)!* )$@ '$)$ /< Q! ")%' ' ! 0#& %)00 'A )*!' &)< B!#` )@#;'
A#` '0 !P $#!&!' `#$B0 )!5 0' / ")% ) 5 %;/' $ !"#$%&!' / )$! !* ')0B ' ;0' )0 `
&)< B!#` -)%'/< A#` ) .; / / B ;@ B 0 %;@ `#$B0 ' @;' 0' / @ ;!)@/ '# 0#/P ' 7A
)*!'8!P $#!&!' @#;!5)$< $.$0!'0 'A / & ' #" 'A )*!' 0 # ' !#' #" '0
B!#`/ 5*
7A )*!'8!P $#!&!' @#;!5)$< %)! @ ./) %5 )' 5 $!' ./) %0 "#$ 5 $!' .;$.#00
Q! ) %#&./ %)'5 $#@#' ' &)!< 5 $!' )*!'0 &)< @ #.$)' !* )' #!% ' )%A ` 'A '0 #`!
@#;!5)$< d#$ -)&./ ' #! )*!' &)< &)B A *A8/P/ 5% 0 #!0 À %A "#$& .)$' #" 'A
0')'0 ")%5 @< ) /#`$8/P/ )*!' 'A)' &./ &!'0 'A A *A8/P/ 5% 0 #!0 Q! .$)%' % ' 'A
)*!'8!P $#!&!' @#;!5)$< 0 5'$& !5 #!% #! A)0 0/ %'5 .)$' %;/) $ 0')'0 ' )%' #!0 '
)!5 $`)$50 ' )!5 'A;0 5!' b5 ) 0.% b% 5% 0 #!8&)B !* ')0B #" !'$0'
7A $ !"#$%&!' / )$! !* "$)&`#$B 0 ) %#!0 5$)@/ )@0'$)%' #! #" 'A .$#@/ & #"
*#)/8 5 $%'5 / )$! !* "$#& !'$)%' #! Q' .$#.#00 'A)' À)'P$ 'A 5') /0 #" 'A 0!0#$<'
&&#$<' )!5 %#!'$#/ )..)$)';0 ' )!5 À)'P$ #@ %' P #! 0 '$< !* '# )%A P ' )!< .$#@/ &
#" / )$! !* *#)/8 5 $%'5 @A)P #$ %)! @ $5;%5 '# 'A$ 0 *!)/0 .)00 !* @)%B )!5 "#$'A
@'`! )! )*!' )!5 '0 !P $#!&!'6 #! 0 *!)/ '# $.$0!' 'A %A# %0 &)5 @< 'A
)*!' #'A )%' #!0 $' #! 0 *!)/ '# $.$0!' 'A @)0 0 #! À %A 'A %A# %0 )$ &)5 #'A
0')'0 $' )!5 #! 0 *!)/ '# 5b! 'A )*!' 0 *#)/ #'A $`)$50 $ 7A 0 "$)&`#$B &)< !#' @
0; % !' '# ;0";//< $.$0!' )// 5% 0 #!8/ )$! !* .$#@/ &0 ' @;' ' A)0 .$#P! '0/" ` 5/<
;0";/ )!5 )../ %)@/ %#;$0 ' 'A 0')' )!5 )%' #! $.$0!')' #!0 P)$< *$)'/< "$#& )../ %)' #! '# ).8
./ %)'S"#! )!5 0'$#!*/< ) %' .$"#$&)!% Q! $ !"#$%&!' / )$! !* ' )0 ! #'A$ B !50 #"
/ )$! !* ' 0;%A $.$0!')' #!)/ %A# %0 )$ )' .$0!' &#$ )$' 'A)! 0% !% Q! 'A 0 @##B `
# $ 0#& )5P % )!5 -)&./0 $*)$5 !* *##5 %A# %0 #" 0')' )!5 )%' #! $.$0!')' #!0 '
@;' #;$ .$ &)$< "#%;0 0 #! 'A *!$)/ .$ !% ./ 0 ;0";/ "#$ / )$! !* A#` '# @A)P #!%
'A 0')' )!5 )%' #! $.$0!')' #!0 A)P @! 0/ %'5
E
GZ ! HI :;..#0 $ !"#$%&!' / )$! !* 0 @ !* )../ 5 '# 5'$& ! &#&!'8
@<8&#&!' '&.$)';$0 )!5 0' $$ !* $)'0 "#$ ) @ #$)%'#$ #) /) $* P)' #" !;'$ !'0 )!5
@)%'$ ) ;05 '# .$#5;% ;0";/ %A& %)/0 $ 7A )%' #!0 ! 0;%A )! )../ %)' #! & *A' @
'&.$)';$0 )!5 0' $$ !* $)'0 'A)' )$ .)005 '# /#`$8/ P/ %#!'$#/ 0<0'&0
À %A ' ! ';$! ' 5 $%'/< )%' P)' A)' !* / &!'0 )!5 &#'#$0 '# )'') ! 'A ')$*'0 7A
0')' $.$0!')' #! 0 / B/< '# @ 'A$&#%#;./ )!5 #'A$ 0!0#$< $)5 !*0 ' .$A).0 b/' $5
12
)!5 5/)<5 ' ./;0 0<&@#/ % !.;'0 $.$0!' !* 'A !*$5 !'0 ! 'A P)' )!5 'A ')$*'
%A& %)/ 7A $`)$5 & *A' @ ) &#&!'8@<8&#&!' &)0;$ #" 'A $)' )' À %A 'A
;0";/ %A& %)/ 0 .$#5;%5 @< 'A @ #$)%'#$ R#' % 'A)' A$ )%A 0')' $.$0!')' #!
0 ) / 0' ' #$ P%'#$' #" 0!0#$ $)5 !*0 )!5 0<&@#/ % !.;'0 ' )!5 )%A )%' #! 0 ) P%'#$
%#!0 0' !* #" ) ')$*' '&.$)';$ )!5 ) 0' $$ !* $)' Q' 0 '<. %)/ #" $ !"#$%&!' / )$! !*
')0B0 '# A)P 0;%A 0')' )!5 )%' #! $.$0!')' #!0 ` 'A 'A 0 B !5 #" 0'$;%';$ `)$50 '
#! 'A #'A$ A)!5 ' )$ )/` )<0 0 !*/ !;&@$0
E
GZ ! HI D
#
U#!0 5$ ;0 !* $ !"#$%&!' / )$! !* '# %#!'$#/ 'A &#' #! #"
) $#@#' )$& ! ) $.' ' P . %B8)!58./) % ')0B Q" ` `)!' '# / )$! &#P&!'0 'A)' )$
")0' )!5 0&##'A ' 'A / )$! !* )*!' ` / A)P '# 5 $%'/< %#!'$#/ 'A &#'#$0 )!5 A)P /#`8
/)'!%< !"#$&)' #! )@#;' 'A %;$$!' .#0 ' #!0 )!5 P/# % ' 0 #" 'A &%A)! %)/ / !B)*0
7A )%' #!0 ! 'A 0 %)0 & *A' @ 'A %;$$!'0 )../ 5 '# )%A &#'#$ )' )%A # !' ' )!5
'A 0')' $.$0!')' #! & *A' @ 'A /)'0' $)5 !*0 #" # !' )!*/0 )!5 P/# % ' 0 7A
$`)$5 & *A' @ 0 &./< "#$ )%A #@ %' 0;%%00";//< . %B5 ;. )!5 ./)%5 7# !%#;$)*
0&##'A &#P&!'0 ' #! )%A ' & 0'. ) 0&)//' !*)' P $`)$5 %)! @ * P! 5.!5!' #!
) &)0;$ #" 'A &#&!'8'#8&#&!' $B !00 #" 'A &#' #!
E
GZ ! HI #
4 &#@ / $#@#' A)0 'A #@ #" %#/ / %' !* &.'< 0#5) %)!0 ! )! # %
!P $#!&!' Q' A)0 0!0#$0 "#$ 5'%' !* %)!0 ' )! )$& )!5 *$ ..$ 'A)' 'A)' %)! . %B 'A&
;. )!5 ./) % 'A& ! )! #!@#)$5 @ ! ' )!5 ' $;!0 #! $%A)$*)@/ @)''$ 0 7A $#@#' 0
%#!'$#/ 0<0'& A)0 %#&.#!!'0 "#$ !'$.$' !* 0!0#$< !"#$&)' #! ' "#$ !)P *)' !* ' )!5 "#$
%#!'$#// !* 'A )$& )!5 *$ ..$ = *A8/P/ 5% 0 #!0 )@#;' A#` '# 0)$%A "#$ %)!0 )$ &)5
@< ) $ !"#$%&!' / )$! !* )*!' #! 'A @)0 0 #" 'A %;$$!' %A)$* /P/ #" 'A @)''$<
7A 0 )*!' A)0 '# 5% 5 À'A$ 'A $#@#' 0A#;/5 $ )%' P/< 0)$%A "#$ ) %)! "#$ ) %$') !
.$ #5 #" ' & ' $ $&) ! 0')' #!)$< )!5 `) ' "#$ 0#&#! '# @$ !* ' ) %)! ' #$ + $ A)5 @)%B
'# '0 A#& @)0 '# $%A)$* '0 @)''$ 0 7A 0 5% 0 #! A)0 '# @ &)5 'A$ .$ #5 %)//<
#$ À!P$ %$') ! P!'0 #%%;$' 0;%A )0 b!5 !* )! &.'< %)! 7A )*!' 'A$"#$ A)0
'A$ )%' #!0 ' )!5 '0 0')' 0 5'$& !5 @< 'A 0')' #" 'A @)''$< 7A $`)$50 & *A' @
$# &#0' #" 'A ' & ' @;' 'A! @%#& .#0 ' P À! 'A $#@#' 0%;$0 )! &.'< %)! ' #$
/) $* )!5 !*)' P " 'A @)''$< $;!0 )// 'A `)< 5#`! Q! 'A 0 -)&./ ' 'A $ !"#$%&!'
/ )$! !* )*!' 0 !#' 'A !' $ $#@#' 7A 0')'0 ' &#! '#$0 50%$ @ %#!5 ' #!0 ` 'A ! 'A
$#@#' '0/" ' !#' %#!5 ' #!0 #" 'A $#@#' 0 -'$!)/ !P $#!&!' 7A )*!' 0 !P $#!&!'
'A$"#$ !%/;50 'A $0' #" 'A $#@#' ' À %A & *A' %#!') ! #'A$ %#&./- 5% 0 #!8&)B !*
0<0'&0 ' )0 `// )0 'A $#@#' 0 -'$!)/ !P $#!&!'
E
I I cP 0 'A$ -)&./ ')0B0 #" <#;$ #`! 'A)' b' !'# 'A $ !"#$%&!' / )$! !* "$)&8
`#$B ' 5!' "< !* "#$ )%A '0 0')' $.$0!')' #!0 ' )%' #!0 ' )!5 $`)$50 O)B 'A 'A$
-)&./0 )0 "$#& )%A #'A$ )0 .#00 @/ 7A "$)&`#$B 0 P$< )@0'$)%' )!5
- @/ )!5 %)! @ )../ 5 ! &)!< 5 $!' `)<0 :'$'%A '0 / & '0 ! 0#& `)< ! )' / )0'
#! #" <#;$ -)&./0
E
I I D
1>
Q0 'A $ !"#$%&!' / )$! !* "$)&`#$B )5 ;)' '# ;0";//< $.$0!' *#)/8 5 $%'5
/ )$! !* ')0B0 U)! <#; 'A !B #" )!< %/ )$ -%.' #!0 E
I I U#!0 5$ 'A .$#@/ & #" 5$ P !* #; %#;/5 5b! 'A )%' #!0 ! '$&0 #" 'A )%%/ $)'#$ '
0'$ !* À/' )!5 @$)B ' ' À$ <#;$ @#5< &'0 'A &)%A ! S$ <#; %#;/5 5b!
'A& ")$'A$ #;' ' 0)< À$ 'A $;@@$ &'0 'A $#)5 ' %#!0 5$ !* <#;$ )%' #!0 '# @ ' $
'#$ ;0 S$ ' <#; %#;/5 5b! 'A& ")$'A$ ! ' 0)< À$ <#;$ @$) ! &'0 <#;$ @#5<' 'A
)%' #!0 @ !* &;0%/ '` '%A0 '# %#!'$#/ <#;$ / &@0 S$ <#; %#;/5 *# '# ) $)//< A *A /P/
)!5 0)< 'A)' <#;$ )%' #!0 )$ <#;$ %A# %0 #" '# 5$ P A)' 0 'A $ *A' /P/' 'A
$ *A' ./) % '# 5$)` 'A / ! @'`! )*!' )!5 !P $#!&!' S! À)' @)0 0 0 #! /# %)' #!
#" 'A / ! '# @ .$"$$5 #P$ )!#'A$ Q0 'A$ )!< ";!5)&!')/ $)0#! "#$ .$"$$ !* #!
/# %)' #! #P$ )!#'A$ ' #$ 0 ' ;0' ) "$ %A# % Q! $ !"#$%&!' / )$! !* ' 'A .;$.#0 #$ *#)/ #" 'A )*!' 0 "#$&)/ 5 ! '$&0 #" ) 0.% )/
0 *!)/' %)// 5 'A ' 'A)' .)000 "$#& 'A !P $#!&!' '# 'A )*!' 7A $`)$5 0
;0' ) 0 !*/ !;&@$ À#0 P)/; P)$ 0 "$#& 0'. '# 0'. Q!"#$&)//< ' 'A )*!' 0 *#)/
0 '# &)- & 'A '#')/ )&#;!' #" $`)$5 ' $% P0 7A 0 &)!0 &)- & !* !#' ;0'
&&5 )' $`)$5 ' @;' %;&;/)' P $`)$5 ! 'A /# !* $;!
7A ;0 #" ) $`)$5 0 *!)/ '# "#$&)/ 'A 5) #" ) *#)/ 0 #! #" 'A &#0' 5 0' !%' P
")';$0 #" $ !"#$%&!' / )$! !* 4/' A#;*A 'A 0 `)< #" "#$&;/)' !* *#)/0 & *A' )' b$0'
)..)$ / & ' !* ' ! .$)%' % ' A)0 .$#P! '# @ - @/ )!5 ` 5/< )../ %)@/ 7A @0' `)<
'# 0 'A 0 0 '# %#!0 5$ -)&./0 #" A#` ' A)0 @! ' #$ %#;/5 @ ' ;05 d#$ -)&./ ' '#
&)B ) $#@#' / )$! '# `)/B ' $0)$%A$0 A)P .$#P 55 $`)$5 #! )%A ' & 0'. .$#.#$' #!)/
'# 'A $#@#' 0 "#$`)$5 &#' #! Q! &)B !* ) $#@#' / )$! A#` '# 0%). "$#& ) &) ' 'A
$`)$5 0 #"'! $# ;!' / ' 0%).0 ' À! ' @%#&0 4!#'A$ %#&&#! )..$#)%A !
&) / )$! !* 0 '# * P ) $`)$5 #" "#$ P$< ' & 0'. 'A)' .)000 .$ #$ '# 0%). 'A 0
!%#;$)*0 'A )*!' '# 0%). )0 ; %B/< )0 .#00 @/ 7# &)B ) $#@#' / )$! '# b!5 )!5
%#// %' &.'< 0#5) %)!0 "#$ $%<%/ !* ' #! & *A' * P ' ) $`)$5 #" $# &#0' #" 'A ' & '
)!5 'A! ) $`)$5 #" "#$ )%A %)! %#// %'5 #)!5 %#!b$&5 )0 &.'< $ S! & *A'
)/0 # `)!' '# * P 'A $#@#' !*)' P $`)$50 À! ' @;&.0 !'# 'A !*0 ' #$ À! 0#&@#5<
<//0 )' ' d#$ )! )*!' '# / )$! '# ./)< %A%B$0 #$ %A00 ' 'A !)';$)/ $`)$50 )$ "#$
` !! !* ' "#$ /# 0 !* ' )!5 C "#$ 5$)` !* )!5 "#$ )// !#!8'$& !)/ .#0 ' #!0
#; %)! 0 À)' 0 A)..! !* ! )// #" 'A0 -)&./ 0 7A )*!' )/` )<0 / )$!0 '#
&)- & '0 $`)$5 Q" ` `)!' ' '# 5# 0#&'A !* "#$ ;0 ' ` &;0' .$#P 5 $`)$50 '# ' !
0;%A ) `)< 'A)' ! &)- & !* 'A& 'A )*!' ` / )/0 # )%A P #;$ *#)/0 Q' 0 'A;0 %$ ' %)/
'A)' 'A $`)$50 ` 0' ;. '$;/< !5 %)' À)' ` `)!' )%%#&./ 0A5 Q! .)$' %;/) $ ' 'A
$`)$5 0 *!)/ 0 !#' 'A ./)% '# &.)$' '# 'A )*!' .$ #$ B!#`/ 5* )@#;' '# )%A P
À)' ` `)!' ' '# 5#
. / % ' ' $ 01 1 & ' + $ 01 1 & ' ( $ 01 1 & 1T
d#$ -)&./ ' ) %A00 ./)< !* )*!' 0A#;/5 @ $`)$55 #!/< "#$ )%';)//< ` !! !* ' !#' "#$
)%A P !* 0;@*#)/0 0;%A ')B !* '0 #..#!!' 0 . %0 #$ *) ! !* %#!'$#/ #" 'A %!'$ #" 'A
@#)$5 Q" )%A P !* 'A0 0#$'0 #" 0;@*#)/0 `$ $`)$55 ' 'A! 'A )*!' & *A' b!5 ) `)<
'# )%A P 'A& ` 'A#;' )%A P !* 'A $)/ *#)/ d#$ -)&./ ' ' & *A' b!5 ) `)< '# ')B
'A #..#!!' 0 . %0 P! )' 'A %#0' #" /# 0 !* 'A *)& 7A $`)$5 0 *!)/ 0 <#;$ `)<
#" %#&&;! %)' !* '# 'A $#@#' <#; `)!' ' '# )%A P ' !#' <#; `)!' ' )%A P5
R`%#&$0 '# $ !"#$%&!' / )$! !* )$ 0#&' &0 0;$.$ 05 'A)' 'A $`)$50" À %A
5b! #" 'A *#)/ #" / )$! !*" )$ %#&.;'5 ! 'A !P $#!&!' $)'A$ 'A)! ! 'A )*!'
U$') !/< &#0' ;/' &)' *#)/0 "#$ )! &)/0 )$ $%#*! 5 @< %#&.;')' #!0 #%%;$$ !* !0 5
'A $ @#5 0 ' * ' @< 0!0#$0 "#$ $%#*! !* "##5 )!5 A;!*$' .) ! )!5 ./ )0;$ ' '%
RP$'A/00 ' )0 ` 5 0%;005 ! 'A .$P #;0 0%' #! ' #! %)! 0 &./< $5$)` 'A )*!'8
!P $#!&!' !'$")% 0;%A 'A)' 'A0 .)$'0 #" 'A @#5< )$ %#!0 5$5 '# @ #;'0 5 #"
'A )*!' #)!5 'A;0 .)$' #" 'A )*!' 0 !P $#!&!' $ d#$ -)&./ ' " 'A *#)/ %#!%$!0 )
$#@#' 0 !'$!)/ !$*< $0$P# $0 ' 'A! 'A0 )$ %#!0 5$5 '# @ .)$' #" 'A !P $#!&!'
" 'A *#)/ %#!%$!0 'A .#0 ' #!0 #" 'A $#@#' 0 / &@0 ' 'A! 'A0 '## )$ %#!0 5$5 '# @
.)$' #" 'A !P $#!&!'" 'A )*!' 0 @#;!5)$< 0 5$)`! )' 'A !'$")% @'`! 'A / &@0
)!5 'A $ %#!'$#/ 0<0'&0 7A0 'A !*0 )$ %#!0 5$5 !'$!)/ '# 'A $#@#' @;' -'$!)/ '#
'A / )$! !* )*!' d#$ #;$ .;$.#00 ' ' 0 %#!P! !' '# ./) % 'A @#;!5)$< #" 'A / )$! !*
)*!' !#' )' 'A / & ' #" '0 .A<0 %)/ @#5<' @;' )' 'A / & ' #" '0 %#!'$#/
7A $)0#! ` 5# 'A 0 0 'A)' 'A )*!' 0 ;/' &)' *#)/ 0A#;/5 @ 0#&'A !* #P$ À %A
' A)0 &.$"%' %#!'$#/6 ' 0A#;/5 !#' @ )@/ ' "#$ -)&./ ' '# 0 &./< 'A)' 'A $`)$5
A)0 @! $% P5 ! 'A 0)& `)< 'A)' ' & *A' )$@ '$)$ /< %A)!* '0 )%' #!0
7A$"#$ ' ` ./) % 'A $`)$5 0#;$% #;'0 5 #" 'A )*!' 7A 0 5#0 !#' .$%/;5 'A
)*!' "$#& 5b! !* "#$ '0/" ) B !5 #" !'$!)/ $`)$5 ' #$ ) 0 ;!% #" !'$!)/ $`)$50
Q!55 ' 'A 0 0 -)%'/< À)' &)!< $ !"#$%&!' / )$! !* &'A#50 5#
:# ")$ ` A)P @! &.$% 0 $*)$5 !* 'A #@ %' P #" / )$! !* A)P 0) 5 'A)' 'A
)*!' 0 *#)/ 0 '# &)- & 'A $`)$5 ' $% P0 ! 'A /# !* $;! =#` & *A' 'A 0 @ "#$&)//<
5b!5 Q" 'A 0 ;!% #" $`)$50 $% P5 )"'$ ' & 0'. 0 5!#'5 ' 'A! À)' .$% 0 )0.%' #" 'A 0 0 ;!% 5# ` ` 0A '# &)- & Q! *!$)/ ' ` 0B '#
&)- & 'A ' À$ 'A $';$! ' ' 0 5b!5 )0 0#& 0.% b% ";!%' #!
#" 'A $`)$5 0 ;!% Q! 'A 0 &./0' %)0 'A $';$! 0 ;0' 'A 0;& #" 'A $`)$506
#+ $
À$ V 0 ) b!)/ ' & 0'. 7A 0 )..$#)%A &)B0 0!0 ! )../ %)' #!0 ! À %A 'A$ 0
) !)';$)/ !#' #! #" b!)/ ' & 0'. ' 'A)' 0 ' À! 'A )*!'8!P $#!&!' !'$)%' #! @$)B0
!)';$)//< !'# 0;@0 ;!%0 ' À %A ` %)// ' 0;%A )0 ./)<0 #" ) *)& ' '$ .0 'A$#;*A
19
) &) ' #$ )!< 0#$' #" $.)'5 !'$)%' #!0 ,)%A . 0#5 !50 ! ) 0.% )/ 0')' %)// 5 'A
' "#//#`5 @< ) $0' '# ) 0')!5)$5 0')$' !* 0')' #$ '# ) 0')!5)$5 5 0'$ @;' #!
#" 0')$' !* 0')'0 7)0B0 ` 'A . 0#50 #" 'A 0 B !5 )$ %)// 5 Q! . 0#5 %
')0B0 ` 0#&' &0 !5 '# 5 0' !*; 0A 'A 0' #" )// !#!8'$& !)/ 0')'0 ' 5!#'5 ' )!5
'A 0' #" )// 0')'0 ./;0 'A '$& !)/ 0')' ' 5!#'5 S! 'A #'A$ A)!5 ' !b)@/&)!< %)00 'A)' 'A )*!'8!P $#!&!' !'$)%' #! 5#0 !#'
@$)B !)';$)//< !'# 5!' . 0#50 ' @;' 0 &./< *#0 #! )!5 #! ` 'A#;' / & ' d#$
-)&./ ' 'A 0 `#;/5 @ 'A !)';$)/ `)< '# "#$&;/)' ) %#!' !;)/ .$#%008%#!'$#/ ')0B ' #$
)! )../ %)' #! '# ) $#@#' ` 'A ) /# !* / "0.)! %)// 'A0 7A $';$!
"#$&;/)' #! #+ $ 0 .$#@/ &)' % "#$ %#!' !;)/ ')0B0 @%);0 'A b!)/ ' & 0'. `#;/5 @
' )!5 'A $';$! ' À %A 0 À)' ` )$ '$< !* '# &)- & ' %#;/5 '0/" )0 /< @
!b! ' # d#$ -)&./ ' 0;..#0 'A )*!' $% P0 ) $`)$5 #" )' )%A ' & 0'.$
7A;0 ' ! 'A 0 @##B ` ;0 ) 5b! ' #! #" $';$! 'A)' 0 0/ *A'/< &#$ %#&./- %#!%.';)//<
@;' &;%A 0 &./ $ &)'A&)' %)//<
7A )55 ' #!)/ %#!%.' 'A)' ` !5 0 'A)' #" 4%%#$5 !* '# 'A 0 )..$#)%A '
'A )*!' '$ 0 '# 0/ %' )%' #!0 0# 'A)' 'A 0;& #" 'A 5 0%#;!'5 $`)$50 ' $% P0 #P$
'A ";';$ 0 &)- & 5 Q! .)$' %;/) $ ' ' %A##00 '# &)- & 'A -.%'5 6
X #
+ $
À$ 0 ) .)$)&'$' C ' %)// 5 'A 7A 5 0%#;!' $)' 5'$& !0 'A .$0!'
P)/; #" ";';$ $`)$506 ) $`)$5 $% P5
L ' & 0'.0 ! 'A ";';$ 0 `#$'A #!/< ' &0 À)' ' `#;/5 @ `#$'A " ' `$
$% P5 &&5 )'/< Q" ' 'A !b! ' 0;& A)0 ) b! ' P)/; )0 /# !* )0 'A $`)$5
0 ;!% 0 @#;!55 Q" C ' 'A )*!' 0 &<#. % ! @ !* #!/< %#!%$!5 ` 'A
&)- & !* &&5 )' $`)$506 '0 #@ %' P ! 'A 0 %)0 0 '# / )$! A#` '# %A##0 0# )0
&)- & #!/< Q" )%A #" 'A )*!' 0 )%' #!0 A)..!5 #!/< '# ! ;!% 'A &&5 )'
$`)$5 ' !#' ";';$ $`)$50 )0 `//' 'A! ) &<#. % )*!' %#;/5 &)- & #+ $ @< 0.)$)'/<
&)- & !* )%A &&5 )' $`)$5 ?;' ! *!$)/' )%' !* '# &)- & &&5 )' $`)$5
%)! $5;% )%%00 '# ";';$ $`)$50 0# 'A)' 'A $';$! &)< )%';)//< @ $5;%5 40 )..$#)%A0 #! ' 'A #@ %' P ')B0 ";';$ $`)$50 !'# )%%#;!' &#$ 0'$#!*/< 6 'A )*!'
@%#&0 &#$ ")$80 *A'5
E
GZ ! HI d *;$ + 0A#`0 ) ')0B 'A)' 0$P5 )0 )! )$/< / ;0'$)' #! #" $ !"#$%8
&!' / )$! !* 7A #@ %' P A$ 0 '# )../< "#$%0 '# ) %)$' &#P !* )/# !* ) '$)%B 0# )0
'# B. ) .#/ A !*5 '# 'A %)$' "$#& ")// !* #P$ 4 ") /; $ 0 0) 5 '# #%%;$ " 'A .#/ ")//0
.)0' ) * P! )!*/ "$#& P$' %)/ #$ " 'A %)$' -%50 'A / & '0 #" 'A '$)%B 7A .#/ 0
$0' '# P$' %)/ )"'$ )%A ") /; $ 7A 0 ')0B %#;/5 @ '$)'5 )0 . 0#5 % ' À$ 'A !)';$)/
. 0#50 )$ 'A $.)'5 )''&.'0 '# @)/) !% 'A .#/ 7A $`)$5 ! 'A 0 %)0 %#;/5 @
2C
"#$ P$< ' & 0'. #! À %A ") /; $ 5 5 !#' #%%;$ ' 0# 'A)' 'A $';$! )' )%A ' &
`#;/5 @ 'A !;&@$ #" 0'.0 ;!' / ") /; $ 4/' $!)' P/<' ` %#;/5 '$)' .#/ @)/) !% !* )0
) %#!' !;)/ ')0B ' ;0 !* 5 0%#;!' !* Q! 'A 0 %)0 'A $`)$5 `#;/5 @ #! )%A
") /; $ )!5
$# )' )/ / #'A$ ' &0 7A $';$! )' )%A ' & `#;/5 'A! @ $/) '5 '# ' À$ L 0
'A !;&@$ #" ' & 0'.0 @"#$ ") /; $ Q! 'A$ %)0 ' 'A $';$! 0 &)- & 5 @< B. !*
'A .#/ @)/) !%5 "#$ )0 /# !* )0 .#00 @/ E
I I :;..#0 <#; '$)'5 .#/8@)/) !% !* )0 )! . 0#5 % ')0B @;' )/0 # ;05 5 0%#;!' !* ' ` 'A
)// $`)$50 $# -%.' "#$ ) ;.#! ") /; $ A)' 'A! `#;/5 'A $';$! @ )' )%A ' & =#` 5#0 'A 0 $';$! 5 $ "$#& 'A)' ! 'A 5 0%#;!'5 ' %#!' !;)/ "#$&;/)' #! #" 'A 0 ')0B
E
I I ^
Q&)*
!
'A)'
<#;
)$
50
*!
!*
)
$#@#'
'#
$;!
)
&)
#; 5% 5 '# * P ' ) $`)$5 #"
"#$ 0%). !* "$#& 'A &) )!5 ) $`)$5 #" $# )' )// #'A$ ' &0 7A ')0B 0&0 '#
@$)B 5#`! !)';$)//< !'# . 0#50" 'A 0;%%00 P $;!0 'A$#;*A 'A &) " 0# <#; 5% 5
'# '$)' ' )0 )! . 0#5 % ')0B ' À$ 'A *#)/ 0 '# &)- & -.%'5 '#')/ $`)$5 #+ $ 4"'$ $;!! !* 'A / )$! !* )*!' "#$ ) À / ' <#; b!5 'A)' ' 0 0A#` !* !# &.$#P&!' !
0%). !* "$#& 'A &) A)' 0 *# !* `$#!* =)P <#; %' P/< %#&&;! %)'5 '# 'A
)*!' À)' <#; `)!' ' '# )%A P Q! 'A .$%5 !* 0%' #! ` 50%$ @5 '`# B !50 #" $ !"#$%&!' / )$! !* ')0B0 ' #! !
À %A 'A )*!'8!P $#!&!' !'$)%' #! !)';$)//< @$)B0 5#`! !'# ) 0 ;!% #" 0.)$)'
. 0#50 #. 0#5 % ')0B0 $' )!5 #! ! À %A ' 5#0 !#' #%#!' !;)/ ')0B0 $ 7A "#$&$
%)0 0 &)'A&)' %)//< )0 $ @%);0 )%A )%' #! ) %'0 #!/< 'A b! ' !;&@$ #" $`)$50
0;@0 ;!'/< $% P5 5;$ !* 'A . 0#5 Q! 'A 0 @##B ` %#!0 5$ 0#&' &0 #! B !5 #"
.$#@/ & )!5 0#&' &0 'A #'A$' @;' #"'! @#'A Q' 0 'A$"#$ ;0";/ '# 0')@/ 0A #!
!#')' #! 'A)' !)@/0 ;0 '# ')/B .$% 0/< )@#;' @#'A %)00 0 &;/' )!#;0/<
7# @ .$% 0 )@#;' . 0#5 % ')0B0 $ ; $0 0#& )55 ' #!)/ !#')' #! )'A$ 'A)! #!
/# !* 0 ;!% #" ' & 0'.0 ' ` !5 '# %#!0 5$ ) 0$ 0 #" . 0#50 ' )%A #" À %A %#!0 0'0
#" ) b! ' 0 ;!% #" ' & 0'.0 !;&@$ 'A ' & 0'.0 #" )%A . 0#5 0')$' !* )!`
"$#& $# 7A$"#$ ' ` A)P '# $"$ !#' ;0' '# ' 'A 0')' $.$0!')' #! )' ' &
d *;$ + 6 7A .#/8@)/) !% !* ')0B
2
' @;' '# ' 'A 0')' $.$0!')' #! )' ' & #" . 0#5 #)!5 0 & /) $/< "#$ ' '
'
' '%$ =#`P$ ' ' ';$!0 #;' 'A)' À! ` 5 0%;00 . 0#5 % ')0B0 ` ` / )/ & #0'
!P$ A)P '# 5 0' !*; 0A @'`! 5 $!' . 0#50 ` / )/& #0' )/` )<0 @ %#!0 5$ !*
) .)$' %;/) $ 0 !*/ . 0#5 ' #$ 0')' !* 0#&'A !* 'A)' 0 '$; "#$ )// . 0#50 4%%#$5 !*/<'
! .$)%' % ` ` / )/& #0' )/` )<0 )@;0 !#')' #! 0/ *A'/< @< 5$#.. !* 'A -./ % ' $"$!%
'# . 0#5 !;&@$ 7A)' 0 ' ` ` / 0 &./< `$ ' '# $"$ '# ' '%
!5 #! #'A$ %#!P!' #! '# #@') ! ) 0 !*/ !#')' #! 'A)' %#P$0 @#'A . 0#5 %
)!5 %#!' !;)/ ')0B0 A)P 5b!5 'A $';$! )0 ) 0;& #P$ ) b! ' !;&@$ #" '$&0 !
#! %)0 #+ $ )!5 )0 ) 0;& #P$ )! !b! ' !;&@$ #" '$&0 ! 'A #'A$ #+ $ 7A0
%)! @ ;! b5 @< %#!0 5$ !* . 0#5 '$& !)' #! '# @ 'A !'$ !* #" ) 0.% )/ # #
'A)' '$)!0 ' #!0 #!/< '# '0/" )!5 À %A *!$)'0 #!/< $`)$50 #" $# d#$ -)&./ '
%#!0 5$ 'A 0')' '$)!0 ' #! 5 )*$)&6
s0
r1 = +1
s1
r2 = +1
s2
r4 = 0
r5 = 0
r3 = +1
=$ 'A 0#/ 5 0 ;)$ $.$0!'0 'A 0.% )/ )@0#$@ !* 0')' %#$$0.#!5 !* '# 'A !5 #"
)! . 0#5 :')$' !* "$#& ` *' 'A $`)$5 0 ;!% C C C :;&& !*
'A0 ;. ' ` *' 'A 0)& $';$! À'A$ ` 0;& #P$ 'A b$0' V $`)$50 #A$ V $ #$
` 0;& #P$ 'A ";// !b! ' 0 ;!% 7A 0 $&) !0 '$; P! " ` !'$#5;% 5 0%#;!' !*
7A;0 ' ` %)! 5b! 'A $';$! ' ! *!$)/' )0
#++ $
!%/;5 !* 'A .#00 @ / '< 'A)' 'A$ #$ #@;' !#' @#'A $' )!5 ;0 !* 'A
%#!P!' #! #" #& '' !* . 0#5 !;&@$0 À! 'A< )$ !#' !55 ;0 'A0 %#!P!8
' #!0 'A$#;*A#;' 'A $0' #" 'A @##B '# 0 &./ "< !#')' #! )!5 '# -.$00 'A %/# 0 .)$)// /0
@'`! . 0#5 % )!5 %#!' !;)/ ')0B0
X
Q! 'A $ !"#$%&!' / )$! !* "$)&`#$B ' 'A )*!' &)B0 '0 5% 0 #!0 #! 'A @)0 0 #" )
0 *!)/ "$#& 'A !P $#!&!' %)// 5 'A !P $#!&!' 0 Q! 'A 0 0%' #! ` 5 0%;00 À)'
0 $ ; $5 #" 'A 0')' 0 *!)/' )!5 À)' B !5 #" !"#$&)' #! ` 0A#;/5 )!5 0A#;/5 !#' -.%'
' '# .$#P 5 Q! .)$' %;/) $ ' ` "#$&)//< 5b! ) .$#.$'< #" !P $#!&!' 0 )!5 'A $ 0')'
0 *!)/0 'A)' 0 #" .)$' %;/) $ !'$0' ' %)// 5 'A O)$B#P .$#.$'<
Q! 'A 0 @##B ' @< 'A 0')' ` &)! ;0' À)'P$ !"#$&)' #! 0 )P) /) @/ '# 'A )*!'
)00;& 'A)' 'A 0')' 0 * P! @< 0#& .$.$#%00 !* 0<0'& À %A 0 !#& !)//< .)$' #"
'A !P $#!&!' 5# !#' )55$00 'A 00;0 #" %#!0'$;%' !* ' %A)!* !* ' #$ / )$! !* 'A
-
2 $ '
+ ' 01 1
' 01 1
' 01 1 & 2
0')' 0 *!)/ ! 'A 0 @##B ')B 'A 0 )..$#)%A !#' @%);0 ` %#!0 5$ 0')' $.$0!')8
' #! '# @ ;! &.#$')!' ' @;' ! #$5$ '# "#%;0 ";//< #! 'A 5% 0 #!8&)B !* 00;0 Q! #'A$
`#$50 ' #;$ &) ! %#!%$! 0 !#' ` 'A 50 *! !* 'A 0')' 0 *!)/' @;' #! 5% 5 !* À)' )%' #!
'# ')B )0 ) ";!%' #! #" À)'P$ 0')' 0 *!)/ 0 )P) /) @/ U$') !/< 'A 0')' 0 *!)/ 0A#;/5 !%/;5 &&5 )' 0!0)' #!0 0;%A )0 0!0#$< &)8
0;$&!'0 ' @;' ' %)! %#!') ! &;%A &#$ 'A)! 'A)' :')' $.$0!')' #!0 %)! @ A *A/<
.$#%005 P$0 #!0 #" #$ * !)/ 0!0)' #!0 ' #$ 'A< %)! @ %#&./- 0'$;%';$0 @; /' ;. #P$
' & "$#& 'A 0 ;!% #" 0!0)' #!0 d#$ -)&./ ' )0 .#./ ` &#P #;$ <0 #P$ )
0%! ' ` 'A #!/< ) ' !< 0.#' #'A "#P) $ P 0 @/ ! 5') / )' )!< #! ' & ' )!5 <' @; /5 ;. )
$ %A )!5 5') / 5 $.$0!')' #! #" ) 0%! S$ ' &#$ #@P #;0/<' ` %)! /# #B )' )! #@ %' '
'A! /# #B )`)<' )!5 0' / B!#` 'A)' ' 0 'A$ %)! A)$ 'A `#$5 0 ' )!5 %#!0 5$
#;$0/P 0 '# @ ! '#')//< 5 $!' 0')'0 5.!5 !* #! 'A ;0' #! 'A)' %)& @"#$ )!5
À %A 0 !# /# !*$ );5 @/ 4' ) &#$ &;!5)! /P/' ) %#!'$#/ 0<0'& %)! &)0;$ .#0 ' #!
)' '`# 5 $!' ' &0 '# .$#5;% ) 0')' $.$0!')' #! !%/;5 !* P/# % '< Q! )// #" 'A0
%)00 'A 0')' 0 %#!0'$;%'5 )!5 &) !') !5 @)05 #! &&5 )' 0!0)' #!0 '#*'A$ ` 'A
'A .$P #;0 0')' #$ 0#& #'A$ &&#$< #" .)0' 0!0)' #!0 Q! 'A 0 @##B ' ` 5# !#' -./# $
A#` 'A)' 0 5#! ' @;' %$') !/< ' %#;/5 @ )!5 A)0 @! 5#! 7A$ 0 !# $)0#! '# $0'$ %'
'A 0')' $.$0!')' #! '# &&5 )' 0!0)' #!0 ! '<. %)/ )../ %)' #!0 ` 0A#;/5 -.%'
'A 0')' $.$0!')' #! '# @ )@/ '# !"#$& 'A )*!' #" &#$ 'A)! 'A)'
S! 'A #'A$ A)!5 ' 'A 0')' 0 *!)/ 0A#;/5 !#' @ -.%'5 '# !"#$& 'A )*!' #"
P$<'A !* )@#;' 'A !P $#!&!' ' #$ P! P$<'A !* 'A)' %#;/5 @ ;0";/ '# ' ! &)B !*
5% 0 #!0 Q" 'A )*!' 0 ./)< !* @/) %B )%B ' ` 0A#;/5 !#' -.%' ' '# B!#` À)' 'A !-'
%)$5 0 ! 'A 5%B Q" 'A )*!' 0 )!0`$ !* 'A .A#! ' ` 0A#;/5 !#' -.%' ' '# B!#` !
)5P)!% À# 'A %)// $ 0 Q" 'A )*!' 0 ) .)$)&5 % %)// 5 '# ) $#)5 )%% 5!' ' ` 0A#;/5
!#' -.%' ' '# B!#` &&5 )'/< 'A !'$!)/ ! ;$ 0 #" )! ;!%#!0% #;0 P %' & Q! )// #"
'A0 %)00 'A$ 0 A 55! 0')' !"#$&)' #! ! 'A !P $#!&!' ' )!5 'A)' !"#$&)' #! `#;/5
@ ;0";/ " 'A )*!' B!` ' ' @;' 'A )*!' %#;/5 !#' B!#` ' @%);0 ' A)0 !P$ $% P5
)!< $/P)!' 0!0)' #!0 Q! 0A#$' ' ` 5#! ' ");/' )! )*!' "#$ !#' B!#` !* 0#&'A !* 'A)'
&)''$0 ' @;' #!/< "#$ A)P !* B!#`! 0#&'A !* )!5 'A! "#$*#''! '
A)' ` `#;/5 / B ' 5)//< ' 0 ) 0')' 0 *!)/ 'A)' 0;&&)$ 0 .)0' 0!0)' #!0 %#&.)%'/<
<' ! 0;%A ) `)< 'A)' )// $/P)!' !"#$&)' #! 0 $') !5 7A 0 !#$&)//< $ ; $0 &#$ 'A)!
'A &&5 )' 0!0)' #!0 ' @;' !P$ &#$ 'A)! 'A %#&./' A 0'#$< #" )// .)0' 0!0)' #!0
4 0')' 0 *!)/ 'A)' 0;%%50 ! $') ! !* )// $/P)!' !"#$&)' #! 0 0) 5 '# @ '
#$ '# A)P #` 5b! 'A 0 "#$&)//< @/#` $ d#$ -)&./ ' ) %A%B$0
.#0 ' #!" 'A %;$$!' %#!b*;$)' #! #" )// 'A . %0 #! 'A @#)$5" `#;/5 0$P )0 ) O)$B#P
0')' @%);0 ' 0;&&)$ 0 P$<'A !* &.#$')!' )@#;' 'A %#&./' 0 ;!% #" .#0 ' #!0
'A)' / 5 '# ' O;%A #" 'A !"#$&)' #! )@#;' 'A 0 ;!% 0 /# 0' ' @;' )// 'A)' $)//< &)''$0
"#$ 'A ";';$ #" 'A *)& 0 $') !5 : & /) $/<' 'A %;$$!' .#0 ' #! )!5 P/# % '< #" ) %)!!#!
@)// 0 )// 'A)' &)''$0 "#$ '0 ";';$ *A' Q' 5#0! ' &)''$ A#` 'A)' .#0 ' #! )!5 P/# % '<
%)& )@#;' 7A 0 0 0#&' &0 )/0 # $"$$5 '# )0 )! !5.!5!% #" .)'A .$#.$'<
@%);0 )// 'A)' &)''$0 0 ! 'A %;$$!' 0')' 0 *!)/ '0 &)! !* 0 !5.!5!' #" 'A
.)'A ' #$ A 0'#$<' #" 0 *!)/0 'A)' A)P / 5 ;. '# '
!#` "#$&)/ /< 5b! 'A O)$B#P .$#.$'< "#$ 'A $ !"#$%&!' / )$! !* .$#@/ &
2+
7# B. 'A &)'A&)' %0 0 &./ ' ` )00;& A$ 'A)' 'A $ )$ ) b! ' !;&@$ #" 0')'0
)!5 $`)$5 P)/;0 7A 0 !)@/ 0 ;0 '# `#$B ! '$&0 #" 0;&0 )!5 .$#@)@ / ' 0 $)'A$ 'A)!
!'*$)/0 )!5 .$#@)@ / '< 5!0 ' 0 ' @;' 'A )$*;&!' %#;/5 )0 /< @ -'!55 '# !%/;5
0')'0 )!5 $`)$50 U#!0 5$ A#` ) *!$)/ !P $#!&!' & *A' $0.#!5 )' ' &
%#!' !;#;0
'# 'A )%' #! ')B! )' ' & Q! 'A &#0' *!$)/' %);0)/ %)0 'A 0 $0.#!0 &)<
5.!5 #! P$<'A !* 'A)' A)0 A)..!5 )$/ $ Q! 'A 0 %)0 'A 5<!)& %0 %)! @ 5b!5
#!/< @< 0.% "< !* 'A %#&./' .$#@)@ / '< 5 0'$ @;' #!6
#+3 $
"#$ )// ' ' )!5 )// .#00 @/ P)/;0 #" 'A .)0' P!'06 Q" 'A 0')'
0 *!)/ A)0 'A ' #! 'A #'A$ A)!5 ' 'A! 'A !P $#!&!' 0 $0.#!0 )' 5.!50 #!/< #! 'A 0')' )!5 )%' #! $.$0!')' #!0 )' ' ! À %A %)0 'A !P $#!&!' 0
5<!)& %0 %)! @ 5b!5 @< 0.% "< !* #!/<
#+1 $
"#$ )// ' ' ' )!5 Q! #'A$ `#$50 ' ) 0')' $.$0!')' #! A)0 'A O)$B#P .$#.$'<'
)!5 0 ) O)$B#P 0')' ' " )!5 #!/< " #+1 $ "#$ )// ' ' )!5 A 0'#$ 0 ' Q" )! !P $#!&!' A)0 'A O)$B#P .$#.$'<' 'A! '0 #!80'. 5<!)& %0 #+1 $ !)@/
;0 '# .$5 %' 'A !-' 0')' )!5 -.%'5 !-' $`)$5 * P! 'A %;$$!' 0')' )!5 )%' #!
S! %)! 0A#` 'A)' @< '$)' !* 'A 0 ;)' #! #! %)! .$5 %' )// ";';$ 0')'0 )!5 -.%'5
$`)$50 "$#& B!#`/ 5* #!/< #" 'A %;$$!' 0')' )0 `// )0 0 .#00 @/ * P! 'A %#&./'
A 0'#$< ;. '# 'A %;$$!' ' & Q' )/0 # "#//#`0 'A)' O)$B#P 0')'0 .$#P 5 'A @0' .#00 @/
@)0 0 "#$ %A##0 !* )%' #!0 7A)' 0 ' 'A @0' .#/ %< "#$ %A##0 !* )%' #!0 )0 ) ";!%' #! #" )
O)$B#P 0')' 0 *!)/ 0 ;0' )0 *##5 )0 'A @0' .#/ %< "#$ %A##0 !* )%' #!0 )0 ) ";!%' #! #"
%#&./' A 0'#$ 0
,P! À! 'A 0')' 0 *!)/ 0 !#!8O)$B#P ' ' 0 0' / )..$#.$ )' '# 'A !B #" 'A 0')' !
$ !"#$%&!' / )$! !* )0 )! )..$#- &)' #! '# ) O)$B#P 0')' Q! .)$' %;/) $' ` )/` )<0 `)!'
'A 0')' '# @ ) *##5 @)0 0 "#$ .$5 %' !* ";';$ $`)$50 )!5 "#$ 0/ %' !* )%' #!0 Q! %)00
! À %A ) &#5/ #" 'A !P $#!&!' 0 / )$!5 #0 UA).'$ 9 $' ` )/0 # `)!' 'A 0')'
'# @ ) *##5 @)0 0 "#$ .$5 %' !* 0;@0 ;!' 0')'0 O)$B#P 0')'0 .$#P 5 )! ;!0;$.)005
@)0 0 "#$ 5# !* )// #" 'A0 'A !*0 7# 'A -'!' 'A)' 'A 0')' )..$#)%A0 'A )@ / '< #"
O)$B#P 0')'0 ! 'A0 `)<0 ' #! ` / #@') ! @''$ .$"#$&)!% "$#& $ !"#$%&!' / )$! !*
0<0'&0 d#$ )// #" 'A0 $)0#!0 ' ' 0 ;0";/ '# 'A !B #" 'A 0')' )' )%A ' & 0'. )0
)! )..$#- &)' #! '# ) O)$B#P 0')' ' )/' A#;*A #! 0A#;/5 $&&@$ 'A)' ' &)< !#' ";//<
0)' 0"< 'A O)$B#P .$#.$'<
7A O)$B#P .$#.$'< 0 &.#$')!' ! $ !"#$%&!' / )$! !* @%);0 5% 0 #!0 )!5 P)/;0
)$ )00;&5 '# @ ) ";!%' #! #!/< #" 'A %;$$!' 0')' Q! #$5$ "#$ 'A0 '# @ %' P
)!5 !"#$&)' P ' 'A 0')' $.$0!')' #! &;0' @ !"#$&)' P 4// #" 'A 'A#$< .$0!'5
! 'A 0 @##B )00;&0 O)$B#P 0')' 0 *!)/0 7A 0 &)!0 'A)' !#' )// 'A 'A#$< 0'$ %'/<
)../ 0 '# %)00 ! À %A 'A O)$B#P .$#.$'< 5#0 !#' 0'$ %'/< )../< =#`P$ ' 'A 'A#$<
23
5P/# .5 "#$ 'A O)$B#P %)0 0' / A/.0 ;0 '# ;!5$0')!5 'A @A)P #$ #" 'A )/* #$ 'A&0 '
)!5 'A )/* #$ 'A& %)! )!5 A)P @! 0;%%00";//< )../ 5 '# &)!< ')0B0 'A)' `$ !#'
0'$ %'/< O)$B#P 4 ";// ;!5$0')!5 !* #" 'A 'A#$< #" 'A O)$B#P %)0 0 )! 00!' )/
"#;!5)' #! "#$ -'!5 !* ' '# 'A &#$ %#&./- )!5 $)/ 0' % !#!8O)$B#P %)0 d !)//<' `
!#' 'A)' 'A )00;&.' #! #" O)$B#P 0')' $.$0!')' #!0 0 !#' ;! ; '# $ !"#$%&!'
/ )$! !* ' @;' 0 )/0 # .$0!' ! &#0' " !#' )// #'A$ )..$#)%A0 '# )$' b% )/ !'// *!%
E
GZ ! HI ^
Q! 'A .#/ 8@)/) !% !* ')0B !'$#5;%5 )$/ $ ' ) 0')' 0 *!)/ `#;/5
@ O)$B#P " ' -)%'/< 0.% b5 ' #$ &)5 ' .#00 @/ '# -)%'/< $%#!0'$;%' ' 'A .#0 ' #!
)!5 P/# % '< #" 'A %)$' )/# !* 'A '$)%B ' 'A )!*/ @'`! 'A %)$' )!5 'A .#/ ' )!5 'A
$)' )' À %A 'A 0 )!*/ 0 %A)!* !* #'A )!*;/) $ P/# % '< $ Q! )! 5)/ 5 %)$'8.#/ 0<0'& '
'A 0 !"#$&)' #! `#;/5 @ 0; % !' '# -)%'/< .$5 %' 'A ";';$ @A)P #$ #" 'A %)$' )!5
.#/ ' * P! 'A )%' #!0 ')B! @< 'A %#!'$#// $ Q! .$)%' % ' A#`P$ ' ' 0 !P$ .#00 @/
'# B!#` 'A 0 !"#$&)' #! -)%'/< @%);0 )!< $)/ 0!0#$ `#;/5 !'$#5;% 0#& 5 0'#$' #!
)!5 5/)< ! '0 &)0;$&!'0 d;$'A$&#$ ' ! )!< $)/ %)$'8.#/ 0<0'& 'A$ )$ )/` )<0
#'A$ %'0 ' 0;%A )0 'A @!5 !* #" 'A .#/ ' 'A '&.$)';$0 #" 'A À/ )!5 .#/
@)$ !*0 ' )!5 P)$ #;0 "#$&0 #" @)%B/)0A ' À %A 0/ *A'/< ) %' 'A @A)P #$ #" 'A 0<0'&
7A0 ")%'#$0 `#;/5 %);0 P #/)' #!0 #" 'A O)$B#P .$#.$'< " 'A 0')' 0 *!)/ `$ #!/<
'A .#0 ' #!0 )!5 P/# % ' 0 #" 'A %)$' )!5 'A .#/ =#`P$ ' #"'! 'A .#0 ' #!0 )!5 P/# % ' 0 0$P ; ' `// )0 0')'0 :#& )$/< 0';5 0
#" / )$! !* '# 0#/P 'A .#/8@)/) !% !* ')0B ;05 ) P$< %#)$0 0')' 0 *!)/ À %A 5 P 55
%)$' .#0 ' #!0 !'# 'A$ $* #!06 $ *A' ' /"' ' )!5 & 55/ #)!5 0 & /) $ $#;*A ;)!' )' #!0 #"
'A #'A$ 'A$ !'$ !0 % 0')' P)$ )@/0 $ 7A 0 5 0' !%'/< !#!8O)$B#P 0')' `)0 0; % !' '#
)//#` 'A ')0B '# @ 0#/P 5 )0 /< @< $ !"#$%&!' / )$! !* &'A#50 Q! ")%' ' 'A 0 %#)$0
$.$0!')' #! &)< A)P ")% / ')'5 $). 5 / )$! !* @< "#$% !* 'A / )$! !* )*!' '# *!#$
b! 5 0' !%' #!0 'A)' `#;/5 !#' A)P @! ;0";/ ! 0#/P !* 'A ')0B
E
GZ ! HI Q! 5$)` .#B$ ' )%A ./)<$ 0 5)/' ) A)!5 #" bP %)$50 7A$ 0 ) $#;!5
#" @'' !* ' ! À %A )%A ./)<$ -%A)!*0 0#& #" A 0 %)$50 "#$ !` #!0 ' )!5 'A! 'A$
0 ) b!)/ $#;!5 #" @'' !* 4' )%A $#;!5 #" @'' !* ' )%A ./)<$ &;0' &)'%A 'A A *A0'
@'0 #" 'A #'A$ ./)<$0 #$ /0 5$#. #;' #"#/5 $ 4"'$ 'A 0%#!5 $#;!5 #" @'' !* ' 'A
./)<$ ` 'A 'A @0' A)!5 À# A)0 !#' "#/5 5 0 'A ` !!$ )!5 %#// %'0 )// 'A @'0
7A 0')' 0 *!)/ ! 5$)` .#B$ 0 5 $!' "#$ )%A ./)<$ ,)%A ./)<$ B!#`0 'A %)$50
! A 0 #`! A)!5 ' @;' %)! #!/< *;00 )' 'A#0 ! 'A #'A$ ./)<$0 A)!50 4 %#&&#! & 0')B
0 '# 'A !B 'A)' ) O)$B#P 0')' 0 *!)/ 0A#;/5 !%/;5 'A %#!'!'0 #" )// 'A ./)<$0 A)!50
)!5 'A %)$50 $&) ! !* ! 'A 5%B Q! ) ") $ *)& ' A#`P$ ' ` )00;& 'A)' 'A ./)<$0
)$ ! .$ !% ./ ;!)@/ '# 5'$& ! 'A0 'A !*0 "$#& 'A $ .)0' #@0$P)' #!0 Q" ) ./)<$
5 5 B!#` 'A& ' 'A! 0A %#;/5 .$5 %' 0#& ";';$ P!'0 #0;%A )0 'A %)$50 #! %#;/5
-%A)!* "#$$ #
'A)! @< $&&@$ !* )// .)0' #@0$P)' #!0
Q! )55 ' #! '# B!#`/ 5* #" #! 0 #`! %)$50 ' 'A 0')' ! 5$)` .#B$ 0A#;/5 !%/;5 'A
@'0 )!5 'A !;&@$0 #" %)$50 5$)`! @< 'A #'A$ ./)<$0 d#$ -)&./ ' " #! #" 'A #'A$
./)<$0 5$` 'A$ !` %)$50 ' <#; &)< 0;0.%' A $') !5 ) .) $ )!5 )5 ;0' <#;$ *;00 )'
21
'A 0'$!*'A #" A 0 A)!5 )%%#$5 !*/< 7A ./)<$0 @'0 )/0 # ! ;!% <#;$ )0000&!' #"
'A $ A)!50 Q! ")%' ' &;%A #" <#;$ .)0' A 0'#$< ` 'A 'A0 .)$' %;/) $ ./)<$0 0 .)$' #" 'A
O)$B#P 0')' c#0 ,// ! / B '# @/; ' #$ 5#0 0A ./)< %#!0$P)' P/< c#0 A$ ")% #$
5&)!#$ .$#P 5 %/;0 '# 'A 0'$!*'A #" A$ A)!5 =#` 5#0 # 0 ./)< %A)!* À! '
0 /)' )' ! *A' ' #$ À! A A)0 )/$)5< `#! ) /#' #" &#!< 4/' A#;*A P$<'A !* P$ #@0$P5 )@#;' 'A #'A$ ./)<$0 &)< A)P )! %' #! 'A
.$#@)@ / ' 0 'A)' 'A< )$ A#/5 !* P)$ #;0 B !50 #" A)!50 ' ! .$)%' % 'A 0 0 ")$ '## &;%A
'# $&&@$ )!5 )!)/< ' )!5 &#0' #" ' ` / A)P !# %/ )$ %' #! #! 0 .$5 %' #!0
)!5 5% 0 #!0 N$< *##5 .#B$ ./)<$0 )$ )5.' )' $&&@$ !* ;0' 'A B< %/;0 ' )!5
)' 0 !* ;. !` ./)<$0 ; %B/<' @;' !# #! $&&@$0 P$<'A !* 'A)' 0 $/P)!' 40 )
$0;/' ' 'A 0')' $.$0!')' #!0 .#./ ;0 '# &)B 'A $ .#B$ 5% 0 #!0 )$ ;!5#;@'5/<
0;@8O)$B#P ' )!5 'A 5% 0 #!0 'A&0/P 0 )$ .$0;&)@/< &.$"%' RP$'A/00 ' .#./
0' / &)B P$< *##5 5% 0 #!0 ! 0;%A ')0B0 %#!%/;5 'A)' 'A !)@ / '< '# A)P )%%00 '#
) O)$B#P 0')' $.$0!')' #! 0 .$#@)@/< !#' ) 0P$ .$#@/ & "#$ ) $ !"#$%&!'
/ )$! !* )*!'
E
I I Q&)* ! 'A)' <#; )$ ) P 0 #! 0<0'& A! <#; )$ b$0' ';$!5
#! "#$ 'A 5)<' )! &)* ##50 !'# <#;$ %)&$) #; %)! 0 /#'0 #" 'A !*0 ' @;' !#' )//
'A !*0 #; %)! ' 0 #@ %'0 'A)' )$ #%%/;55 ' )!5 #" %#;$0 <#; %)! ' 0 #@ %'0 'A)'
)$ @A !5 <#; 4"'$ 0 !* 'A)' b$0' 0%! ' 5# <#; A)P )%%00 '# 'A O)$B#P 0')' #"
'A !P $#!&!' :;..#0 <#;$ %)&$) `)0 @$#B! 'A)' 5)< )!5 <#; $% P5 !# &)*0
)' )//' )// 5)< #;/5 <#; A)P )%%00 '# 'A O)$B#P 0')' 'A!
4 $ !"#$%&!' / )$! !* ')0B 'A)' 0)' 0b0 'A O)$B#Pb! .$#.$'< 0 %)// 5 ) ' #$ Q" 'A 0')' )!5 )%' #! 0.)%0 )$ ' ' 'A! ' 0 %)// 5 ) d ! ' OcM0 )$ .)$' %;/) $/< &.#$')!' '# 'A 'A#$< #"
$ !"#$%&!' / )$! !* '$)' 'A& -'!0 P/< 'A$#;*A#;' 'A 0 @##B 'A< )$ )// <#;
!5 '# ;!5$0')!5 "#$ 9C #" &#5$! $ !"#$%&!' / )$! !*
)!5
@<
'A
#!80'.
4 .)$' %;/) $ b! ' OcM 0 5b!5 @< '0 0')' )!5 )%' #! 0'0
5<!)& %0 #" 'A !P $#!&!' _ P! )!< 0')' )!5 )%' #! ' )!5 G ' 'A .$#@)@ / '< #" )%A
.#00 @/ !-' 0')' ' ' 0
#+2 $
: & /) $/<' * P! )!< %;$$!' 0')' )!5 )%' #! ' )!5 G ' '#*'A$ ` 'A )!< !-' 0')' ' '
'A -.%'5 P)/; #" 'A !-' $`)$5 0
#+> $
22
7A0 '`# ;)!' ' 0 ' )!5 ' %#&./'/< 0.% "< 'A &#0' &.#$')!' )0.%'0 #"
'A 5<!)& %0 #" ) b! ' OcM ##!/< !"#$&)' #! )@#;' 'A 5 0'$ @;' #! #" $`)$50 )$#;!5
'A -.%'5 P)/; 0 /# 0' $ O#0' #" 'A 'A#$< ` .$0!' ! 'A $0' #" 'A 0 @##B &./ % '/<
)00;&0 'A !P $#!&!' 0 ) b! ' OcM
E
GZ ! HI #
7A $%<%/ !* $#@#' # ,-)&./ ++ $ %)! @ ';$!5 !'# ) 0 &./
-)&./ #" )! OcM @< 0 &./ "< !* ' )!5 .$#P 5 !* 0#& &#$ 5') /0 #S;$ ) & 0 '#
.$#5;% ) 0 &./ -)&./ ' !#' ) .)$' %;/) $/< $)/ 0' % #!$ %)// 'A)' 'A )*!' &)B0 )
5% 0 #! )' ' &0 5'$& !5 @< -'$!)/ P!'0 ##$ @< #'A$ .)$'0 #" 'A $#@#' 0 %#!'$#/
0<0'& $ 4' )%A 0;%A ' & 'A $#@#' 5% 50 À'A$ ' 0A#;/5 $ )%' P/< 0)$%A "#$ )
%)! ' $ $&) ! 0')' #!)$< )!5 `) ' "#$ 0#&#! '# @$ !* ' ) %)! ' #$ + $ *# @)%B '# A#&
@)0 '# $%A)$* '0 @)''$< :;..#0 'A !P $#!&!' `#$B0 )0 "#//#`0 7A @0' `)< '#
b!5 %)!0 0 '# )%' P/< 0)$%A "#$ 'A& ' @;' 'A 0 $;!0 5#`! 'A $#@#' 0 @)''$<' À$)0 ;0'
`) ' !* 5#0 !#' A!P$ 'A $#@#' 0 0)$%A !* ' 'A .#00 @ / '< - 0'0 'A)' '0 @)''$< ` /
@%#& 5./'5 Q! 'A 0 %)0 'A $#@#' &;0' 0A;' 5#`! )!5 `) ' '# @ $0%;5 #.$#5;% !*
) /#` $`)$5 $ 7A )*!' &)B0 '0 5% 0 #!0 0#/ /< #! 'A @)0 0 #" 'A !$*< /P/ #" 'A @)''$< Q'
%)! 5 0' !*; 0A '`# /P/0 ' )!5 ' 0# 'A)' 'A 0')' 0' 0 ('
;0 %)// 'A .#00 @/ 5% 0 #!0" 'A )*!' 0 )%' #!0" ' ' )!5
A!
'A !$*< /P/ 0 ' $%A)$* !* `#;/5 )/` )<0 @ "##/ 0A ' 0# ` 5# !#' !%/;5 ' ! 'A
)%' #! 0' "#$ 'A 0 0')' 7A )*!' 0 )%' #! 0'0 )$6
#
$
# $
Q" 'A !$*< /P/ 0 ' 'A! ) .$ #5 #" )%' P 0)$%A %)! )/` )<0 @ %#&./'5
` 'A#;' $ 0B #" 5./' !* 'A @)''$< 4 .$ #5 #" 0)$%A !* @* !! !* ` 'A ) !$*<
/P/ / )P0 'A !$*< /P/ ` 'A .$#@)@ / '< )!5 $5;%0 ' '# ` 'A .$#@)@ / '<
S! 'A #'A$ A)!5 ' ) .$ #5 #" 0)$%A !* ;!5$')B! À! 'A !$*< /P/ 0
/ )P0 ' ` 'A .$#@)@ / '< )!5 5./'0 'A @)''$< ` 'A .$#@)@ / '< Q! 'A
/)''$ %)0 ' 'A $#@#' &;0' @ $0%;5 ' @;' 'A! 'A @)''$< 0 'A! $%A)$*5 @)%B '# ,)%A %)! %#// %'5 @< 'A $#@#' %#;!'0 )0 ) ;! ' $`)$5 ' À$)0 ) $`)$5 #" $0;/' 0
À!P$ 'A $#@#' A)0 '# @ $0%;5 (' )!5 ' ` 'A ' $0.%' P/<
5!#' 'A -.%'5 !;&@$ #" %)!0 'A $#@#' ` / %#// %' #)!5 A!% 'A -.%'5 $`)$5 $
À / 0)$%A !* )!5 À / `) ' !* d !)//<' '# B. 'A !*0 0 &./ ' 0;..#0 'A)' !# %)!0 %)!
@ %#// %'5 5;$ !* ) $;! A#& "#$ $%A)$* !* ' )!5 'A)' !# %)!0 %)! @ %#// %'5 #! ) 0'.
! À %A 'A @)''$< 0 5./'5 7A 0 0<0'& 0 'A! ) b! ' OcM' )!5 ` %)! `$ ' 5#`!
'A '$)!0 ' #! .$#@)@ / ' 0 )!5 'A -.%'5 $`)$50 ' )0 ! 7)@/ + 4 0 ) ;0";/ `)< '# 0;&&)$ 'A 5<!)& %0 #" ) b! ' OcM d *;$
++ 0A#`0 'A '$)!0 ' #! *$).A "#$ 'A $%<%/ !* $#@#' -)&./ 7A$ )$ '`# B !50 #"
2>
7)@/ +6 7$)!0 ' #! .$#@)@ / ' 0 )!5 -.%'5 $`)$50 "#$ 'A b! ' OcM #" 'A $%<%/ !*8
$#@#' -)&./ 7A$ 0 ) $#` "#$ )%A .#00 @/ %#&@ !)' #! #" %;$$!' 0')' ' ' !-' 0')' '
' )!5 )%' #! .#00 @/ ! 'A %;$$!' 0')' ' # $ +
C
C
C
C C
!#506 )!5 7A$ 0 ) 0')' !#5 "#$ )%A .#00 @/ 0')' #) /) $*
#.! % $%/ /) @/ 5 @< 'A !)& #" 'A 0')' $' )!5 )! )%' #! !#5 "#$ )%A 0')'8)%' #!
.) $ # $ #) 0&)/ / 0#/ 5 % $%/ /) @/G5 @< G )!5 %#!!%'5 @< ) / ! '# 'A 0')' !#5 $ :')$' !* ! 0')' )!5 ')B !* )%' #! &#P0 <#; )/# !* 'A / ! "$#& 0')' !#5 '# )%' #!
!#5 # $ 7A! 'A !P $#!&!' $0.#!50 ` 'A ) '$)!0 ' #! '# 'A !-' 0')' 0 !#5 P )
#! #" 'A )$$#`0 / )P !* )%' #! !#5 # $ ,)%A )$$#` %#$$0.#!50 '# ) '$ ./ # $
' À$ 0 'A !-' 0')' ' )!5 ` /) @/ 'A )$$#` ` 'A 'A '$)!0 ' #! .$#@)@ / '< ' '
)!5 'A -.%'5 $`)$5 "#$ 'A)' '$)!0 ' #! ' R#' 'A)' 'A '$)!0 ' #! .$#@)@ / ' 0
/) @/ !* 'A )$$#`0 / )P !* )! )%' #! !#5 )/` )<0 0;& '# #!
E
I I 400;& !* ) b! ' OcM ` 'A ) b! ' !;&@$ #" $`)$5 P)/;0 ' `$ ' )! ;)' #! "#$ 'A
'$)!0 ' #! .$#@)@ / ' 0 )!5 'A -.%'5 $`)$50 ! '$&0 #" 'A # !' %#!5 ' #!)/ 5 0'$ @;' #!
! #+1 $ 4/& #0' )// $ !"#$%&!' / )$! !* )/* #$ 'A&0 )$ @)05 #! 0' &)' !* "
";!%' #!0 #" 0')'0 ##$ #" 0')'8)%' #! .) $0 $ 'A)' 0' &)' ' 0 "#$ 'A )*!' '#
@ ! ) * P! 0')' ##$ A#` *##5 ' 0 '# .$"#$& ) * P! )%' #! ! ) * P! 0')' $ 7A
!#' #! #" A#` *##5 A$ 0 5b!5 ! '$&0 #" ";';$ $`)$50 'A)' %)! @ -.%'5 ' #$ '
'# @ .$% 0 ' ! '$&0 #" -.%'5 $';$! S" %#;$0 'A $`)$50 'A )*!' %)! -.%' '#
$% P ! 'A ";';$ 5.!50 #! À)' )%' #!0 ' ` / ')B 4%%#$5 !*/<' P)/; ";!%' #!0 )$
2T
1, R wait
1–β , –3
β , R search
search
wait
recharge
1, 0
high
low
wait
search
1, R wait
1–α , R search
α, R search
d *;$ ++ 6 7$)!0 ' #! *$).A "#$ 'A $%<%/ !*8$#@#' -)&./ 7A *$).A A)0 ) !#5 "#$
)%A 0')' ' 0A#`! )0 ) /) $* % $%/ ' )!5 ) !#5 "#$ )%A 0')'8)%' #! .) $' 0A#`! )0 ) 0&)//
0#/ 5 % $%/ ,)%A )$$#` 0 /) @/ 5 @< 'A '$)!0 ' #! .$#@)@ / '< )!5 'A -.%'5 $`)$5 "#$
'A)' '$)!0 ' #!
5b!5 ` 'A $0.%' '# .)$' %;/) $ .#/ % 0
%)// 'A)' ) .#/ %<' ' 0 ) &).. !* "$#& 0')'0 ' ' )!5 )%' #!0 ' # $ ' '#
'A .$#@)@ / '< # $ #" ')B !* )%' #! G À! ! 0')' Q!"#$&)//<' 'A #" ) 0')' ;!5$ ) .#/ %< ' 5!#'5 # $ ' 0 'A -.%'5 $';$! À! 0')$' !* ! )!5 "#//#` !*
'A$)"'$ d#$ OcM0 ' ` %)! 5b! # $ "#$&)/ /< )06
#+T $
# $ À$ 5!#'0 'A -.%'5 P)/; * P! 'A)' 'A )*!' "#//#`0 .#/ %< ' )!5 0 )!< ' & 0'. R#' 'A)' 'A P)/; #" 'A '$& !)/ 0')' ' " )!<' 0 )/` )<0 $# %)//
'A ";!%' #! 'A : & /) $/<' ` 5b! 'A P)/; #" ')B !* )%' #! G ! 0')' ;!5$ ) .#/ %< ' 5!#'5
# $ ' )0 'A -.%'5 $';$! 0')$' !* "$#& ' ')B !* 'A )%' #! G ' )!5 'A$)"'$
"#//#` !* .#/ %< 6
# $ #+9 $
%)// 'A 7A P)/; ";!%' #!0 )!5 %)! @ 0' &)'5 "$#& -.$ !% d#$ -)&./ '
" )! )*!' "#//#`0 .#/ %< )!5 &) !') !0 )! )P$)* "#$ )%A 0')' !%#;!'$5 #" 'A
)%';)/ $';$!0 'A)' A)P "#//#`5 'A)' 0')' ' 'A! 'A )P$)* ` / %#!P$* '# 'A 0')' 0
P)/; ' # $ ' )0 'A !;&@$ #" ' &0 'A)' 0')' 0 !%#;!'$5 )..$#)%A0 !b! '< Q"
0.)$)' )P$)*0 )$ B.' "#$ )%A )%' #! ')B! ! ) 0')' ' 'A! 'A0 )P$)*0 ` / 0 & /) $/<
X
X
29
%#!P$* '# 'A )%' #! P)/;0 ' # $ %)// 0' &)' #! &'A#50 #" 'A 0 B !5 @%);0 'A< !P#/P )P$)* !* #P$ &)!< $)!5#& 0)&./ 0 #" )%';)/ $';$!0
7A0 B !50 #" &'A#50 )$ .$0!'5 ! UA).'$ 1 S" %#;$0 " 'A$ )$ P$< &)!< 0')'0 '
'A! ' &)< !#' @ .$)%' %)/ '# B. 0.)$)' )P$)*0 "#$ )%A 0')' !5 P 5;)//< Q!0')5 '
'A )*!' `#;/5 A)P '# &) !') ! )!5 )0 .)$)&'$ 5 ";!%' #!0 )!5 )5 ;0' 'A
.)$)&'$0 '# @''$ &)'%A 'A #@0$P5 $';$!0 7A 0 %)! )/0 # .$#5;% )%%;$)' 0' &)'0 '
)/' A#;*A &;%A 5.!50 #! 'A !)';$ #" 'A .)$)&'$ 5 ";!%' #! )..$#- &)' #! #UA).'$
T $
4 ";!5)&!')/ .$#.$'< #" P)/; ";!%' #!0 ;05 'A$#;*A#;' $ !"#$%&!' / )$! !* )!5
5<!)& % .$#*$)&& !* 0 'A)' 'A< 0)' 0"< .)$' %;/) $ $%;$0 P $/)' #!0A .0 d#$ )!< .#/ %<
)!5 )!< 0')' ' 'A "#/ /# ` !* %#!0 0'!%< %#!5 ' #! A#/5 0 @'`! 'A P)/ ; #" )!5
'A P)/; #" '0 .#00 @/ 0;%%00#$ 0')'06
# $
X X "
X # $ X X #
X
X
# $ # $ +C $
À$ ' 0 &./ % ' 'A)' 'A )%' #!0 ' G ' )$ ')B! "$#& 'A 0' # $ ' )!5 'A !-' 0')'0 '
' )$ ')B! "$#& 'A 0' ' #$ "$#& ! 'A %)0 #" )! . 0#5 % .$#@/ & 7A /) 0'
;)' #! 0 'A Q' -.$000 ) $/)' #!0A . @'`! 'A P)/; #"
) 0')' )!5 'A P)/;0 #" '0 0;%%00#$ 0')'0 7A !B #" /# #B !* )A)5 "$#& #! 0')' '#
'0 .#00 @/ 0;%%00#$ 0')'0 ' )0 0;**0'5 @< d *;$ +3 ) ,)%A #.! % $%/ $.$0!'0 )
0')' )!5 )%A 0#/ 5 % $%/ $.$0!'0 ) 0')'8)%' #! .) $ :')$' !* "$#& 0')' ' 'A $##'
!#5 )' 'A '#. ' 'A )*!' %#;/5 ')B )!< #" 0#& 0' #" )%' #!0" 'A$ )$ 0A#`! !
d *;$ +3 ) d$#& )%A #" 'A0 ' 'A !P $#!&!' %#;/5 $0.#!5 ` 'A #! #" 0P$)/ !-'
0')'0 ' ' )/# !* ` 'A ) $`)$5 ' 7A ?//& )! ;)' #! #+C $ 0 &./< )P$)*0 #P$ )//
'A .#00 @ / ' 0 ' ` *A' !* )%A @< '0 .$#@)@ / '< #" #%%;$$ !* Q' 0')'0 'A)' 'A P)/; #"
'A 0')$' 0')' &;0' ;)/ 'A #5 0%#;!'5 $ P)/; #" 'A -.%'5 !-' 0')' ' ./;0 'A
$`)$5 -.%'5 )/# !* 'A `)<
7A P)/; ";!%' #! 0 'A ;! ; 0#/;' #! '# '0 ?//& )! ;)' #! 0A#` !
0;@0 ;!' %A).'$0 A#` 'A 0 ?//& )! ;)' #! "#$&0 'A @)0 0 #" ) !;&@$ #" `)<0 '#
%#&.;' ' )..$#- &)' ' )!5 / )$! %)// 5 )*$)&0 / B 'A#0 0A#`! ! d *;$ +3
# @%);0 'A< 5 )*$)& $/) ' #!0A .0 'A)' "#$& 'A @)0 0 #" 'A ;.5)'
#$ # #.$)' #!0 'A)' )$ )' 'A A)$' #" )// $ !"#$%&!' / )$! !* &'A#50 7A0
#.$)' #!0 '$)!0"$ P)/; !"#$&)' #! # '# ) 0')' ##$ ) 0')'8)%' #! .) $$ "$#& '0
#
>C
(a)
s
s,a
(b)
r
a
s'
r
a'
s'
d *;$ +3 6 ?)%B;. 5 )*$)&0 "#$ ) $ )!5 @$ 7A '#. !#5 0 'A $##' !#5 ?/#`
' )$ )// .#00 @/ )%' #!0 )!5 0')'0 'A)' & *A' #%%;$
0;%%00#$ 0')'0 ##$ 0')'8)%' #! .) $0 $ ;0 @)%B;. 5 )*$)&0 'A$#;*A#;' 'A @##B '#
.$#P 5 *$).A %)/ 0;&&)$ 0 #" 'A )/* #$ 'A&0 ` 5 0%;00 # R#' 'A)' ;!/ B 0')'8'$)!0 ' #!
5 )*$)&0 ' 'A 0')' !#50 #" @)%B;. 5 )*$)&0 5# !#' !%00)$ /< $.$0!' 5 0' !%' 0')'0
"#$ -)&./ ' ) 0')' & *A' @ '0 #`! 0;%%00#$ )/0 # #& ' -./ % ' )$$#À)50 @%);0
' & )/` )<0 #`0 5#`!`)$5 ! ) @)%B;. 5 )*$)&$
E
GZ ! HI d *;$ +1 ) ;00 ) $%')!*;/) $ *$ 5 '# / ;0'$)' P)/; ";!%' #!0 "#$ ) 0 &./
b! ' OcM 7A %//0 #" 'A *$ 5 %#$$0.#!5 '# 'A 0')'0 #" 'A !P $#!&!' 4' )%A %//'
"#;$ )%' #!0 )$ .#00 @/ 6 ' ' ' )!5 ' À %A 5'$& ! 0' %)//< %);0 'A
)*!' '# &#P #! %// ! 'A $0.%' P 5 $%' #! ! 'A *$ 5 4%' #!0 'A)' `#;/5')B 'A
)*!' # 'A *$ 5 / )P '0 /# %)' #! ;!%A)!*5 ' @;' )/0 # $0;/' ! ) $`)$5 #" S'A$
)%' #!0 $0;/' ! ) $`)$5 #" C ' -%.' 'A#0 'A)' &#P 'A )*!'
#;'
#"
'A
0.%
)/
0')'0
4 )!5 ? d$#& 0')' 4 ' )// "#;$ )%' #!0 < /5 ^) $`)$5 #" )!5 ')B 'A )*!' '# 4 d$#& 0')' ? ' )// )%' #!0 < /5 ) $`)$5 #" )!5 ')B 'A )*!' '# ? A
B
3.3 8.8 4.4 5.3 1.5
+5
+10
1.5 3.0 2.3 1.9 0.5
0.1 0.7 0.7 0.4 -0.4
B'
-1.0 -0.4 -0.4 -0.6 -1.2
Actions
A'
(a)
-1.9 -1.3 -1.2 -1.4 -2.0
(b)
d *;$ +1 6 _$ 5 ,-)&./ 6 ) $ -%.' #!)/ $`)$5 5<!)& %0 @$ 0')'8P)/; ";!%' #! "#$ 'A
; .$#@)@/ $)!5#& .#/ %<
:;..#0 'A )*!' 0/ %'0 )// "#;$ )%' #!0 ` 'A ;)/ .$#@)@ / '< ! )// 0')'0 d *;$ +1
@ 0A#`0 'A P)/; ";!%' #! ' ' "#$ 'A 0 .#/ %<' "#$ 'A 5 0%#;!'58$`)$5 %)0 ` 'A C 9
7A 0 P)/; ";!%' #! `)0 %#&.;'5 @< 0#/P !* 'A 0<0'& #" ;)' #!0 #+C $ R#' % 'A
!*)' P P)/;0 !)$ 'A /#`$ 5* 'A0 )$ 'A $0;/' #" 'A A *A .$#@)@ / '< #" A '' !*
>
V putt
−3
−4
sand −∞
−3
−1
−2
−1
0
−4
−6
−2
−5
sa
green
n
d
−4 − ∞
−2
−3
Q*(s, driver)
sand
0
−2
−3
sa
n
d
−1
−2
green
d *;$ +26 4 *#/" -)&./ 6 'A 0')'8P)/; ";!%' #! "#$ .;'' !* #)@#P $ )!5 'A #.' &)/
)%' #!8P)/; ";!%' #! "#$ ;0 !* 'A 5$ P$ #@/#` $ 'A 5* #" 'A *$ 5 'A$ ;!5$ 'A $)!5#& .#/ %< R#' % 'A)' 4 0 'A @0' 0')' '# @ !
;!5$ 'A 0 .#/ %<' @;' 'A)' '0 -.%'5 $';$! 0 /00 'A)! C ' '0 &&5 )' $`)$5 ' @%);0
"$#& 4 'A )*!' 0 ')B! '#4 ' "$#& À %A ' 0 / B/< '# $;! !'# 'A 5* #" 'A *$ 5
:')' ? ' #! 'A #'A$ A)!5 ' 0 P)/;5 &#$ 'A)! 1 ' '0 &&5 )' $`)$5 ' @%);0 "$#&
? 'A )*!' 0 ')B! '# ? ' À %A A)0 ) .#0 ' P P)/; d$#& ? 'A -.%'5 .!)/'<
# !*)' P $`)$5 $ "#$ .#00 @/< $;!! !* !'# )! 5* 0 &#$ 'A)! %#&.!0)'5 "#$ @< 'A
-.%'5 *) ! "#$ .#00 @/< 0';&@/ !* #!'# 4 #$ ?
E
GZ ! HI 7# "#$&;/)' ./)< !* ) A#/ #" *#/" )0 ) $ !"#$%&!' / )$! !* ')0B ' `
%#;!' ) .!)/'< #!*)' P $`)$5 $ #" 8 "#$ )%A 0'$#B ;!' / ` A ' 'A @)// !'# 'A A#/ 7A 0')' 0 'A /# %)' #! #" 'A @)// 7A P)/; #" ) 0')' 0 'A !*)' P #" 'A !;&@$ #"
0'$#B0 '# 'A A#/ "$#& 'A)' /# %)' #! S;$ )%' #!0 )$ A#` ` ) & )!5 0` !* )' 'A @)//'
#" %#;$0 ' )!5 À %A %/; @ ` 0/ %' (' ;0 ')B 'A "#$&$ )0 * P! )!5 %#!0 5$ ;0' 'A
%A# % #" %/; @ ' À %A ` )00;& 0 'A$ ) .;''$ #$ ) 5$ P$ 7A ;..$ .)$' #" d *;$ +2
>
0A#`0 ) .#00 @/ 0')'8P)/; ";!%' #! ' # $ ' "#$ 'A .#/ %< 'A)' )/` )<0 ;00 'A .;''$
7A '$& !)/ 0')' A)0 ) P)/; #" d$#& )!<À$ #! 'A *$! ` )00;&
` %)! &)B ) .;'' 'A0 0')'0 A)P P)/; S 'A *$! ` %)!!#' $)%A 'A A#/
@< .;'' !* )!5 'A P)/; 0 *$)'$ Q" ` %)! $)%A 'A *$! "$#& ) 0')' @< .;'' !* '
'A! 'A)' 0')' &;0' A)P P)/; #! / 00 'A)! 'A *$! 0 P)/; ' ' D d#$ 0 &./ % '<' /'
;0 )00;& ` %)! .;'' P$< .$% 0/< )!5D 5'$& ! 0' %)//<' @;' ` 'A ) / & '5 $)!* 7A 0
* P0 ;0 'A 0A)$. %#!'#;$ / ! /) @/ 5 ! 'A b*;$ )// /# %)' #!0 @'`! 'A)' / ! )!5
'A *$! $ ; $ -)%'/< '`# 0'$#B0 '# %#&./' 'A A#/ : & /) $/<' )!< /# %)' #! ` 'A !
.;'' !* $)!* #" 'A D %#!'#;$ / ! &;0' A)P ) P)/; #" ' )!5 0# #! '# *' )// 'A
%#!'#;$ / !0 0A#`! ! 'A b*;$ M;'' !* 5#0! ' *' ;0 #;' #" 0)!5 '$).0 ' 0# 'A< A)P )
P)/; #" SP$)//' ' ')B0 ;0 2 0'$#B0 '# *' "$#& 'A ' '# 'A A#/ @< .;'' !*
E
I I A)' 0 'A ?/ / & )! ;)' #! "#$ )%' #! P)/ ; 0 ' 'A)' 0 ' "#$ Q' &;0' * P 'A
)%' #! P)/; # $ ! '$&0 #" 'A )%' #! P)/;0 ' #
$ ' #" .#00 @/ 0;%%00#$0 '#
'A 0')'8)%' #! .) $ # $ 40 ) A !' ' 'A @)%B;. 5 )*$)& %#$$0.#!5 !* '# 'A 0 ;)' #!
0 * P! ! d *;$ +3 @ :A#` 'A 0 ;!% #" ;)' #!0 )!)/# *#;0 '# #+C $' @;' "#$
)%' #! P)/;0
E
I I 7A ?//& )! ;)' #! #+C $ &;0' A#/5 "#$ )%A 0')' "#$ 'A P)/; ";!%' #! 0A#`!
! d *;$ +1 @ 40 )! -)&./ ' 0A#` !;&$ %)//< 'A)' 'A 0 ;)' #! A#/5 0 "#$ 'A %!'$
0')' ' P)/;5 )' C > ' ` 'A $0.%' '# '0 "#;$ ! *A@#$ !* 0')'0 ' P)/;5 )' + ' C 3 '
C 3 ' )!5 C > #7A0 !;&@$0 )$ )%%;$)' #!/< '# #! 5% &)/ ./) %$
E
I I Q! 'A *$ 5`#$/5 -)&./ ' $`)$50 )$ .#0 ' P "#$ *#)/0 ' !*)' P "#$ $;!! !* !'# 'A
5* #" 'A `#$/5 ' )!5 $# )// 'A $0' #" 'A ' & 4$ 'A 0 *!0 #" 'A0 $`)$50 &.#$')!' '
#$ #!/< 'A !'$P)/0 @'`! 'A& M$#P ;0 !* #+ $ 'A)' )55 !* ) %#!0')!' '# )// 'A
$`)$50 0 &./< )550 ) %#!0')!' ' ' '# 'A P)/;0 #" )// 0')'0 ' )!5 'A;0 5#0 !#' ) %' 'A
$/)' P P)/; #" )!< .#/ % 0 A)' 0 ! '$&0 #" )!5 E
I I R#` %#!0 5$ )55 !* ) %#!0')!' '# )// 'A $`)$50 ! )! . 0#5 % ')0B ' 0;%A )0 &) $;!! !* #;/5 'A 0 A)P )!< %' ' #$ `#;/5 ' / )P 'A ')0B ;!%A)!*5 )0 ! 'A !b! '8
A#$ #! %)0 )@#P A< #$ À< !#' _ P )! -)&./ E
I I D
7A P)/; #" ) 0')' 5.!50 #! 'A 'A P)/; #" 'A )%' #!0 .#00 @/ ! 'A)' 0')' )!5
#! A#` / B/< )%A )%' #! 0 '# @ ')B! ;!5$ 'A %;$$!' .#/ %< %)! 'A !B #" 'A 0 !
'$&0 #" ) 0&)// @)%B;. 5 )*$)& $##'5 )' 'A 0')' )!5 %#!0 5$ !* )%A .#00 @/ )%' #!6
_ P 'A ;)' #! %#$$0.#!5 !* '# 'A 0 !'; ' #! )!5 5 )*$)& "#$ 'A P)/; )' 'A $##'
>+
!#5 ' # $ ' ! '$&0 #" 'A P)/; )' 'A -.%'5 / )" !#5 ' # $ ' * P! 7A 0 ` / -.%')' #! 5.!5 #! 'A .#/ %<' 7A! * P ) 0%#!5 ;)' #! ! À %A
'A -.%'5 P)/; 0 `$ ''! #;' -./ % '/< ! '$&0 #" # $ 0;%A 'A)' !# -.%'5 P)/;
!#')' #! )..)$0 ! 'A ;)' #!
E
I I 7A P)/; #" )! )%' #! ' # $ ' %)! @ 5 P 55 !'# '`# .)$'0 ' 'A -.%'5 !-'
$`)$5 ' À %A 5#0 !#' 5.!5 #! 'A .#/ %< ' )!5 'A -.%'5 0;& #" 'A $&) ! !*
$`)$50 ' À %A 5.!50 #! 'A !-' 0')' )!5 'A .#/ %< 4*) ! ` %)! 'A !B #" 'A 0 ! '$&0
#" ) 0&)// @)%B;. 5 )*$)& ' 'A 0 #! $##'5 )' )! )%' #! #0')'8)%' #! .) $$ )!5 @$)!%A !*
@)05 #! 'A !-' 0')'6
_ P 'A ;)' #! %#$$0.#!5 !* '# 'A 0 !'; ' #! )!5 5 )*$)& "#$'A )%' #! P)/; ' # $
! '$&0 #" 'A -.%'5 !-' $`)$5 ' ' )!5 'A -.%'5 !-' 0')' P)/; ' # $ '
* P! 'A)' )!5 7A! * P ) 0%#!5 ;)' #! ' `$ ' !* #;' 'A -.%'5 P)/;
-./ % '/< ! '$&0 #" )!5 ' 5b!5 $0.%' P/< @< #+2 $' 0;%A 'A)' !# -.%'5
P)/; !#')' #! )..)$0 ! 'A ;)' #!
'
:#/P !* ) $ !"#$%&!' / )$! !* ')0B &)!0 ' $#;*A/<' b!5 !* ) .#/ %< 'A)' )%A P0 ) /#' #"
$`)$5 #P$ 'A /# !* $;! d#$ b! ' OcM0 ' ` %)! .$% 0/< 5b! )! #.' &)/ .#/ %< ! 'A
"#//#` !* `)< N)/; ";!%' #!0 5b! ) .)$' )/ #$5$ !* #P$ .#/ % 0 4 .#/ %< 0 5b!5
'# @ @''$ 'A)! #$ ;)/ '# ) .#/ %< " '0 -.%'5 $';$! 0 *$)'$ 'A)! #$ ;)/ '#
'A)' #" "#$ )// 0')'0 Q! #'A$ `#$50 ' " )!5 #!/< " # $ # $ "#$ )// 7A$ 0 )/` )<0 )' / )0' #! .#/ %< 'A)' 0 @''$ 'A)! #$ ;)/ '# )// #'A$ .#/ % 0 7A 0 0
)! 4/' A#;*A 'A$ &)< @ &#$ 'A)! #! ' ` 5!#' )// 'A #.' &)/ .#/ % 0
@< 7A< 0A)$ 'A 0)& P)/; ";!%' #! ' %)// 5 'A ' 5!#'5 ' 5b!5 )0
# $ &)- # $ #+ $
"#$ )// S.' &)/ .#/ % 0 )/0 # 0A)$ 'A 0)& ' 5!#'5 ' 5b!5
)0
# $ &)- # $ #+ $
>3
"#$ )// )!5 # $ d#$ 0')'8)%' #! .) $ # $ ' 'A 0 ";!%' #! * P0 'A -.%'5
$';$! "#$ ')B !* )%' #! G ! 0')' )!5 'A$)"'$ "#//#` !* )! #.' &)/ .#/ %< 7A;0 ' `
%)! `$ ' ! '$&0 #" )0 "#//#`06
# $ # $ #++ $
E
GZ ! HI 7A /#`$ .)$' #" d *;$ +2 0A#`0 'A
%#!'#;$0 #" ) .#00 @/ #.' &)/ )%' #!8P)/; ";!%' #! # $ 7A0 )$ 'A P)/;0
#" )%A 0')' " ` b$0' ./)< ) 0'$#B ` 'A 'A 5$ P$ )!5 'A! )"'$`)$50 0/ %' 'A$ 'A
5$ P$ #$ 'A .;''$ ' À %AP$ 0 @0' 7A 5$ P$ !)@/0 ;0 '# A ' 'A @)// ")$'A$' @;'
` 'A /00 )%%;$)%< %)! $)%A 'A A#/ ! #! 0A#' ;0 !* 'A 5$ P$ #!/< " ` )$ )/$)5<
P$< %/# 0 'A;0 'A %#!'#;$ "#$ # $ %#P$0 #!/< ) 0&)// .#$' #! #" 'A *$!
Q" ` A)P '`#D0'$#B0 ' A#`P$ ' 'A! ` %)! $)%A 'A A#/ "$#& &;%A ")$'A$ )`)<' )0
0A#`! @< 'A %#!'#;$ Q! 'A 0 %)0 ` 5#! ' A)P '# 5$ P )// 'A `)< '# ` 'A ! 'A 0&)//
%#!'#;$ ' @;' #!/< '# )!<À$ #! 'A *$! "$#& 'A$ ` %)! ;0 'A .;''$ 7A
#.' &)/ )%' #!8P)/; ";!%' #! * P0 'A P)/;0 )"'$ %#&& '' !* '# ) .)$' %;/) $ )%' #! '
! 'A 0 %)0 ' '# 'A 5$ P$ ' @;' )"'$`)$50 ;0 !* À %AP$ )%' #!0 )$ @0' 7A %#!'#;$
0 0' / ")$'A$ #;' )!5 !%/;50 'A 0')$' !* ' d$#& 'A ' ' 'A @0' 0 ;!% #" )%' #!0
0 '`# 5$ P0 )!5 #! .;'' ' 0 !B !* 'A @)// ! 'A$ 0'$#B0
?%);0 0 'A P)/; ";!%' #! "#$ ) .#/ %<' ' &;0' 0)' 0"< 'A 0/"8%#!0 0'!%< %#!8
5 ' #! * P! @< 'A ?//& )! ;)' #! "#$ 0')' P)/;0 #+C $ ?%);0 ' 0 'A #.' &)/
P)/; ";!%' #! ' A#`P$ ' 0 %#!0 0'!%< %#!5 ' #! %)! @ `$ ''! ! ) 0.% )/ "#$& ` 'A8
#;' $"$!% '# )!< 0.% b% .#/ %< 7A 0 0 'A ?//& )! ;)' #! "#$ ' #$ 'A Q!'; ' P/<' 'A ?//& )! #.' &)/ '< ;)' #! -.$000 'A ")%' 'A)' 'A
P)/; #" ) 0')' ;!5$ )! #.' &)/ .#/ %< &;0' ;)/ 'A -.%'5 $';$! "#$ 'A @0' )%' #!
"$#& 'A)' 0')'6
# $ &) # $
&) &)- &)- &)- # $ #+3 $
&)- # $ #+1 $
7A0 /)0' '`# ;)' #!0 )$ '`# "#$&0 #" 'A ?//& )! #.' &)/ '< ;)' #! "#$ 7A
?//& )! #.' &)/ '< ;)' #! "#$ 0
X
X
X
>1
s
(a)
(b)
max
s,a
r
a
s'
r
max
s'
d *;$ +> 6 ?)%B;. 5 )*$)&0 "#$ ) $ )!5 @$ a'
# $ &) # $ X &) # $
7A @)%B;. 5 )*$)&0 ! d *;$ +> 0A#` *$).A %)//< 'A 0.)!0 #" ";';$ 0')'0 )!5
)%' #!0 %#!0 5$5 ! 'A ?//& )! #.' &)/ '< ;)' #!0 "#$ )!5 7A0 )$ 'A
0)& )0 'A @)%B;. 5 )*$)&0 "#$ )!5 -%.' 'A)' )$%0 A)P @! )555 )' 'A
)*!' 0 %A# % .# !'0 '# $.$0!' 'A)' 'A &)- &;& #P$ 'A)' %A# % 0 ')B! $)'A$ 'A)!
'A -.%'5 P)/; * P! 0#& .#/ %< d *;$ +> ) $.$0!'0 *$).A %)//< 'A ?//& )!
#.' &)/ '< ;)' #! #+1 $ d#$ b! ' OcM0 ' 'A ?//& )! #.' &)/ '< ;)' #! #+1 $ A)0 ) ;! ; 0#/;' #! !58
.!5!' #" 'A .#/ %< 7A ?//& )! #.' &)/ '< ;)' #! 0 )%';)//< ) 0<0'& #" ;)' #!0 '
#! "#$ )%A 0')' ' 0# " 'A$ )$ 0')'0 ' 'A! 'A$ )$ ;)' #!0 ! ;!B!#`!0
Q" 'A 5<!)& %0 #" 'A !P $#!&!' )$ B!#`! # )!5 $' 'A! ! .$ !% ./ #! %)!
0#/P 'A 0 0<0'& #" ;)' #!0 "#$ ;0 !* )!< #! #" ) P)$ '< #" &'A#50 "#$ 0#/P !*
0<0'&0 #" !#!/ !)$ ;)' #!0 S! %)! 0#/P ) $/)'5 0' #" ;)' #!0 "#$ S!% #! A)0 ' ' 0 $/)' P/< )0< '# 5'$& ! )! #.' &)/ .#/ %< d#$ )%A 0')'
' 'A$ ` / @ #! #$ &#$ )%' #!0 )' À %A 'A &)- &;& 0 #@') !5 ! 'A ?// & )!
#.' &)/ '< ;)' #! 4!< .#/ %< 'A)' )00 *!0 !#!8 $# .$#@)@ / '< #!/< '# 'A0 )%' #!0 0
)! #.' &)/ .#/ %< #; %)! 'A !B #" 'A 0 )0 ) #!80'. 0)$%A Q" <#; A)P 'A #.' &)/ P)/;
";!%' #! ' ' 'A! 'A )%' #!0 'A)' )..)$ @0' )"'$ ;0' ) #!80'. 0)$%A ` / @ #.' &)/
)%' #!0 4!#'A$ `)< #" 0)< !* 'A 0 0 'A)' )!< .#/ %< 'A)' 0 ` 'A $0.%' '# 'A
#.' &)/ P)/;)' #! ";!%' #! 0 )! #.' &)/ .#/ %< 7A '$& *$5< 0 ;05 ! %#&.;'$
0% !% '# 50%$ @ )!< 0)$%A #$ 5% 0 #! .$#%5;$ 'A)' 0/ %'0 )/' $!)' P0 @)05 #!/< #!
/# %)/ #$ &&5 )' %#!0 5$)' #!0 ' ` 'A#;' %#!0 5$ !* 'A .#00 @ / '< 'A)' 0;%A ) 0/ %' #!
&)< .$P!' ";';$ )%%00 '# P! @''$ )/' $!)' P0 U#!0 ;!'/<' ' 50%$ @0 .#/ % 0
'A)' 0/ %' )%' #!0 @)05 #!/< #! 'A $ 0A#$'8'$& %#!0 ;!%0 7A @);'< #" 0 'A)'
" #! ;00 ' '# P)/;)' 'A 0A#$'8'$& %#!0 ;!%0 #" )%' #!0 ' 0.% b%)//<' 'A #!80'.
%#!0 ;!%0 ' 'A! ) *$5< .#/ %< 0 )%';)//< #.' &)/ ! 'A /# !*8'$& 0!0 ! À %A ` )$
>2
!'$0'5 @%);0 )/$)5< ')B0 !'# )%%#;!' 'A $`)$5 %#!0 ;!%0 #" )// .#00 @/
";';$ @A)P #$ ?< &)!0 #" ' 'A #.' &)/ -.%'5 /# !*8'$& $';$! 0 ';$!5 !'# )
;)!' '< 'A)' 0 /# %)//< )!5 &&5 )'/< )P) /) @/ "#$ )%A 0')' =!% ' ) #!80'. )A)5
0)$%A < /5 0 'A /# !*8'$& #.' &)/ )%' #!0
=)P !* &)B0 %A##0 !* #.' &)/ )%' #!0 0' / )0 $ 'A ' 'A )*!' 5#0 !#'
P! A)P '# 5# ) #!80'. )A)5 0)$%A6 "#$ )!< 0')' ' ' %)! 0 &./< b!5 )!< )%' #!
À %A &)- & 0 # $ 7A )%' #!8P)/; ";!%' #! %' P/< %)%A0 'A $0;/' 0 #" )//
#!80'. )A)5 0)$%A0 Q' .$#P 50 'A #.' &)/ -.%'5 /# !*8'$& $';$! )0 ) P)/;
'A)' 0 /# %)//< )!5 &&5 )'/< )P) /) @/ "#$ )%A 0')'8)%' #! .) $ =!% ' )' 'A %#0' #"
$.$0!' !* ) ";!%' #! #" 0')'8)%' #! .) $0 ' !0')5 #" ;0' #" 0')'0 ' 'A #.' &)/ )%' #!
P)/; ";!%' #! )//#`0 #.' &)/ )%' #!0 '# @ 0/ %'5 ` 'A#;' A)P !* '# B!#` )!<'A !* )@#;'
.#00 @/ 0;%%00#$ 0')'0 )!5 'A $ P)/;0 ' 'A)' 0 ' ` 'A#;' A)P !* '# B!#` )!<'A !* )@#;'
'A !P $#!&!' 0 5<!)& %0
E
GZ ! HI #
a0 !* #+1 $' ` %)! -./ % '/< * P 'A 'A ?//& )! #.' &)/ '< ;)' #! "#$ 'A $%<%/ !*
$#@#' -)&./ 7# &)B 'A !*0 &#$ %#&.)%' ' ` )@@$P )' 'A 0')'0 )!5 '
)!5 'A )%' #!0 ' ' )!5
$0.%' P/< @< ' ' ' ' )!5 : !%
'A$ )$ #!/< '`# 0')'0 ' 'A ?//& )! #.' &)/ '< ;)' #! %#!0 0'0 #" ;0' '`# ;)' #!0
7A ;)' #! "#$ # $ %)! @ `$ ''! )0 "#//#`06
&)- # $ # $
&)- # $ C # $
&)- # $
d#//#` !* 'A 0)& .$#%5;$ "#$ # $ < /5 0 'A ;)' #!6
# $ &)- # $ # $
d#$ )!< %A# % #" ' ' ' ' )!5 ' ` 'A C ' C ' 'A$ 0 -)%'/<
#! .) $ #" !;&@$0 ' # $ )!5 # $' 'A)' 0 &;/' )!#;0/< 0)' 0"< 'A0 '`# !#!/ !)$
;)' #!0
E
GZ ! HI D
:;..#0 ` 0#/P 'A ?/ / & )! ;)' #! "#$ "#$ 'A 0 &./ *$ 5
')0B !'$#5;%5 ! 'A .$P #;0 -)&./ )!5 0A#`! )*) ! ! d *;$ +T ) %)// 'A)' 0')'
4 0 "#//#`5 @< ) $`)$5 #" )!5 '$)!0 ' #! '# 0')' 4 ' À / 0')' ? 0 "#//#`5 @< )
# $








(



)
 













>>
$`)$5 #" ^ )!5 '$)!0 ' #! '# 0')' ? d *;$ +T @ 0A#`0 'A #.' &)/ P)/; ";!%' #! '
)!5 d *;$ +T % 0A#`0 'A %#$$0.#!5 !* #.' &)/ .#/ % 0 A$ 'A$ )$ &;/' ./ )$$#`0
! ) %//' )!< #" 'A %#$$0.#!5 !* )%' #!0 0 #.' &)/
A
B
+5
+10
B'
22.0 24.4 22.0 19.4 17.5
19.8 22.0 19.8 17.8 16.0
17.8 19.8 17.8 16.0 14.4
16.0 17.8 16.0 14.4 13.0
A'
a) gridworld
14.4 16.0 14.4 13.0 11.7
b) V*
c) π*
d *;$ +T 6 _$ 5 0#/;' #!
,-./ % '/< 0#/P !* 'A ?//& )! #.' &)/ '< ;)' #! .$#P 50 #! $#;' "#$ b!5 !* )! #.8
' &)/ .#/ %< )!5 'A;0 '# 0#/P !* 'A $ !"#$%&!' / )$! !* .$#@/ & =#`P$ ' 'A 0 0#/;' #!
0 $)$/< 5 $%'/< ;0";/ Q' 0 )B ! '# )! -A);0' P 0)$%A ' /# #B !* )A)5 )' )// .#00 @ / ' 0 '
%#&.;' !* 'A $ .$#@)@ / ' 0 #" #%%;$$!% ' )!5 'A $ 50 $)@ / ' 0 ! '$&0 #" -.%'5
$`)$50 7A 0 0#/;' #! $/ 0 #! )' / )0' 'A$ )00;&.' #!0 'A)' )$ !P$ %#&./'/< '$;
! .$)%' %6 $ ` )%%;$)'/< B!#` 'A 5<!)& %0 #" 'A !P $#!&!' ' $ ` A)P !#;*A
%#&.;')' #!)/ $0#;$%0 '# %#&./' 'A %#&.;')' #! #" 'A 0#/;' #! ' )!5 + $ 'A O)$B#P
.$#.$'< d#$ 'A B !50 #" ')0B0 ! À %A ` )$ !'$0'5 ' #! 0 *!$)//< !#' )@/ '#
&./ &!' 'A 0 0#/;' #! -)%'/< @%);0 P)$ #;0 %#&@ !)' #!0 #" 'A0 )00;&.' #!0 )$ P 8
#/)'5 d#$ -)&./ ' )/' A#;*A 'A b$0' )!5 'A $5 )00;&.' #!0 .$0!' !# .$#@/ &0 "#$ 'A
*)& #" @)%B*)&&#! ' 'A 0%#!5 0 ) &) #$ &.5 &!' : !% 'A *)& A)0 )@#;'C
0')'0 ' ' `#;/5 ')B 'A#;0)!50 #" <)$0 #! '#5)< 0 ")0'0' %#&.;'$0 '# 0#/P 'A ?//& )!
;)' #! "#$ ' )!5 'A 0)& 0 '$; "#$ b!5 !* Q! $ !"#$%&!' / )$! !* #! '<. %)//<
A)0 '# 0''/ "#$ )..$#- &)' 0#/;' #!0
O)!< 5 $!' 5% 0 #!8&)B !* &'A#50 %)! @ P `5 )0 `)<0 #" )..$#- &)'/< 0#/P !*
'A ?//& )! #.' &)/ '< ;)' #! d#$ -)&./ ' A;$ 0' % 0)$%A &'A#50 %)! @ P `5
)0 -.)!5 !* 'A $ *A'8A)!5 0 5 #" #+1 $ 0P$)/ ' &0 ' ;. '# 0#& 5.'A ' "#$& !* )
'$ #" .#00 @ / ' 0 ' )!5 'A! ;0 !* ) A;$ 0' % P)/;)' #! ";!%' #! '# )..$#- &)' )' 'A / )" !#50 # =;$ 0' % 0)$%A &'A#50 0;%A )0 4 )$ )/& #0' )/` )<0 @)05 #!
'A '#')/8 $`)$5 %)0$ 7A &'A#50 #" 5<!)& % .$#*$)&& !* %)! @ $/)'5 P! &#$
%/# 0/< '# 'A ?//& )! #.' &)/ '< ;)' #! O)!< $ !"#$%&!' / )$! !* &'A#50 %)! @
%/ )$/< ;!5$0'##5 )0 )..$#- &)'/< 0#/P !* 'A ?//& )! #.' &)/ '< ;)' #! ' ;0 !* )%';)/
-.$ !%5 '$)!0 ' #!0 ! ./)% #" B!#`/ 5* #" 'A -.%'5 '$)!0 ' #!0 %#!0 5$ )
P)$ '< #" 0;%A &'A#50 ! 'A "#//#` !* %A).'$0
E
I I c$)` #$ 50%$ @ 'A #.' &)/ 0')'8P)/; ";!%' #! "#$ 'A *#/" -)&./ E
I I ^
>T
c$)` #$ 50%$ @ 'A %#!'#;$0 #" 'A #.' &)/)%' #!8P)/; ";!%' #! "#$ .;'' !* ' # E
I I _ P 'A ?//& )! ;)' #! "#$ "#$ 'A $%<%/ !* $#@#'
E
I I d *;$ +T * P0 'A #.' &)/ P)/; #" 'A @0' 0')' #" 'A *$ 5`#$/5 )0 33 ' '# #!
5% &)/ ./) % a0 <#;$ B!#`/ 5* #" 'A #.' &)/ .#/ %< )!5 #+ $ '# %#&.;' 'A 0 P)/;
0<&@#/ %)//<' )!5 'A! '# 'A$ 5% &)/ ./)%0
$
A)P 5b!5 #.' &)/ P)/; ";!%' #!0 )!5 #.' &)/ .#/ % 0 U/ )$/<' )! )*!' 'A)'
/ )$!0 )! #.' &)/ .#/ %< A)0 5#! P$< `//' @;' ! .$)%' % 'A 0 $)$/< A)..!0 d#$ 'A B !50
#" ')0B0 ! À %A ` )$ !'$0'5 ' #.' &)/ / )$! !* 0'$)'* 0 %)! @ *!$)'5 #!/< ` 'A
-'$& %#&.;')' #!)/ %#0' 4 `//8 5b!5 !#' #! #" #.' &)/ '< #$*)! 0 'A )..$#)%A '#
/ )$! !* ` 50%$ @ ! 'A 0 @##B )!5 .$#P 50 ) `)< '# ;!5$0')!5 'A 'A#$' %)/ .$#.$' 0
#" P)$ #;0 / )$! !* )/* #$ 'A&0 ' @;' ' 0 )! 5)/ 'A)' )*!'0 %)! #!/< )..$#- &)' '# P)$< !*
5*$0 40 ` 5 0%;005 )@#P ' P! " ` A)P ) %#&./' )!5 )%%;$)' &#5/ #" '0
!P $#!&!' 0 5<!)& %0 ' ' 0 ;0;)//< !#' .#00 @/ '# 0 &./< %#&.;' )! #.' &)/ .#/ %< @<
0#/P !* 'A ?//& )! #.' &)/ '< ;)' #! d#$ -)&./ ' @#)$5 *)&0 0;%A )0 %A00 )$
) ' !< "$)%' #! #" A;&)! -.$ !% ' <' /) $* ' %;0'#&850 *!5 %#&.;'$0 0' / %)!!#'
%#&.;' 'A #.' &)/ &#P0 4 %$ ' %)/ )0.%' #" 'A .$#@/ & ")% !* 'A )*!' 0 )/` )<0
'A %#&.;')' #!)/ .#`$ )P) /) @/ '# ' ' ! .)$' %;/) $ ' 'A )&#;!' #" %#&.;')' #! ' %)!
.$"#$& ! ) 0 !*/ ' & 0'.
7A &&#$< )P) /) @/ 0 )/0 # )! &.#$')!' %#!0'$) !' 4 /) $* )&#;!' #" &&#$<
0 #"'! $ ; $5 '# @; /5 ;. )..$#- &)' #!0 #" P)/; ";!%' #!0 ' .#/ % 0 ' )!5 &#5/0 Q!
')0B0 ` 'A 0&)//' b! ' 0')' 0'0 ' ' 0 .#00 @/ '# "#$& 'A0 )..$#- &)' #!0 ;0 !* )$$)<0
#$ ')@/0 ` 'A #! !'$< "#$ )%A 0')' ##$ 0')'8)%' #! .) $$ 7A 0 ` %)// 'A #
%)0 ' )!5 'A %#$$0.#!5 !* &'A#50 ` %)// ')@;/) $ &'A#50 Q! &)!< %)00 #" .$)%' %)/
!'$0' ' A#`P$ ' 'A$ )$ ")$ &#$ 0')'0 'A)! %#;/5 .#00 @/< @ !'$ 0 ! ) ')@/ Q! 'A0
%)00 'A ";!%' #!0 &;0' @ )..$#- &)'5 ;0 !* 0#& 0#$' #" &#$ %#&.)%' .)$)&'$ 5
";!%' #! $.$0!')' #!
S;$ "$)& !* #" 'A $ !"#$%&!' / )$! !* .$#@/ & "#$%0 ;0 '# 0''/ "#$ )..$#- &)8
' #!0 =#`P$ ' ' )/0 # .$0!'0 ;0 ` 'A 0#& ;! ; #..#$';! ' 0 "#$ )%A P !* ;0";/
)..$#- &)' #!0
d#$ -)&./ ' ! )..$#- &)' !* #.' &)/ @A)P #$' 'A$ &)< @ &)!< 0')'0 'A)' 'A )*!'
")%0 ` 'A 0;%A ) /#` .$#@)@ / '< 'A)' 0/ %' !* 0;@#.' &)/ )%' #!0 "#$ 'A& A)0 / ''/ &.)%'
#! 'A )&#;!' #" $`)$5 ' $% P0 70);$# 0 @)%B*)&&#! ./)<$ ' "#$ -)&./ ' ./)<0 ` 'A
-%.' #!)/ 0B / P! 'A#;*A ' & *A' &)B P$< @)5 5% 0 #!0 #! @#)$5 %#!b*;$)' #!0 'A)'
!P$ #%%;$ ! *)&0 )*) !0' -.$'0 Q! ")%' ' ' 0 .#00 @/ 'A)' 7c8_)&&#! &)B0 @)5
5% 0 #! ! ) /) $* "$)%' #! #" 'A *)& 0 0')' 0' 7A #!8/ ! !)';$ #" $ !"#$%&!'
>9
/ )$! !* &)B0 ' .#00 @/ '# )..$#- &)' #.' &)/ .#/ % 0 ! `)<0 'A)' .;' &#$ #$'
!'# / )$! !* '# &)B *##5 5% 0 #!0 "#$ "$ ;!'/< !%#;!'$5 0')'0 ' )' 'A -.!0 #"
/ 00 #$' "#$ !"$ ;!'/< !%#;!'$5 0')'0 7A 0 0 #! B< .$#.$'< 'A)' 5 0' !*; 0A0
$ !"#$%&!' / )$! !* "$#& #'A$ )..$#)%A0 '# )..$#- &)'/< 0#/P !* OcM0
(' ;0 0;&&)$ 'A / &!'0 #" 'A $ !"#$%&!' / )$! !* .$#@/ & 'A)' ` A)P .$0!'5
! 'A 0 %A).'$ !"#$%&!' / )$! !* 0 )@#;' / )$! !* "$#& !'$)%' #! A#` '# @A)P !
#$5$ '# )%A P ) *#)/ 7A $ !"#$%&!' / )$! !* )!5 '0 !'$)%' #P$
) 0 ;!% #" 5 0%$' ' & 0'.0 7A 0.% b%)' #! #" 'A $ !'$")% 5b!0 ) .)$' %;/) $
')0B6 'A )$ 'A %A# %0 &)5 @< 'A )*!' 'A )$ @)0 0 "#$ &)B !* 'A
%A# %0 )!5 'A )$ 'A @)0 0 "#$ P)/;)' !* 'A %A# %0 ,P$<'A !* !0 5 'A
)*!' 0 %#&./'/< B!#`! )!5 %#!'$#//) @/ @< 'A )*!' P$<'A !* #;'0 5 0 !%#&./'/<
%#!'$#//) @/ @;' &)< #$ &)< !#' @ %#&./'/< B!#`! 4 0 ) 0'#%A)0' % $;/ @< À %A
'A )*!' 0/ %'0 )%' #!0 )0 ) ";!%' #! #" 0')'0 7A )*!' 0 #@ %' P 0 '# &)- & 'A
)&#;!' #" $`)$5 ' $% P0 #P$ ' &
7A 0 'A ";!%' #! #" ";';$ $`)$50 'A)' 'A )*!' 0B0 '# &)- & Q' A)0
0P$)/ 5 $!' 5b! ' #!0 5.!5 !* ;.#! À'A$ #! 0 !'$0'5 ! #$ 7A b$0' 0 )..$#.$ )' "#$ ' ! À %A 'A )*!'8!P $#!&!'
!'$)%' #! @$)B0 !)';$)//< !'# 'A 0%#!5 0 )..$#.$ )' "#$ ' !
À %A 'A !'$)%' #! 5#0 !#' !)';$)//< @$)B !'# . 0#50 @;' %#!' !;0 ` 'A#;' / & '
4! !P $#!&!' 0)' 0b0 'A " '0 0')' %#&.)%'/< 0;&&)$ 0 'A .)0'
` 'A#;' 5*$)5 !* 'A )@ / '< '# .$5 %' 'A ";';$ 7A 0 0 $)$/< -)%'/< '$; ' @;' #"'!
!)$/< 0# 'A 0')' 0 *!)/ 0A#;/5 @ %A#0! #$ %#!0'$;%'5 0# 'A)' 'A O)$B#P .$#.$'<
)..$#- &)'/< A#/5 0 Q! 'A 0 @##B ` )00;& 'A)' 'A 0 A)0 )/$)5< @! 5#! )!5 "#%;0
#! 'A 5% 0 #!8&)B !* .$#@/ &6 A#` '# 5% 5 À)' '# 5# )0 ) ";!%' #! #" À)'P$
0')' 0 *!)/ 0 )P) /) @/ Q" 'A O)$B#P .$#.$'< 5#0 A#/5 ' 'A! 'A !P $#!&!' 0 %)// 5
) # OcM $ 4 0 )! OcM ` 'A b! ' 0')' )!5 )%' #!
0'0 O#0' #" 'A %;$$!' 'A#$< #" $ !"#$%&!' / )$! !* 0 $0'$ %'5 '# b! ' OcM0 ' @;'
'A &'A#50 )!5 5)0 )../< &#$ *!$)//<
4 .#/ %< 0 )00 *!0 '# )%A 0')' 'A -.%'5 $';$! "$#& 'A)' 0')' * P!
'A)' 'A )*!' ;00 'A .#/ %< 7A )00 *!0 '# )%A 0')' 'A /) $*0'
-.%'5 $';$! )%A P)@/ @< )!< .#/ %< 4 .#/ %< À#0 P)/; ";!%' #! 0 'A #.' &)/ P)/;
";!%' #! 0 )! A$)0 'A$ 0 #!/< #! #.' &)/ P)/; ";!%' #! "#$ ) * P!
OcM' 'A$ %)! @ &)!< #.' &)/ .#/ % 0 4!< .#/ %< 'A)' 0 *$5< ` 'A $0.%' '# 'A
#.' &)/ P)/; ";!%' #! 0 )! #.' &)/ .#/ %< 7A 0 ) 0.% )/
%#!0 0'!%< %#!5 ' #! 'A)' 'A #.' &)/ P)/; ";!%' #! &;0' 0)' 0"< )!5 'A)' %)! ' ! .$ !% ./ '
@ 0#/P 5 "#$ 'A #.' &)/ P)/; ";!%' #! ' "$#& À %A )! #.' &)/ .#/ %< %)! @ 5'$& !5
` 'A $/)' P )0
4 $ !"#$%&!' / )$! !* .$#@/ & %)! @ .#05 ! ) P)$ '< #" 5 $!' `)<0 5.!5 !*
#! )00;&.' #!0 )@#;' 'A /P/ #" B!#`/ 5* ! ' )//< )P) /) @/ '# 'A )*!' Q! .$#@/ &0 #"
TC
' 'A )*!' A)0 ) %#&./ ' )!5 )%%;$)' &#5/ #" 'A !P $#!&!' 0
5<!)& %0 Q! 'A !P $#!&!' 0 )! OcM' 'A! 0;%A ) &#5/ %#!0 0'0 #" 'A #!80'.
##
)!5 "#$ )// 0')'0 )!5 'A $ )//#`)@/ )%' #!0 Q!
.$#@/ &0 #" ' ) %#&./' )!5 .$"%' &#5/ #" 'A !P $#!&!' 0 !#'
)P) /) @/ ,P! " 'A )*!' A)0 ) %#&./' )!5 )%%;$)' !P $#!&!' &#5/' 'A )*!' 0 '<. %)//<
;!)@/ '# .$"#$& !#;*A %#&.;')' #! .$ ' & 0'. '# ";//< ;0 ' 7A &&#$< )P) /) @/ 0
#"'! )! &.#$')!' %#!0'$) !' O&#$< &)< @ $ ; $5 '# @; /5 ;. )%%;$)' )..$#- &)' #!0
#" P)/; ";!%' #!0 ' .#/ % 0 ' )!5 &#5/0 Q! &#0' %)00 #" .$)%' %)/ !'$0' 'A$ )$ ")$
&#$ 0')'0 'A)! %#;/5 .#00 @/< @ !'$ 0 ! ) ')@/ ' )!5 )..$#- &)' #!0 &;0' @ &)5
4 `//8 5b!5 !#' #! #" #.' &)/ '< #$*)! 0 'A )..$#)%A '# / )$! !* ` 50%$ @ !
'A 0 @##B )!5 .$#P 50 ) `)< '# ;!5$0')!5 'A 'A#$' %)/ .$#.$' 0 #" P)$ #;0 / )$! !*
)/* #$ 'A&0 ' @;' ' 0 )! 5)/ 'A)' $ !"#$%&!' / )$! !* )*!'0 %)! #!/< )..$#- &)' '#
P)$< !* 5*$0 Q! $ !"#$%&!' / )$! !* ` )$ P$< &;%A %#!%$!5 ` 'A %)00 ! À %A
#.' &)/ 0#/;' #!0 %)!!#' @ "#;!5 @;' &;0' @ )..$#- &)'5 ! 0#& `)<
!
7A $ !"#$%&!' / )$! !* .$#@/ & 0 #@P #;0/< 5./< !5@'5 '# 'A 5) #" O)$B#P
5% 0 #! .$#%000 "$#& 'A b/5 #" #.' &)/ %#!'$#/ 7A0 A 0'#$ %)/ ! ;!%0 )!5 #'A$
&) #$ ! ;!%0 "$#& .0<%A#/# *< )$ 50%$ @5 ! 'A @$ " A 0'#$< * P! ! UA).'$ !"#$%&!' / )$! !* )550 '# OcM0 ) "#%;0 #! )..$#- &)' #! )!5 !%#&./' !"#$&)' #!
"#$ $)/ 0' %)//< /) $* .$#@/ &0 OcM0 )!5 'A $ !"#$%&!' / )$! !* .$#@/ & )$ #!/<
`)B/< / !B5 '# '$)5 ' #!)/ / )$! !* )!5 5% 0 #!8&)B !* .$#@/ &0 ! )$' b% )/ !'// *!%
=#`P$ ' )$' b% )/ !'// *!% 0 !#` P *#$#;0/< -./# $ !* OcM "#$&;/)' #!0 "#$ ./) !! !*
)!5 5% 0 #! &)B !* "$#& ) P)$ '< #" .$0.%' P0 OcM0 )$ &#$ *!$)/ 'A)! .$P #;0
"#$&;/)' #!0 ;05 ! )$' b% )/ !'// *!% .$#@/ & ! 'A)' 'A< .$& ' &#$ *!$)/ B !50 #"
*#)/0 )!5 ;!%$') !'<
S;$ .$0!')' #! #" 'A $ !"#$%&!' / )$! !* .$#@/ & `)0 ! ;!%5 @< )'B !0
# 9T9 $ 7A @ #8$)%'#$ -)&./ 0 @)05 #! 'A `#$B #" a!*)$ # 99C $ )!5 O / $ )!5 / )&0
# 99 $ 7A $%<%/ !* $#@#' -)&./ `)0 !0. $5 @< 'A %)!8%#// %' !* $#@#' @; /' @<
#!)'A)! U#!!/ / # 9T9 $ D 7A '$& !#/# *< #" )!5 ')0B0 0 5 $!' "$#& 'A)' ;0;)//< ;05 !
'A OcM / '$)';$ Q! 'A)' / '$)';$ ' 0 %#&&#! '# 5 0' !*; 0A 'A$ '<.0 #" ')0B06
$ b! '8A#$ #! ')0B0 ' ! À %A !'$)%' #! '$& !)'0 )"'$ ) .)$' %;/) $ !;&@$ #"
' & 0'.0 $ !5b! '8A#$ #! ')0B0 ' ! À %A !'$)%' #! %)! /)0' )$@ '$)$ /< /# !* @;'
&;0' P!';)//< '$& !)' )!5 + $ !b! '8A#$ #! ')0B0 ' ! À %A !'$)%' #! 5#0 !#'
T
'$& !)' S;$ . 0#5 % )!5 %#!' !;)/ ')0B0 )$ 0 & /) $ '# !5b! '8A#$ #! )!5 !b! '8
A#$ #! ')0B0 ' $0.%' P/<' @;' ` .$"$ '# &.A)0 'A 5 $!% ! 'A !)';$ #" 'A
!'$)%' #! 7A 0 5 $!% 0&0 &#$ ";!5)&!')/ 'A)! 'A 5 $!% ! 'A #@ %' P
";!%' #!0 &.A)0 5 @< 'A ;0;)/ '$&0 S"'! . 0#5 % ')0B0 ;0 )! !5b! '8A#$ #!
#@ %' P ";!%' #! )!5 %#!' !;)/ ')0B0 )! !b! '8A#$ #! #@ %' P ";!%' #! ' @;' ` 0 'A 0
)0 ) %#&&#! %# !% 5!% $)'A$ 'A)! ) ";!5)&!')/ 5 $!%
7A .#/8@)/) !% !* -)&./ 0 "$#& ?)$'# ' :;''#! ' )!5 4!5$0#! # 9T+ $ )!5 O %A )!5 UA)&@$0 # 92T $ ^
d#$ )! -%// !' 5 0%;00 #! #" 'A %#!%.' #" 0')' 0 O !0B< # 92> $ 7A 'A#$< #" O)$B#P 5% 0 #! .$#%000 # OcM0 $ 0 '$)'5 @<' * ' ?$'0B)0 # 991 $'
#00 # 9T+ $' A ' # 929 $' )!5 A ''/ # 9T ' 9T+ $ 7A 0 'A#$< 0 )/0 # 0';5 5 ;!5$
'A A)5 !* #" 0'#%A)0' % #.' &)/ %#!'$#/' À$ #.' &)/ %#!'$#/ &'A#50 )$ &#0'
%/# 0/< $/)'5 '# $ !"#$%&!' / )$! !* #* ' ;&)$ ' 9T1 ;&)$ )!5 N)$) <) ' 9T2 $ 7A 'A#$< #" OcM0 P#/P 5 "$#& #$'0 '# ;!5$0')!5 'A .$#@/ & #" &)B !* 08
;!%0 #" 5% 0 #!0 ;!5$ ;!%$') !'< ' À$ )%A 5% 0 #! %)! 5.!5 #! 'A .$P #;0
5% 0 #!0 )!5 'A $ #;'%#&0 Q' 0 0#&' &0 %)// 5 'A 'A#$< #" &;/' 80')* 5% 0 #!
.$#%000 ' #$ 0 ;!' )/ 5% 0 #! .$#%000 ' )!5 A)0 $##'0 ! 'A 0')' 0' %)/ / '$)';$ #!
0 ;!' )/ 0)&./ !* @* !! !* ` 'A 'A .).$0 @< 7A#&.0#! # 9++ ' 9+3 $ )!5 #@@ !0
# 91 $ 'A)' ` % '5 ! UA).'$ ! %#!!%' #! ` 'A @)!5 ' .$#@/ &0 #À %A )$ .$#'#'<.8
%)/ OcM0 " "#$&;/)'5 )0 &;/' ./80 ';)' #! .$#@/ &0 $ 7A )$/ 0' !0')!% #" À %A ` )$ )`)$ ! À %A $ !"#$%&!' / )$! !* `)0 5 0%;005
;0 !* 'A OcM "#$&)/ 0& 0 4!5$) 0 # 929@$ 50%$ .' #! #" ) ;! b5 P ` #" / )$! !*
&)%A !0 ''! )!5 U#$@ ! # 9>+ $ -.$ &!'5 ` 'A ) $ !"#$%&!' / )$! !* 0<0'&
/)'$ )!)/< 5 @< ''! # 9>> $ ;0 !* 'A OcM "#$&)/ 0& 4/' A#;*A A 5 5 !#' -./ % '/<
&!' #! OcM0 ' $@#0 # 9>> $ 0;**0'5 )..$#- &)' 0#/;' #! &'A#50 "#$ 0'#%A)0' %
#.' &)/ %#!'$#/ .$#@/ &0 'A)' )$ $/)'5 '# &#5$! $ !"#$%&!' / )$! !* &'A#50 #0
)/0 # $@#0 ' 9T ' 9T> ' 9TT ' 9T9 '99 $ 4/' A#;*A $@#0 5)0 `$ !#' ` 5/<
$%#*! 5 )' 'A ' & ' 'A< `$ .$0% !' ! &.A)0 !* 'A &.#$')!% #" )..$#- &)'/<
0#/P !* #.' &)/ %#!'$#/ .$#@/ &0 ! ) P)$ '< #" 5#&) !0 ' !%/;5 !* )$' b% )/ !'// *!% 7A
&#0' ! ;!' )/ !'*$)' #! #" $ !"#$%&!' / )$! !* )!5 OcM0 0 5; '# )'B !0 # 9T9 $ = 0 '$)'&!' #" $ !"#$%&!' / )$! !* ;0 !* 'A OcM "#$&)/ 0& A)0 @! ` 5/< )5#.'5
S;$ %A)$)%'$ )' #! #" 'A $`)$5 5<!)& %0 #" )! OcM ! '$&0 #" 0 0/ *A'/< ;!8
;0;)/ Q' 0 &#$ %#&&#! ! 'A OcM / '$)';$ '# 50%$ @ 'A $`)$5 5<!)&
%0 ! '$&0 #"
'A -.%'5 !-' $`)$5 * P! ;0' 'A %;$$!' 0')' )!5 )%' #! ' ' @< 7A 0 ;)!' '< 0 $/)'5 '# #;$ )0 "#//#`06
X Q! %#!P!' #!)/ OcM 'A#$<' )/` )<0 )..)$0 ! )! -.%'5 P)/; 0;& / B 'A 0 #! '
)!5 'A$"#$ ' 0 )0 $ '# ;0 Q! $ !"#$%&!' / )$! !* ' A#`P$ ' ` &#$ #"'!
T
A)P '# $"$ '# !5 P 5;)/ )%';)/ #$ 0)&./ #;'%#&0 d#$ -)&./ ' ! 'A $%<%/ !* $#@#' '
'A -.%'5 $`)$5 "#$ 'A )%' #!
! 0')' 5.!50 #! 'A !-' 0')' #7)@/
+ $ Q! ')%A !* $ !"#$%&!' / )$! !* ' ` A)P "#;!5 'A !#')' #! '# @ &#$
0'$) *A'"#$`)$5 %#!%.';)//< )!5 )0 $ '# ;!5$0')!5
G 400 *! !* P)/; @)05 #! À)' 0 *##5 #$ @)5 ! 'A /# !* $;! A)0 )!% !' $##'0
Q! %#!'$#/ 'A#$<' &).. !* 0')'0 '# !;&$ %)/ P)/;0 $.$0!' !* 'A /# !*8'$& %#!08
;!%0 #" %#!'$#/ 5% 0 #!0 0 ) B< .)$' #" #.' &)/ %#!'$#/ 'A#$< ' À %A `)0 5P/# .5 !
'A 91C0 @< -'!5 !* 9'A %!';$< 0')'8";!%' #! 'A#$ 0 #" %/)00 %)/ &%A)! %0 #0 ' "#$
-)&./ ' :%A;/' )!5 O/0 ) ' 92> $ Q! 50%$ @ !* A#` ) %#&.;'$ %#;/5 @ .$#*$)&&5 '#
./)< %A00 ' :A)!!#! # 91C@$ 0;**0'5 ;0 !* )! P)/;)' #! ";!%' #! 'A)' '##B !'# )%%#;!'
'A /# !*8'$& )5P)!')*0 )!5 5 0)5P)!')*0 #" ) %A00 .#0 ' #!
)'B !0 0 # 9T9 $ % 8/ )$! !* )/* #$ 'A& "#$ 0' &)' !* # UA).'$ 2 $ &)5 )%' #!8
P)/; ";!%' #!0 )! &.#$')!' .)$' #" $ !"#$%&!' / )$! !* ' )!5 %#!0 ;!'/< 'A0 ";!%8
' #!0 )$ #"'! %)// 5 ?;' 'A 5) #" )! )%' #!8P)/; ";!%' #! 0 &;%A #/5 $
'A)! 'A 0 :A)!!#! # 91C@$ 0;**0'5 'A)' )";!%' #! # ] $ %#;/5 @ ;05 @< ) %A008
./)< !* .$#*$)& '# 5% 5 À'A$ ) &#P ! .#0 ' #! 0 `#$'A -./# $ !* O %A 0
# 92 ' 92+ $ O,R4U, 0<0'& )!5 O %A )!5 UA)&@$0 # 92T $ ?S ,: 0<0'& %)! @
;!5$0'##5 )0 0' &)' !* )%' #!8P)/; ";!%' #!0 Q! %/)00 %)/ .A<0 %0 ' =)& /' #! 0 .$ !% ./
";!%' #! 0 )! )%' #!8P)/; ";!%' #!6 R`'#! )! 5<!)& %0 )$ *$5< ` 'A $0.%' '# 'A 0
";!%' #! #* ' _#/5 0' ! ' 91> $ 4%' #!8P)/; ";!%' #!0 )/0 # ./)<5 ) %!'$)/ ! c!)$5# 0
# 92> $ 'A#$' %)/ '$)'&!' #" cM ! '$&0 #" %#!'$)%' #! &).. !*0
A)' ` %)/ / 'A ?// & )! ;)' #! "#$ `)0 b$0' !'$#5;%5 @< %A)$5 ?// & )!
# 91> $ À# %)/ / 5 ' 'A @)0 % ";!%' #!)/ ;)' #! 7A %#;!'$.)$' #" 'A ?// & )!
#.' &)/ '< ;)' #! "#$ %#!' !;#;0 ' & )!5 0')' .$#@/ &0 0 B!#`! )0 'A =)& /' #!8
)%#@ 8?/ / & )! ;)' #! ##$ #"'! ;0' 'A =)& /' #!8 )%#@ ;)' #! $' !5 %)' !* '0 $##'0
! %/)00 %)/ .A<0 %0 #* ' :%A;/' )!5 O/0 ) ' 92> $ T+
T1
Q! 'A 0 .)$' #" 'A @##B ` 50%$ @ 'A$ ";!5)&!')/ %/)000 #" &'A#50 "#$ 0#/P !*
'A $ !"#$%&!' / )$! !* .$#@/ &6 5<!)& % .$#*$)&& !* ' O#!' U)$/# &'A#50 ' )!5
'&.#$)/8 5 $!% / )$! !* 4// #" 'A0 &'A#50 0#/P 'A ";// P$0 #! #" 'A .$#@/ &
!%/;5 !* 5/)<5 $`)$50
,)%A #" 'A 'A$ %/)000 #" &'A#50 A)0 '0 0'$!*'A0 )!5 `)B!000 c<!)& % .$#8
*$)&& !* &'A#50 )$ P$< `// 5P/# .5 &)'A&)' %)//<' @;' $ ; $ ) %#&./' )!5
)%%;$)' &#5/ #" 'A !P $#!&!' O#!' U)$/# &'A#50 5#! ' $ ; $ ) &#5/ )!5 )$
P$< 0 &./ %#!%.';)//<' @;' )$ !#' 0; '5 "#$ 0'.8@<80'. !%$&!')/ %#&.;')' #! d 8
!)//<' '&.#$)/8 5 $!% &'A#50 $ ; $ !# &#5/ )!5 )$ ";//< !%$&!')/' @;' )$ &#$
%#&./- '# )!)/< 7A &'A#50 )/0 # 5 $ ! 0P$)/ `)<0 ` 'A $0.%' '# 'A $ % !%<
)!5 0.5 #" %#!P$*!% Q! 'A 'A $5 .)$' #" 'A 0 @##B ` -./# $ A#` 'A0 &'A#50 %)!
@ %#&@ !5 0# )0 '# #@') ! 'A @0' ")';$0 #" )%A #" 'A&
T2
7A '$& c<!)& % M$#*$)&& !* # cM $ $"$0 '# ) %#// %' #! #" )/* #$ 'A&0 'A)' %)! @
;05 '# %#&.;' #.' &)/ .#/ % 0 * P! ) .$"%' &#5/ #" 'A !P $#!&!' )0 ) O)$B#P
5% 0 #! .$#%00 # OcM $ U/)00 %)/ cM )/* #$ 'A&0 )$ #" / & '5 ;' / '< ! $ !"#$%&!'
/ )$! !* @#'A @%);0 #" 'A $ )00;&.' #! #" ) .$"%' &#5/ )!5 @%);0 #" 'A $ *$)'
%#&.;')' #!)/ -.!0 ' @;' 'A< )$ 0' / P$< &.#$')!' 'A#$' %)//< cM .$#P 50 )!
00!' )/ "#;!5)' #! "#$ 'A ;!5$0')!5 !* #" 'A &'A#50 .$0!'5 ! 'A $0' #" 'A 0
@##B Q! ")%' ' )// #" 'A0 &'A#50 %)! @ P `5 )0 )''&.'0 '# )%A P &;%A 'A 0)&
%' )0 cM' #!/< ` 'A /00 %#&.;')' #! )!5 ` 'A#;' )00;& !* ) .$"%' &#5/ #" 'A
!P $#!&!'
:')$' !* ` 'A 'A 0 %A).'$ ' ` ;0;)//< )00;& 'A)' 'A !P $#!&!' 0 ) b! ' OcM 7A)'
0 ' ` )00;& 'A)' '0 0')' )!5 )%' #! 0'0 ' )!5 # $ ' "#$ ' )$ b! ' ' )!5 'A)'
'0 5<!)& %0 )$ * P! @< ) 0' #" '$)!0 ' #! .$#@)@ / ' 0 ' ' )!5 -.%'5 &&5 )' $`)$50 ' ' "#$ )// ' # $ ' )!5 #
0 ./;0 ) '$& !)/ 0')' " 'A .$#@/ & 0 . 0#5 % $ 4/' A#;*A cM 5)0 %)! @ )../ 5 '# .$#@/ &0 ` 'A %#!' !;#;0 0')' )!5 )%' #! 0.)%0 '
-)%' 0#/;' #!0 )$ .#00 @/ #!/< ! 0.% )/ %)00 4 %#&&#! `)< #" #@') ! !* )..$#- &)'
0#/;' #!0 "#$b!%#!' !;#;0 0')' )!5 )%' #! ')0B0 0 '# ;)!' 'A 0')' )!5 )%' #! 0.)%0 )!5
'A! )../< '80')' cM &'A#50 7A &'A#50 ` -./# $ ! UA).'$ T )$ )../ %)@/
'# %#!' !;#;0 .$#@/ &0 )!5 )$ ) 0 *! b%)!' -'!0 #! #" 'A)' )..$#)%A
7A B< 5) #" cM' )!5 #" $ !"#$%&!' / )$! !* *!$)//<' 0 'A ;0 #" P)/; ";!%' #!0
'# #$*)! )!5 0'$;%';$ 'A 0)$%A "#$ *##5 .#/ % 0 Q! 'A 0 %A).'$ ` 0A#` A#` cM %)!
@ ;05 '# %#&.;' 'A P)/; ";!%' #!0 5b!5 ! UA).'$ + 40 5 0%;005 'A$ ' ` %)!
)0 /< #@') ! #.' &)/ .#/ % 0 #!% ` A)P "#;!5 'A #.' &)/ P)/; ";!%' #!0 ' #$ '
À %A 0)' 0"< 'A ?//& )! #.' &)/ '< ;)' #!06
# $ &) # $ &)#3 $
# $ #$
T>
X
TT
% # $ # $ &)
P &)- % #
$ #3 $
"#$ )// ' # $ ' )!5 40 ` 0A)// 0 ' cM )/* #$ 'A&0 )$ #@') !5 @<
';$! !* ?//& )! ;)' #!0 0;%A )0 'A0 !'# )00 *!&!' 0')'&!'0 ' 'A)' 0 ' !'# ;.5)'
$;/ 0 "#$ &.$#P !* )..$#- &)' #!0 #" 'A 50 $5 P)/; ";!%' #!0
d $0' ` %#!0 5$ A#` '# %#&.;' 'A 0')'8P)/; ";!%' #! "#$ )! )$@ '$)$< .#/ %<' 7A 0 0 %)// 5 ! 'A cM / '$)';$ )/0 # $"$ '# ' )0 'A # %)// "$#& UA).'$ + 'A)' ' "#$ )// '
# $
n o
# $ X # $ X # $ 3+ $
33 $
À$ # $ 0 'A .$#@)@ / '< #" ')B !* )%' #! G ! 0')' ;!5$ .#/ %< ' )!5
'A -.%')' #!0 )$ 0;@0%$ .'5 @< '# !5 %)' 'A)' 'A< )$ %#!5 ' #!)/ #! @ !*
"#//#`5 7A - 0'!% )!5 ;! ;!00 #" 0 *;)$)!'5 )0 /# !* )0 'A$ #$
P!';)/ '$& !)' #! 0 *;)$)!'5 "$#& )// 0')'0 ;!5$ 'A .#/ %< Q" 'A !P $#!&!' 0 5<!)& %0 )$ %#&./'/< B!#`! ' 'A! #33 $ 0 ) 0<0'& #" 0 &;/' )!#;0 / !)$ ;)' #!0 ! ;!B!#`!0 #'A # $ ' $ Q! .$ !% ./ ' '0 0#/;' #!
0 ) 0'$) *A'"#$`)$5 ' " '5 #;0 ' %#&.;')' #! d#$ #;$ .;$.#00 ' '$)' P 0#/;' #! &'A#50
)$ &#0' 0; ')@/ U#!0 5$ ) 0 ;!% #" )..$#- &)' P)/; ";!%' #!0 ' )%A
&).. !* '# 7A ! ' )/ )..$#- &)' #! ' ' 0 %A#0! )$@ '$)$ /< #-%.' 'A)' 'A
'$& !)/ 0')' ' " )!<' &;0' @ * P! P)/; C $' )!5 )%A 0;%%00 P )..$#- &)' #! 0 #@') !5
@< ;0 !* 'A ?//& )! ;)' #! "#$ #+ C $ )0 )! ;.5)' $;/ 6
#
#
# $
# $ X # $ X # $ 31 $
"#$ )// U/ )$/<' 0 ) b-5 .# !' "#$ 'A 0 ;.5)' $;/ @%);0 'A ?//& )!
;)' #! "#$ )00;$0 ;0 #" ;)/ '< ! 'A 0 %)0 Q!55 ' 'A 0 ;!% %)! @
#
T9
0A#`! ! *!$)/ '# %#!P$* '# )0 ;!5$ 'A 0)& %#!5 ' #!0 'A)' *;)$)!'
'A - 0'!% #" 7A 0 )/* #$ 'A& 0 %)// 5 7# .$#5;% )%A 0;%%00 P )..$#- &)' #! ' "$#& ' '$)' P .#/ %< P)/;)' #!
)../ 0 'A 0)& #.$)' #! '# )%A 0')' 6 ' $./) %0 'A #/5 P)/; #" ` 'A ) !` P)/;
#@') !5 "$#& 'A #/5 P)/;0 #" 'A 0;%%00#$ 0')'0 #" ' )!5 'A -.%'5 &&5 )'
$`)$50 ' )/# !* )// 'A #!80'. '$)!0 ' #!0 .#00 @/ ;!5$ 'A .#/ %< @ !* P)/;)'5 %)// 'A 0 B !5 #" #.$)' #! ) # ,)%A '$)' #! #" '$)' P .#/ %< P)/;)' #! #
'A P)/; #" P$< 0')' #!% '# .$#5;% 'A !` )..$#- &)' P)/; ";!%' #! 7A$ )$ 0P$)/ 5 $!' B !50 #" ";// @)%B;.0 5.!5 !* #! À'A$ ) 0')' 0 @ !*
@)%B5 ;. #)0 A$ $ #$ ) 0')'8)%' #! .) $' )!5 5.!5 !* #! 'A .$% 0 `)< 'A 0' &)'5
P)/;0 #" 'A 0;%%00#$ 0')'0 )$ %#&@ !5 4// 'A @)%B;.0 5#! ! cM )/* #$ 'A&0 )$
%)// 5 @)%B;.0 @%);0 'A< )$ @)05 #! )// .#00 @/ !-' 0')'0 $)'A$ 'A)! #! )
0)&./ !-' 0')' 7A !)';$ #" ) @)%B;. %)! @ -.$005 ! )! ;)' #! ' )0 )@#P ' #$
! ) @)%B;. 5 )*$)& / B 'A#0 !'$#5;%5 ! UA).'$ + d#$ -)&./ ' d *;$ + 3 ) 0 'A
@)%B;. 5 )*$)& %#$$0.#!5 !* '# 'A ";// @)%B;. ;05 ! '$)' P .#/ %< P)/;)' #!
7# `$ ' ) 0 ;!' )/ %#&.;'$ .$#*$)& '# &./ &!' '$)' P .#/ %< P)/;)' #! ' )0
* P! @< #31 $' <#; `#;/5 A)P '# ;0 '`# )$$)<0 ' #! "#$ 'A #/5 P)/;0 ' # $ ' )!5
#! "#$ 'A !` P)/;0 ' # $ 7A 0 `)< 'A !` P)/;0 %)! @ %#&.;'5 #! @< #!
"$#& 'A #/5 P)/;0 ` 'A#;' 'A #/5 P)/;0 @ !* %A)!*5 S" %#;$0 ' 0 )0 $ 0 &./< '#
;0 #! )$$)< )!5 ;.5)' 'A P)/;0 ! ./) %' 'A)' 0 ' ` 'A )%A !` @)%B58;. P)/;
&&5 )'/< #P$`$ ' !* 'A #/5 #! 7A! ' 5.!5 !* #! 'A #$5$ ! À %A 'A 0')'0 )$
@)%B5 ;. ' 0#&' &0 !` P)/;0 )$ ;05 !0')5 #" #/5 #!0 #! 'A $ *A'A)!5 0 5 #"
#31 $ 7A 0 0/ *A'/< 5 $!' )/* #$ 'A& )/0 # %#!P$*0 '# ! ")%' ' ' ;0;)//< %#!P$*0
")0'$ 'A)! 'A '`#8)$$)< P$0 #! ' )0 <#; & *A' -.%' 0 !% ' ;00 !` 5)') )0 0##! )0 '
0 )P) /) @/ 'A !B #" 'A @)%B;.0 )0 @ !* 5#! ! ) 'A$#;*A 'A 0')' 0.)%
7A #$5$ ! À %A 0')'0 )$ @)%B5 ;. 5;$ !* 'A 0`. A)0 ) 0 *! b%)!' ! ;!% #! 'A
$)' #" %#!P$*!% ;0;)//< A)P 'A !8./) % P$0 #! ! & !5 À! ` 'A !B #" cM
)/* #$ 'A&0
4!#'A$ &./ &!')' #! .# !' %#!%$!0 'A '$& !)' #! #" 'A )/* #$ 'A& d#$&)//<'
'$)' P .#/ %< P)/;)' #! %#!P$*0 #!/< ! 'A / & ' ' @;' ! .$)%' % ' &;0' @ A)/' 5 0A#$'
#" 'A 0 4 '<. %)/ 0'#.. !* %#!5 ' #! "#$ '$)' P .#/ %< P)/;)' #! 0 '# '0' 'A ;)!' '<
&)- # $ # $ )"'$ )%A 0`. )!5 0'#. À! ' 0 0; % !'/< 0&)// d *;$
3 * P0 ) %#&./' )/* #$ 'A& "#$ '$)' P .#/ %< P)/;)' #! ` 'A 'A 0 0'#.. !* %$ '$ #!
% % $ '
'
01
&
' ' " " # !
' ' ! ! # ! *
' . $ 01 1 & % * 9C
#
C
C
$
# $
# $
# $ P # $ P # # $ $
&)-
d *;$ 36 Q' $)' P .#/ %< P)/;)' #!
E
GZ ! HI U#!0 5$ 'A 3 3 *$ 5`#$/5 0A#`! @/#`
1
2
3
4
5
6
7
8
9
10
11
r = −1
on all transitions
7A !#!'$& !)/ 0')'0 )$ 3 7A$ )$ 3 )%' #!0 .#00 @/ ! )%A
0')' ' ' ' ' ' À %A 5'$& ! 0' %)//< %);0 'A %#$$0.#!5 !* 0')'
'$)!0 ' #!0 ' -%.' 'A)' )%' #!0 'A)' `#;/5 ')B 'A )*!'
# 'A *$ 5 ! ")%' / )P 'A 0')'
;!%A)!*5 7A;0 ' *' ' ' )!5 7A 0 0 )! ;!5 0%#;!'5 ' . 0#5 %
')0B 7A $`)$5 0 #! )// '$)!0 ' #!0 ;!' / 'A '$& !)/ 0')' 0 $)%A5 7A '$& !)/
0')' 0 0A)55 ! 'A b*;$ #)/' A#;*A ' 0 0A#`! ! '`# ./) %0 ' 0 "#$&)//< G#! 0')' $ 7A -.%'5 $`)$5 ";!%' #! 0 'A;0 ' "#$ )// 0')'0 )!5 )%' #!0 :;..#0
'A )*!' "#//#`0 'A ; .$#@)@/ $)!5#& .#/ %< #)// )%' #!0 ;)//< / B/< $ 7A /"' 0 5
#" d *;$ 3 0A#`0 'A 0 ;!% #" P)/; ";!%' #!0 %#&.;'5 @< '$)' P .#/ %<
P)/;)' #! 7A b!)/ 0' &)' 0 ! ")%' ' À %A ! 'A 0 %)0 * P0 "#$ )%A 0')' 'A
!*)' #! #" 'A -.%'5 !;&@$ #" 0'.0 "$#& 'A)' 0')' ;!' / '$& !)' #!
E
I I Q" 0 'A ; .$#@)@/ $)!5#& .#/ %<' À)' 0 # $ A)' 0 #> $ E
I I D
:;..#0 ) !` 0')' 1 0 )555 '# 'A *$ 5`#$/5 ;0' @/#` 0')' + ' À#0 )%' #!0 '
' '
' )!5
' ')B 'A )*!' '# 0')'0 ' + ' 3 ' )!5 1 $0.%' P/< 400;&
'A)' 'A '$)!0 ' #!0 'A #$ * !)/ 0')'0 )$ ;!%A)!*5 A)' 'A! 0 # 1 $ "#$ 'A
; .$#@)@/ $)!5#& .#/ %< R#` 0;..#0 'A 5<!)& %0 #" 0')' + )$ )/0 # %A)!*5 ' 0;%A
'A)' )%' #! "$#& 0')' + ')B0 'A )*!' '# 'A !` 0')' 1 A)' 0 # 1 $ "#$
actions
12
13
14
9
Vk for the
Random Policy
Greedy Policy
w.r.t. V k
0.0 0.0 0.0 0.0
k=0
0.0 0.0 0.0 0.0
0.0 0.0 0.0 0.0
random
policy
0.0 0.0 0.0 0.0
0.0 -1.0 -1.0 -1.0
k=1
-1.0 -1.0 -1.0 -1.0
-1.0 -1.0 -1.0 -1.0
-1.0 -1.0 -1.0 0.0
0.0 -1.7 -2.0 -2.0
k=2
-1.7 -2.0 -2.0 -2.0
-2.0 -2.0 -2.0 -1.7
-2.0 -2.0 -1.7 0.0
0.0 -2.4 -2.9 -3.0
k=3
-2.4 -2.9 -3.0 -2.9
-2.9 -3.0 -2.9 -2.4
-3.0 -2.9 -2.4 0.0
0.0 -6.1 -8.4 -9.0
k = 10
-6.1 -7.7 -8.4 -8.4
-8.4 -8.4 -7.7 -6.1
optimal
policy
-9.0 -8.4 -6.1 0.0
0.0 -14. -20. -22.
k=∞
-14. -18. -20. -20.
-20. -20. -18. -14.
d *;$ 3 6 U#!P$*!% #" '$)' P .#/ %< P)/;)' #! #! ) 0&)// *$ 5`#$/5 7A /"' %#/; &!
0 'A 0 ;!% #" )..$#- &)' #!0 #" 'A P)/; ";!%' #! "#$ 'A $)!5#& .#/ %< #)// )%' #!0
;)/$ 7A $ *A' %#/; &! 0 'A 0 ;!% #" *$5< .#/ % 0 %#$$0.#!5 !* '# 'A P)/;
";!%' #! 0' &)'0 #)$$#`0 )$ 0A#`! "#$ )// )%' #!0 )%A P !* 'A &)- &;& $ 7A /)0'
.#/ %< 0 *;)$)!'5 #!/< '# @ )! &.$#P&!' #P$ 'A $)!5#& .#/ %<' @;' ! 'A 0 %)0 '
)!5 )// .#/ % 0 )"'$ 'A 'A $5 '$)' #! )$ #.' &)/
-22. -20. -14. 0.0
9
'A ; .$#@)@/ $)!5#& .#/ %< ! 'A 0 %)0 E
I I A)' )$ 'A ;)' #!0 )!)/# *#;0 '# #3+ $ )!5 #31 $ "#$ 'A )%' #!8P)/ ; ";!%' #! )!5 '0 0;%%00 P )..$#- &)' #! @< ) 0 ;!% #" ";!%' #!0 E
I I Q! 0#& ;!5 0%#;!'5 . 0#5 % ')0B0 'A$ &)< @ 0#& .#/ % 0 "#$ À %A P!';)/
'$& !)' #! 0 !#' *;)$)!'5 d#$ -)&./ ' ! 'A *$ 5 .$#@/ & )@#P ' 0 .#00 @/ '# *#
@)%B )!5 "#$'A @'`! '`# 0')'0 "#$P$ Q! ) ')0B 'A)' 0 #'A$` 0 .$"%'/< 0!0 @/ '
# $ &)< @ !*)' P !b! '< "#$ 0#& .#/ % 0 )!5 0')'0 ' ! À %A %)0 'A )/* #$ 'A&
"#$ '$)' P .#/ %< P)/;)' #! * P! ! d *;$ 3 ` / !#' '$& !)' 40 ) .;$/< .$)%' %)/
&)''$' A#` & *A' ` )&!5 'A 0 )/* #$ 'A& '# )00;$ '$& !)' #! P! ! 'A 0 %)0 400;&
'A)' P!';)/ '$& !)' #! *;)$)!'5 ;!5$ 'A #.' &)/ .#/ %<
S;$ $)0#! "#$ %#&.;' !* 'A P)/; ";!%' #! "#$ ) .#/ %< 0 '# A/. b!5 @''$ .#/ % 0
:;..#0 ` A)P 5'$& !5 'A P)/; ";!%' #! "#$ )! )$@ '$)$< 5'$& ! 0' % .#/ %< d#$ 0#& 0')' ` `#;/5 / B '# B!#` À'A$ #$ !#' ` 0A#;/5 %A)!* 'A .#/ %< '#
5'$& ! 0' %)/ /< %A##0 )! )%' #! # $ B!#` A#` *##5 ' 0 '# "#//#` 'A %;$$!'
.#/ %< "$#& " 'A)' 0 ;0' # $ " @;' `#;/5 ' @ @''$ #$ `#$0 '# %A)!* '# 'A !`
.#/ %< S! `)< '# )!0`$ 'A 0 ;0' #! 0 '# %#!0 5$ 0/ %' !* G ! )!5 'A! 'A$)"'$
"#//#` !* 'A - 0' !* .#/ %<' 7A P)/; #" 'A 0 `)< #" @A)P !* 0
# $ # $ #32 $
X
# $ 7A B< %$ '$ #! 0 À'A$ 'A 0 0 *$)'$ 'A)! #$ / 00 'A)! # $ Q" ' 0 *$)'$ ' 'A)'
0 ' " ' 0 @''$ '# 0/ %' G #!% ! )!5 'A$)"'$ "#//#` 'A)! ' `#;/5 @ '# "#//#` )//
'A ' & ' 'A! #! `#;/5 -.%' ' '# @ @''$ 0' / '# 0/ %' G P$< ' & 0 !%#;!'$5 '
)!5 'A)' 'A !` .#/ %< `#;/5 ! ")%' @ ) @''$ #! #P$)//
7A)' 'A 0 0 '$; 0 ) 0.% )/ %)0 #" ) *!$)/ $0;/' %)// 5 'A (' )!5 @ )!< .) $ #" 5'$& ! 0' % .#/ % 0 0;%A 'A)' ' "#$ )// '
# # $$ # $ #3> $
7A! 'A .#/ %< &;0' @ )0 *##5 )0 ' #$ @''$ 'A)! ' 7A)' 0 ' ' &;0' #@') ! *$)'$
#$ ;)/ -.%'5 $';$! "$#& )// 0')'0 6
# $ # $ #3T $
9+
O#$#P$ ' " 'A$ 0 0'$ %' ! ;)/ '< #" #3> $ )' )!< 0')' ' 'A! 'A$ &;0' @ 0'$ %'
! ;)/ '< #" #3T $ )' )' / )0' #! 0')' 7A 0 $0;/' )../ 0 ! .)$' %;/) $ '# 'A '`# .#/ % 0
'A)' ` %#!0 5$5 ! 'A .$P #;0 .)$)*$).A ' )! #$ * !)/ 5'$& ! 0' % .#/ %<' ' )!5 )
%A)!*5 .#/ %<' ' 'A)' 0 5!' %)/ '# -%.' 'A)' # $ # $ S@P #;0/<' #3>
$ A#/5 0 '$ P )/ /< )' )/ / 0')'0 #'A$ 'A)! 7A;0 ' " # $ # $ ' 'A! 'A %A)!*5
.#/ %< 0 !55 @''$ 'A)! 7A 5) @A !5 'A .$##" #" 'A .#/ %< &.$#P&!' 'A#$& 0 )0< '# ;!5$0')!5
:')$' !* "$#& #3> $' ` B. -.)!5 !* 'A 0 5 )!5 $8)../< !* #3> $ ;!' / ` *'
# $ 6
# $
# # $$
# $ # # $$ # $ n # $ o
n # $ o
n # $ o
:# ")$ ` A)P 0! A#` ' * P! ) .#/ %< )!5 '0 P)/; ";!%' #! ' ` %)! )0 /< P)/;)'
) %A)!* ! 'A .#/ %< )' ) 0 !*/ 0')' '# ) .)$' %;/) $ )%' #! Q' 0 ) !)';$)/ -'!0 #! '#
%#!0 5$ %A)!*0 )' 0')'0 )!5 '# .#00 @/ )%' #!0 ' 0/ %' !* )' )%A 0')' 'A )%' #!
'A)' )..)$0 @0' )%%#$5 !* '# # $ Q! #'A$ `#$50 ' '# %#!0 5$ 'A !` .#/ %<'
' * P! @<
# $ )$* &) # $
)$* &) N # $ #3 9 $
)$* &)- N # $ À$ 'A )$* &)- !#')' #! 5!#'0 'A P)/; #" G )' À %A 'A -.$00 #! 0 &)-8
& 5 #` 'A ' 0 @$#B! )$@ '$)$ /< $ 7A *$5< .#/ %< ')B0 'A )%' #! 'A)' /# #B0 @0'
! 'A 0A#$' '$&" )"'$ #! 0'. #" /# #B)A)5" )%%#$5 !* '# ?< %#!0'$;%' #! ' 'A
*$5< .#/ %< &'0 'A %#!5 ' #!0 #" 'A .#/ %< &.$#P&!' 'A#$& #3> $' 0# ` B!#`
'A)' ' 0 )0 *##5 )0 ' #$ @''$ 'A)! ' 'A #$ * !)/ .#/ %< 7A .$#%00 #" &)B !* ) !` .#/ %<
P
93
'A)' &.$#P0 #P$ )! #$ * !)/ .#/ %<' @< &)B !* ' *$5< ` 'A $0.%' '# 'A P)/; ";!%' #!
#" 'A #$ * !)/ .#/ %<' 0 %)// 5 :;..#0 'A !` *$5< .#/ %<' ' 0 )0 *##5 ' @;' !#' @''$ 'A)! ' 'A #/5 .#/ %< 7A! ' )!5 "$#& #39 $ ' "#//#`0 'A)' "#$ )// 6
# $ &) # $ &) # $ ?;' 'A 0 0 'A 0)& )0 'A ?//& )! #.' &)/ '< ;)' #! #3 $' )!5 'A$"#$ ' &;0'
@ ' )!5 @#'A )!5 &;0' @ #.' &)/ .#/ % 0 M#/ %< &.$#P&!' 'A;0 &;0' * P ;0
) 0'$ %'/< @''$ .#/ %< -%.' À! 'A #$ * !)/ .#/ %< 0 )/$)5< #.' &)/
:# ")$ ! 'A 0 0%' #! ` A)P %#!0 5$5 'A 0.% )/ %)0 #" 5'$& ! 0' % .#/ % 0 Q!
'A *!$)/
%)0 ' ) 0'#%A)0'
% .#/ %< 0.% b0 .$#@)@ / ' 0 ' # $ ' "#$ ')B !* )%A
G
)%' #! ' ' ! )%A 0')' ' ` / !#' *# 'A$#;*A 'A 5') /0 ' @;' ! ")%' )// 'A 5)0
#" 'A 0 0%' #! -'!5 )0 /< '# 'A %)0 #" 0'#%A)0' % .#/ % 0 Q! .)$' %;/) $ ' 'A .#/ %<
&.$#P&!' 'A#$& %)$$ 0 'A$#;*A )0 0')'5 "#$ 'A 0'#%A)0' % %)0 ' ;!5$ 'A !)';$)/
5b! ' #!6
n X
o
h
i
# # $$ X # $ # $ Q! )55 ' #! ' " 'A$ )$ ' 0 ! .#/ %< &.$#P&!' 0'.0 0;%A )0 #39 $' 'A)' 0 ' " 'A$
)$ 0P$)/ )%' #!0 )' À %A 'A &)- &;& 0 )%A P5 ' 'A! ! 'A 0'#%A)0' % %)0 ` !5
!#' 0/ %' ) 0 !*/ )%' #! "$#& )&#!* 'A& Q!0')5 ' )%A &)- & !* )%' #! %)! @ * P!
) .#$' #! #" 'A .$#@)@ / '< #" @ !* 0/ %'5 ! 'A !` *$5< .#/ %< 4!< )..#$' #! !*
0%A& 0 )//#`5 )0 /# !* )0 )// 0;@8&)- &)/ )%' #!0 )$ * P! $# .$#@)@ / '<
7A /)0' $#` #" d *;$ 3 0A#`0 )! -)&./ #" .#/ %< &.$#P&!' "#$ 0'#%A)0' %
.#/ % 0 =$ 'A #$ * !)/ .#/ %<' ' 0 'A ; .$#@)@/ $)!5#& .#/ %<' )!5 'A !` .#/ %<'
' 0 *$5< ` 'A $0.%' '# 7A P)/ ; ";!%' #! 0 0A#`! ! 'A @#''#&8/ "' 5 )*$)&
)!5 'A 0' #" .#00 @/ 0 0A#`! ! 'A @#''#&8$ *A' 5 )*$)& 7A 0')'0 ` 'A &;/' ./
)$$#`0 ! 'A 5 )*$)& )$ 'A#0 ! À %A 0P$)/ )%' #!0 )%A P 'A &)- &;& ! #39 $
)!< )..#$' #!&!' #" .$#@)@ / '< )&#!* 'A0 )%' #!0 0 .$& ''5 7A P)/; ";!%' #! #"
)!< 0;%A .#/ %<' # $ ' %)! @ 0! @< !0.%' #! '# @ 'A$ ' D ' #$ )' )// 0')'0 '
' À$)0 # $ 0 )' &#0' 7A;0 ' # $ # $ ' "#$ )// ' / ;0'$)' !*
.#/ %< &.$#P&!' 4/' A#;*A ! 'A 0 %)0 'A !` .#/ %< A)..!0 '# @ #.' &)/' ! *!$)/
#!/< )! &.$#P&!' 0 *;)$)!'5
S!% ) .#/ %<' ' A)0 @! &.$#P5 ;0 !* '# < /5 ) @''$ .#/ %<' ' ` %)! 'A!
%#&.;' )!5 &.$#P ' )*) ! '# < /5 )! P! @''$ %)! 'A;0 #@') ! ) 0 ;!%
#" &#!#'#! %)//< &.$#P !* .#/ % 0 )!5 P)/; ";!%' #!06
91
# $ # $
# $ # $
# $ P
# $i
h
#
# $$
# $
P
# $
# $
# $ C
&)- # )$* &)- #
d *;$ 3+ 6 M#/ %< '$)' #! #;0 !* '$)' P .#/ %< P)/;)' #!$ "#$ Q! 'A )$* &)- 0'. ! + ' ' 0 )00;&5 'A)' ' 0 )$ @$#B! ! ) %#!0 0'!' #$5$
C À$ 5!#'0 ) .#/ %< )!5 5!#'0 ) .#/ %< ,)%A .#/ %< 0
*;)$)!'5 '# @ ) 0'$ %' &.$#P&!' #P$ 'A .$P #;0 #! #;!/ 00 ' 0 )/$)5< #.' &)/$ ?%);0 ) b! ' OcM A)0 #!/< ) b! ' !;&@$ #"b!.#/ % 0 ' 'A 0 .$#%00 &;0' %#!P$* '#
)! #.' &)/ .#/ %< )!5 #.' &)/ P)/; ";!%' #! ! ) ' !;&@$ #" '$)' #!0
7A 0 `)< #" b!5 !* )! #.' &)/ .#/ %< 0 %)// 5 4 %#&./' )/* #$ 'A&
0 * P! ! d *;$ 3+ R#' 'A)' )%A .#/ %< P)/;)' #! ' '0/" )! '$)' P %#&.;')' #! '
0 0')$'5 ` 'A 'A P)/; ";!%' #! "#$ 'A .$P #;0 .#/ %< 7A 0 '<. %)//< $0;/'0 ! ) *$)'
!%$)0 ! 'A 0.5 #" %#!P$*!% #" .#/ %< P)/;)' #! #.$0;&)@/< @%);0 'A P)/;
";!%' #! %A)!*0 / ''/ "$#& #! .#/ %< '# 'A !-' $ M#/ %< '$)' #! #"'! %#!P$*0 ! 0;$.$ 0 !*/< "` '$)' #!0 7A 0 0 / ;0'$)'5 @< 'A
-)&./ ! 'A .$%5 !* 0%' #! 7A @#''#&8/"' 5 )*$)& ! d *;$ 3 0A#`0 'A P)/;
";!%' #! "#$ 'A ; .$#@)@/ $)!5#& .#/ %<' )!5 'A @#''#&8$ *A' 5 )*$)& 0A#`0 ) *$5<
.#/ %< "#$ 'A 0 P)/; ";!%' #! 7A .#/ %< &.$#P&!' 'A#$& )00;$0 ;0 'A)' 'A0 .#/ % 0
)$ @''$ 'A)! 'A #$ * !)/ $)!5#& .#/ %< Q! 'A 0 %)0 ' A#`P$ ' 'A0 .#/ % 0 )$ !#' ;0'
@''$ ' @;' #.' &)/' .$#%5 !* '# 'A '$& !)/ 0')'0 ! 'A & ! &;& !;&@$ #" 0'.0 Q!
'A 0 -)&./ ' .#/ %< '$)' #! `#;/5 b!5 'A #.' &)/ .#/ %< )"'$ ;0' #! '$)' #!
92
E
GZ ! HI D
)%B &)!)*0 '`# /# %)' #!0 "#$ ) !)' #!` 5 %)$ $!')/ %#&.)!<
,)%A 5)<' 0#& !;&@$ #" %;0'#&$0 )$$ P )' )%A /# %)' #! '# $!' %)$0 Q" )%B A)0 ) %)$
)P) /) @/ ' A $!'0 ' #;' )!5 0 %$5 '5 C @< 'A !)' #!)/ %#&.)!< Q" A 0 #;' #" %)$0 )'
'A)' /# %)' #! ' 'A! 'A @;0 !00 0 /# 0' U)$0 @%#& )P) /) @/ "#$ $!' !* 'A 5)< )"'$ 'A<
)$ $';$!5 7# A/. !0;$ 'A)' %)$0 )$ )P) /) @/ À$ 'A< )$ !55 ' )%B %)! &#P
'A& @'`! 'A '`# /# %)' #!0 #P$! *A' ' )' ) %#0' #" .$ %)$ &#P5 )00;& 'A)'
'A !;&@$ #" %)$0 $ ;0'5 )!5 $';$!5 )' )%A /# %)' #! )$ .# 00#! $)!5#& P)$ )@/0 '
&)! !* 'A)' 'A .$#@)@ / '< 'A)' 'A !;&@$ 0 0 b$0'' À$ 0 'A -.%'5
!;&@$ :;..#0 0 + )!5 3 "#$ $!')/ $ ;0'0 )' 'A )!5 0%#!5 /# %)' #!0 )!5 +
)!5 "#$ 5$#.# 0 7# 0 &./ "< 'A .$#@/ & 0/ *A'/<' ` )00;& 'A)' 'A$ %)! @ !# &#$
'A)! C %)$0 )' )%A /# %)' #! #)!< )55 ' #!)/ %)$0 )$ $';$!5 '# 'A !)' #!` 5 %#&.)!<'
)!5 'A;0 5 0)..)$ "$#& 'A .$#@/ & $ )!5 ) &)- &;& #" 1 %)$0 %)! @ &#P5 "$#& #!
/# %)' #! '# 'A #'A$ ! #! ! *A' ')B 'A 5 0%#;!' $)' '# @ 9 )!5 "#$&;/)'
'A 0 )0 ) %#!' !;)/ b! ' OcM' À$ 'A ' & 0'.0 )$ 5)<0 ' 'A 0')' 0 'A !;&@$ #"
%)$0 )' )%A /# %)' #! )' 'A !5 #" 'A 5)<' )!5 'A )%' #!0 )$ 'A !' !;&@$ #" %)$0
&#P5 @'`! 'A '`# /# %)' #!0 #P$! *A' d *;$ 33 0A#`0 'A 0 ;!% #" .#/ % 0
"#;!5 @< .#/ %< '$)' #! 0')$' !* "$#& 'A .#/ %< 'A)' !P$ &#P0 )!< %)$0
E
I I ^
$ ' ) .$#*$)& "#$ .#/ %< '$)' #! )!5 $80#/P )%B 0 %)$ $!')/ .$#@/ & ` 'A 'A
"#//#` !* %A)!*0 S! #" )%B 0 &./#<0 )' 'A b$0' /# %)' #! $ 50 ) @;0 A#& )%A
! *A' )!5 / P0 P$< !)$ 'A 0%#!5 /# %)' #! :A 0 A)..< '# 0A;''/ #! %)$ '# 'A 0%#!5
/# %)' #! "#$ "$ ,)%A )55 ' #!)/ %)$ 0' / %#0'0 ' )0 5# )// %)$0 ! 'A #'A$ 5 $%' #! Q!
)55 ' #! ' )%B A)0 / & '5 .)$B !* 0.)% )' )%A /# %)' #! Q" &#$ 'A)! C %)$0 )$ B.'
#P$! *A' )' ) /# %)' #! #)"'$ )!< &#P !* #" %)$0 $' 'A! )! )55 ' #!)/ %#0' #" 3 &;0'
@ !%;$$5 '# ;0 ) 0%#!5 .)$B !* /# ' # !5.!5!' #" A#` &)!< %)$0 )$ B.' 'A$ $ 7A0 0#$' #" !#!/ !)$ ' 0 )!5 )$@ '$)$< 5<!)& %0 #"'! #%%;$ ! $)/ .$#@/ &0 )!5 %)!!#'
)0 /< @ A)!5/ 5 @< #.' & )' #! &'A#50 #'A$ 'A)! 5<!)& % .$#*$)&& !* 7# %A%B
<#;$ .$#*$)& ' b$0' $./ %)' 'A $0;/' 0 * P! "#$ 'A #$ * !)/ .$#@/ & Q" <#;$ %#&.;'$ 0
'## 0/#` "#$ 'A ";// .$#@/ & ' %;' )// 'A !;&@$0 #" %)$0 ! A)/" E
I I =#` `#;/5 .#/ %< '$)' #! @ 5b!5 "#$ )%' #! P)/;0 _ P ) %#&./' )/* #$ 'A& "#$
%#&.;' !* ' )!)/# *#;0 '# d *;$ 3+ "#$ %#&.;' !* M/ )0 .)< 0.% )/ )''!' #! '#
'A 0 -$% 0 @%);0 'A 5)0 !P#/P 5 ` / @ ;05 'A$#;*A#;' 'A $0' #" 'A @##B
E
I I :;..#0 <#; )$ $0'$ %'5 '# %#!0 5$ !* #!/< .#/ % 0 'A)' )$ ' &)! !* 'A)'
'A .$#@)@ / '< #" 0/ %' !* )%A )%' #! ! )%A 0')' ' ' 0 )' / )0' # $ c0%$ @
;)/ ')' P/< 'A %A)!*0 'A)' `#;/5 @ $ ; $5 ! )%A #" 'A 0'.0 + ' ' )!5 ' ! 'A)'
#$5$ ' #" 'A .#/ %< '$)' #! )/* #$ 'A& "#$ # d *;$ 3+ $ 9>
π0
π1
π2
5
5
4
0
4
3
3
2
43
21
0
1
2
1
0
−1
−2
−3 -4
π4
−3 −4
V4
5
5
3
4
2
1
3
2
1
612
0
0
2
tio 0
n
4
ca
#Cars at first location
20
π3
−1
−2
0
#Cars at second location
20
lo
st
fir
at
seco
s
rs at
nd lo
2
catio 0
n
ar
#Ca
0
−1
−2
−3 −4
#C
0
420
0
−1
−2
−3 −4
d *;$ 33 6 7A 0 ;!% #" .#/ % 0 "#;!5 @< .#/ %< '$)' #! #! )%B 0 %)$ $!')/ .$#@/ & '
)!5 'A b!)/ 0')'8P)/; ";!%' #! 7A b$0' bP 5 )*$)&0 0A#` ' "#$ )%A !;&@$ #" %)$0 )'
)%A /# %)' #! )' 'A !5 #" 'A 5)<' 'A !;&@$ #" %)$0 '# @ &#P5 "$#& 'A b$0' /# %)'b$0'#!
'# 'A 0%#!5 #!*)' P !;&@$0 !5 %)' '$)!0"$0 "$#& 'A 0%#!5 /# %)' #! '# 'A $ ,)%A 0;%%00 P .#/ %< 0 ) 0'$ %' &.$#P&!' #P$ 'A .$P #;0 .#/ %<' )!5 'A /)0' .#/ %<
0 #.' &)/
9T
S! 5$)`@)%B '# .#/ %< '$)' #! 0 'A)' )%A #" '0 '$)' #!0 !P#/P 0 .#/ %< P)/;)' #! '
À %A &)< '0/" @ ) .$#'$)%'5 '$)' P %#&.;')' #! $ ; $ !* &;/' ./ 0`.0 'A$#;*A
'A 0')' 0' Q" .#/ %< P)/;)' #! 0 5#! '$)' P/<' 'A! %#!P$*!% -)%'/< '# #%%;$0
#!/< ! 'A / & ' O;0' ` `) ' "#$ -)%' %#!P$*!% ' #$ %)! ` 0'#. 0A#$' #" 'A)' 7A
-)&./ ! d *;$ 3 %$') !/< 0;**0'0 'A)' ' &)< @ .#00 @/ '# '$;!%)' .#/ %< P)/;)' #!
Q! 'A)' -)&./ .#/ %< P)/;)' #! '$)' #!0 @<#!5 'A b$0' 'A$ A)P !# %' #! 'A
%#$$0.#!5 !* *$5< .#/ %<
Q! ")%' ' 'A .#/ %<8P)/;)' #! 0'. #" .#/ %< '$)' #! %)! @ '$;!%)'5 ! 0P$)/ `)<0
` 'A#;' /# 0 !* 'A %#!P$*!% *;)$)!'0 #" .#/ %< '$)' #! S! &.#$')!' 0.% )/ %)0
0 À! .#/ %< P)/;)' #! 0 0'#..5 )"'$ ;0' #! 0`. ##! @)%B;. #" )%A 0')' $ 7A 0
)/* #$ 'A& 0 %)// 5 Q' %)! @ `$ ''! )0 ) .)$' %;/) $/< 0 &./ @)%B;. #.$)' #!
'A)' %#&@ !0 'A .#/ %<8 &.$#P&!' )!5 '$;!%)'5 .#/ %<8P)/;)' #! 0'.06
# $
&) # $ &) X #
3C $
N # $ "#$ )// d#$ )$@ '$)$< ' 'A 0 ;!% %)! @ 0A#`! '# %#!P$* '# ;!5$ 'A 0)& %#!5 ' #!0 'A)' *;)$)!' 'A - 0'!% #" 4!#'A$ `)< #" ;!5$0')!5 !* P)/; '$)' #! 0 @< $"$!% '# 'A ?//& )! #.' &)/ '<
;)' #! #3 $ R#' 'A)' P)/; '$)' #! 0 #@') !5 0 &./< @< ';$! !* 'A ?//& )! #.' 8
&)/ '< ;)' #! !'# )! ;.5)' $;/ 4/0 # !#' A#` 'A P)/; '$)' #! @)%B;. 0 5!' %)/
'# 'A .#/ %< P)/;)' #! @)%B;. #31 $ -%.' 'A)' ' $ ; $0 'A &)- &;& '# @ ')B!
#P$ )// )%' #!0 4!#'A$ `)< #" 0 !* 'A 0 %/# 0 $/)' #!0A . 0 '# %#&.)$ 'A @)%B;.
5 )*$)&0 "#$ 'A0 )/* #$ 'A&06 d *;$ + 3 ) 0A#`0 'A @)%B;. 5 )*$)& "#$ .#/ %< P)/;)' #!
)!5 d *;$ + > ) 0A#`0 'A @)%B;. 5 )*$)& "#$ P)/; '$)' #! 7A0 '`# )$ 'A !)';$)/
@)%B;. #.$)' #!0 "#$ %#&.;' !* )!5 d !)//<' /' ;0 %#!0 5$ A#` P)/; '$)' #! '$& !)'0 ( B .#/ %< P)/;)' #! ' P)/;
'$)' #! "#$&)//< $ ; $0 )! !b! ' !;&@$ #" '$)' #! '# %#!P$* -)%'/< '# Q!
.$)%' % ' ` 0'#. #!% 'A P)/; ";!%' #! %A)!*0 @< #!/< ) 0&)// )&#;!' ! ) 0`. d *;$
31 * P0 ) %#&./' P)/; '$)' #! )/* #$ 'A& ` 'A 'A 0 B !5 #" '$& !)' #! %#!5 ' #!
N)/; '$)' #! %' P/< %#&@ !0 ' ! )%A #" '0 0`.0 ' #! 0`. #" .#/ %< P)/;)' #!
)!5 #! 0`. #" .#/ %< &.$#P&!' d)0'$ %#!P$*!% 0 #"'! )%A P5 @< !'$.#0 !*
&;/' ./ .#/ %< P)/;)' #! 0`.0 @'`! )%A .#/ %< &.$#P&!' 0`. Q! *!$)/'
'A !' $ %/)00 #" '$;!%)'5 .#/ %< '$)' #! )/* #$ 'A&0 %)! @ 'A#;*A' #" )0 0 ;!%0 #"
0`.0 ' 0#& #" À %A ;0 .#/ %< P)/;)' #! @)%B;.0 ' )!5 0#& #" À %A ;0 P)/; '$)' #!
@)%B;.0 : !% 'A &)- #.$)' #! ! #3C $ 0 'A #!/< 5 $!% @'`! 'A0 @)%B;.0 '
'A 0 ;0' &)!0 'A)' 'A &)- #.$)' #! 0 )555 '# 0#& 0`.0 #" .#/ %< P)/;)' #! 4//
#" 'A0 )/* #$ 'A&0 %#!P$* '# )! #.' &)/ .#/ %< "#$ 5 0%#;!'5 b! ' OcM0
99
# $ #
C
C
# $
P
# $
# $
#
# $$
P
$
# $
&)- &)- )$* &)- d *;$ 31 6 N)/; Q' $)' #!
E
GZ ! HI # # 4 *)&@/ $ A)0 'A #..#$';! '< '# &)B @'0 #!
'A #;'%#&0 #" ) 0 ;!% #" %# ! .0 Q" 'A %# ! %#&0 ;. A)50 ' 'A! A ` !0 )0 &)!<
5#//) $0 )0 A A)0 0')B5 #! 'A)' . ' @;' " ' 0 ') /0 'A! A /# 00 A 0 0')B 7A *)&
!50 À! 'A *)&@/ $ ` !0 @< $)%A !* A 0 *#)/ #" CC 5#//) $0 ' #$ /# 00 @< $;!! !* #;'
#" &#!< S! )%A . ' 'A *)&@/ $ &;0' 5% 5 À)' .#$' #! #" A 0 %). ')/ '# 0')B ' !
!'*$ !;&@$0 #" 5#//) $0 7A 0 .$#@/ & %)! @ "#$&;/)'5 )0 )! ;!5 0%#;!'5 ' . 0#5 % '
b! ' OcM 7A 0')' 0 'A *)&@/ $ 0 %). ')/' 99 )!5 'A )%' #!0 )$
0')B0 ' C & ! # CC $ 7A $`)$5 0 $# #! )// '$)!0 ' #!0 -%.' 'A#0
#! À %A 'A *)&@/ $ $)%A0 A 0 *#)/' À! ' 0 7A 0')'8P)/; ";!%' #! 'A! * P0
'A .$#@)@ / '< #" ` !! !* "$#& )%A 0')' 4 .#/ %< 0 ) &).. !* "$#& /P/0 #" %). ')/ '#
! 5!#' 'A
0')B0 7A #.' &)/ .#/ %< &)- & 0 'A .$#@)@
/
'<
#"
$)%A
!*
'A
*#)/
('
.$#@)@ / '< #" 'A %# ! %#& !* ;. A)50 Q" ! 0 B!#`! ' 'A! 'A !' $ .$#@/ & 0 B!#`!
)!5 ' %)! @ 0#/P 5 ' * ' @< P)/; '$)' #! d *;$ 32 0A#`0 'A %A)!* ! 'A P)/;
";!%' #! #P$ 0;%%00 P 0`.0 #" P)/; '$)' #! ' )!5 'A b!)/ .#/ %< "#;!5 ' "#$ 'A %)0
#" 3 E
I I A< 5#0 'A #.' &)/ .#/ %< "#$ 'A *)&@/ $ 0 .$#@/ & A)P 0;%A ) %;$ #;0 "#$& Q!
.)$' %;/) $ ' "#$ %). ')/ #" 1C ' @'0 ' )// #! #! . ' @;' "#$ %). ')/ #" 1 ' 5#0 !#' A<
0 'A 0 ) *##5 .#/ %< E
I I Q&./ &!' P)/; '$)' #!b!5"#$ 'A *)&@/ $ 0 .$#@/ & )!5 0#/P ' "#$ 1 )!5 11
Q! .$#*$)&& !* ' <#; &)< ' %#!P! !' '# !'$#5;% '`# 5;&&< 0')'0 %#$$0.#!5 !*
'# '$& !)' #! ` 'A %). ')/ #" C )!5 CC 5#//) $0 ' * P !* 'A& P)/;0 #" C )!5 $0.%' P/<
:A#` <#;$ $0;/'0 *$).A %)//< )0 ! d *;$ 32 4$ <#;$ $0;/' 0 0')@/ )0 C E
I I A)' 0 'A )!)/# * #" 'A P)/ ; '$)' #! @)%B;. #3C $ "#$ )%' #! P)/ ; 0 ' # $ CC
1
0.8
Value
estimates
0.6
sweep 32
0.4
sweep 1
0.2
sweep 2
sweep 3
0
1
25
50
75
99
Capital
50
Final
policy
(stake)
40
30
20
10
1
1
25
50
Capital
75
99
d *;$ 326 7A 0#/;' #! '# 'A *)&@/ $0 .$#@/ & "#$ C 3 7A ;..$ *$).A 0A#`0 'A
P)/b!)/; ";!%' #! "#;!5 @< 0;%%00 P 0`.0 #" P)/; '$)' #! 7A /#`$ *$).A 0A#`0 'A
.#/ %<
C
! !
4 &) #$ 5$)`@)%B '# 'A cM &'A#50 'A)' ` A)P 5 0%;005 0# ")$ 0 'A)' 'A< !P#/P #.$)' #!0 #P$ 'A !' $ 0')' 0' #" 'A OcM' 'A)' 0 ' 'A< $ ; $ 0`.0 #" 'A 0')'
0' Q" 'A 0')' 0' 0 P$< /) $* ' 'A! P! ) 0 !*/ 0`. %)! @ .$#A @ ' P/< -.!0 P
d#$ -)&./ ' 'A *)& #" @)%B*)&&#! A)0 #P$ C 0')'0 ,P! " ` %#;/5 .$"#$&
'A P)/; '$)' #! @)%B;. #! ) & / #! 0')'0 .$ 0%#!5 ' ' `#;/5 ')B #P$ ) 'A#;0)!5
<)$0 '# %#&./' ) 0 !*/ 0`.
cM )/* #$ 'A&0 )$ !8./) % '$)' P cM )/* #$ 'A&0 'A)' )$ !#' #$*)! 5
! '$&0 #" 0<0'&)' % 0`.0 #" 'A 0')' 0' 7A0 )/* #$ 'A&0 @)%B ;. 'A P)/;0 #"
0')'0 ! )!< #$5$ À)'0#P$ ' ;0 !* À)'P$ P)/;0 #" #'A$ 0')'0 A)..! '# @ )P) /) @/ 7A P)/;0 #" 0#& 0')'0 &)< @ @)%B5 ;. 0P$)/ ' &0 @"#$ 'A P)/;0 #" #'A$0 )$
@)%B5 ;. #!% 7# %#!P$* %#$$%'/<' A#`P$' )! )0<!%A$#!#;0 )/* #$ 'A& &;0' %#!' !;
'# @)%B;. 'A P)/;0 #" )// 'A 0')'06 ' %)! ' *!#$ )!< 0')' )"'$ 0#& .# !' ! 'A
%#&.;')' #! 40<!%A$#!#;0 cM )/* #$ 'A&0 )//#` *$)' - @ / '< ! 0/ %' !* 0')'0 '# À %A
@)%B;. #.$)' #!0 )$ )../ 5
d#$ -)&./ ' #! P$0 #! #" )0<!%A$#!#;0 P)/; '$)' #! @)%B0 ;. 'A P)/; ' ! ./) % ' #"
#!/< #! 0')' ' ' #! )%A 0'. ' L ' ;0 !* 'A P)/; '$)' #! @)%B;. #3C $ Q" C '
)0<&.'#' % %#!P$*!% '# 0 *;)$)!'5 * P! #!/< 'A)' )// 0')'0 #%%;$ ! 'A 0 ;!%
)! !b! ' !;&@$ #" ' &0 # Q! 'A ;!5 0%#;!'5 . 0#5 % %)0 ' ' 0 .#00 @/ 'A)' 'A$
)$ 0#& #$5$ !*0 #" @)%B;.0 'A)' 5# !#' $0;/' ! %#!P$*!% ' @;' ' 0 $/)' P/< )0<
'# )P# 5 'A0 $ : & /) $/<' ' 0 .#00 @/ '# !'$& - .#/ %< P)/;)' #! )!5 P)/; '$)' #!
@)%B;.0 '# .$#5;% ) B !5 #" )0<!%A$#!#;0 '$;!%)'5 .#/ %< '$)' #! 4/' A#;*A 'A 5') /0
#" 'A 0 )!5 #'A$ &#$ ;!;0;)/ cM )/* #$ 'A&0 )$ @<#!5 'A 0%#. #" 'A 0 @##B ' ' 0 %/ )$
'A)' ) "` 5 $!' @)%B;.0 "#$& @; /5 !* @/# %B0 'A)' %)! @ ;05 - @/< ! ) ` 5 P)$ '<
#" 0`.8/00 cM )/* #$ 'A&0
S" %#;$0 ' )P# 5 !* 0`.0 5#0 !#' !%00)$ /< &)! 'A)' ` %)! *' )`)< ` 'A /00
%#&.;')' #! Q' ;0' &)!0 'A)' )! )/* #$ 'A& 5#0 !#' !5 '# *' /# %B5 !'# )!< A#./00/<
/# !* 0`. @"#$ ' %)! &)B .$#*$00 &.$#P !* ) .#/ %< %)! '$< '# ')B )5P)!')*
#" 'A 0 - @ / '< @< 0/ %' !* 'A 0')'0 '# À %A ` )../< @)%B;.0 0# )0 '# &.$#P 'A
)/* #$ 'A& 0 $)' #" .$#*$00 %)! '$< '# #$5$ 'A @)%B;.0 '# /' P)/; !"#$&)' #!
.$#.)*)' "$#& 0')' '# 0')' ! )! % !' `)< :#& 0')'0 &)< !#' !5 'A $ P)/;0
@)%B5 ;. )0 #"'! )0 #'A$0 & *A' P! '$< '# 0B . @)%B !* ;. 0#& 0')'0 !' $/<
" 'A< )$ !#' $/P)!' '# #.' &)/ @A)P #$ :#& 5)0 "#$ 5# !* 'A 0 )$ 5 0%;005 !
UA).'$ 9
40<!%A$#!#;0 )/* #$ 'A&0 )/0 # &)B ' )0 $ '# !'$& - %#&.;')' #! ` 'A $)/8' &
!'$)%' #! 7# 0#/P ) * P! OcM' ` %)! $;! )! '$)' P cM )/* #$ 'A& 7A )*!' 0 -.$ !% %)! @ ;05 '#
5'$& ! 'A 0')'0 '# À %A 'A cM )/* #$ 'A& )../ 0 '0 @)%B;.0 4' 'A 0)& ' & ' 'A
/)'0' P)/; )!5 .#/ %< !"#$&)' #! "$#& 'A cM )/* #$ 'A& %)! *; 5 'A )*!' 0 5% 0 #!
&)B !* d#$ -)&./ ' ` %)! )../< @)%B;.0 '# 0')'0 )0 'A )*!' P 0 '0 'A& 7A 0 &)B0
' .#00 @/ '# 'A cM )/* #$ 'A& 0 @)%B;.0 #!'# .)$'0 #" 'A 0')' 0' 'A)' )$ &#0'
$/P)!' '# 'A )*!' 7A 0 B !5 #" "#%;0 !* 0 ) $.)'5 'A& ! $ !"#$%&!' / )$! !*
C
evaluation
V →V
π
π
V
π→greedy(V)
improvement
π*
V*
d *;$ 3> 6 _!$)/ 5 .#/ %< '$)' #!
! " # $ " $ % % $ & ' ( "
) % ) ) % ) % * + ' , ,
% $ % ! $ V =
Vπ
starting
V π
V*
π*
g re
π=
ed y
(V)
" % ! % $ + " * '
& * ( * % + & ! " $ ! "#
$ % & ' & ' & ( )* '
& * + + # * + + , - , . / - / . * + " ) * ' 0 0 1 ' $ $ % " ! + $ $ $ & " % # ) '' 0 + + + + % ! "
% * ( *
*
% (( # # % % " # (( ) # ( % # ) % % * ( # ( ' " *
( " *
% ) % *
% + $ # * % ! " # $ ! % ! ! + & ' ( $) % % " * + ) !
" % $ ! $ +
*!
"
&
&
!& " , ) % % + + & + + & ) +& -. & & & 0
"
/
+ + & + % + + + * + * "
1 & ! + + ! " 2 0 ! + % 1 & $" 2 % * ! % ! & "
! "
/1 & 0+ 0 1 0+ &0 +% + & " 2 ! ! & &
" & + ! 3 % * 4 "
5 + 1 & 3 -. 4 %
& ! -. 1 " 6 & ! %
% + & ! %& & &" * +-. &
!% % &% 8 & & 7 % & *
& " 9 * ! $ + -. 1 & "
:;<
(
' (
(
(
(
(
(
+
,-
/-
(
:;
, !" " # " $ %
& ' () * +
( ) ' , + , - + , "
. !" "
,
" + !" "
7
34
34
7
3 4 44
3
3
/ " : 0 / 0! 1 "
(
1 "2
,-
3 4 5 4 4 67 % 4 + +& 1 0! ! &" ! * ( * ! " , +! & * % % (
& ! + ! ! " ,
+ ! % ! ! * ! " 2 1 % " 4 % ! 9 9 & 7
% !/ + +& 7 3" "
9
!9 9" !2 9 8 !3" 4
% 9 ! 9 " 2 " ! 9 " 2 1 !! : % + ! 5
/ 0! 1 + && % +$ & : ; ; % " " 8 !&0! 1 < " / 0! 1 / ": <" 0! 1 ! 0! 1 ! 4 + ! 3 ! 4 9 & &" 2 & 3" 0! 1 "
/ +
) % ! & + !
3" 4 " < &
* ! !
+ % ! " 9
% +
! ! 0! 1 :
=>
% + ! ! " 9 4& %: 4 & & 3" 3 " 1 + * 2 "
?@A BCD
E
" 2 +: + 8
(
(
,-
& & & ,-
& & (
(
(
(
(
(
(
,-
(
,-
(
,-
(
* *
:;
! + * : " , :;% : :: " 8 + ! &+ & " 2 & "0 :;0 4% " / 3 " & ! & % & )% % + " / 4% & 4 * : + 4 +& 3 % + $ +3 $ "3 2 " / $
0 $ & :< % * & + + & % : ( %
% (" / . & + $: $ && 1" -." 9 + $0
% % ! % : $ " ! &" , 8 % 3 : 4 " 2 & $" 2
" 8 & % 4
$ 3" " ! $:: $ + % & " / + & " / :: + + + :+! $ :: % % & + ! +& 0 & :& : %"2
$
&
:; % + ;;
, " 2 $ " ; :% $
"
2
&
&
0! & +& 1 &
+$: $ & ! " 6 0! $ ! 0! 1! % +% 5 +
/ & + 0
! & / "
" " 2 ! + ! * " / & !% ;;%; ;;
! & "
! % +
&, & -. & ! $ ! " -. $
) ! % % & ) ) % + *
+ $: $" / * % & :;
& * $" 8 * + + + , + % * 0 %
"
/
-.
) +& 1 !& &" 2 + & 1 $ + & ! ! ! $ ! )
(
(
(
) (
(
::;
After 10,000 episodes
After 500,000 episodes
+1
Usable
ace
No
usable
ace
sum 2 1
−1
ale
r sh
ow
ing
10
12
Pla
De
yer
A
0 * 0! + $: $ & $ & +& 1 & ! "
; :%" ,
& "
8 +$ 1 2 +
+$
/ 1 ! ! + + ") % % + %
/1 " " 8 -. 3 / "; 4 0 & % 1 " 8 -.
& 5 &
5 +
" 2 & "
+ 1 ,
& % " 2 + % 1 + & & + ! " / % " ! *
/ ! )+ ! " 2 $+ 1 0
& & % ! " % & " 2 ! 1 & * !! 4-. 3 + & * "
?@A BCD " $ /
(
(
(
(
,-
(
(
(
(
(
(
' ))
:::
terminal state
" 0 2 +$ 1 "
& + ++ + % "
/ & $ & *
+
+ 2 &
&
4 " 2 & 8 3! "
% + " 2 / ! + $ + !! ! +& + % & " !
& + : % !
! % !
" 2 * $ -. & & "
$ + 1 & "
2
/ ! % + +!% + % )$ + +&% $ & + & &" / * ! + %& * *! + !
+ !4 %3 & * & + +
! "2
+ & & &
! & % *& $ % 1" / & & ! + & &"
?@D 9D
8 / " " 8 5& ! : 8 & ! & /
(
,-
(
(
(
::
3 4 5 4 6 4 4 4 % 1"
/ ! 8 ! + % % ! & ! "
&
! + + & $ *
-." 8 % !% ! % ! + " * & % ! 1 !&" 2
&
% ! + " " 2 &
! + ! 4 % * 2 & 9 % $ A% 3" & 7 " 2
1 & : ! " 2
!& 0! 1 ! 0 ! ! ! 0
! 1 ! "2 ! " 2 ! ) &% + %
* ! + ! 0 &"
2 % & ! 0 + !
& ! + ! "
&
& 8 7 ! % 1 & / 7 "
! * " 2 + + ! + ! ! %" 2 ! ! : & "
+ % * 2
'
0 + + " / & ! $ ! %
* " & +& & 8 + + + 0 % !
&
0 +
! & + " 2 +
" 8 '
"
* % + +
2
% & & ! $& + " 2
"
/
! 0 & 8 & ! 8 ++ & /
" * " 1 "
(
/.
/-
(
(
(
(
(
0 ' ' ' 0 (
?@D 9D 8
1 "
::
+$ 1 (
/- 3 4 5 4 5 4 4 & 1 + % * " 2 ! % % % 8 & 4 -. * ! "
3 . /! " / ./ + * & * 2 % & !& ! 0 & & & ! 8
(
evaluation
π
Q →Q
π
Q
π→greedy(Q)
$ $ *% 2
% + & + & ! ! +% &" 1 ! / 2 % & ! & & " !%
+ + & & 7 & 0
! 0
;
:
7
& ! & ! "
" 1 & . *& !% * * & +0! + ! +
& &" / % %
% 1 % * * % "+# & &
"
7 ! + $ ! . & " / & ! 0! & &% & &" / & 0! % & & % " $ % % & * 0! 0
3 ":4
7 3" 4 * 3" 4
improvement
(
/ / (
.
/.
/ -
/
::;
& ! + & +& 7 &
.
& + % " 2 & % ! 3 ; " 4 7 7 " $ %
3" 7 3" 44
3" * 3" 44
* 3" 4
3" 7 3" 44
3" 4
% 7 &
, % ! ) +
% & + " 2
7
7
& ! 1 ! !
+ ! &
" / & !
8 $ + ! & + " 1$ & & ! * %
!
"
"
8 !& ! + % *
+
"
/ & ! + " 2 ! & & ! " / % ! & ! % !
! -. && & ! +! " / + -. 1 * & ! 1 " + + & " + + ! & + % $ + + +& & " 2
& ! * & !%
& ) !
"
$
&
& + ! & + +
+ " ) 2! ! + & &!
! & !& ! % + &
* " * ! 8 + & ; & "* ! . / ! " " ! % !
& 0 ! & ! ! +
& + " 2 !
! *
/ 1 ! + !" 0+
& 0 + " , % + ! !
& ! % & & ! ! / ; ! 8 ", % 1 * " " 9 "
/ -
/ -
/ -
/ -
, -
/ -
/ -
(
(
(
/ -
/ -
(
(
34 4
73
::
34
# " $ % # $ " /
" " !" " & ' () * +
( ) ' , # + , - + , " . !" " /
" + !" " )
'
, , (
/
" "
3 4
7
3 4 44
4
3
3
3
7 3 4 * 3 4
/ "; 0 1 9 0 , 1 * "
1 9 % 0 /
& + ! " / & ! 1% ! !
&
!
9 !
& +! &" / % % ! & !
* "
&
0! ! % + +
! + ! " / & ) & "
?@A BCD E
& 1 9 + $: $"
"
/
* + % & " / + %& $ ) % + +& %
& ! ! + * % &" , ;& : & 0! $: $ + 0 $
& / " 2 + & + 8 1 " " + & $: $
& * 9 " 2 4
:
8
& & + & % 2 3 2
"
&
! +&% + !
& $: $ + "
(
(
(
(
(
(
&0 * *
(
1 "!
4 3 4 5 4 5 4 4 ! * 2 & & $ &
& "
::
π*
V*
21
20
19
18
17
16
15
14
13
12
11
Usable
ace
HIT
+1
21
STICK
−1
A
um 2 1
De
A 2 3 4 5 6 7 8 9 10
Dealer showing
ale
er s
A
r sh
ow
ing
Play
HIT
10
12
STICK
No
usable
ace
Player sum
10
21
20
19
18
17
16
15
14
13
12
11
12
A 2 3 4 5 6 7 8 9 10
" 0/ 2 ; 4 & 0!
0! +$: $ % +& 1 0
! 9 3 " +&" 12 9 " % 2 0 % & "
/! ! & & & $ "
/ 0 & 1 "
& % 7 3" 4 ; " $ %
/ 0 & 4 + ! 0 & " + &
$ 3" " 2 & &" 1 & & !& " 2 0 & * % ! %+ + + & % 0
! & & ++ % % " 2 + & + + % : % ! & 0
$* & % & 73" 4" 2 & % ;" , 0 %
0 & & "
! 0 & 1 . /" , 1 2
0! 9 % 8 0! 1 % !% & ! &" + * !
& & $ * & 0
/ ! % % + + & "% & + ./ ! ) & $0 & !& & & 0
/ 0 &
&%" / % 0
& & & ++
&" & ) & 7 & & & /
(
(
' ' (
(
0 (
(
(
/-
::<
7 "
& 0 & & ! ! & 0 2
" + 0 & &" 2
& 7 + & !
& !
& & + & " $ % 0
3" 7 3" 44
7 3" 4 3" 4
3"4
3" 4 3 " 4 3 : 4 * 3" 4 7 3" 4 3 4
4
4
:
3
3
"
"
: 3" 4
! % 3 + ) ! 0
+ ! 4
3" 4 3 " 4 3" 4 3 " 4 7 3" 4 3" 4
3" 4
% +& & ! % 7 7 3" "% 3" 4 3" 4 % " $ % 4 " 8 2
! ) & & + 7 0 + ) 0 "
% ""% !& : $ ! % * ) + 0 ! ! " 2 ! + ! 9 $ A% ++ & : ! + ! "* / & $ ! " 8 + + & 0 $ % ) + + %
! % " 2 + +!! $
!
0 + ! ! " 0 / " 2 &7 ) & " $ 3" 4 3 : 4 * 3" 4 3" 4 3" 4
3 : 4 *
3" 4
3" 4
3" 4
, ! % 3" 4 $ % ) & 0 & 7 3" 4 3 : 4 * 3" 4 3 4 3" 4
/-
/-
/-
X
,-
X /-
X /-
X /-
X
/-
X /-
/-
,-
, -
(
,- ,e .
X /.
e
i
,e .
X h X X h ,e .
,-
/
e.
/-
"
/-
X
X /-
i
::
3 4
34
# " $ % # $ " /
" !" " & ' () * +
( ) ' , # + , - + , " . !" " /
" + !" " )
'
, , (
.
/
"
' $ (" .
=
"
"
.
=
"
7
3 4
7
3 4 44
4
3
3
3
* 3 4 4
3:
4
3
73 4
34
/ " 0 , 0 0 & 1 "
3 : 4 *
3" 4
3" 4
3" 4
+ ) ! % * + ) % " "
/ % ! 0 & % $ 0 !
" # !
% * & + & + 0 & &0! * + " %2+ & "
2
&
&
&
! + & & 0 % + % ! % " 6! ! / * "
2 " "
67 4 4 4 4 1 1
! ! ! & &" & ! 5 &" 2 % % + ! % 7 7 " % % ! &7 % )& ! &" $ 7 $ % &%
(
X , X X , ,-
,- % "
,-
(
/-
::
%" 2 % ) ! 7 3" 4 9 ; & 7 3" 4 ;) " / ! 4 4 + + ) ! " 3" 3" 9 4 + ! 7 9" 2 ! +" 3" + 3" 4 %
& +& ! + + & 7 % 9 % +& 3" 4= 3" 4 " 2 1 + ! ! 3 " 4
3 4 3" 4
,-
(
,
"
P P ) ! ! + + 3" 4 3" 4 % & 2
/ & % & %
$ 4= 4% + 1
"
3" 34" + $ ! ! ! 9 & "
3" " 2
3" 4 7 3" 4
73
4
3" 4 7 3" 4
" 7 3
3" 4
4
7 3" 4
" 4% 4= 4% 2
! & 3 " " 3" 3" & ?@D 9D 8 1 4 ! % ! 3 " (
Y
Q Q
Y
(
1 "
4 3 4 5 4 5 4 4 & * 0 &
+$ 0 50 & !"
& " / 50 &
&
" 2 & + ! % % + ! ! %
& & &" , ! & &
& + % " "% &% + ! & +50 1" ) & ! & " 2 &
8
) &
(
:;
34
3 44 ;
3 4 ;
3
# " $ % # $ " /
" " /
" "
& ' + () " " " " ( ) - , , " () ' , # + , , ( ) " Q - " " " " /
" ( ) ' , " $ % /
" "
7
3 4
7
73 4
4 3 4
4 3 4
4
* 3 4
/ "< 0 , 50 & 1 "
) )+ ! & + ! +! !+ + &" 2
&+ % ) + +& &&"2 *8 + ! & + "
/ "< 50 & 1 % + . / % + ! & + & &" 2 & 7
" 2 4 +& & % + % !
" 2 + ! & % 3 + & + 4 + + 7 & + + 3 + ! % /
*
" 2 & &" &
0 + ! & "
+ & % ,
0 & " / 0 & ) % + !& %
& +
& * " 50. 1&% "
2
&
&
+ "
?@D 9D
! $ "
/ " " + % + 5 $"
% / !$ % %
+ ! ! 8 & ! & " 2 " 2& & " 9 &
3
3
3
73 4
(
(
/.
/-
(
*
(
::
Finish
line
Finish
line
" 0 , $ $"
+ +& % % % " < + 0 ! % & + + 8 " 9 + & " 2 & $ % ! 5 $" , & ! $ % + & ! % 8 ! %*" 8 % & + * $
"
2
$
$
&
&
&
% +& +& +& ! &" , & 0 &
1 $ & " 9* + ! : &"
Starting line
/
Starting line
(
1 "
4 1 + &% 0+&0 + %
" 1 ! * ) + ! !: ) 0 + $*
+ "
2
"
"
&
1 " 2 + 1 & & ! "
5 + 1 + " 2
1 & & ! ! % % 5 ! % 4 + + 5 ! ! : 3 + + + & & " 2 &% 1 + (
(
(
(
(
(
(
(
(
(
:
& & &" 2 ! +! &% &
& & "
+ " 2
! % ! % ) &" +& % ;4
3
"
/ * % + & " 3" 4 3" 4= 3" 4 " 8 ! ! " / $ $ % ! ! " 2 4
3
"
0 , P
P
,
,
,
,
,
; "
?@D 9D
1 & 0! 1 & ! 3 / ": 4 0
& ! + " "
?@D 9D
! 0 ! 3 " 4 3 "; 4 " / ! 3 "; 4 3 ": 4 "
?@D 9D 1 50 & 3 / "< 4 + & +! & ! "
(
1 "#
$ % 2 1 * ! ! 0
! ! / % + " 2
+ ! $ -. !"
& ! &0
% + %
"
&
/ & & & !
"
* & ++ ) +& -. " 2 % $& (
' ' ' :
1 + " , + & ! * & ! 1 3 * ! 4!" / 4 ; ! ! 3 / 1 " .
/ ! ! !& ! .& !
"
& ! " < ! ! %
"* ! 0
* & & % !& !
& * 0! " +/ + ! & ) ! & " 1 * & ! & !0
0+&0 + % + & 0+&0 + "
1 1 " / '
+ + % + +: + ! % & & !
+ & &
+ " + +& + 0
+ " '
+ & ! % ++ $& * " / % % "
/
* + & * " /
% & * % + & & + & " 1 + $ * "
1 ! + * & &
,
!& &" 2 ! & % 5 ! + " , % & & "
1 5 -. & " / % & " % &
*+ % % + + ! + " 2 & 5 % +
" 2 * & $ % 1 + " / % + *
$
+ % $ -. "
(
(
(
0 (
1 ' (
(
(
' ' 0 ' ' (
(
(
1 "
4 4 2 1 : ; ; & * , ! + + & ! & 1 & + *+
% " 8 % : + % : :4 !
$ 3 " " $
"
(
(
(
:;
& 1 ! ,
* +& 1 + 3 : 4 " / + 39* "; 4%
& ! 3* + 4
+ % 1 % !
" 2 9 " / < &0! 5 1 : ; 4 " ! * & 1 3
&
! ) :3 ; 4 & ! " 12 & & &! + " 3 : 4 + !&0! 0! 1 ! "
+$: $ * + * +& 8 % % 1 2
+ ++ * - + 1 3 : < 4" 2
% : ;4 +&*$ 3 : ;4 " 3 < % < % % : -&: 4%
$ 3
"2 3 :< 4$
"
(
(
(
(
(
(
(
(
(
/ + + & 4 ! + % 1 % & & 32 3--. 4 " " 2$- 1 2 - $
% & * + ! "
&
% % % 1 -. 2- 3 & + 4" 2 +
& 2--." 2 + * " < % + + + % < 2- 3 4 % & &&"/ 2- 1 "
% +& &0! + % ,
! ! & 7 " / + 3 4%
%
%
1
!
& 4-. 2 - 5 8 & 3 ./ " 2 + & 5 "
' (
(
(
(
(
' ,-
(
"2
4 2*- 1 % + * ! + " ! ! & 7 % + " / 4
3" + " ! " & $%1 ! $ % 3" 4 " , !& 0! 1 + & ! 3" 4 3" 4 3" 4 3 ":4
0 8 "
:
<
(
,-
,
,
(
,
,
(
h
,
i
:
" 8 1 3" 4 3 & $ 4% 2 & * " , & & $ + ! 3" 4
" 2 2 - % $ % 3" 4 3" 4 3" 4 3 " 4
3"4
/5 % 4 1 % 2 < 3" " + * % 2 - % 8 & $ -." $ 3" 4
3 " 4
" "
(
,
,
,
(
,
,
h
,
,
i
(
) '' 0
,-
X
" "
X
" "
,
" " "
- 3 4
3 "; 4
& $% 1 3 " 4 % 3 "; 4 " 2 1 -.
+ * ! 3 " 4 $ * " 2 -. + * ! % + & ! +& ! % + + 3" 4
% 3" 4 % " 2 2 - $ + 0 * ! 3 "; 4
" 2
% 2 - + 1 -." , % + $ / & +;4 ! + 1% / -.: "
" +$ " " 2 ! 2- 3 & +$
8 + 1 + & !! "
2
$
&
3 0+ 0!4% % ! !
0& 4 $ + 5 + 3 + &" $ $
-.
&
+ + "
(
(
,-
,
,
(
,-
(
(
' ) * '
' :<
": 0 2 +$ 2 - 3;4 "
3" 4 # 7 , /
,
& ( , ) & ( , ) "
+ - # # # "
,
,
,
,
" " " "
""
34 34
/
7
3 4 34
" 0 2 - 3;4 "
,-
?@A BCD ! $ & & 9
&
&
$ " 8 & ! & % & % & $ % & + ! ;" & & & ! * & 0$; %
& $ " , & & 0 & & $ "%2 ; ; " / & ! & &:! & "",#& * %
& & & $&+ $ % " &
! $ & )5 % % & ! 0; ; "
2 0 & " 2 &0 ! % & % *
% +& $
&
! ' ;
;
;
;;
;
' 0 ;
:
:;
;
' ;
;;
;;
;
;
:
45
actual outcome
40
Predicted
total
travel
35
time
30
leaving reach exiting 2ndary home
car highway road street
office
arrive
home
" 0 +& 1 ! 0 * "
* : &" 8 2
3 : 4 0 0 " 2 ! ' 0 0 " 2 + ! ! "
! 1 , 3 & 4 ! ) % / "
"
2
+& 0 1 3 ": 4 " 2 * & +
! 3 0 0 4 0 0 4 / * % * $ 3& : " % + & $ "& &9) ": 0 0 * % 4 % &" 2 03" 0 * " + ! 8 +:=;
" 2 * " 2 ++& & & $ + +& : $& + $" / & !% & + % % & ! " & & $ & "
/ & ! $ + + ;
&+& + &! $0!
! !%
$
:
"
2
0 0+ &" & && + ; " , &
$ %
& & $ & ; "
1 & & + & , 1 & % + & & $ /
Situation
(
(
' (
(
,
(
! " # $ %$
& $ "
:
45
actual
outcome
40
Predicted
total
travel
35
time
30
leaving reach exiting 2ndary home
car highway road street
office
arrive
home
"; 0 +& 2 - ! 0 * "
"
2 - % % & &% ,
+ & ; ;"" / % & ! %
&
/ "; / " * +& 2 - 3 " 4 3 +& : 4 "
! % " "% ! 9
+& "
< ! % ! 0
&& ! + & & $ " 8 + & * "
/
Situation
(
' 7 4 "
4 3 4 + " 2& 2 - 8 ! ! (! 1& " / !
2) - + -. - + $ $ " / & +! %" ! ! ! ) & 2!- %
*0-. + + +& *
+! ! ! 1 & " 2
2
& & % & " 8 1 % + & $ %
2 - & " & + " ! ! & % & ! / % : !" % 1 " & ) '
(
(
(
(
: ;
* $% + + + & " 2- & + ) $ "
< 2 - & ! *% % + ! &% &" / & * & 7 % 2 - % 0
+ + ! + ! % !
8 & * + + & 4 10 8 !
+
3+ "! 4% + 0+
& & * 3 " & * " 2 "
/ +*
2 - ) 1 8 ! & & % % 8 / ) $ +
+ , ! !
% !
& ) " / % !%
!
+
& !
1 / 2 - % $
&
* "
?@A BCD " / * & + 1 1 $! / " "
2 - 3;4 0 , % ) + + % +% ! + +& + 5
*
! &
" 2 0 +& + % + & !
& *
& " 9 *
% 8""/ / &* % & $
0 0 ) 0 ? < $ % ! : " +
+ &
" 2 % ! / 3 4 ; " 2 ! ! + ;4 % ?% !
% % / < " *" " ,! ! & 2&- 3 )
" ! % +
+& 2 - 3;4 0 1* % ! ! & ! ! 4 " ;/ % 9 +
8 1 3" ! +" 2 2 - &
$ "
(
,-
(
(
*
(
,-
(
,
(
?@D 9D 0
: :
A
0
B
0
0
C
0
D
1
E
start
/ 1 ! $" 8 $ %
0
"! , & $ " 2 : & 8 "
0.8
100
10
0.6
Estimated
value
0.4
0
1
true
values
0.2
0
A
B
C
D
E
State
" 2 + " 0 +&2- 3;4! ! +
;: * 4% ! ! " 8 0 8 3 & "
/
0.25
α=.01
0.2
RMS error,
averaged
over states
MC
0.15
α=.02
α=.04
0.1
α=.03
α=.15
0.05
α=.1
TD
α=.05
0
0
25
50
75
Walks / Episodes
100
% ! ! % "< 0 ! + 2 - 3;4 0 1 $ " 2 ) + ! ! % ! ! ! " 2 ! ! :;; 5 ) "
/
(
:
* ! & + & 2 - 2
1 " ! 0 * +&
& 2 - + + 2!- 1 "
! * ( * 1 0 !( * & *! 2- ++" ! + $"
2
&
&
$ 3+ & + & 4 " 6
% " 1 & & 2 - & $ + +%
& & $
?@D 9D / / " % & 3 4 "
8 & + 8 & & <& * & ?@D 9D 0 8 % % 5 &% &! $ +& +
& / "< 8 & & ?@D 9D
/ / "< % 18 2!- %%
" $ & + * ! - & 8 &
?@D 9D
$ $ % %
, +! ? + ! 5
8 " - 8 & ! +
" & & &
(
(
(
(
(
(
,
"
! + & * % & :; :;; &
"/ *% !
! * ! % % + : 4 " !
! % + & !3 " & %+ ! + * & & ! "
2
! % % ! !" 8 + & + % ;4 !
" # 0 2
3
&
1 8 %
% + & " 2 0
! & % + 5 " #
5 +
) ) (
' 0
:
.25
BATCH TRAINING
.2
RMS error,
averaged
over states
.15
.1
MC
TD
.05
.0
0
25
50
75
100
Walks / Episodes
/ 0 ;4 0 1 + 0
$ $"" . 2 - 3 " # ! & ! + % + & $ " < & % + $ % $ * "
?@A BCD < 0 ! 2 - 3;4 "
$ * 39* 4 0 1 % 0 + " 2&
"
"
,
& % 2 - 3;4 0 1 % & % ! ! 0 )! "2 !!
:;; * 4 + 3 !+ 1 / " " 6 + 2 - & + "
(
* ) ' 0
(
(
,-
(
# + % 1* !
! % 3" 4%9 !
!
& 8 0 ) " 2 " / + 2 - + +
/ " " + + 0 ) +
2 - % 2 ! 1
& < & !
2 - + 5& "* $ &
"
?@A BCD
1 $! " &" . + !& 0 (
,
(
: ;
; ;
:
:
:
:
:
:
;
% 2
;% ; " 2 ! !
% % + ! &" ! + 4 % 4 ! 4 % +3 * 3 &9!& + + 3
&
&
& :% < ! 4& ! ; " 3
+ " + ! :;; ! & 3 ;4% ! & ! % ! ! " & ! + 1 $ ! % ,
,
,
,
A
r=1
75%
r= 0
100%
B
r= 0
25%
! % ! 3 4 " 2 + 2 - 3;4 ! "
+ & + ! ! 2
;% 3 4 " 2 + 1 ! " 6 ! " / % ! 8 " < *) + +
1 !% * " / %! $ 1 +
* "
+ +& + 2;4 + !+ * 1 <5 2 - 3 ) " 1 % +& ;4
8 + * * 0 2- 3 & 1 ! % & $ $ ! " / + + ' %
* 0$ & & 1 $ ! " / +! & + ! 0 + + & : + ! % * ! + ! ! % : ! +" * &
,
,
(
(
(
(
* :
* & " 2 + ) ! & $ & + * " / % + 2 - 3;4 ! &0)! * " ! ) 1 ;4 &2 - 1 + $ & "
/
+ 2 %
2
3
" 2 * ! 2 - 3;4 + &0) !- 0
/ 4 0) ! & * $ $ 3 " "2! 0+ 2 -3;4 &3 ""% / ! &0) ! " < 4" , 0 ) 0
0+ % 0+ ;4 + & + 0 1 ! + & ! " 6 +
2 - 3 %&! & + + ! & " , 1 & 2 / % " 0) ! & % + & !
+
% * 0 &" / ) % & $ ! ) & & ! $ 2- * &"/ % ! " $ & 2
& + & + & * &0) ! "
& (
(
(
(
"!
$ 5 2 - + " , % 8 & 3 . /4 % & 2 - !5 * * " %, 1 % 0
0 50 & &" / 0! 0& 2- 0!
" 2 4 + ! "
/ % 0 9& 3
"
& 7 + +! A" &% & 2 - ) 0 " 0 8
(
/-
/-
,-
st
rt+1
st+1
rt+2
s
st+1 , at+1 t+2
! /
! " < + 0 & "
6 0 0 % ! st , at
st+2, at+2
:
3 4
/ " & ( , ) , + ( + # + )
& ( , ) # # "
, " + ( + # + )
/
/
/
/
" " " "
"" 3 4
3 4
3 4 3 4
" 0 0 , 0 & 2 - "
0 & + 1 $ ! 0 "/ & !
! 2 - 3;4 "2 ! 0
3" 4 3" 4 3 " 4 3" 4
3"4
! " " / " %
23" 4 & 8 " 2
!& ) ! %3" " 4 % $ 0 * " 2 ) ! "
/ 0 0 % & + + !0
% "
, & & & 7 7 ! / " 2
!
" " 2
&
/ * % 0 & 0 " , " 3 4% ! + + & & 0! ! +
& 3 + % * % &0
! + &
+ + & & := 4% + & "
?@A BCD
/ " :; % "
% + 5 0 % % % + "
! 2 * # - +&# +,
% /
/
/
/
h
/
/
i
/-
/-
: <
S
G
king's
moves
standard
moves
0
/
0
0 1
1
1
2
2 1
0
":; 0 / % ! +& 0 % "
170
150
G
S
100
Episodes
0
0
0
1
1
1
2
2
1
0
50
0
0
1000
2000
3000
4000
5000
6000
7000
8000
:: 0 & " 2 " (
* & !& :< " 2 & &% "
/" 2* ! + %
% + %
" +&! $ & : "
$ % " / ":: & 0 & $ % : % : % ! 3 " 4 ; ) 9 A " 2! < ;;;
% & & 3 4
$
"
&
&
0 & * $ ! + :< % : " 6 1 & + $+ " / &
! & % * ! 0+ 0 ! + + & ) "$ & & % "
Time steps
/
/
(
0 ' ?@D 9D 0 &
" 0 ! & $
:
! % "
+
+ %*
+ +& & !
& !
+& ?@D 9D " 0 ! $ ! %
% ! & +&
5! ! % &%& % & !
* ! % "
2
& ! + ! % ! *
% + ! + % "
&/ * % & ! &
&
+ ! &% ! + ! % ! & ! & "
?@D 9D
8 + $ (
"1
5 + $ ! % 50 & 2 - + $ 38 $ % : 4 " / &
3 " 4 3" 4 * 3" 4 3" 4
3"4
/ 0! % % 0! %+ %& * % " 2 & & + && !
2 & !%
5 0 ! " "
) ! + " , !
+ % ) & + ! ) " # ! * 0 8 ) % + ! + + & " 2 0 8 + / ": " 0 4 0 $ 2 3 " + % % % * +$ % ! + % + " *
2
+ + 8 + $
" 2 $ "
/ & % + $ * * / % + 3 / "< 4 " & *
$ 3 4 / ":; "
0
' 0
/
/
h
/
/
i
/.
/
/.
(
:
3 4
/ " & ( , ) & ( , ) , + ( + # + )
# # "
h i
/
/
/
/
" " " "
"" 3 4
/
3 4
* 3 4 3 4
": 0 0 0 , 50 & 2 - "
r = −1
safe path
optimal path
S
T h e
C l i f f
G
r = −100
Sarsa
−25
Reward
per
epsiode
−50
Q-learning
−75
−100
0
100
200
300
Episodes
400
500
50 & 0 &% ": 0 2 5%5 0+ $ $"
"
0 $ 5 + 0
&
& % + & $ " 2 "
/
:; ;
":; 0 2 +$ 0 "
?@A BCD
* 0 % 0
5 +" 2 0 &3 4 50 & 3 0 4 "
0
/ ": " 2 %
% % ! % %
%$ " * $ 2 5 "
& +$ " 2 0
% ;: % 00 & % "!, 5
!
& 5 5 + 0 "
# &% % &
" + % $ 0 &
! % " , & % + & % + !
&" & % & & &"
?@D 9D
8 & 0 ?@D 9D
: $ 0 * * ! * 0 * ! % $ $& &" 2 % $
0 * /
*0
(
(
' (
/
3" 4
/
/
3" 4 3" 4 h
h
3" 4 " 3" 4
7 3" 4 3 " 4 3" 4
/
X
/
/
/
i
i
0 & 50 & 8 +$ /
! * % & * $ + 8 :; :
Policy
Actor
TD
error
Critic
Value
Function
state
action
reward
Environment
/
"
": 0 2 , 0 , "
(
5 3 2 - ! & * &
, 0 & ! " 2 & $ % + % ! $ % + 8 +& " & 0 & 0
+ ) ! & & + +& ) "2 ! $ + 2- " 2 % + & / ": " 0 * 0 ,
3 4 2 - 0 + " 2& &%
0! " , % ! ! + * " 2 ! 2 - 0
3 " 4 3" 4 ! +& " 2 2 - +
!%! : % $ + " " / 2 - %
&
2 - ! & + $ " +& + + * 0
,
,
P :;
3" 4 ! + & & 3
4 A 9 % " 2 $4% %++ + ! + & +&
3" " " &
3" 4 3 " 4 ! 0 8 "
2
: * 0 " ! & % + & $ + * " , 5 % ! ! % : 0
$% " / &
* % ! & + + & % 0
3" 4 3" 4 : 7 3 " 4
* & % & 38 %
2
: % : ; 4 ! + + & "
1 & & 2 - 0
38 % : << < % , % : 4 " % 0! * ! + ! !
0 4 " 2 ! &+ & / * 3
& : 0!" % !%
0 & + &"
/ & ! 0 $ & " 2 & ) +
+ ( * % 0! " ,& : ! * % *
! $ + " / & & & "
& % & +0
2+ & *! & 1 ! % " 2 +%:& ;4 + ! $ 3 " " " "
% 0 $ /
+ & &0 " / " & $ ' (
"
% 5 % :; 0 50 ! ! + & ! * " / $ + * 0 0 "
20 ! 0 %&% 70 % ! ! * &
: !
3 0 8 + + & & & & & 4 " / ! % + " / & % +
! !! ! % ! 0 " / 34
" " "
! 0 5 $ 0 & 3 4
" " "
8 + & ! ! &" ! + + + 5 2
$
" 6! % + & ) ! 0 0 %
& % & / * ! + " ! ! " % 0 + 50 & ./% $ 0 " / 2-% + ! & + ! &% 0!* + 0
! " 2 0!& " 2 & ! ! & ./"& / & &
& & 0! " / 7 &%
! % % * ! % % * ! / ": " 2 + !& * " 2 + * "
?@A BCD " 2 $ ! ! ! !%
!" 5 :% % ; % !% ) "
/ & -
- X
- -
X - - ,-
X - - /-
&
&
-
-
/-
-
(
0
*
:;;
3 4
/ " # # # & ' " , + , # ( + # + )
# # "
/
/
/
/
" " " "
/
/
" " # , /
/
" "
3 4 4 3 *4 4 * 3 4 3 4
3
3 *
3 4 * 3 4
/ " : 0 0 0 , 50 & 2 - % 0
8 " 2 0 8 "
" / % &% ) & &
! 4 : 3 ! ) 4 % 3 *
" ) / ! % * + ) 4 0
" 2 ) 3 +& !
!
"
& " 9 + ! + + + B & " , ! : +& % & ! $ " 2 $ : *
% + & + ! % * 0
/ :< +&
0 8 $ % % ; " "20 : % ;: % : " 2 0! 8 "
?@D 9D - 0 & % $"
"#
$
$ 5
$ % + / +$*& +
% & ! ! $ 0! % + 8 &"/: * 0 0 2 -0! & 2 2 2 * % + $ " / $ & 0! 0! 0! ! " , !
% + 0! 20 20 2 ! + ! " % ! ! " , !
(
&
1
Priority
:; POLICY
REJECT
2
ACCEPT
4
8
1
2
3
4
5
6
7
8
9
10
Number of free servers
7
5
V ALUE
FUNCTION
priority 8
priority 4
Value of
best action
0
priority 2
priority 1
−5
−10
−15
0
1
2
3
4
5
6
7
8
9
10
/ :< 0
! + 0 0 ) "$ 2 & " 2 & + +& & ! * " 2 ! + < "
+ & $ / * % ! &
8& " + ! & & $ 5+%+ !"
$ 0 ! ! " , & $ $ $ & +
"
&
2
20 20 2 * " , ! 0! ! ! " < & 0 ! % * 0
Number of free servers
X
O
+
O X
X
+
X
X
0 ! 5 % + / ! + % ! " , 0! ! 0! ! + ) & + 0 ! & & " ,& " &
O X
:;
& $ % : " / * % ) $ ,
% : % 0
!
5 %
"
/
& $ " / * % 0 ) * + + + +& + $ ! ! % 5 %& ! % & $ $0 + + !
! 0
* ! % + + "2 ! ! + " 0+
! * " " 2 + + + $ 8 + 0
/
" !% ! +$ 8 / * % 0
& &" % 0 4 ! & + 0
0 50 &
8 &&" / & & 3 +
&
&
* "
?@D 9D + $ $ 39* ; " 4 + " 8 &% $ % +
$& ! +
(
"
5 % % 0 5 32 - 4
/ % ! + $ ! ! + + ++ " , %
"
2
! 1 ! + + %
* + ! 8 & "/ 3 ./4
+ & " 2 * &
! ! & & + ! " ! ! & $
/
.
& + " 2 ! & ! & 3 " "% + 0 & 4 ! " 8 + * % * " , % ! 0 2 -
50 0 & 0 % 0 & 0& "
&
50
& " 2 & & (
(
:; <
" 2 + +& & 0 & + %
% * +
! & + * & *& +& ) *
% " / $ & &0 & + +" , * % ! & % & + ! +& 2+ & " 2 2 - 2 - "/ *
*
0 3 $ 1 4% * + 3 $ $ 4% ! $ & 4 "
3
/ & % ! 2 - & * + % + 2 - & " 2&
$ 0 + & & "
/ & + ! % % * % % 2- + ! % % % & 8 %
" / & 2 - + ! % % ! +
"*9 ! * 2 - &
& "
'
)
(
" 2
, :% % 2 - + & :4 :&
$
3
&
&
:: " " , 2 < 4 +
3 " $3 : < %:< 4 & +& ! "
&
2: < ! 1 %3 < 4% : <; #
"
&
+ 2 -0 & % $ <$ 3 : 4 + $ + 3 : 4% + "
1 3 : 4% 0 5 "
2 -3;4 % $ * % 1 2 8
&
+& 8 $ 3 : 4% 8 + + 3 : <4%* ;" 2 +$
+ + + $" 9 " % + + " ! ! + 4 + 0
;4
:
+ 2& +&2--3& 3 : 4 + $ 8 $ & - & 3 3 : 4" 2 (
(
:;
* +& $$ % 3 :; 4 2 $0
3 :; 4 +& * * & * "
* 8 ! * "
& 2 - + + +& 2
! 3 " " % 0
3: 4 " 2% < 3 : 4 ! 2 : +; 4 " / 1 $! "
2 * +& & 6 : 3 :; 4% " 2 +& 3 : 4 " 2 !0
:0 + 3 4 + ! +& 3 4 " 2 & * +& 2 "
: 4 + $0+ ! ! !& " 2
3
! ! + + $ + " ! % + $
+ + +$ & &
$ % : $ 2- " 2 + $ + % ! & % !& :0 %
+& 8 3 :; 4 "
0 +& 8 $ 3 : 4% ! +& 8 $ - & 3 : 4 " 1 ! ! +& $$ % % 3 : ; 4 2$ 3 : ; 4 "
0 2 - +& 8 3 : <<4 ,
+& < % % , 3 : 4% " < 3 ::; 44 8 % 3 : 4% !
< :4+ & 0 " 3 $
,
3
+ + "
0 8 3 : 4 " 1 ! 3 : 4% 2 $ 3 : ; 4% < $ 2 $ 3 : 4 ! % * $"
/
!0 " 2 0
8 ! + 0 %+ 8 ++& : + $ ! " 2
+
+
&
0
+
+
&
:; :<40 ) * +& $ 6 3 "
(
: ;
: :
: ! ! 1 % 0 5 "
+ 0 & 5%%
, & + & !+ !
$ " / % & & 5
$ 5& : $"/ 5 $
$
&
! % + + & 8
$
+ ! & "/ . /// $ $ . //" + & 8 2 +
$ " !
/ & $ & + % 1 &
" 0 5 + & * &% + "
2
! " /
& +8 " , +
&
& & : "
: ;
! "# $
##%
&'() * $ ) % + , - . (&'* - $ $ / , - $ - 0 #
- 1 0 $ 0 0 & 0 0 1 0 & # 2 $ - &' 3 - 4 &'
- % - 0 # - % - # #%
3
#
&'
5,
6 0 - - " - 6
% &' - 3 - 1 % - 1 0 0 ! ## 1 $ &
1
0
# % 1$ % 1 7 &- 7 #
0
4 &' %$ 1
%
- - 8 &%$ 1 $
# - # 0 1 - 7
&'
# - ! 0 ## $ 1 0 1 0 - ?=@A<=;> 1 0
- 9:;<=;>
1 0 $ - #% - - % & 0 - 1 0 %% %- <B=C
0 ### - 1 # % $
7
1
0
0
1 0 - % 1 6 #
#
0
0 + D% 1 $ $ 0 - 0 # 1 0 %% $ 0 E - # - # - # &
$
E
%
#
#
0
0
% % E" - # $ $ F G H "# 0 1 0 0 # - - 0 "- - 1 % - - 5II
5I
TD (1-step)
2-step
3-step
n-step
Monte Carlo
! % 5 & #% 5, # 7%# # &' - , 7%# 3 - 6 0 , #
%#
%
,
7%#$ - # 0 - - - 1 % " $
### - % !" !# 4 # - 0 3 - &' - - ,
3 - # F G # # - %
D% 1 - 0 - 7%#
# &' - $ - $ %
- %- #" - 0 &- $ %7%#
1 % # #" 0 - H 7 - - - $ $ 0 % - # 7%#
- - % 0 - $ % % ! "# $ , # 7%# 0 % - - E 0 0 - - 1 % ! 0 # 0 % - 1 , #F G7%#$
7%#$
%
#%
C
?=@A
$
, #
5
0
5,#$ # &' 7%# - %#, % , 3 7%# &' - % & - % , # 7%#
- 0 - . 0 . # $ % # 3 - 0 #
"
1 # - C
CB:> & &' - - % - #1 %
# % 5, # 7%# - 0 C CB:>
3 $ - 7%# ##- %
,
0
# * 4 70 D%$
(
3 7%# F ( * F G ( * %#- - - # %
$ %
&
'
)
(
.-+
*+ ,-
/
*+ ,- 0 1 ,
+
34
3 4 5 647 8 5 3 47 8 5 6479 5 : : : 5 6; 5 3;
4 34
34
2*+ ,- 0 1 ,
+
2 5I
* 0 0 4 647 8
6479 9 647 ; 4 8 6; 5
# # - 8 % D% C=;
C 0
4 3 7%# "# - %$ 5, #
7%#
7%# E 0 - # % - % - - 1 % " F ( *
& 7 % F ( * 7 H # $ 0 - % - #1 % # % # 0 - 7 % % 0 # - & , # F ( *
0 F ( * 7 # 6
0 $ , # F ( *
( 5*
& D% - - , # % - % % %
% # ##" % -- 4 - - 1 % - " & - 1 - # 1 %
H - #
C
;
C
;
%$ # - - #$ % 6 , #
% %
# - - $ % 1
# % $
$
&%$
% # -
0 - # %$ E # % , # #
% & 0
,
0
+ % # # E ,
- E %
- 3
0 #
7
#
%
7 D% 1 0 - % - & 0 0 0 2 0 - - 7$ # % %# # % ## 1 1 % ,#
%
+ C ?=@A - E - 7%# 0 - , # % 6 % $
,1 % $ F( * $ - 1 % F G ( * $ - % , # 7%# $ - E - F ( * F ( *
H %$ - 1 % F ( * $
$ 4 - E , # 7%#
- - % 0 - . - %#7
- % %#0 - - 6 : #1 >=C% #$
$ %#- - - % # - $
0
,
4
8
647 8
4 3 47 8 :
4 3 47 8
9
6479
647
&
'
9
4
9
647 8
9
6479
4 3 479 5
9
4 3 479
647
; 4 8
647
6;
647 8
4
9
6479
8
647
4 3 47
:
*+ ,- , .
4
4
4
; 4
4
( )
&
*+ ,-
.-
4 34
34
34
h
4 34
3
34
, .-
4
4 34 i :
4 3
; 4
5I
6 0 1 F ( * F ( * F ( * #%
6 : >=C
$ & - - #1 % #
- - % - 1 %
- $ %%
# - $
6 % - # - F 6 $ F ( * 0
F 1F % # - ( * $ 0 1 % " # - 0 ( *
( * 0 & "# - 1 % , # % % - #1 1 % 1 % % ##" % 1 % % ! $
, # % % % - -1$ % F G "#
&
$
%
0
,
0
0
% - D% 0 %- " G F G ( * " F ( * F G ( *
( *
& - ;;:; ; > @C: ;: ;C , # % % ,
##$
&'
#
0
% , # 7%# 1 # - %- ### ,
& , # &' - % 1 - - $ 0 5, # &'
-
- " - -3
1 1
$
#
&'
%
%
,
# #% , # % D% 0 # 1 % ! $ # $ # % ## ,
0 - - # - %- - & E , # &' 6 " 0 0 %
- - 1 # - , # &' - "# - % , - C CB:> : CB = >: = A - % ! , # &'
- - ,0 7 7 - "# % %## E # - # - - - $- $ 0 $ %
- 0 %
5 1 %- $ -
F
+
- 1%$ ( * I % - % - - $ 5, #
"#
%
$
0
F ( * $ 0 0 % - - 0 - $ 1 - % + , # - $ % 0 $ - $ # - F ( * --$F 0(%* - 0%
- 1
+ , # - $ , #
0
5
- 1 % 1 - 0 - 5 $ $
%
0
% 4 ! % 0 % # # (- 0 %
$ 1 % 2 - * - 0 0 7 $ 0 ,5
D% # # - $ 1 - 1 $ E 5 ,# - $ - 5 #- 0 -
"#
%
#
&'
0
,
0
1 % 1 % - # $ - 0 0 7 7 & % 0 2 &' - 3 47 8 3
3 3
4 3
, .-
4 3
4 3
3
; 8
P 4
4 3
n
4
,
34
3 3o
* , .
-
-, 3
3
:
'
/
&
*+ ,- 0 ,
+
, 1 )
'
3
:
&
!
'
(
"#
%
$
'
$
2 5I
* 0 0 $
1000 2 0 0
100
.55
ON-LINE
n-STEP TD
60
30
.5
15
RMS error,
averaged over
first 10 episodes
.45
8
5
.4
1
.35
15
2
.3
8
5
3
.25
0
0.2
0.4
0.6
α
0.8
1
1000 2 0 0
.55
1 0 0 60
OFF-LINE
n-STEP TD
1
3
.5
RMS error,
averaged over
first 10 episodes
2
.45
30
.4
4
15
.35
0
6
8
0.1
0.2
α
0.3
! % , # &' - % $ 1 % 1 % 1 5 - . - $ 5 , - ,0 7 7 % 1
0 7 & 0 7 0 % - 0 - - , # - # # 0 "
- '
$
4 - % 7 - ,0 7 7 ( 5 - I * 0 % - # 4 % - 0 7 1 - - 1 - . "#
1 % . 0 % , - % 4 % - 1 - - 1 % 4 - % 7 - 0 7 - - "# 7
$
$
$
#
$
6 0 # ! % $ # 1 - . $ - ## 0 # % 0 1 % - 6
$ 60 1 - $ $ - % "# 0 1 $ 0 % % 1 '
$
5
# ! # 7%# ! - % 0 - , # %$ % 0 - = ;=
, #
% "# $ 7%# - 0- +% , # %
- , # %
%
1
0 $ 1 E $ 0 #
%
# 1 - % & 1 % # ## ,
- 1 - % , # % ( +* -%
% - %
7%#
%
1
##
1
#
%
%
0 !- "# $ % 1 # - E # 7%#0 &' -- 3 5, - - 6 #, # $ % - 1
0 1 "# , - 7%# 0 ' 7%# # + - - - , - (
#
*
7%# 0 - @: 7%# 1 # #
7%# - ?=@A & 7%# - # " 7%#
1 - 0 #
7%#
2
0
0 ! "# $ # " 7%# - 1$ " , # 7%#
- , # 7%#$ - &
)
8
9
4
4
9
,
,
'
8
9
4
'
$
1- ,
.-
'
)
1
2
%- - # % 0 1 , #
&
&'()
*
7%# & 1 , # 7%#$ 0 - ## ) $ 0 ) 5 ( ! % * + 2 5 ) % 0 % 5 & % 7%# 0 - %$ - ) ; C ; $ - E - ( 5 )* ) ! % % 0 D% & 5, # % 1 0 $ ( 5 )*) $ , # % "
0 $ (5 ))*)$ $ , # %
$ 0 - ) 0 -- # +6 0 5 - $ % D% , # %
D%
0
0 $ 0 # %$ - ( 5 )*
) ) ( *
1
2
8
(
* , .
)
9
8
X
8
4
4 :
'
(
4
; 4 8
X
8
8
4
4
; 4 8
4:
(
0 55
0 TD(λ), λ-return
1−λ
(1−λ) λ
2
(1−λ) λ
Σ=1
! % & 7%# - &'() * 6 ) $ 1 7%# - % 7%#$ 0 $ ) 5 $ 1 7%#
% E #$
#
&'
5,
- % % #$ 3 7%#
&
T-t-1
λ
(
&
weight given to
the 3-step return
total area = 1
decay by λ
Weight
1−λ
weight given to
actual, final return
T
t
! %
Time
)
4 1 ) , % , # %
D% 7 0 ## 0 ) 5 6 %
&
2 $ - - % 1 %$ &%$ ) 5 $ 7 %# - ) , % H 3 0 - , 3 (5* #1 % # - $ ) $ ) % % $ # % &%$ ) $ 7 %#
- , ) , %- 5, 5, # &' - $ &'( *
4
4
8
4 - E ) ; C ; = :; CB # 7%# % H #$ $ #% $ F ( * $ 1 % ) , %
% #
* , .
1
4 34
5
'
rT
rt+2 s
t+2
rt+1
rt+3 s
t+3
st+1
st
T ime
! % I & 0 - 1 0 4 - - 0 %#- 7 0 - %% 0 - - F ( * F ( *
( *
% F ( * $ * % (&
$ %#- 0 &##
, # &'
7 0 0 $ 9:;<=;>$
1
0
1 0 ! 1 - $ 04 7 0 - %% 0 - - - - 0 % 1 - - %#- $ % !
% I $
+ 77 00-- %#
$
1
"
0
# - !%% $ - $
- 1
1
7
0
0
1 0 - - # - # - $ 1 # # - 0 - 1 0 % &
)
%
,
&'() * - 6 $ 0 0 $ $ )
% &'() * &) , % - &'() * - % )
,#
- & # E 0 - 5, #
$ &'
% -1 % 3
0 0 - 0 # , # - 1 $ #
1
7%# # # &'() *
) 0 " , #
6 "
1 & % 0 0 - 1 # $ 70 - $ 1 0 % - &'()*
)
= >: = A ! % # ) , %
0
; C; : CB - 0 7 % - 0 , # - "# 5%, &
"#
# "#
1
)
5 # 7 ### ,
0
0 # 0 - 1 % ) h
4 34
4
4 34 i :
)
4 3
3
34
+
#
* , .
/
, &
1 $
5
0 0 λ=1
.55
λ=.99
λ=.975
OFF-LINE
λ-RETURN
.5
RMS error,
averaged over
first 10 episodes
(
λ=0
λ=.2
.45
λ=.4
λ=.975
λ=.6
.4
λ=.8
λ=.95
.35
λ=.9
.3
0
0.1
0.2
0.3
! % ) , % α 5 , - ,0 7 7
2 0 "# 0 ! % &
#
)
. $ - % 0 %% ) , % 7 - 7%#
% %
)
7
#
2
0
0
0
! #%# # $ , 4 - 1 0 ) - , $ $ 2 %
0 0 D% 0 1 1 %
$
)
$
" ! # 6 #1 % 0 # - 0 - 1 0 % &'()
&' - * 0 6 " 7%#
#
0 - - E &'() * $ - 3 - "
0 0 # % - 0 - 1 0 & $ ?=@A<=;>$
1 0 &'() * %%
-
6
%
#
#%
#%
#
%
$
1
0
0
- # % =@= = $ % # 70 - 0 0 ## # & 7 1 #1 % $ ##" 0 - 1 0 $ 0--$ 0 - $ " 1 6 70 - 1 0 &'() * $ -- 1 ? C C;=@ & - 0 ( * $
H #$ - ) $ - 1 - # - ( * )) (( ** 5 ( I*
$ 0 - % - ) #
- % - #1 % 0 ) C;=@ > @= =;= C ;
& 7 - - =@@ =C
% %% .+
4 3
7
,
,
(
4 3
4 8 3
4 8 3
3
3
34 34 5
,* ,
.1 .
-
1, ,
5
)
F( *
(*
3 3 3
% 3
3
6 3 3
! 3 3 "
3
3 3
!
3
3
3
3
$ #
F( * F( *
(* (* 5
F( * F( * ( *
(* )(*
! % H & % &'() * F G
1 - $ - 0 - % 0 1 - $ % 0
accumulating eligibility trace
+ $ - 0 1 1 - $ 0 - E
) & - - - 0 ? %- % - 1 % & 1 0 - 0 , , 5, # &' $ $ # - # F ( * F ( *
( *
6 70 - 1 0 &'() * $ &' ## %#- 1 - $ - , 2 F ( * ( * ( *
+ 0 $ % - - # $ 1 - % - # - # - % 6 + $
D%
( I * #1 - ! - E &'() * # &'() * 1 %
times of visits to a state
,
,
!
4
647 8
4 3 47 8
4 34 :
4 3
4 4 3 5
! 3 :
0 5I
0 δt
et
et
st-3
et
st-2
et
st-1
st
st+1
T ime
! % & 70 - 1 0
& 7 0 - 1 0 &'() * - 0 - 7 70 - + 0 7 % &' - 4 7 0 - # - -
%
1
&' $ - % 7 #1 % 1 $
#%
$ % - ! % 4 &' - 0 %#- 1 ( *
&6 %- - 7 0 - 1 0 $ - 0 ## 1 % 1 % ) ) $ ( I * 2 "#
#
&% &'() 6* %#- ( !* - % # &' % ( *$ 0 0 &'( * % $ &'( * ! 0 %
#
%
&'
1
%
)
$
- $ % # - ) 5 $ #
- % $ % - E % 4 6 1 @; > C &' ) 5 $ - 1 #! # & % %
% - 1 3 1 6 "#
$
# 7 #
- &'$
- %$ -$ %-% 7 %- %
$ 0 % 0 1 6 )0-5 - %$
5 $ - 1 7 3 - 0 & %
%
7
%
E$
0
- %- % - $ # - 7 6 ) 5 $ 70 &'(
*
5
&'( 5* 0 # 3 4 #
E
##
3 - 0 - # - 7$ &'( 5* ## - % 7 0 31$
&'( 5* #
- %
H
- 1! 3
-# - % - 1
"# $ - 3 - # - % 1
#
$
%
#
$
0
%- - - % # - H &'( 5*$ - $ - 0#&'
,
0 # # - $ 0 # 34
'
,
&
!
4
647 8
&
&
&
5
6 %%% - - ## - % # - $
%# %
#
0
- &'( 5* - - 1 # - ! " # # " ! 6 0 0 &'() * $ - E - 1$ 1 0 %#- ) ,% 6 8 0 0 ( * 70 - (
* 1 0 &'()
* ( * - %#- F (- * - )
%
(
*$
(
*
,
%#- - - E &'() * 1 ( * & % $ 1 # - $ % %#- 0 0
( * ( * ( *
0!
- , - % $ D% - D% 0 %% 0 "# (, % 1 *
( * ( )* &%$ - - ( * 0 4 34
)
34
4 3
; 8
X 4 3
4
; 8
X 4 34
5
4
3 5
4 3
4
X
; 8
X 4 3
4
(*
,
3
3
4
:
; 8
4
X 4X 4 ! ; 8
X X !
4
; 8
; 8
X
X !
4
4
; 8
; 8
X
X 4 4
( )* ( )* ( )* ( )* ( *
0 0 %
- - ( * - - 1 - % %#- )
% /
5( *
4
34
4 F( *
4 34
4
4
4
4
!
:
$
0 5
0 0 F ( * ( 5 )*) F ( *
( 5 )*)
F ( *
( 5 )*)
F ( *
" E % - 7 0 0 5 ) #0 ) 6 %
% +% 5 &%
0
0
#% % E % - % %0 - 7 #% % %
7$
$
%
)
0
0
# % $ 0 5 ( * F ( *
( )*
F ( * )F ( *
( )*
F ( * )F ( *
( )*
F ( * )F ( *
( )* F ( * F ( *
( )*
F ( * F ( *
( )*
F ( * F ( *
( )* ( )* %#- $ 0 F & ##" 1 "
* % & # " ( ##"
+ - - % E % # # 1 2 0 - - 2 1% % 2 0 &%$ 0 1
0 - - ( * 0 ( * () * ( * 0 6 - 1 0 %#
$
##"
- % F - % # - 1 0 "#! %#- &'() * - ) , % % % % - % # - &'() * 1 %#- 1 % # - 4 34
8
9
647 8
4 3 47 8 9
6479
4 3 479 9
6479
647
4 3 47
647 8
647 8
647 8
&
647 8
6479
4
34
4 34
8
9
647 8
4 3 47 8
4 3 47 8 6479
4 3 479
4 3 479 647
4 3 47
4 3 47
647 8
8
6479
9
647
X
4
; 8
X
4
4
4 3 47 8
4 34 4 3 479
4 3 47 8 4 3 47
4 3 479 !
4
!
:
4
!
!
$
4
; 8
X 4 34
4
; 8
; 8
X
X
4 4
4
!
5
5
λ=1
λ=.99
λ=.975
.55
.5
Average
RMSE
over First
10 Trials
Online TD(λ)
on Random Walk
λ=.95
.45
.4
.35
λ=0
λ=.95
λ=.2
λ=.4
λ=.9
.3
λ=.8
λ=.6
.25
0
0.2
0.4
α
0.6
0.8
1
! % &'() * 5 , - ,0 7 7
D% % 0 ##
& ->;
)#,%
% -, # - $ %#
1
- &'() * $ . % 0 - - ) , % %#- 1 - # - 0 2 1 % D% %
1 % & # - # #
0 1 - &'() * D% 1 ) , %
= $>: 0 =A <- CB1 ) % %
! &'() * 5 , - 0 7 7
!
%
%
7
0
0
0
1 - # & %- - $
.
$
34
&
1 0 $
/
$
+
) , % ,
$ 0 - $ &'() * ##"
.
04 1
- &' - 0 0 % 0
H - - E &' D%F 1 1
( * F ( * 0 - E - &'() * 0 % - 1 " F ( * F ( *
1 %#- 0 4 % - &'()*
0 - - " ' "# 0 % # 0 D% !
4
647 8
4 3 47 8
4 8 34
4 34
h
$
4
4 8 34 i5
5
$
- % # - $ &'() * $ % +0%%$ - %##%
## # 1 %$ ( *
%$ F ( * 6 0 0 0 $ 1
- 0 0 - 0 # - % , # &' &
1 0 =; = () * $ - 1 # #1 %,
# C =; =
& - ()H0* ## &'() * # - - , # 1 % $ $ 0 - % $H % 8
, # ( * - , # 0 % 7 &'() * $ % % , 1 1 ( ( *
F ( -* - ( * ( * *
( * ( * ( * 0 (
* ( *
- ( 5 *
( * )) (( ** 5 0 ! % 5 - &'() * ( ! %
#$ " , # $ * & E 7%# 7 %
% & 0 7 - 0 #$ + E 7%# - #
7%# % &'() * - ) , % G ( *
# - () * ,# $
##"
5,
$ 1 % % # $ $ #1 # - % - ##"
1 % % # & # ! #1 - - . $
1
%
%
7
"#
$
#
##
0
0
% , - # 0 # % ,1 % ! %
55 ;=@
; ><:; > & % % ! & % - -0 - " ,
# % & E # # 7 # $
- 5 0 - $ 70- 6 "# 1 % 0 - $ - 0 - 0 2 "#
#
1
&
0
0 0 # 0 0 1 % 0 - % # 5, # - () * - & 5, # - &
$
4 35
4 3
+
2*+ ,- +
&
4 3 5 &
3
4 3 5
35
4 3
47 8 3 5
!
4
(
4 3 5 4 35
647 8
4 4 35 5
! 4 3 47 8 5 47 8
4 8 3 5 4 8 3 5 3
35
4 34 5 4
34
4
35
/
(
&
%
,+
'
35
5
Sarsa(λ)
st , at
1−λ
(1−λ) λ
(1−λ) λ2
Σ=1
sT
T-t-1
λ
! % 5 7%# - ( *
( *
3 5
3 5
3 5 3
$ 3
$ #
6 3 5
35
! 35 35 "
35
35
! 3 5 3
5
3
5
3
3 $ #
(
( * (
( *
( *
* ( *
* 5
( * ( *
)( *
! % 55 & % () *
55
Action values increased
by one-step Sarsa
Path taken
Action values increased
by Sarsa(λ) with λ=0.9
! % 5 -0 - "# # - %# # - % % ,
6 # - $ 5, # - - %%% 0 - $ 0 - 0 D%
D% - 0 - $ 0 D%
&
(
2 0 * . (- ) * 0 # 0 - 6 -
"# $ 5 - ) ' :$
& 0 - . - 1 ## - - / , $
0! =CA 4/ () * - / () * 0 E ## 0
0 - 7
/() *
# - %
/ , . , # $ % $ / , - % - 6 #
% - # 0 # 0 # 11 "# % # - % $
# D% - 0 - % %## %##
7
%#
#
0
,
1 0 # - $ % - $ %
$ "# $ , - 6 % 1 % - # 0 % % D% "# - # 0 - &%$ 0 % 5, # - , # %$ % 1 #
%
&
#
%
,#
,
- # &%$ % 7 &'() * ()
* $ 46 7 /() * - 7 - 0 +- # - . 7%# 4 7 - "
"# - - $ 0 1$
7
/() * % 7 &'() * - - $ 0 /() * 7 - # () * &
7
#
#
E+ "# $ # - - 4 "# % $ # $ 5, # / , - 7 /() * 7 + +
,
+
4
34 5 4
34 5 4
(
'
(
5
'
Watkins's Q(λ)
st , at
1−λ
OR
(1−λ) λ
2
(1−λ) λ
st+n
T-t-1
λ
first
non-greedy
action
n−1
λ
! % 5 & 7%# - 4 7 /() * & # 7%#
- 0 - # - E , - $ 0 1 E
= C E "# $ % 70 4- 1 % ! "# $
%## 1 E $ $ "# 7 6/() * 0% - - # %#- ( * 0 - " ( * $ E
"# $ 7%# 0 " ( *
7%# - ! % 5 % 4% %#- &
0 0
0 - 1 0 7 /() *$ 0 # 7%#
& 70 - 1 0 4 7 /() * 1 # % - % () * $ "# 2 0 1 "# (
* 7 & %#- % % 0 #
!$, -
#
) $ "# ,
0 7$ - $ #- % - - & 1 % ( * " ( *
( * ) ( * 0 $
$ $ - , - % $ D% - 0 0
& - E - ( * ( * ( *
(
- +
4 34 5 4
47 8
647 8
4 3 47 8 5
647 8
8
6479
647
4 3 47 5
47
5
(
&
% 4 3 5 (
4 8 3 5 4 8 34 5 4
4 8 34 5
47 8 3 5
4 35
4 4 35 5
! %
5
( *
( *
(
3 5
3 5
3
$ 3
$ #
$ 3 5
6 3 5
35
! 35 35 "
35
35
! 3 5 3 5 3 5 3 5
3
3 $ #
"
(
( * (
( *
( *
* ( *
* 5
( * ( *
( * )( *
( *
! % 5 & % 1 4 7 /() * )
0 "
( * ( *
! % 5 0 # #%- - % $ % . 1 "# 7 % % 6 "# D%$ -1
- $
$ 0 7%#
#
0
- 5, # / , /() * 1 /()4 * /() * % - () *
- 7 /() * $ /() * % " % 7%# 0 ! % 5I 7
#%
/ , $ - 0 "# - - #
E 7%# 1
#
%
"#
$
%
##
& # 7%# , # . ,
" 2 1
, # 0 (E %* # & % G- # + D%$
E" - , - # $ 1 %- /() * $ % - 0
0 1$ # - % - - - 1 $ - #
+ 0 #1- 1
3 % - 1 0 # E 4 7 0/() #
* - 0 () *
!
4
647 8
4 3 47 8 5
4 34 5 4 :
)
4
/
5
)
Peng's Q(λ)
1−λ
(1−λ) λ
2
(1−λ) λ
λT-t-1
! % 5I & 7%# - /() *
H
# # 447 /() *
-$ #/() *#
! #
- 1- - /() * $ $% = - / () * $ (
5 $
H
*
%
5% 7 4 7 - /() * "# - 2 "# 1 -1 /()* $ % 0 % & # " # 4 70 "# 0 - $ % ## 1 E %##
&
,
$$
$$ )
! ! ! ! " # " # ! !" #
6 0 - 0 "- , - - % - 0 - & # , % & F G & &'() * % - $
, # 0 - # & # % , # &%$ , - - -0 $ - , # 5, # , - %#- ( * - ( * ( *
0 $
&'() * ( *$ - ( * # 7 0
# 1 $ "# $ "
&
#
4
- ( * 2 1 D% % 0 47 8 3 5
!
4
(
4 35
4 35
' (
!
4
4 35
4
3
34
5I
times of state visits
accumulating trace
! % 5 + %% - # replacing trace
( * ( * ( *
( 55*
( * - , # ! # 0
6 - 1$ %#
%
()
*
0 - % - # - , - % %#- ( * 5 ( * - ( * ( *
0 2 D% 0 % %#- ( 55 * 0 & .
5 , - # %$ %#- - 5 ( *
- ( 5*
( * )) (( ** 5 ( * 0 $
47 8
35
4 35
4 4 35 5
! 4 3 5 &
47 8 3 5
(
4 35
4 35
!
4
%4 3 5
4
3
34
% 4 34 5 4
4 3 5 " !
(
% 4 34 5 4
4 8 3 5 4 8 3 5 3
34
4
'
" 6 E # - % - E - 7 - 70 ; =@ C;=@ %## 4 1 - - 1
- % E 1 % - - 2 %% ( I *$
1 % % ! $ - 1 $ 0 0 #! $ % 5 0 7 - $ # - - E - ( * 5 ) ( * ( 5*
, ,-
4 3
(
4 8 3
3
3
34 34 :
(
5
0.5
0.4
accumulating
traces
RMS error
at best α
0.3
replacing
traces
0.2
0
0.2
0.4
0.6
0.8
1
! % 5 % ) 5 , - 0 7 # & - % 1 % 1 % )
- ; =@ C;=@
- + % # . %% $
- % # #1 ! % 5 # # - % E , 1 &'() * 5 , - ,
#
1
#
7 H "# 1 ! %
0 7#- "
#
5
! % 5 0 "# 7 - 7 - % - % %% ! + 0 - 2 "# 0 - 5 $ # 0 - $ 0 (%##* 1 & % D%
% 0 % - 7 % 0 1$ # % %% % - %##$ E # -$ $ $ + 7
0 7
%$
( * 7 ( 4* & $ % 0 - 0 - E 0 1
$
$
1
%
7
%#
0
7 0 H " # - 0 1 $ 7 1
7 0 1 1% $ 0 % E 0 -$ 1
4 # $
$
#
%
0
7$ 0 7
# 0 # , - - 3 & - %- % - % 1 &'( 5* - 6 1 ,1 3 $ # ,
&'( 5* - E
1 3 # % $
,
1 # , &'( 5* - E,1 3 ( λ
$
,-
,*
,
$
3 5 3 5 /
wrong
wrong
5
wrong
wrong
wrong
+1
! % 5 + # 7 % # - % %% %$ 5 * 0 $ 1 0 $ - - % "- - % %70 & H1
# 0 2 # % 1 % $ 1 $ - % - 0 5 % 0, - - 0 - & ##
%
(
*
5
,1 - 6 $ , %#- - 0 - ( 5 *
) ( * - 5
- ( * ( 5*
) ( *
1 # 0 7 % 1 # "# 7 H - $ 0 & % 0 ! % 5 0 - % 7 # 6 "# I $ %## 7
0 6
7 %% % - $ 0 %
#
)
%#
0
0
, - # , 1 "# I - #
%%
1 % % # - ()
*
$
)
- -1 # "# '0 7%# - ()* 0 # right
right
right
right
right
$$
$
4 3 5 /





$$
4 8 3 5 4 8 3 5 3
3
3
34
34
34
4
4
35
)
$
:$
$
!# 6 E ## - % % # " - + 1 # 0% -D% 1 ( , # *
5,#
%# - 1 % - 1 #
& 0 % -
6
# # , % , 3% # , ' # 5
# % % # $ % # 1,
#%
#% !% $ # 1 % ) - - 0 1
1
1
2
0
E 2 H 0 - %#- 1
% %#- 0 1 . 6 # $ $ # 1 #% 7# 7 - %#- 0 0 , 2 7$ #% "# % # 0 5, # - & " % # %
) - - "#
#% 2 ( 5 I * - #
#! D % 0 - % #
" -
-)%
#
$
%
%
- - #%
- # -" - 4 % ##"
0
- 1 % - !
% - ( #
* #%
7## % - $ "# $ E % 0 7
% - % D% - - #% # #
4 #%- - # &'() * %#- 1 % 0 $$
! 2 - - 0 0 1 - - & ) , % E 0 ) 1 # #$ $ - E %#- ( * )) (( ** 5 % ) & -1 - # % -- )
1
0
1 % - # ## $ % $ - 1 ) % $ $
- 6#1 %% ! "#
) )( * 1 % 1 - 70 0 $ 7 % % .$ 0 1 1
0
- $ -$
& #- % ) 2 1 $ 0
$
1 % %
$
##
%
1
%
1 ) 5 & % - 1 % 1 . %#- & 7 # # - 1 %
7 0 % - - 0 "# - % - ( 5 *
& ,
D% 1 70 - 1 0 1 ) & ,
#- 0 - 1 0 - E ) , %
4 3
(
4 4 8 3
4 4 8 3
3
3
34 34 5
4
4
34
$ $)
5
2 2 4 47 8
Y
47 8
(5 ) * )
(5 ) * )
X
4 ; 8 8
X 4 4 47 8
47
8
Y
47 8
4
; 8
Y
47 8
)
$
:
1 0 - -70- 10 &'()
* D% 1 %- !
0 - E 0 1 ) 1 0 "# #
%
)
# " !# % 0 &' #1 - $ 0 - &' - & % - 0 %
- 0
3
&' 1 . $ % 070 - + - % &'() * - # "# - 0 - , %
1 + # - - 1 -1 7 0 0 - % - #
$
3
I
70 - 0 % ## , 371 % ,
#
7 &' - 7 3 - $ 1 -1 6 0 % &' - % - 1 $ %
, - - ,
7 # , 371$
%
E - - - 0 - , 371 7
%% - % ) $ 0 # 4 ,
0
0 # 4 - 1 3 - &' D% $ % # 0 ##
H 7 0 0
# # # $ # % $
H ## E -% 0 (, $ -! % 5
* - $ # -+% #% 3
$
$ #
- - # - " %
##
% - %- % 0 - 3 . - $
% 0 6
%%
#
1
&'
0
% 1 ) $ % # 0
- 3 E
- - %% 5, # - $ % 3 - .% D%
#%
% 0 0 - - - % E $ #
0 - - #
&%
7
%
# - # - $ ## H - $ ## 0 - - # $ ## "# 1 &
&
$
5
% $ - # % 6 1 % 6 - % - $ % # # %
D% 7 # # - %# # - % - % # 0 #% $ - 5, # - 1 &
! !#
!" ! # !" #
& 40 - 1 0 , # % - ) , % % H7 ( 5 *$ 0 E - %
## , #
-%
- ,
%
#
E
77
$
$
- ( 5 * & % - ,0 7 "# 0 - " # 0 7 % ( 5 * - - % ( 5 * & % 7%#
- - # 0 $ - 1
7
1
0 - * 0 #1
- 01
- 0 ' ( *$ # &'()
0 - % ( *$ ' 5 7 (- 0 *$ & 7 $
- #10 1
5 - &'()*
( 5 * 77 $ - - - 8 ( 55 * -- E
% - %#- %1 $ $ - ( 5 * #1 --1 , - . # & - 1 - +% # -%
# 1%
7
1 1 ( 5 * % ( 5 $ 5 I * % - - % - 0 1$ % % 0 0 7 #
% - - 0 $ 0 %- - &
% % 1 " % 1 - ## - % # (-5 *$ 0 ##
%
#
1 %- H - -E $ -- 0 $
% % % D% % 0 - # 0 7+ ( %$ 5
%$ 5 %
$
$ %$ $
%$ 5- * & 5&'()*
- -5% 5 % ( 5 * - - 5
& D% 1 0 - - 70 - 1 0 $ - # 3 # - % ( 5 * %- % - # - 7$ "- 4 7- $0 - 1 & - " I 0
()* 0 E "# - - % - ( 5 * % ( 5 I *
$ $
$ $)
$
$$ )
$$
$$ '
&
$$(
$$ )
$ $)
$$ )
$) (
$ '
$ '
$ '
$ )
$
$
$ $ (
$
$
/
$$
&
$ $)
2 55
0 4 7 /() * - % 4 7 ( 5 * /() * - % - 4 ( $ 5 -4 $ 5 $ 5 * % ( 5 I * - " 1 #,
1 %- 1 #1 - - ) 5
+ , - 0 E % ( $ % + - $ 5 %$ 5 * & # E - % - # 1
- - % - % ( 5 * & % ! % 5 #
##
& 7 "# 0 E % - 0 0 7 %% % ( 5 * & # 7 - # E 3 - 0 - 1 # - - % ( 5 *
- 0 0 70 $ %$ - 0 &
% - 1 $ " E # 1 ) 0 4 7 1 - - # E #% . - - %
! % 5 0 ( 5 *$ 0 # - % % 7%#
D%
(
, - 0 - % - # - # ) $ $)
$$ ( $ $
$$
$$
$ (
$ )
$ $
$ )
$$
$$
%
(
5
'
4 1 % - % 1 % % # - , # & # % 0 %1 $
% % 7 % - & # %6 - - - 0 $ % - - - - % E $
7
%
;= =C : 0
0
"# 0 - % # %% 2 - # - %
- ##"
1
% 1
%
6 7
- 7 ## &
#
%
0
0
0
$ % - 0 1 1 "# - " & 0 # %- %% 1 0 % 0$
% 1 % & 7 2 #1 % "# - 0 1 1
! - $ - 0 % $ 2 "# - " 1 %
- 1
%
&
-"
0
- 0 " 2 - 0
& 7 - 2 0 D% - 9 @C: = ;: =C: %- 7
"# - - % ( $ 1 % %
* - #
%
!% 2 %
##"
; > =;
$ # # %- - ##"
$ E % 0 7$ # $ - %1 E 6
# # $ - %- - E - % - 0 - #
+ %% $ 0 0 # - # $ ,1 % % F G "# - % # & 1 # 5
&
, ,
$
.
+ .- ,
!" !# +,
--
,
!
" !# %
(
# !
!# 1
5
1 % % $F $ # - $ % #,
##"
1 % % F
2 - % 0 #
1
&
$ 1 # # 1 ! "# $
-F# - %
#% - E % 0 7$ 0 1 0 $ 0 - - . % F
%
0
#% - - # - 0 7 H F %
$ 0 # - E # # - 1 % &# $ % #
( % #
* % % $ - #
- 1 % D%
$
7
%#$
2
0
+ . 1% 7 1 - - 7%#$
#
1
$ %# - - 1 % %8 1 % # % 0 - 7 -, %# 1 % %
1
%
7%#
$ 0 ! 7 - %# - 7 -, %# 1 % - 1 % F - 0 - "# $ ' 7%# 1 % # - G
( * $ 3 7%# $
&'(
* 7%#
F ( * $ - &'() * 7%# 6 ' $ 7 - %#$ 0 $ $ % - (#6 % - * "# 7 - %# - - #%,
% # 7%#
#
"#
6 $ 7%# %#% 1 - 1 % %
1 % % - 7 # 0 $ % %#- # 7%# 1 - 1 % # - 0 0 - 0 0 # #
" # - % ##" - # 7%#
&
#%
- "#4 - - #%, %#%
1 %
##" % 1
%
#
#
#
7%# "# & ##" % # -% 0 # - 1 % %
% %
0 7%# 1
"#
0
- 1 % # - 6
0 - " % ##"
- "# $ %- E # # $ 0 % - %#1
%
$ - 1 % 7 - % 1 0 1$
% 0,7$
##"
D% 0 % - % - %
, - 0 7
& #
%
% # # - 6 $ 0 1$ #
1
0
0 - % $ 0 0 1
1 & - 6 D% D% % D%
$
,
- - % (% 1
##"
$ 6 ( 2 - 6 * - 0 7 * G! "#
0 1 # $ 1 % )
0 4
4
4
4
4
4
4
&
4
4
4
4
3
3
34
647 8
647 8
4 3 47 8 3 4
4 3 47 8
3
34
34
4
4
34
3
3
%
/
5I
- (' - &'*
"# - ##
% 3
%
4 # % ### 1 % % , ##" ,
- 3 %#1 -, 7
2 D%
1 6
% 1 % , #F G- # $ #% - % $%$ #%
%
1
%
%
$
D%
(3
*
##" F $ % # $ ( * ( * F G( * F ( *
( 5*
- % 0 - . & - % 0 %
#
%% # - % 2 + $ #
& " % % ##" %
##"
- "#. 0 ##" &
E 0 - % - - - &% $ $%#
%% - % 0 - 0 $ - % - % 0 7%# - 6 0 "#
- % $ 7 2 1
0 %
##" 0 "# - % ! "# $ %
% 1 1 $ 7
0 07%#
- % - % 1 $ % "%
1
#
0
' - $
% %
- % 0 7%#
% 0 $
$ - %-
+ - %- #
- D% 0 0 %
1
0
0
% % 0 ##" 4 - $ # 0 1
: : @ > C; ? C: $ # % - % 7%# , # 3 1 , # - % % % ,##"
%- 2 % %
#
$
0
0
0 1 %
&
#
%
,
"# % 3 &' - & - 7%# #
"# % # %
%
-
17%#
%
--
"# $
"#
%
1 -, # - - % ,
# - % 1 %
- % $ 0 - % 6 # 0 % - % 2 3 H % - . % % % #%# % # - 1 % # - #
& # - #%# - E- #
%% 1 1%# - 2 3 0 1$
! 0 $ 0 % 0%
3 2 0 $
4
4
4
X
3 9
4 3 5
3
4
%
*-
+
.
%
5
0 + - 3 0 % - E- :?= : C $ # 1
0 ( * ( * # # # % ##" % $ % # # " % ##" % E % 07 - - $ # " % ##"
7 1 - :@= : C $
+#
0 ( * ( * - % $ # % %
! $
% ##"
1 # %$ 1 % 1 $ - % 1 $ 3H 0 % - # % 1
0
1
$
3
##
E
0
6 0 1 % - 0 7 0 - % # - 0 0 - % , ##" - $
1
"# 4 1 % 7%#
- # &
% - 3 #
%
0
1 $ - 0 70 # - % - H $ 0 ,
% 7
1
- 0 # 6 # 0 % % , ##"
- - # # $ - - ,- - # % 4
%
- # %
- # % # 0
- %
1 7 %$ % % %
# - %
6
#
#
1
%
##"
$
%
0
0
0
1 , - - - - , - - 1 .1
- 1 .1
/
&
! " #
4 0 - 1 # - - % ##" 1 %
,- - # - $ - - - 0 - % - % ##" - - # % 0 , % - 6 - ,-
% 1 0 E" - %,
$
#
1
1 % - #$ ( ( 5* ( * ( ** ( - ,
#*$ - F ( * - . % F G ! 0 $ %%
#$ $ 1 "# ( * & %1 0 0 0 1 $
%
0
0
:C % 1 % 0 1 "$ 1 % $ F G ( * ##" - %
$ - % # 6 %
% %
$
- % - % # % $ 1 "# $ " 6 -- $ 0 % 2 4 1 ## - "#
"# 0 - % $ $ 1 0 0 %
##
2 3 1 ( 5 * + - 4
4 3
4
54 ' 5 : : : 54 ;
4
34
3 34
34
34
5
- % 2 1 - "# - ,- # 1 "# % - 0 % - % "# 5 F G ( * F ( *
F G ( * F ( * F ( *
( *
# 1 # , 2 #$
( * $ % $ $ - 0
1 # - 1 1 $ ( * & - 1 1 1 ;=> C 0 # & 7 - - - ;=> C > @ C %
## 1 - "# D% 1 #
6 & - 0 # - - ##
# 7 - 0
-
% 1 # "# - 06 %0 - - $- % %% - - $
7
"#
E
1
%
%
2
0
% ##" - . 6 0 # #$ 0 0 % - E- % 6 $ - "#
- - % #, 2 # - 1 6 %
1 - % 0 - - , ##" - # (% *$ - ,- - ( * % - 1 4 % 0 0 %#%$ $ "# $ ! "# $ $ % 1 %$F G ( F*G $ % ##"
7 -, %# 1 % , %#
1
(
*
$
%
F G #1 % 6 % 0 #
"
%#
(
*
( * %70 $ % 0 ##" % % # F G ( * & - - ,- - ,1 % # - F ( * F ( *
( *
6 ? = > $ $ F G ( * $ $ % 1 # % %- %% ##" - (
* ! - #, 2 #$
"# - "#
$
%##
( % - * 0 1 % # 8 - %
0 $
% %
"#- 1 % 1% %F G 0 4 $ 3
E
%
$ - ,- - ( * 1 ( * - ,- 1 3
, # ##" F G ( * &%$ ,1 % # - % - E- , # % * 0 0 0 &
47 8
4
'
4
,
8 5
4
34
4 34 34
9 5:::5
4 34 4 34 5
;
9
9
'
4
,
,+ ,
4
$
' '
4
34
34
4
4
34
'
34
4
34
47 8
4
.
4
4
+,
4 34 4
4 34 :
34
4
' %
34
4
4
34
4
(
34
(
5
$ 0 % , # &' % - 1 ! "# $ - ,- &'() * % ) , %$ $ ##" F G ( * $ - 0 -,1 0 %#- F ( * F ( *
( *
% $ ) 5 $ % - F G ( * $ - % - - 1 F # % & % 0 ' % - %
. G ( * 1 $ % ##
- D% 1 $ - #! % 1 #
# #
$ 0 - % # 0 0 # 2 1 - $ %% - - ,- ( * 1 0 - - F,-G - ( * 0 ## ##" # - - %#%$
- (0 * - 1 0 - ,- &'() * $ 70 - %
(
*
#1
1 0 #1 - - ( I*
0 %% &' $
F ( * F ( *
( *
- % 1 $ # $ %#- - ) F ( *
( *
0 + # - ,- &'() * 1 ! %
5 & % ##" 1 % 0 H - %, - E % 7 % - 0 -7## ,
,
0
& # - D% - % 1 $ 0 # 0 #%
& - ##% 7##
$ 0 0 - %
" 1 "- 0 , 7%# &'() * # &'()* 1 D% ( I*
C=C
=
; =C : # 2 % ##" 0 %# - $ 0 (1 % * % - %# 4 1
%# % - $ %# % - - 1 %$
0 4
4
34
4
47 8
4
4 34 4
)
4 34 :
34
4
4
647 8
4 3 47 8
/
34
(
(
34
)
47 8
!
4
4 45
! 4
!
4
647 8
4 3 47 8
4 34 5
4
4
4
4 8
4 34 5
&
#
,
,
5
0 $
3
% 3
3
6 3 3
! 3
!
3
3
$ #
F( * F( *
) F( *
! % 5 H - ,- &'() * F G & ##" 1 %
% $ $ # % - 0 %# - - $ %#
%# - - 0 7 - # - - % ( *
1 1 - ,- &'() *
&
D%
4 D% : 1 1 # - # # - # - $ F $ ##" 0 ##" 1 % %
1 % % % - - % # - $ - 0 -,1 0 D% &'()* $ % ( *
! %#- $ 0 D% ( I * # - % %#- - ( *
)
,
$ )
)
! #
H # # - ,- % ##" 0 ##" % $ F $ % # 1$ ,
1 $ $ % 1 %$ ( ( 5* ( * ( **
#
# & % % - $ 0 %
0 0 1 % - . 0 0 1 0 #
% - $ ##" ,1 % % 1 F ( * (* (*
( *
6 # =; ##" 1 % % - =; CB =;= C ; $ 4
4
4 5 ' 5 : : : 5 4 3
;
4 X4
8
:
,
,
, -
1, , +
;
5
6 % % - ,- %#- 0 % ##" &
- ##" 1 % % 0 # %
F ( * - ,- %#- ( * - % # % # &%$
6 -- $ # % ($
$ D% - # * &%$ - % % - 1 -1 # % %
# 0 $ - ,- #
%
%
% ##" 1 + %% 1 % 7 - ( # * % ##"6 % $ - ,- &'() * - % - #1 % #
( ! % 5 * #1
1 # , 2 # - % - 1 - %% - ( * 1 %, #
1$
$ % # 1$ $ 0 %- - - 5 ) ( *
( *
( *
5
# + & $ #
+ % %- ## ) ## 5 $ %- ##
! % - ,- ' 7%#$
#
##
"#
$
,
% ( *$ 0 , # - % $ 0 1 % &'( *
& $ %- ## - % - % 7$ % - % #% - # - 7
& 0 - $ %$ - # , 2 #$
0 0 $ * &0 %- - - %
##
(&
7
- 7 %# - 5 # 1
%
,
- % ! 7%# - % $ ## - - %- % ##"
% - 1 E "# - - % # ,
% - 1 I % $ - 4 %
# - 1 - - #%
- - #- 0 #
%
# - % ### 7 6 #
0
-70 - % 1 $ %
% - #
6
% %
0 ### 2 1
7$
0 1 % $
"#
$
%
0
0
$ 0 # #$ $ 2 $ % 6 0 1 % 0 1 % $ - #0 $ - $ $
0 4
4 3
&
:
(
' :
$
8
8
(
$$
&
55
0 $
! % - 2 - #- % 1 E - ( $ * 1 # & 1
%
#
0
% $ 0 2 0 6 $ 0 - % % D% & %
0 %$ %
# #
% ! "# $ #
%
- # , 7 ( "# 6 *$ % 1 $ % 1 -# - % # $ $
% $
0
0
$ - 6 0 % 1 #
% % % 1 % 0 % - - % %
#
% ##" 4 " - 0 - 0 % - 0 # - % % 0 0 7
0 % - 0 # - % ( " * 0 0 7
' ( )
&
$
)
$
- 7 0 %% - 0 ,- + H
# 0 , #$ 1 0 0 # 7!- %6 #
@
;@ #$ 0 %
- $ #- % 1 % - ; C 0 % - - =? C & 7- 5, 1 % %
9 =C ; 1 $ 0 %
# - 0 0 -? =; $
%
#
0 % 1 # 0 ( % - * 70 @:=; @:> + % - ,- % ##" $ - . 2 ,+
'
- ,+ ,
%
,
+,
. , +,
5
$'
0 ! % 2 % ##" - - 2 # %
# 1 E - + 1 % % - - %
# ( #
- - . #
* - .6 0 # (*$ $ #
. 0 - &%$ ( *$ ##"
.1 % % 0 % ! $ 0 6 0 #- #
0 $ 0 %
$
! % $ 0 2 0 1 - $
$ 0 1 - $ !% ! 31$
# %
% "# $ %! $ 0 % - - - $ 2 2 0 . - $ % a) Narrow generalization
b) Broad generalization
c) Asymmetric generalization
( 4
'
(
(
(
! 0 # 1 E - 1 - 2 $ % %
$ % 7 - %
- % ##"
1 E - ## $ 6 2 E 0 - #
- - - 2 - # # 1 E - $
#
% % $ E - % # $ - % %
B
:=;
:9
:=;
:>
& "# % . 2 # 1 E - - + % ##" - - - ( * 0 % - ,- D%,0 1 % ! % * & 1 % % 0 % - $ (
#
0
4 % - $ # 1 E - 0 1 8 0 2 1 0 $ - % $ - - $ 0 #- 0 - . E % + - - %$ %
I
1 " % - & "# 0 - % - 1 " & #, 2 #
$
%
0
0
% 0 # ! % 0 % - 1
%
0- % - . 4
- %$ 2 - - - 0 , + , ,++
+, (
)
4
&
9
)
/
5
0 approximation
desired
function
#Examples
$(
10
40
160
640
2560
10240
feature
width
Narrow
features
Medium
features
Broad
features
! % "# % 0 - . 2 (E 0 * 0 7 . # % ( 0 *
0 %$
- # 0 - $ .% %
%# 0 1$ E % - 0 . - 0-- . % #
1 E - # 1
2 $ % # % D% )
& - - # 6 % 0 % - % D%
#%
- - # 1 E - -%
%# "% 1 # #% # % # C
$ - - # - C # 1 E - + % % % - -1
1
#% " # - - - #
% # 0 % #
$
%
%
% & 0 1 #! $ 0 #, 2 #$
$ $ % 1 0 "# $ $
" , 6 "# %
$ %
0 1 $ 1
1 %$ F ( * $ 0 1 % 0 F ( * #
0
% 0 0 $ 0 2 1 %#% ! "# $ $ 0 0 % - 1 %#
,
0
% " % 1 (,5 1 % - * %$ 0 - %
%
1 % % ( * 1 #% 7 %# ##"
# % # - -- $ # #% - ,
8
34
47 8 3 4
4 34
4
4
8
8 5
$)
0 tiling #1
tiling #2
Shape of tiles ⇒ Generalization
2D state
space
#Tilings ⇒ Resolution of final approximation
! % I 3% # $ 1 ## -, # # 1
#%
%#
#
- , #% ( * # E - % # &
- $ F ( * $ %% $ - 0 - # % # % -, 7
&
#%
D % % - "# %##
% - & - - %% 1 & # 0 -- 7 0 0 0#
0 % 0 ,- %
4 34
1 - - # #$ #% - " 4 % # % - . - - . 0 6 "# 0 %$ %
#
-!. % I $ " 0 - % 1 -- - - # %1 - .& 0 . - # - & - . - %$ 1 - ( #. - 7
- * &
0
% % - #
2
! % - ## 0 & 0 - - # % - ### & % 0 - 2 "#
% - % - & - $ E - % - - % ##" - $ % #% 6 # - - % - # - $ ! % $ % # - 7- 2 ! "# $ # ! %
1 #
%
- % -#
2 1 - - - 0
2 - $ # % & - # ! % (
/
)
5I
0 $
! % + 1 # 2 - 6 - $ " , - #
0#
- - $ $ ## + # 7 - % D% B= B # % # - %
#%
,
, %%$ - ! - # - % % #$ % "% 1 "# $ % % , 0 0 0
a) Irregular
b) Log stripes
c) Diagonal stripes
+
&
one
tile
$ D% - % - 0 &%
# & # % % - - # % % - D% "#
%
$
%
- - 7 - #% ,- # -
- $ %- $ 0 - 1 . %## 0 1 0 - 7 1
1 % % $
%
#
2
4 7 - % - % - 7 -1 - #7 0 -
$
2 - %%,
- % ( !* % 1 % - % % 5 $ +
1 5 $ 1 % > ; 0 % # # !
5 ,
,,+
5
$
0 σi
ci-1
ci
ci+1
! % H ,- - % %$
% ( , # - * #$ ( * $ - #- - 0 $ $
$ % ## $ $ - 1 % 0 -$ ( * "# & - % ! 0 1
### - 7 - % 0 5,- 0 "# 0 % - - + C<:;A # % ##" % ! %
8 - E - D% $ ( * " 0 % # - %
##" & # -1 ! 1. %
##" %! 1 - - 6 -- $ - 0 7
- 0 - % 0 %
E
%
%
#
&
0
$ #% ,
- ! 0 7$ - ! 0 7
#
# " - $ $ % % % - 3
'
9!
:
9 ,
(
H 7 0 1 - $ B >; > - $ - - !
# 6 0 7 - 1 %$ #% 0 7
" "# 0 % - & % #
7 - % 0 (% *$ % 1 # H 0 - - # - $ 6 %
% ,- 7 # % $ - #
##" %
#
##
%
% "# 1 6
7 & 7 7# %
0
7 #
!
"#
#7 $ % 0 - %
##" % ##" 1 # " %
#
# " % 6 - $ 2 # ,
"# % 0 # " .
, +
$
5
0 % 0 $
% 7 # &%$
,- 7
% $ 0 - ##"
0 % % % "# - + %% 0 7 % # % # " % # - - 2 - - #
&
#
1
%##
%
#
"
$
%
2
%- $ # " - - % - ! "# $ 1 5,
1 1 7 0 - ##
-#
##" % " $ 0 7
%
" $ 0 0 % - 7 # " + 1 #
0 ## #% %
! # 1 0 $ % # # " ##" $ - #
% - &%$
$
%
%$
7
%
-0
0
# " - - ##" &
0 % D%
1 7 % # "# 0
3 - 7 - ! - $ 0 1$ - 0 7 0 & " #" !"# 0 - 1 #
# 4 % - $
. - - # $ - #
"
%
0
$ - 0 0 $ # " 0 ##" H # ## $ 0 0 = ; = @:> $ % #- # % ;:C:C C=C ! - E $ % ## - - # & #
1
E -. % % % ##
1 - %
- - 7 - - - - ! ! - E $
.? =; # - B= > C= @ $ % 0 0 - - % - $ 1 - .
- 1 - # " % &- -
% %$ 0 #
#
% - H 7
&
%
"# % % - 0 %
% # # " % - #$ '
1 & - # " 7$ 1 - ##
# - %
&
"#
%
$
0
0 % 0 % 0 7 ##
#%
% & % $ - E #1
" - %$
0 -
-, +
11
+
,
,+
,
5
$
0 4 0 "- 1 %, # - - % % ##" ,
6 ! 0 "- ,1 % # - - - $ 0 #
0 # , #1 ,1 % # - $
0
, D % + %%. $ # % "# 1 - #%% , # , # ##
6 ,
&
"
1
%
#
,
0
2 - % 0 1 % % $ 4G $ # - #
# 1 0 - - "# $ "# & "# %#%$ $ ##"0 0 - G ( * $ %- %% 7 -, %# 1 % % % 3
,
%$
$
#
%$
(
*
&
- ,- %#- 5, ,1 %, # - (
* ( *
! "# $ 70 - 1 0 ,1 % - % &'() * # # ! " !# #
!
!# 4 4
4
34
34 5 4
34 5 4
0 -
4
47 8
!
4
4
647 8
4
4
647 8
4
4 34 5 4 (
3 47 8 5 47 8
4
4 3 47 8 5 47 8
4 34 5 4 :
* ( *
4 34 5 4 5
) ( *
4 - ;=> C > @ C =; = ) $ # % 0 0
! # $ - 1 - % %- ( *
0 &'() * - $ 0 7- % # - - 0 & $
%#
%
1
0
,
% D % ## D % # #1
%% $ H - $
#
- $ - - 0 $ %% # - #1 % # &
- - 1$
$ #0 $ $ 1 D % %
$
#%
(
*
0
- " ( * #1 - - E
# - # ( . , # - * # % # ( # *
+##"
. - -- # , ,-# - $ , -
# ! , # . - 4 ##" ,
- , # ( 7 /() * * % %
% *
- % $ - ,- % ##" 0 4 8
4 34 5 4 5
,
* ,+ ,
+ $
34
4
4 34 5
4 34 5
5
$$
3
3 "
# 3 5 P $ 3
"
"
"
$ # #
3
6 ! 3 "
# 3 5 P $ 3
! !
!
3
$ #
"
(*
(*
(*
)
(*
(* (* 5
(* 5
(*
(*
"
(*
! % 8$ - ,- () * 0 % - , - # # - %% - # # E - $ % - # (0 % # * , - ' 0 3
3 "
# 3 5 P $ 3
"
3
6 ! 3 "
# 3 5 P ! !
!
3
$ #
(*
(*
" 5
)
(*
(* (* 5
"
(*
(*
! % + $ - ,- 1 4 7 /() * 0 %$
, - # $ - %% $
5
%$ % - - 1 - 6 - % , - # $ - %
#%
0
# %$
$ # - % - # $ 6 1 % % # % .% ( *$ - "# $ # #%
E
+ - 0 1 - % - 1 1 % - =@@ =C
+ % # ( * 70 1 -1 % - $
- - - "- % % ##"
#
1 - - % 0 % ##" #- $
% # $ 0 #- H
##
0 7 0 $ - ,- % ##" 0 %
%
#%#
#
0
$ % - % $ % &
- 0 % - 0 %% 4 0 7 0 , $ %% ( 2 * * & - , - % - (
"- - % ##"
0 % !
% - $ 0 E % - - $ %
0
0 - + 0 - +% $ 0#
# - % # E 7 - $
%- -0#% # , - $ 1 ! %
B : C= =; = A - 7 - 1 %- #!0 - %# # %
- $ % - - %## % 5
&
%
1
$ - 1 % %# # # & % E 1 0 - %# ## # &$ ## % % %# % %# # # 1 % 0 - 0 0 & # "# %% 7
1
0 0
0
(
* 3
- 1 - % 0 7 7 - % "# - - % - # # % 1 - # &
0
# # % $ 0 - # - & # % ( *$ % 1 ( *$ ( * &
1 - 0 - # E - # 6 # $ $ - -12 $ $ 1 '
.1 .
&
4
#
, .
*
+
4
47 8
4
47 8
%
4
0 Goal
MOUNTAIN C AR
Step 428
Episode 12
27
l oc
Ve
0
n
P os
7
i ti o
−. 0
P os
l oc
0
−1 .
2
i ty
i ty
.0 7
4
Ve
''
i ti o n
0 .6
Episode 104
Episode 1000
i ti o n
i ti o n
i ty
0
l oc
P os
Ve
Ve
P os
l oc
0
l oc
0
120
i ty
i ty
104
P os
Ve
46
Episode 9000
i ti o n
! % 5 & % , 7 (%## # * - ,, % ( " ( * * - - % %
4 35
I ( *
# 5
I - 4 0 4 - %- $
%
$
2
0
0 - - # - 0 - # - - - # -1 % & 1
0 !
%%
1
%$
%
"
%
I
4 % - $ . 0 - --, 0 -
! % (% # - # * - &
# 0 5 # - ! % 5 0 1 - 7$ #
1 1 % % ( @: C C: : % * %$
%
#)
$ $ - I ( * & 1 % 0 2 $
0 # ( % 1 % 1 7*$ % "1 "# 0 %
1
%
"#
#$
$
&
0
- - ,# # E %$ - # + 1 # - # - $ % + - 7 - 1 $ 0 % # 1 - D% 1 % - 0 %"# $
%
%
1
(%
*
"#
0
0
0
0
& % - 1 ! 0 0 1 "# 0 .$% % %- % 55 0 % - - %- # - ) $ - 7 - $ 7
47 8
4
:
:'
47 8
47 8
$
4
: '
47 8
( 4 5
:
: $
+ *
:$
:
*
8
&
5
)'
%
47 8
: * '(
REPLACE TRACES
λ= 1
ACCUMULATE TRACES
800
λ= . 9 5
λ= . 5
700
λ= . 9 9
Steps per episode
λ= . 6
averaged over
first 20 trials
and 30 runs
λ= 0
600
λ= . 8
λ= 0
λ= . 7
λ= . 4
λ= . 3
500
λ= . 9
400
0
0.2
0.4
0.6
α×5
0.8
1
1.2
0
0.2
0.4
0.6
α×5
0.8
1
1.2
! % 55 & . $ ) $ - 7- # 3% , 7 & %- % - E1 $
$
0 , - % - - 0 - ,- '
% ##" # !" # # !
4 % 0 # - 7 7 0 ## $ % ##" $ - , # - % ## %#- 1 % 1 % &'
0
1 1 ##
$ - ' - $ 0 3 - &'()
* ##
0 - :C
- *1
##
- ) - 5 +) %5 $ &'(
1
1
##
5
0
# - $ . 1 # # - , ## 3
%#- ## - - ! % 0 % ##" ,
- , ##
"#
$
1
%
1
%
#
,
0 $ - ,- % ##" 6 $ , ##
- E- 3 ( 5 * % - % "# $ $
## - E- 3 ( * % $ - 0
, # - % 31$
D%
3
%
&'()
*
0
) 5 $ $ - 1 , ## % ## - , # &
1
# , # - % % &
- - H., - $ % . , # - % / , ' - , # - 7%# ( , # *
0 " - % 0 0 0 % - % - 0 $
')
Vk (s) =
Vk (s) =
θ(7)+2θ(1) θ(7)+2θ(2)
0 Vk (s) =
Vk (s) =
Vk (s) =
θ(7)+2θ(3) θ(7)+2θ(4) θ(7)+2θ(5)
100%
Vk (s) =
2θ(7)+θ(6)
terminal
state
1%
99%
! % 5 - %"# & ##" 1 % % 371
0 "# - & 0 - #
0 2 0 1 % % * 3 '
# (
#
% / , 7%# - - $ "# $ 7%#
- % - % $ % # 7 %#
4 0 1 - 0 # -
# % . : : @ ?::C C;= 7 - ##
.
% - % 7%#
#
%
%#
$
- -0 % ##", - - - 1 -,
# ##
E 3 = ;>
- " , $ # - 371 #
:
C ; = - 0 ! % 5 # - E1 %## $
#
&
0 $ - % #
F
G
0 - 2 $ % 1 % % ( * $ &
##"
1
%
%
D%
0
1 % - 0 #
% 1$ #
%
31$
- #
$
%
1
%
%
6
0 $ 7 1 % ##" $ - ,- '
# - - 0 ## 7
# &
1 % & #
1$
$ %# - - 0 # % #$
- ,- 7%# 1 $ $ % ' (% #
%$
7%#* ' *-
+
--
'
+ .
, ,
1- ,
3
/
4
3 4
7 8 X 647 8 F ( * F ( * 87 ' - $ % % (
*
7%# - % $ # . , # - % H 0 - & - - %#- - " #
4 3 47 8 3 4 3 3
3 :
* '
I
10
10
θk(1) – θk(5)
θk(7)
5
10
Parameter
values, θk (i)
(log scale,
broken at ±1)
θk(6)
0
10
/ -100
5
-10
10
- 10
0
1000
2000
3000
4000
5000
Iterations (k)
! % 5 #% - ' 1 % # - 0 % ##" - %"# & # 0 $
5 $ - ( 5 5 5 5 5 5 5 *
' 7%# & - 1 "#
0 #
1 % % - ,- % ##" #$ % $ 0 #% ! % 5 6 0 % - % ' 7%# - %"# $ %
% - % , # - % (0 D%
( * %#- *$ 1
%
%
%
0
% # ) & "# 7 % ' %
- %- - ## - $ - $ - ,- - % % # - %- % ##" & "# 0 1
# ## % ##" % 7%# - - ,-# - % %"# - " 0 - 1 / , & % % /
1
%
0
,
- . ! E- # 07$ % 0 7
$ % "# $ # % 1
/
1
#
(
#
%
,
% - 6*$ $
* % # (
#
- # & % 70 - $ / , 6 1 0% ,
1 $ % - 0 - # 1 - 1 "# - 7 % # 0 - "# - , # % %##
$ - %"# $ 0 % 1 % % 0 $ , D% ##" 4 % - 1 # H %
0 % - % 1$ $ - - # - $ - - %"# $ % "
##" # ( :
5 5 5 5 5
5
:$$
;
(
&
$
&
$
3 '
1−
θ
0 ε
2θ
ε
! % 5 & 7 - %"# ' # 1 % 0 ,
D% % ##" - - - - % -- % ' 6 % % #
0 "
% :C # %
1
0 ##" $ 0 0 "# C A = > = :
:
C ; = & # %"# , D% ' 0 ! % 5 & % 0 $
& - 1 % E %
- - E #
$ - - 1 % - & 0 - 2 $6
% 1 % 2 $
" # 0 # 2 0 3 0 -0 1 % - "# - , # %$ 0 1
F ( * G (
* ( * ( ( 5 * *
, F - 1 % % 1 & D% - 1 0
0 H - #1
% # 7- % ##" 6 # 0% $ %
##" - "# %
& - $ - = ;=
; $ %- 1
0 - $ % ##% - % - 7## + ## # 2 D% - % 1 %
% $ % D% - "# - # % 6 % % D% - ( * G
F ( * F ( *
( 55*
& % - ,- # - %
)
+ +
+
+ .
, ,
)
'
78
3 47 8 3 4
) "
&
&
1- ,
3
78
9
'
9
'
X
'
3
647 8
9
8
,
X
3 , +
647 8
4 3 47 8 3 4
3
9
4 3 :
'
0 5
F ( * F ( *
G
G
F ( * F ( *
F ( * G F ( *
"#
1 % # - & %#- %
0
1 2 "# - 0 1$ - 1
%# - 1
-1 1 " $ 0 $ ##- C<: "#&1#%
%
#
"
& % - # # - %
- 0 - #
#
- %
$ % - % 1
0
0 - 1 (
$ - # 6 - #
- 0 1 # - % - #
*
#
$
& - # $ - ( 5 I * ## - - # 0 1 &' - 87 %# ## - ( 5 I * - %"# / , 6# - - - - 1 47 8 4 '
4
647 8
647 8
4 3 47 8
4 34 4 3 4 4 3 47 8
9
4 34
5
4 3 47 8
34
3 47 8
$$
# $$
# # + # % 0 - 0 0 0 ## - ##" - 1
, ## - % - 0 %
- , ## - - - ##
## - $ 1 0 7%# - 1 0 # - , # - % % - ) 5 $ 1
# # - $ #, , # $ , ##
##
'#
#
%%
& . ) # 6 $ ,
# #$ :< ; %1 & 0 # ##
%%
7 % () * - - $ 0 ,
# %% ( %$ 5 * & %## # # 1 %,
- ,0 7 7
%
&'()
*
(
- # 7
%$
*
&
#
%#%
,
( "# 5 * 0 %- ( %$ 5 * - 6 # # $ ## - %% # % ,
## - + 1 0 7 % # % &' - 1 ) (#% ## * 5 (#% , ## *
0! % %
2 % % 6 $ # %
5I
/
/
,
( )
$$
$$
$ )
'
MOUNTAIN CAR
700
0 RANDOM WALK
0.5
650
accumulating
traces
600
Steps per
episode
0.4
accumulating
traces
550
RMS error
0.3
500
450
replacing
traces
replacing
traces
400
0
0.2
0.4
λ
0.6
0.8
1
0
0.4
λ
0.6
0.8
1
CART AND POLE
PUDDLE WORLD
240
0.2
0.2
300
230
250
220
210
Cost per
episode
200
200
replacing
traces
190
accumulating
traces
180
Failures per
100,000 steps
150
170
100
160
50
150
0
0.2
0.4
λ
0.6
0.8
1
0
0.2
0.4
λ
0.6
0.8
1
## & "# %## $
0 E )% ##
,
# % E - & # , 1 % 7 #
%
%
3
(
$
1
1
- %$ %
E * + # $ ) 5 %
$ #$ 0 # % 0 + % 0 - 1 1 ## # %
#% , ## - 6 % - % ## - $ % - % , ## - 1 % - , ##
- &
##
$ % - % 3 %
3
%
1
%
%
! "# $ % -- 5 % ,
#
$ % % 0 1 % % , # $ 0 1
1
#
3
- $
# # D% 4 # 0 ##
% % "#
%
#1 %
'
&
/
% # ;= =C: ## ,
E ## & 1 $
- " - ; > =;
9 @C: = ;: =C: , ,
+ .- ,
+, * ,
.
--
1
'$
0 % - # 7%# "# ;=> C > @ C CB:> $
# % $ 0 % " % ##" D % - 1 ,
%- =; - ,- - # - #1 % #$
0 #1 - - 0 ###
# % ## - 0 7 0 #
# - % %
#
0
-8 - %- - % $
7 0 - + - ( 3 *$ - 1 - 7## - % , % 0!7 : =; - ,- %
##" #$ " # ,,
- - ,- 0 - 0 1$ - -
0 % ##" $ ## $ - , # . , # - ,
##
- $ % ' - &'() * ) 5 $ 0 7 % 0 % +##" 1 0 - ##
,$
- 6 - - ## %
1
%
#
#
$
#
,
0 - ,- % ##" % - 1
0 D% %- - % # H. , # - $ $
1
E
1
##
1
. , # ## - 0 7 0 % ##" $
"#
7
# % ## - # %
$ - # - %$ % # %% 0 7 E , ## - ,
* ,+ ,
1,
+
,
,
&
8
8
! !#
!" ! # !" 2 - % ##" 7$ '# % 6 - - 1 0 # E - %
% $ 0 1 E 1
- ( *#
#
7
&
7
%
##"
5
$ - ## $ 3$ - %,
%% 0 7 0 % ##" (5I* - %
- - 2 , D% -, %#1 - - ,- 0 7 0 4- 0 - . ( 5 * - %
8, 3
D% (8 3 * ,
,
$ 0 ## - ,-4 ' - #1 - - " ( $ - 0 - $ 5 I #$
5 I '%- - $5 * &' 7 % ( * 3 - ,- # - 1 5 1
#
,- $ %
- D%- %- - - " -
, 0
$$
$$
$
$$ $(
$
$
/
5
( 4 $ 5 * - % 1 , D%
- ( -7$ 5 $ 5 - 7 $
7$
$
$
*
7
&
7
(
*
#1
5
5
5
- - % - 3 & % H 1
- ( 5 * & - 1 # - $ 77 $ - - ( 5 I * - & 7 - ( 5 *
##" 0 E "# - %
&'() * 0 - ,- %
( 5 $ 5 *$ 0 #1 - 1 &'( * 3 % 0 % 1$ $ 0 - # - ,
1 0 # ) 0 #1 - 1
%
( $ 5 ' - 0 7 $ 5 & 7 $ 5 %1 2 $ 8 $ $ 5 * 77 $ - $ - ( 5 *$ -- $ #1 - 1 % - %#- + % % - - #- %
1$
0
# #
1 &'()
(- #
* +
*
%
1
E
0
0
E 2 - ' % 0 #1 '
(
*
5
& 7 - ( 5 * & #1 - # - $ %- # &'()* - ## - H % # # % ##" ( 5 * & @:=; @:> - % ( 5 *$ - % ! %
- E % 4 2 - !% ( 5 I * #1 - "# # % ##" & - $ %- $ 0 - % - + % ( 5 5 $ 5 5* - - - % $ $ - 7 0 %
&
- 0 7$ % - - 3 + 7 4 7 ( 5 * & - 8 % - 4 ( $ 0 %7 - '$ 5 4 - $ 5 5 3 $
- $ 5 &$ 5 %$ 5 7 $ 5 * 0 5 #
(
$
- # $ 5 $ 3 $
- ' 2 $ 5 *
!% ##" % - % ( !* 1 - 0 - 0 7 - - 80 ( 5 * 0 ( 5 *
1 - %
!
1 0 - % $ - - ( 5 $ 5 * " 1 - 1 # - ## - ##
4 0 1 - 0 - % - 1 ( 5 *$ # - =; > C;? C > :; + - 1 0 - - - #1 - - 4 1 ( 5 * & ## #%% - ( 5 *
- % - - ( 5 *$ '
0 $$
$$ $
$$ ) $$
$$ (
$ $)
$$
$$
#
$ )
$
&
$$( $$ )
3 $$ )
$$ ) $ $) 4
$$ '
$$
'
$ )
+,
$$
$
$
'
$ $
$ $) $$ ) $$' $$ '
$$ $$ $$ $ $
$$ +-
$
+,
+
. ,
1 ,1
$$(
$$ (
$ $
$ $
$$
$
$$(
55
% ##" 0 E "# - 4 7 ( 5 * () *
/()
*
0
% ##" 0 E "# - % - ( 5 * &
0%
, "# - 7 %- - 3 ( 5 * & % # - % ( 5 I * - - % ( 5 *
1 # - #1 ( % 7 /()* 1 % - #
"
*
1
%
- # , % ##" 0
,
#1 - & 7 - ( 5 *$ $ 77 - - ( 5 I *$ - ( 5 I *
- %"# - % - ( 5 I * & 7 - %"# - % & 7 - ( 5 * + 1 % ##" - 1 # - ( 5 I $ 5 * - ,- - 2 ; > = ;=> C CB:> H "# 0 -.% # '- $ 0
- # " % ##" 1
,
-
3 ( 5 I * -7 ( 5 * 1 "#
/
%
%
, 2 # ##" D%- % # 0 1
-7 & % %! ##" !$ 5 II *$ 0 % - %
7
7
(
7
0
5
I
- % # - % # # &
"# 0 70 0 % ##" - 0 % - 1 % % 0 % 7 # ( 5 I $ 5 * % 0 - ( 5 I * % 1 % % - - 1 " %% %- 1
- ##"
- 6
% -- % ##" $ % "#
- 0 7%#
7%#
%
(
$
$
5
5
+$ 5 $ ! E - $ - $ 5 *
% %
0 7$ - '% ( 5 I * ## - % % ##"
- 0 ' ( 6 # 7 - % % $ % 70 0 7- - * & 0 " 01 %
%
##"
# - ' $ % % - - - - % # - $ 5 4 $
( $ - '%$ 5 I $ $ - 7 $ 5 '
2 $ 5 0 2 - - $ 5 I 0 - & 7 $ 5 5 %
5 - '%#%
$
%$
*
5
5
- ( 5 * E % - 1 % D % 2 1 % # E % ,
1 # E 1 % % %$ 0 %
1 1 % ( 0 - - - * & % %
1
0
,
- - 0 % ##
%
##"
11 E 1 0 % - # %% ,1 % %
- - % - % $ %
'
0 /
$$
&
$ $
$ $)
$$
$$
$$
$$
$$
$$
$$ $$
$$
$$
,+ . *
,
1,
+
$$(
&
$ ) $
$ $
$ $
$ $ $ $$ ' $
$ $ $$
$ '
$
$ $
$( $) $
$ $$ 5
. ## % ##" + % ##" $
0 %
E - 1 0 !$ , - $ 0 ,
% 6 -- $
- #
% E # %- # ,
% "
#
1
E E #
1
$
1
%
+ 0 - % - # 5 $ 1 - % % - - -,
1 % 0 % - 1 % & ##
,
% - - # %#1 -, %
$
#
. 0 - - ,- - % , 0 7 - &
## - % %#
%
- - 0 - 1 # - - % # 0 7 #% #0 7
0 %
0
0
$ 0 % 0 7 0 # - 0 0 - # %%
D% .1 0 - & ##% #
##
+ % %- % % ##" - % - - $ %
%
(
*
0 11%- #1( %*"
0
5
5
1 0 7 ( $
5
5
$ 5 + - $ 1 $ 2 $ - $ 5 * # ( 5 $ 5 * 0 ## % , % 0 7 - &' 0 7,
1 % % + - ( 5 $ 5 * %#
## 4 1 % % - + - ( 5 I * - % - 1 - 0 $ %#$ - 3 ( 5 * @C 4?::C
C;= = :; CB $
- = :@ =C ; <=;> = C ( * = :; CB 6 !H( 5 $ 5 $
0 $ * "
# ,
5 $5 - - #
,
"#
0
% # ( 5 * - 4 - 1 - 2 # %% 7 - &
( 5 I * #1 - 6
!H
1 E
1
- - - ( 5 * "# 0
1 % % ##" #
( 5 5 * 1 % % "# , &
(
*
#
5
5
,
- 1 - # - 1 % % $ - #
# ( $ "$ . $ - $ 5 ' - ! $ 5 I *
' '
0 $ $ (
$
$
$
, ,
$ *- ,
$$ '
$
$ $ $
++
$(
+, ,
,
1
$
+
/
-
$
$$
/
$
$$
$$
$$
$$ $$
1
$ 6 # 0 - 1 # % E - 1 0 - D% - 1 $
% - 0 %
% - # - % $
4 7 - $ % 3 - # , - . - . - - =;
+ %
= 6 # % $ 7
$
0
0
#% 1 % % 31$ - 7 - 7 -, %# 1 %$ - % - 7 %%
1$
#%
1 % % 7 0 # - 3 %#- ##"
.
1 $ 0 - 0 - #
,
- % &'()* H % %
# - - 1 - #
- #$ 0 0 "# " 0 - -
,
#
!
% # - 0 :> 1 0 $ - # - % 1 #
1
0
" - " 0 - 6 - $ # - %
" - " 0 - $ 0 # %
1 #
- # - %H - # # - # 0 > C;? C: :> - # - % % # $ # - - !
# + =
:>
"#
$
%
0
% - # - 2 - - % - 0 % - # - % #
%
$ 0 # - 0 % - # - % - 1 - % %
0 # - % & 7- - % - -
#
- - % #
"#
$
0
- - % - 7 7 "# # I # - - &
7
- 0 % - ' % - #
# - % # 0 1$ %# ## % 5
1
,
+
.
1
,+
&
+ 1- , 1
,+
&
' (
5
% - # - 3 - % - % "# 1 - $ # - # - % # $
%
#
- # $
0 - # % 1 # - % - # - % # 6- $ - - % - %- # # - - # $ 0 - % - =C 1 - # - % =C > ; @
& 0 - # %- 1 - . 0 - . E - 4 % #% # 7 - #% - # - % #1
# 0 - - 1 4 E $ 0 - ## # - 6 C=C =@ = $ 0 %- ## 0 7 7$
% - E
# +1 0 - # % # # # #
6 % $
- 1 % % #% 1 =
=@
=
$
#
1
0
0
0
%
% # # H # # # $
1
% $ $ - E - 1 # # # , # # %-
1
- - =;C = :;> ; = $ ##% 7 - # E % #
#
0
# , # - - % ## # # % $ - 0 - %
( % ## 0 # , #
# * 55 , # # - & % E - 1 0 0 # #
- # - %%$
%%
#
6 7 # - 1 # 1 0 $ % 0 - 5*
7
, # # - 1 1 #% 1 % % 7 # 0 - #1 # $ - * #% 1 % % 7%#
# ## - % - "# & %% - - 0 ' # - E %% 7
0 #
%
% #
$
%
#
% - #% 7 -, %# 1 % - %#- - 1 % 6 % 1 , # # - E %%$
#
0
1 - % - - . 7 - 7%# - - - 0 0 - 0 # - 0 # 2 # ,
- 7 & - # - - 0 1
1 % % 7%## & -. 0
# % % - "# - - $ - % "#,
' )
0 + 1.
,
+ 1.
,
, -, ,
,
+
,*+-
, -
-
-
*+-
*
, -
,
-
'
"
'
0 5I
(*
3 3 $
$ $ $ 3 $ 3 5 5 3 5 6 # 35
35
6 3
5
35 ( * ( *
" ( * ( *
! % 5 - , # 5, # % / , # . - 1 H % - . - % $ 0 # - - 0 " "#
- $
- "#
% %%
- $- 6
#
#
%
$
0
% % - 7 7%# # # - 8 - D% "# #%$ - ## - % - "#
!
0 # "# # % - 0 5,# %"#
/ , %- 5 & -
#
#
0 ;= >: = C C=? =; = $ 1 # $
0
# - %- - 5, # % / , 1
# # 1 ( , # %
E % # 5 $ - % - ### 1 * 6 -- % E - 1 0 # - - $ - E # $ # & # #
%# - ,- - 0 0 #% $ ##
7 D% " # -0 -00 - 3 %#
$
#
#
1
#
0
## 1 #% # # 1 # # 1 - " $
&
$
1 *+ 1 - , 2*+ ,-
!
!
.
*-
" !
!
4 # - $ 0 0 1 $ % ,
0 - - %
2 # # 0 # 6 - %
0 6 - %
%- - $ "#
%% - 7 - - #%
, 1 #$
1 #%
%
1
&
0
# % "# %$ 0 #
'
/$
,
- - 6 # % ## '
/
,
# %
$ 1 $ % D% 0 /
&
'
5
0 value/policy
acting
planning
direct
RL
experience
model
model
learning
! % # $ # $ - 1 % - - . 0 ! 0 $ 0 7 0 %
%
%
%
4 # $ 0 "# % 1 * - #1 - ( 7 %
- #1 1 % % - # % 7 - %- 1 % #1 % # & :> =;
$
- 0- 0 > ; -@C ; 9:;@- C =;
(- 8* &!0# #
0 "#
$ - $ 1 % - # % 2 - %
0
%
- #%
0 "#
0 1% ## %
- #1
#1
6
1
$
0 - > ; @C ; 9:;@ C =;
$ 1 1 - # - - - 1 - 1 - - -1 6- - % % - %
"# - % 1 # 0 7
H
1
$
%
#
0
- 1 % - - - . - - 0 %# - $
1
% - - 0
# - - - #
+6 1 %
#
##
$
,
-,
H
- 1 # ##
1
7
%
1
- - " 0 $ 1
0 - 2 - 0 0 - - ## $ 7 0 1 # 2 - - # 0 - ! "#
0 - - # # - # , - . $
1
%
- - , ! % # $ $ - '
/
%
#
,
0
$ - - 8 % % & # - - ,
# 5,# % /, # - 1 ! % 5 & - 8 - / , +& - - , - - %
5,# % $ - - 0 - - $ '
,
,
,1 ,
1
,
/
,
,
,1 ,
,
$ ' $
3 4 5 4 3 47 8 5 647 8
$ '
, ,
5
' 0 Policy/value functions
planning update
direct RL
update
simulated
experience
real
experience
model
learning
search
control
Model
Environment
! % & ' + %
- 0 &%$ # - 0
- $ # - D% - 0 , # "#
% , 1 - " - " 0 - # - '% # $ / , # - # , # 1 #1
% "# - ( # 5*$ - 1 D% - 0 # % 0 % ' $ 0 ', / "# $
&
1
0 ! % & % # 0 - 1 $ 1 "# & 0 E % #
#
"#
#1 1 % % - # H - , - #
&
4 - - "# - 1 % - "#
% =;@B @: C;: #
! % - "#
$
#
1
## - % - "# % - ##
&# $ '
/$ - ,
% "#
# % - "# - % -E & - #
- # 8 - # . - #
$ - % "# $ # $ $ - $ - - 8 % % % ##%
'
! - # #%$
# - 0 % 0 # 6 ', /$ 0 1$
%
0
$ - 0 %
$ - , $ - - , 8 # D% #%
%
% & # - 1 8
# #$ 0 #% 1 % % $ (
34 5 4
3 47 8 5 647 8
$ (
&
+,
&
&
'
5
( *
( *
0 (*
3 3 5
3 5
3
"
3
$ #
3 5 3 #
#
3 5
35
6 3 5 3 5 3 5
$ $ $ 3 56
#
$ $ 3
#
$ 3
#
3 56
35
35
35
6 3 5 3 5 ( *
( *
( *
( *
" ( * ( *
( *
( * ( *
" ( * ( *
! % ', / + ( * - - (# - # ' $ - "
*
0
,
$ - # # - # (- *$ (*$ - (*$ # 1 6 (* (* 0 - $ 0 % - % 5, # % / , #$ $ - - - 8 $ # ( # 5, * / , # ! % 0 # ', /
= =
- # 2 0 ! % I 6 %
$
$
$
$
$
7
0
$ "# 0 1 7 #
-
0 0 - 2 $ 0 2 + $
"#
$
0
( *$ % ( * 0 # - & - % - $ # - 7 0 I
0 & # ! % I 0 1 %1
"#
1 % 0 2 $ #
'
/
##
7
&
2
,
0
2 0 5 $ - "# #
5 4 - 0
$ 0 7 - ! & 1 - % # #$ $ #
#
#
$
%1
%
#
0
- $ 1 - 1 # "# 6
7 #
$ - - % 0 - #
% $ E # " ( % #* 1 % $ - - 0 - 0 E % + E # - 5$ #
#1 - 1 % $ % %
#
1
%
( 5, # % , # $ % 2 - / , * & 0 0 # $ - # $ )
35
&
$ )
(
)
0
,
#
$
:$
$
:
:
(
%
5
' $
0 G
800
S
actions
600
Steps
per
episode
0 planning steps
(direct RL only)
400
5 planning steps
50 planning steps
200
14
2
10
20
30
40
50
Episodes
! % I + # 2 (* - 1 %1 ', / 1 % # # # # & 7 1 D% 7 # % ( - * 0 # 2 - & , # 7 %
#
1
#$ 0 7 % I
I# # $ - ( ,*#
7 # - - ! % 0 0 # %- % % - , # 0 4 # %
0 %
#
%
#
(
*$ # - -- $ - # ( * - 4 -- #
#
# $ # - - % E # - $ % - % # - " 1 # 1
#
#
7 & # - % - # #- 0 - 0 - -# - # # # 0 -1
- # # 0 6 '/$%
- # # - " $ #,
,
"# - % - "# # %
# # - $ 1 " # - #
- -,
& 0 1 - 0 - 1$ #
- 0 # + 7 % - + 7 % - - + # 0 -$
- %#- - - $ # .
# 0 - % #% - 0 1 0 - $
'
$
%
(
%
%
%
'' WITHOUT PLANNING (N=0)
G
WITH PLANNING (N=50)
G
S
S
0 ! % %- # - , # ', / 0 % - # - & 0 - - 0 0 1 % D% & 7 D% - $
7 # % # ! % % 5, #
& , # 0 % - - ' % 7 - %
- % - - 0 ' - "# 0 0 $
$
#
! # 6 2 "# # - #1 % $ - 0 1 - &6 - - % #$ - 0 E - 0 "
$ 0 "#
%
3 - % 1
# - 0 -- % % - %
1 1 - $ %
##"
1 - - 0
1
2 - #
$1 - # 4 %
# # 0 # # #%
%
6 $ % # # #% - # D% 7 - - 1
- - & - ## 0 - # # 0 - % # & # - # - # "#
##% - - - 1 - " :@A = + 2 "# % 1 7 - 0 ! % 6 $ #
- - 1 $ 0 %## E %
$
+ 5 #$ # 7 - $ - # # - %# , - - $ 0 %## E % & # 0 1
%%
1
'
/
'
&
E
#
0
,
0
# 0 ' %- # 0 5 # 4 1 - $ # $ - # - - % 0 + - 0 - % 0 0 - %- - 0 $
#
,
$ ''
0 5
G
G
S
S
150
Dyna-Q+
Dyna-Q
Cumulative
reward
Dyna-AC
0
0
1000
2000
3000
Time steps
! % + 1 # ' 7 7 & 1 #$ 1 ' , / ' , /
0 % -"# E
5
"# ', + ' %
%
0 %
- - / , ,
0 1$ 0 E- 0 # - 0 # 1 % 0 1 ? CC ; 0 $ - # - 1 #1 6 - - - 1 $ 1$ 0 "
"# = &
%- B:;C@2C "#
#0 !%
% - 6 7 -$ 1#
# - (%## * + #$ 0 1$ #
%
# - %# - $ 0 % - % # (%## * &
# 0 0 ' 1 0 % 6 $ $
1 2 " & - %$
#
1 0 , - # $
7
#
1
1 % 7 0 7 "# % 0 - 1 - # 1 0 "# &
"# 6 # "$ "# #1 $
"#
1
#
1
%
0
0
4 0 "# E- 1 $ % % # - - - % "# "# $
# % # - # $ % # % $ , ,
. ,
$
(
'' '
G
0 G
S
S
400
Dyna-Q+
Dyna-Q
Dyna-AC
Cumulative
reward
0
0
3000
6000
Time steps
! % + 1 # ' % 7 & 1 0 % - E #$ 1 . 1 # % - % % & , / - - 1 #%
&7#'7
# # - # - - , 00 1 -& # - $ (0 #%*
1 - & %
# ,%
- - $- #
% 0 - 0 1 % - "# 1 1 6 # % $ - - 0 - 0 $ - - - #$ # 7%# 0 - # -% - 0 - $ & % - 7#
H - 1 # D%
- % % % %
$
$
$
7 - #% % 0 0 " "# 4 - ' 0 "# %$ ', / $ # E
# 0 - # 7 - % "# ! % 1 - . 0 ', / - ',
% #
/ 0 1 E # "# 4 & "# 6 % - - 1 % - 1 % - %##
%
0 % - 7%#$ %
& $ %## - 0 0 0 ( * 0 " % - 0 - "# - %
$
(
6
#
$
$
$ 35
$
''(
0 - 0 7 ##
!# ! ! !
6 ' # - # - $ % - 0 , # - % - #1 % "# - # %
% %% # % ! % - 7%#
%
#
%
#
"#
$
,
- # - E 2 "# ( ! % * + %
0 ##
# - $ , # - - 2 & # # 1 1 % 1 % #
% 7 %# $ % 7 . H 1
2
,
$
- % 7%# 0% - 1 7%#
6 % # $ $ 0 1 % % -
%
$
%
7%#
0
0
0 %% + # # $ - %
0 $ % # 0 % - % %% 7%#
- 6 % # % 1 $
0% 0%- - %% - 0 % - " "# % % - %% % - 0 7 ?=@A<=;> &
H %$ 0 - 0 % - # E - 4 0 - 0 7 0 - % %
% % 6 $ 0 0 0 7 7 # $
1
$ % 0 1 % - + % 1 %
% 1 - $ 2 "# # - 1
0
0 - 1 1 - %##
1
%
&#
$
#
1
%
0
- - $ % %% 5, # 7%# %
- - 0 1 % - - 6 1 % %# - - $ 1 % # - % 6 $
6- - 7 - %#$ - CB
; # - 1 1
7
7
0
0
0
1 %$ # %% 7%# ## + %% 7%# ## 70 - $ 0 # - $ # - % D% , # % - %% 7
%#
%
0
- $ & # - %% & 1 % 1
7 6 # 1 - % 1 1 $
1
#
2 - % 0 0 # - 7 - %# 6 % # 2 7%#
%
%
$
#
- # & - - ;:; C > < + D%% - 1 , # 0 % - 1 7 - %#$ # 2 - 2 $
&
&
&
,
-
,
+ ,,-
&
'' )
( *
0 ( *
3 5
35
$ # #
"
3
$ #
35
3 #
#
3 5
3 56
6 3 5 35 " # #
$ $ # #
35
63 35 3 56
35
35
6 3 5 3 5 3 5 6
6 35
35 " 35 # #
( *
( *
" ( * ( *
(
*
( *
( * ( *
" ( * ( *
" ( * ( *
! % & # 2 - 0 # - 1 7 - %#$ . 4 # 6# . D%%
#- # #% - - $ # D%% 0 # ( #1 % # 6
D%%*
D%%$ -. %0 #
- 70 - % D% &
0 ##
% - 1 1 ! %
;:; C > < : = 2 - 0 # %- # # % % 7$ -
I 5 + #- 0"# 0 ! % 5- &2 -! D% 2 7
"
%%
%
$
0
I
"# 1 - % 2 - 0 # - - 1 -1 1
%# 2 - ', / - 7%# # 1 $ $
$ $
,
,,-
,+
$
$
:> = ;
& 1 7 %1
- %
0 70 - # - # 0 % # ( ! %* & - - " $ ##
%
"
$
55
- - %- & - 1
0
##"
7#$
- 5 - &,
5 0 D%
0
0 -
- 2 - # & E % 0 ,. ,
&
$
'
'
'
''
0 I
107
Dyna-Q
106
Backups
until
optimal
solution
105
prioritized
sweeping
104
103
102
10
0
47
94
186 376 752 1504 3008 6016
Gridworld size (#states)
! % 5 2 - 0 # E ' 2 7 0 - - % # - - 4 ( 5 *
$
$$(
Goal
Start
! % 55 + - %1 7 - % # 2 - 0 # & - %
- - - %- % % # # - 3 - + 7 ( 5 *
$
$$ (
''
0 - % $ %- # 2 - 0 # & $ % - 5 $ # ( # - % * & # # 1 %
0 %#
2- 20-#
- #0 % - $ % 1 - 1 ,
& # # - ##
"
## %# - 4 % $
#
#%
# - .
6
1
% ##"
- 6 - - % %
1 % % $ - 7%#
%
- E - # - H - $
##
%
0
- % 1 - 1 + - 1 %$ # - $
% 1 1 - -- 1 # -% #
#
2
0
1 ,
" # 2 - 0 # 1 - 7# % % 6 , 0#- & -"#
- - 0 " 7%#
0 $ %
# 0 #
7%#$
1
%
%
%
7%#$
0
0
7 % # " - # %
)
) )
" #1 % 1 - # ,
&
"#
- - # 6 #$ 0 2 # - 1 1 - $ 0 1 -1 % - # 7%#
7 % - . 7 - 7%#$ - 0 1 - - 3%
1 !% 5, # 7%#$ 1 # % - & E 0 - 0 7
%#
1
1
%
1
%
#
#
0
1 # & 0 - 1 % 7%# ##" %
1 % % $ $ F $ G $ - F G & - 0 7%# 9 7%#$
- # 1 ##$
= 7%#$
#
##
&
0
1 $ 1 0 #- # E $ 0 ! % 5 (& - #- %% 7%# * + 7%# % - # - & ', / - % #
5,
7%#$ % % - % 0 % % 7%#$ % #
G 7%# & ', + % F G # 7%# 0 % #
! # $ # 2 - 0 # 0 - % # %%
% 7%#
.
$
+ 1- ,
'
&
''
Value
estimated
Sample backups
(one-step TD)
Full backups
(DP)
s
V
s
π
a
(s)
a
r
r
s'
policy evaluation
s'
TD(0)
s
max
a
V *(s)
r
s'
value iteration
s,a
s,a
Q
r
π
r
s'
s'
(a,s)
a'
a'
Q-policy evaluation
Sarsa
s,a
s,a
r
r
s'
s'
Q*(a,s)
max
max
a'
Q-value iteration
! % 5 & 5, # 7%#
$
'
a'
Q-learning
''
0 4 0 - % - 5, # # 7%# # $ 0 # - 6 - % - $ % 7%# % % % 7%#
7%# - % # 1 # $ % #
# $ # # - 6# # ! 1 0 % 7%#$
%
# 7%# % %
7%#
$ % D% #% $ - ,
%%#
#
# & ## 1 #% %
% - # 7%# # 0 % - . #% D%!
- % - # 7%# ##" $ - $
# - - $ , 7%# # ##"
1 % % $ $ - - #
$
,
$ - "# - 0 - $ & % 7%# , # $ $ ( * "
( *
( 5*
# 7%# $ 1 # " $ $ / ,
&
#
, 7 %#- ( * ( 5 * ( * "
( *
( *
%% # 1 #, 2 #
- - "#
1 % 0
-,
0 - $ % - # # 0 - % - ## / , . - 0 %
- # 7%# E " & - 0 %
1 - $
1 $ # E $ " $
6 " # " %
1
%
#
0
7%# 1 1 - (7 5 * 6 # $ %
#
# " $ E - . 6 1 %
" #% $ % 0 ( * 0 7%#
- 7%# (
*
%
&
#
-- . - # H - $ # 7%# #
% - " $ # " 6
#%
D% - 7%# # %% - - % # $ #%
, # 0 1 % - ! # % # $ $ ?;= @B 9=@C:;$
%
#
"
$
$
& 0
% 6 7%# # D% % % #% # 7%#
% # % 7%#$ %# #
7%#
%
%
% # % 7%#$ # 7%# 0 # % 7 #1 1 % 0 0 7%# 6 # 0 , # $ 0 % $
35
X
3 5
:
$
3
35
35
3 5
5
$ '
35
3 5
3
"
'' $
1
full
backups
sample
backups
RMS error
in value
estimate
b=2 (branching factor)
b=10
b=100
b=1000
b=10,000
0
2b
1b
0
Number of max Q( s ′ , a ′ ) computations
a′
! % 5 # % - # 7%# & 7 %# , # 0 D% 7 %$ 0 1 % #% - 4 , # $ % 7%# 0 % - 7 1 % . 0 0 # 7%# , 0
1 % #% . $ # 0 % 7%#
#
0
, # 7%#
- 1! -% 0% 7%#
% 0 D% 6
%
5
0
#% % - # 7%#
0 %
$ & %
1 D% 7 - 0 - - 0 5 & 1 % " 6 % - $
%
7%#
%
%#
2
# $
# 7%# - % - 0 % # 7%# 1 # - (%
# 1 $ $
5 * & 7 1 - - ! $ , # % - 1 7%#
01% #1
$ 0 0 #
. % 7%#$ , # % - 7 - %# % & -.1 6 # 7%# 0 ! % 5 # % - # $ 1 % %
1 0 % -$
%
%# - - 7%# %
#
7%# 0 1 - - 1 1 % 7 - %# %
0 % & %
% # 7%# 7 %# % 7%# # 0 - 1 - " & 1 % - # " 0 D% 7 $
( $
$
(
8
$
(
4
8
'( 0 % 0 70 - $ % %## 7 % 4 % - 0 7 %
0#
7%# 1 % 7%# %## % 0 " # !
6 0 # 0 0 - % 7%# & ## # # 0 # % ( , * #$
-
7 %# ( , # * # 0 # & 6 # 7 % # 1 0 # 7 1
1 % 1 - %- 1 # # 0 1 0 # "%
1
#
#
1
D%
#
0
# $
# % 0 - - + 0 - %
"% 1 0 # - D% # 6
##
#
#
#
$
7%#
%
0
7 ( % 1 $ , # % 1 - E % *$ % # "% 1 0 # % # , # - &
##
% H % - # % $ ', / $ % 0 % - %. -
1 0 # 3 ## - % 7%#
# "%
- % 1 - 0 , # - H % $ $ 0- %
% #
1
# 0 - $ 0 % # 6 # - 7$ (
%
*
%
%
,
6 % 7$ 0 - % 7# % 6
$ # 1 $ # 1 % # 6 - 0 0 - $- % "# - -1 --% 4
- #
7%#
#
%
,
0
"# - 7%# C;= @C:; = 6 0 0 - % 7%# - , # # 6 - "# # -#% % $ % - 0 # % $ 0 7%# ,
- , # - % $ % 1 % 0 #%
"% 1 0 #
%
#
%#
1
%
,
# - % $ %$ 1 % - - $ 0 E 0 % #1
1
%
1
7
#
%
0
,
0 1 # $ - ,
"# % 7 & - % # # 1 % #% - % D% #%
#
7 # %
#
6
, # - % 7%# - ! 6% 1 7 $ % - % "# $ % &
)
&
&
,
+ 1-
&
&
$
&
$
5
$ - # # $
%
%
#
& 1 - $ % % 1 % #
1 - . 7 1 % # 4 70 #1 % #
+ , # - % E -1 0 % % - %
- 4% 0 0 ##"
%
1
%
##"
%
0
##" % - $ "# , # % E #1 # - # !% , # - % % - E % % 1$ %,
# # - $ % - - % %
- # # 7 - %# 1 - 1 4 - % - . # & . 7%# - % $
"# ( 5 * 6 9:; $ 0 5, # % % 7%#$
E
0 % -%
, # $ 7 %# # $ - : : @ %# , # % - %- % 0 % #-#( - $* 7& 7
%
%
#
, - ! 5 $
0 - - #- 7$
$ 0 % 0
0
0
" $ D% 7 $ 0 - . - , # & $ $ 0 , # 6
-- $ 4 0 5 # $
- # + - %- # - 7
%
D%
1 #%
%
# - "%
F G ( * $# % 1 %# # #
% - # $ $ 1 %
- , 1 % % $ $ - 0- 0 %
#
0
0
0 - !- ( 0 % - * & %## # % 5 0 % 1 - 1 #
7 0 5
- $ - 5 &
# %
- #-
% 5$7%#
-D%6 $
% %
#
#
, # - . % % - # - - - # - %
0 6 $ - # - .# $ & "#
$
%
0
$ 0 # ! % 5 0 % % - ! "#
5 7 0 5 $ 6 -1 , #+ % 1 - 6 , - , # %
7
$
#
% # % - - , 6
-
- $
. 0 - 6 %$
% # % % %
%$
% - 1 , - 1 % # 0 # % #
%%
7
&
#%
0%$ #0 "% 1 $ %% - ##
- # # % $
& % % 1 %
'(
.
$
1
*-
:
%
3
$
)
'
(
$
)
'( '
0 on-policy
b=1
3
1000 STATES
uniform
Value of
start state
under
greedy
policy
2
uniform
b=3
on-policy
1
uniform
b=10
on-policy
0
0
10,000
5,000
15,000
20,000
Computation time, in full backups
on-policy
b=1
3
10,000 STATES
uniform
Value of
start state
under
greedy
policy
2
1
0
0
50,000
100,000
150,000
200,000
! % 5 1 7%# - % - % #
1% % - % - , # % - 7 0 2 - 1 % $
Computation time, in full backups
$
)
&
'((
% - % # - , # - % $
0
-1 # $ # % $ # 0 % , # 1 - %- , # - % # ! % 5 # -4 # $ # 4% %## # - % - % - % 7 # - 0 %## % # 6 % 1 - #%$ # "# 0 % 0 0 # ! % 5 & "# % 0 ' % % % $
)
$
$
$
)
! !" " & # - , #+ # - . E 1 70 B ; C@ =;@B
% %#E
- # - 0 1
%
#$
%
#
- - -0 - %% 0 7- - $ % - - 0 ##" $ % $ 1 % % $ % #1 - 1 % 1 % % 6 0 - $
0% 7
# # # #% 6 % $ % - $ # % - - & ##" 1 % % ## - - - 7 %# 0 - % &
7 %# 0 %
F
" 7%# ( * - % - %
% 7
& 7 %# # , , - - %
H 7
%#
$ 1 % - #%
$
%
7 - %# 1 % - - - .
6 1 % - 1 7 - %# 1 % ##" 1 % % 6 $ 1 % % - ## - 1 - % 0 1$ % - 0 1 % % #1 - 1 $ % 7 -,%# 1 %
#%
% % % -#
- %
7 6 - -
H
1
7
##
%
0
,
$ ,
- %7 % $ ! "#
#% - 1 - - ,1 % % $ 0 % 7 # # " $ 7%# 0 - - 1 %$ - # 7 % 1
%
$
#
#% 7 -, %# 1 % # $ % - #
1
&%$ % 1 0 - " - - # #
,. +
+,
&
'( )
0 6
& # - # #
,1 % % $ - # #
#
- # $ 0 - 0 #%% $
. #
1 % % - $ - 6
- - 0 % # % - # % 1 $ 0 # - # H D% - $ %% % 0 - $ - #+ $ #%
&% - , 1 7 #
# $ &' , (- "#
55 5#1* -& - , %
&'()
*
7 1 % %+ % , # $ % %
1 - $ &', % - # 70 - # - - %#
## 0 - &' , &% %- - # % $ 1
- &', $ % 7
7
1
7
$ 1
% - 0 0 - 6 0 1 0 #$ % 1 % - E - 2 - % , D %$ % 0 1 #
# # % % 0 1 % + 7%#
- - ##" # 1 %
-%
- % -1
- 7
#
&
1
1
$
#
0
- 0 ! "# $ - # 0 0 # 0 7 $ % 7%# #
7 0 0 % - #1
# 0 1 % ## - #
$
%#
,
& % 70 - $ - # "
%
1
- % 7%# - - 0 - % 1 "# 4 % - 1 7 1 % 0 0 % % 7%#
. 1 % - % %
3%
% - - - 0 %
% #- % # 7$
% 0 % # 7
# 7 % 7
- % % # % 7
# $ %
7 " 1$
%
#
1
%
$
0
0 - # 7%# - 0 %
%
- % #% % ##" 1 % %
%
%
6
# - 1
1$
%
%
%
%
$ "# $ # # - 1 % $ % # - % # % 7 - # 8
$
/
'(
3
1
I
10
2
8
6
9
! % 5I & - # 7%# % # - D% # 7%# (0 % - * & - 0 1 - #,E
5,
& % - #% %
% - .
#% 0 % 1 - 0 % % & - % 7%#
- % - 7 % + 0 % "
- 1 - % $ 5, # 7%# %
$
#
%#$ % - ! % 5I 6 7%# - - 0 - % - $ " 7%# 0 % - 1 - , 7%# #
+ , # 1 0 - 0 # % #1 1 % - 1 - % 5, # 7%# &%$ #
6 - $ - %
- % %
%
#
7%#
%
0 - #
,
- - 0 % - 7%#
% #% # E 1 % 1
- - $ % - - %% 7%#
4
$
5
7
$
4 1 # - ## 1 # 2 %# # 0 # # 1 - # 1 1 1 1 % %
$
%
%#
$
& 7 0 - 7%# #
6 - # # # 0 %#- - 1 % %
-- $ - 1 - # - # ## % - ( - - * "# "# '(
0 6 - # 1 # - # 0 - . % "# 6 0 - # - 0 - - $ $ - - % ( ! %
*$ # - % 0 - #1$ % 0 D% - # -6 & % ## #
# %
#
#
%
#%
%$
- 1 - - 0 1 2 1 - 7 6 # 0 1 % - %# % - 1 ,
- H # - % 7%#
#
#
$ % 2 - 0 # % # - 0 1 % 1 - % ## - % % % $ - # 1
0 &##
+
%
#
%
E
#
0# % ,# - + - 1 2 7%# + 7%# 5, # # 7%# & 7%#$ # 7%# # - 4 #
%
%
7%# 6 # 1 # + - % - #
- # 7%# # - D% 0 7%#
$ '
&
! # !" ! !#
!" & 1 1 0 # - # - -% - 1 # - 1 % $ # %
( %$ 5 $ 5 5$ 5 5 $ -7$ $
$
%
$
%$
*$
%
5
5
5
I
5
I
5
5
% - + - # ( 5 + 5 *$ 7 - & 7 ( 5 *$ % - # %- % 0 (5 *$ -
(& &
1 0 % % ( $
$
*
#
5
- $ 5 I 7 $ 5 # $ 5 I '$ 5 *
&
>
; @C - > ; @C$ 0 0 % - - . 7 - $ - # 1 % ( $ -0 - $ 5 *$ 0 % - 7 7- - & C > C @=C: 8 % - - # 1 0 0 :> =;
( $ -0 - $ 5 % - $
%
$
*
&
'
%
%
%
(
*$ - 5
5
5
% - % # - $$ $$
$$ )
$$ $ ('
$
# $
$
$$
$$
$ $
$ $
$
,
,
$
$)( $$
$ (
$ )
1
, ,
+ + , 1
,
$ )
$ ) &
$$
'(
0 2 - 0 # 0 - 1 # - % % - - #- 3 + 7 ( 5 * - - 4 ( 5 * & % ! % 5 - % - 4 ( 5 * & % ! % 55 - % 3 - + 7
& 0 % - "# ( 5 *
! % - % $ - % - % " %1 % % - 1 ( 5 I * - ( 5 * - 4 ( 5 * "# - 0 - % 7%# % % - $$(
$$(
$
$$(
$
$$ )
/
$$ (
$$
$
'(
0 6 7 0 1 - # - 1 - % - % - - 1 0 - $ % # 1 - 0 - 1 &
%
#
"# # 6 1 - 0 # # -
- % - #
- 1 #
0 %
- #
#
%
1
0
0
-1E # - 7 - - # # % 1 ! ! + - 0 1 "# - 7 1 7 - !$ 1 1 % % - $
7 %# 1 % % # & - $ 0
#
2 - # ( 6* $ ##" 1 % % - ##" # $ - % #1
&
4 % 1 %
7%#$
%
1
7
%
1
%
%
$
- 6 #0 % 2 # # # 1 - &
#
1
0
0
0
! % 5 5 & - 1 - 0 7 - 7%# % - #1 7%# ( - 1 % % & 1 - 0 #
% # * !% #
*
%
7%#
(
7%# % D% - $ 0 # 7%# - 0 - #- - ( - 1 * & 2 0% #
+
7%#$ $ - ##
% -# + # - 1% ' $ &'$ - 3
- 0 - # # , 7%# - $ &' 7%#
% , % 3 7%# 0 #%
%-5,#
- - , # 7%# - " % , # 7%# % &
&
&
&
&
'( $
') 2 0 Exhaustive
search
Dynamic
programming
full
backups
sample
backups
Monte Carlo
Temporaldifference
learning
shallow
backups
bootstrapping, λ
deep
backups
! % 5 5 + # - ) , 7%# # - " %##, # % 1 1 ' 0
& %## , "
% 7%#
- # 5,#%% 7%#
($ % # $ % % - % - 06% % 0 - 1 * & - "%
1
%
%
- - - 7%# %# - - #$ ## 1 & - 1 - &
%- - " % -- #
7%#$
%
'$
#
0
" # - - % 0 7%# & D% E - # # % - - + - # - % ##" !% ##" 1 0 - #%
# % - " % $ 1 $ - - 1 &
1
%
##
%
2
# # ! % 5 5
+ - 0 1 # 2 - 7 - 0 , # - . , # - 6 $ 1 %
% # % 0 $ 0 1 % % # % 7 & 0 # 5
. % - "# & 0 - - -##
- % ##" - - % - # % 2 # - - 1 % - 1
0 %- 1 0 - $ -- 11$
# - E 6 -- % - % - % - $ 0 1 - E - % % % 7$ %- 6 7 # - % $ - % - %- % 4 7 - 1 % % - - 6 1 % - $ - # # ( , - * D% - 0 - % % - . ,
0 "# - "# 4 1
- - # 0 - , - - " $ - # 2 1 %
+ 7%# # - % % , , - 6 % - $ 0 7 - ## ,
#
% - 7%# "# % - "# 6 $
0 % 4 , # % - 7 - %# 3 - , - , # % %,
- - $ % - , - - & # #,
% - 7%# - # $ 0 H %$ - "% 1 %% " % 1 6- 1 - % 1 # - . 0 0 $ - !
% - "# 1
"#
$
'
%
% # 1 % %,
. 1 %. % 6 #
. - # &
#%
1
0
- $ 0 1$ % - - - "# - #
0 - # 2 2 ')
0 &
$
$
$
$
$
$
$
$
$
') '
2 0 # ! ! !# 0 # - 3%
! "#
$ 1 -%
- % % , # 7%# #1 - 1 # # + # - $ - %
# - 1 7%# # %"# - H # $ # # 0 %- % - % % 1 # " - %%
##
&
0
0
" - - 0 1 - $ - %
# - 0 - - - #H D% - 1 % #
#
# " - 0 0 1
- 7 D% #
371 ##
& % ##
, 371
1 % !1 - # 1 % 0 3
371$
371
"#
$
##
3' ( H 3' * H 3' E 3' 0 # , 1
1 $ % - 1 H
70 - & 3' H 6 " 1 %- - #
% - #%
-
3'
$
# # 1 %- 3' & # - % H % - 0 # & 3' ## #% "#
- - 08 - # 1 - 0 7 #%% ## $ - - ( 5 I *$ - % ( 5 I *$ 6 ( 5 * - H 3' - $ " 0 0 . %
#
% - 1 $ + # % 371 D%
1
1 "# - ( $ 3 % $ 5 $ 5 $ 5 I 8 3 -$ 5 #
1 - # $ 5
$ 5 5 3$ 5
- ' $ 5 4 - - - $ 5 5 - - % $
5 +* 1 1 1 % #1 # - 1 - -- 1 + ##
, 371
#1
- - % - -1 . - # %
, 371 ( $ 6 $ 77 - - $ 5 $ 5 I 77 $ - - $ 5 I * $ % ##" - 1 0. - 0 ! "#
$ % ##" D% 1 , 371 # 0 - ##
##" & 6 # 0 % %
- , 371
# 1
# - 1 - 0 #
% #1 - # $ - 7 - 0 % # &
$$
$$'
$$
/
$$ ' $ $) $$
$ $) $$ $$ $ $)
$$ $$'
$$( $$ $ $$
2 ')(
0 6 7 - # 1 0 %- - $ 0 % 1 # % - 0 - # + # 0 % 0 #+ # %
#
0
"- - 0 0 1
#
# - - % - 6 - %
1
7
% 1 % % - , # - - - " 1 %
%
##
0
! "# $ - 0 0 70 % % 0 $ 7 $ 0 # $ 1 8- 1 - 0 - %
4 0 1 - # #
1
0
, # - 4 - - 1 1 % %
3% % # - 1 1 - " % ## % D% 7 ##
%
1
%
$
%
- 1 % # 0 % 0 - - #%
% ( $ 4 7 $ 5 '
- $ 5 $ 5 $ $ 5 $ $ 5 %$ 5 I *
1
"#
%
%%
#
%
7
0
1 # % -,
1 ! "# $ #
1 $ 7 - % # $ #
& # # 1 ,
"# 6 - - - - -# 1 % - #- 1
#
#
#
1
% # 1 - # . + # %% %% - - $
% 0
$ - ,
#
#
$
%
"
#
% "# # - # # # % # "# %% - - # # 1 8
%- - ( $ % $ '
- - -%2 -$ 5
I ' - $
*
&
%
%
- *
(5 !I$ 8$ 5 37$- 5 - -, $ 5 - &$
5 ;= $ 0 0 #
2
6 % D% # #%#
## $ % % % 2 % 7
0
1 1 ! "# $ # .
-1 ( % - $85 3+ - 1 7 $ 5 * %
1
1
(
$
*
7
-
5
0
$ - # # $ 1 1 # % - %# - # % ( $ - $ %$
- $ 5 I * &
$
1
#
$
1
#
1 - 0 - % $$ ( $$ '
$$ )
$$
$$ ) $ $
$$ ( $$
$$ $$ ) &
$$ $$ ' $$'
$$(
, ,
$$ )
$
'))
2 0 6 E # 0 # 0 %- 1 % ## # H E H $ % 7 # $ #. %
#
%
$ 0 # 2 - - % ## ! "#
4 0 - 7
#
%
%
#
0
% %% ## #
% # " & % - %
7 + ## 1 #
0
## % - # D% % 37
- 0 - % # H # 1 ## - &% 7 (&%$
$
$
*
&%
# $
5
5
5
I
=
:
$ D% - 7 7 0 - - - # " $ 1 0 - - & &',
0 0 - &'() * - % 0
0 7 - 7## &' ##" % % , %
# - % % 0 - $ 0 7 # 6 # %% %
- % 0 - #
$ - ##% 1 0 E % &
#
# & #
7
#
#
# - 0 5I 0 - 5I 7 # - $ - : C ! %
55# 5 0 # # $ ## 1 0 6 E %$ 0 % - - - - I - & # * #
1 # I # - (#
! "#
$ % - 1 0 # 5 # $ 5 # $ - I
$$ '
0 * 1 1
$$ )
$$
&
')
-
&
+
'
'
'
')
')
2 2 24 23 22 21 20 19
1
2
3
4
5
6
18 17 16 15 14 13
7
8
9 10 11 12
0 white pieces move
counterclockwise
black pieces
move clockwise
! % 55 5 + 7 5 # 4 . 1 -1 # D%
H (# 5 , * - - & E # 1
#
0
- . - #
# ! # ! "#
$
7
1 % 55 5 $ % - % - 1
0
# # # $ 0 # 1 # - - - - (0 0 - #1 % 7 # *$ , 0 1$ 0
0 # # $ ## 1 # # #
&%$
%
1
0
I,
# % # %# - %# # ! 5 #$ %
%% 7 %# - # 7 ## 7 # # 1 7
1
1
1
%
#
$
%
1
- 4 # - # ( $ % - . ,,
- * % - % # 7 # %$
2 % %- 1 #
! # #%
&
%
1
#
#
1
- . 0 # 6 - %%
1$
% - #
##$ . % - # - 0 & %
1
%
& . # . 1 % 1 % - 1 #1 - H 1 7 - 7
- # &' - $
+ % $ # - # % 1 & 1 1 1 D%
1
#
E
- 0 # $
- & %
#
H
# - - - $ % 0 - E
0 - %%
1
##
7
&
%
7%# % - $ - ## % % 1 &', % - &'() * & - 1 %$ F ( * $ )
&
$ ')
'
')
''
'
')
(
'
'
)
4 3
22 2 ')
0 * predicted probability
of winning, V t
TD error, V t+1− V t
... ...
...
...
hidden units (40-80)
...
...
! % 55 & % 0 7 % - &', (- # * 0 # 0 & 1 $ 0- 0 - E - 2 # "# 0 & # 1!% % $ &', %
0% %
7$
%
%
(&
7
%
0 ,-- % 0 E 0 55# 0 # 0 -
# 0 - 7 * & 0 7 - #% % $ - - % $ - E %#% % & #% 0 7 0 # 7 # $ - %#% 0 1 %
# backgammon position (198 input units)
'
'
6 E 1 &', $ &', $ 7 # 0 #,
1 - 0 1 1 - 7 70 ,
7
0
- 6 - - $ 0 1$ 1 1 % 67 0 - 0 % 0 7 0 7 - 0
# - % 1 "! # &%
&
#%
%
7
#
0
5
0
- $ % - - % 0 # # 6 7 # $ % 6 7 1 % 2 6 0 # $ 0E 0% 7
1
%
#
$
E
5
0
0
- % 0 5 6 6 0 # # $ E
% 0 5 0 # $ %8 % $ - % -- # - -%
7 1- % ( #
#
$
$
%
%
*
4 % % 0 - % 7 # $ - & 0 -- % - - % 0 - 7 # 5(%7
1 % $ 0 % # * - 0 - - % 7 - 0 # - %%
1
- . * ! -$
( 7 1 % 5I $ 0 %
#
0 0 7 % 1 &
0 % - - 0 - % - $ &% - # $
)
)
"
')
$'
'
(
'
')
2 2 0 0 - 0 $ 7 # 2 % # 1
- # - 7 % #1 - - % #%
$ 0 - 5
1$ - - %
7 # $ 0 7 #% - 1 % 1 #
# #% % #% % - - % 0 --,10 % - 0 - %
#
0
#- 0 - % - -- % & %#%$ ( * $ - - % 0 - % 0 - %
( * 5 5 (*
( * 1 % #% % - 0 0
- - % & %#% - 0 0 - 5 $ - %
# # - % 1 - & #% - - % %#% % 0 % - - % %#% % - # 0 & %#%
%
%
0
# - % - &'()* - - ,
- ,- &', $ 0
% -- #%
- 7## ( % $
$ - 4 $ 5 * %# - % F ( * F ( *
( 55 5*
- E # ( $ 0 1
0
0 7* - 1 $ # $ %#- - ) F ( *
& - D% #% - 7##,
0 #
! 7 ## $ 0 5 - 0 - - % %#
0 2 "#
$ &', # % %% %
0
F ( * F ( * $ % - ! % 55
7 &% & ## % 0 - %
%- D% # 7 # & 1$ &' % # - - #, - # - - 0 % - % & %0 # - =9C ; C=C - % - & 0 7 0 % - 1 % & 1 0 - 0 % - - # 0 1 % % $ &' 7 1 - $ 0- # 0 0 % , 7 - # - $ 0 D%
#
$
0 &%
## - &' % ( 55 5 * % $ $ - 1 - % 1
X
!
'
P 5
$
47 8
4
4
h 647 8
4 3 47 8
4 3 4 i4 5
4
4
4 8
4 34 5
&
4 3 47 8
4 34
'
'
, +
,
3 5 3 8 5 39 5 : : :
22 2 ') $
0 * 0 7 0 - 1 % & 1 ,
&
0
% 0 % 1 0 - 1 % $ 1 0 1 #$ - - +%,
1 - 0 $ - - - 2%
# #1 - # - +0- # %0 1$
$ $ &' , - - 1
- # ##" 0 #1 % 7 #% # % #1 % , # #% # & 0 7 %
% - " 1 7 70 - ! "# $ # # 0 $ % $ ;:
= : $ # 0 &%
%
-
%
7
%
&'
%
7
0 "# 1 #1 7 0 "#$
0 $- $
#%
-- - 7 % - 0 -- - 0 . %
#
7 # - 1 0 4 - 7 %
$
1
H # - 5 &', $ - $ 0 % - 0 7 70 - & 0 - 0 % - 2
## 7 # , # - &
%
%
&'
0 2 7 7 0 - % ,
,
- 1 % - E -- # 2 - 7 % % 7# - & # - % - &', 5 &', 5 0 , # &'
% #1 % 7 # - %- %
# % "# 3 1 # $ &', ( - - % * - &' , 5 ( - - % *$ 0 % - 0 7 - - 1 0 , # # - % & 1$
#
- % # + 0 % - - % $ % ## #
- - 1
%
##
7
1
##
0
$ "# - 1 % -- 1 0 #% - - 0 - & 1 #% $ - # 0 - % - - - 1 . 0 7
E
#
$
%
1
1
&
#
I
0
,
- 1 - # # - - "
& 1
#
$
&'
$ % 5 - - % - ,
1 , # &', % 6 - 1 % %,
- - - , % - 0 7$
&%
- # ( 5 * 1 % "# # - 1 (
,.
11
/
/
$ $
/
'
)
'
&
)
(
$$
&
+ # # E % 0 -,
0
&%
% # % % 1 & - % - 7 - ( $ 5 55 5 &%$
*
5
I
&' , ## $ 1 $ # %
# 0 - 6 - 0 - # &
# 1 !
- - 0 % # # "# $ &', (
$$ ' $$
'
I
2 2 % % 0 & 55 5 % &', % $ $ ! & ( ) " # $ "' # " # * + # % ,-./0-1 23 4,.5 6- /2. 70 3 4- 0708 439 72 73 09 1 7: - /- 02 ,5 2 ;. 0 < .9 2 ;- 63 0=- 02 73 0 . > 3 08 2 ;?-92 ;@> . 0 4,.5- /9 A .9-1 3 0 B CD . > >3 0 9 9 @66-99 . 01 E @/2 ;- / . 0. ,59 79 F 2 ;- ?-92 ;@> . 0
4,.5- /9 03< 4,.5 2 ;-9- 439 72 73 09 .9 B CD . > > 3 0 13-9 GB-9. @/3 F H $$ I J A
KKL
M NO
PM Q RM S O
T UVW M S
X 0 7> 43/2. 02 4/-6 @/93/ 23 B-9. @/3 9 B CD Y. > >3 0 < .9 2 ;- 9- > 70. , < 3/Z 3E X /2 ;@/ [ . > @- ,
70 63 092 /@62 708 4/38 /. >9 E3/ ,-./0708 23 4,.5 6 ;-6 Z- /9 \ [. > @- , < .9 3 0- 3E 2 ;- ] /92 23 > . Z-: -62 7=- @9- 3E ;- @/792 76 9-./6 ; > -2 ;319 . 01 3E < ;.2 < - < 3 @,1 03< 6. ,, 2- > 43/. ,D1 7: - /- 06,-./0708 \ ^79 6 ;-6 Z- /9 4,.5- /9 ./- 7092 /@62 7=- 6.9- 92 @1 7-9 70 .11 72 73 0 23 ?- 708 3E ;7923/76. ,
702- /-92 \ _ - - > 4;.9 7` - 2 ;- /- ,.2 73 09 ;74 3E [ . > @- , 9 >-2 ;319 23 >31- /0 /- 70E3/6- >- 02
,-./0708 >-2 ;319 . 01 2 /5 23 63 0=-5 93 >- 3E [. > @- , 9 >32 7= .2 73 0 E3/ @9 708 2 ;- > \
[ . > @- , ] /92 < /32- . 6 ;-6 Z- /9D 4,.5 708 4/38 /. > E3/ 2 ;- ab c de H 70 Hf Ig \ ^79 ] /92 hijklmln
4/38 /. > < .9 63 > 4,-2-1 70 Hf II . 01 1- >3 092 /.2-1 3 0 2- ,-= 79 73 0 70 Hf I o \ p.2- / =- /9 73 09 3E
2 ;- 4/38 /. > .6 ;7-=-1 8331 F 2 ;3 @8 ; 032 -q 4- /2 F 4,.5 708 9 Z7,,\ [ . > @- , < .9 .22 /.62-1 23 8. >4,.5 708 .9 . 13 > . 70 E3/ 92 @15 708 > .6 ;70- ,-./0708 ?-6. @9- 8. >-9 ./- ,-99 63 > 4,76.2-1 2 ;. 0
4/3 ?,- >9 r2. Z- 0 E /3 > ,7E- s < ;7,- 92 7,, . ,,3< 708 E /@72E @, 92 @15 3E ;3< ;- @/792 76 4/36-1 @/-9 . 01
,-./0708 6. 0 ?- @9-1 238-2 ;- /\ ^- 6 ;39- 23 92 @15 6 ;-6 Z- /9 7092-.1 3E 6 ;-99 ?-6. @9- 729
/- ,.2 7=- 9 7> 4,76 725 > .1- 72 4399 7?,- 23 E36 @9 > 3/- 92 /3 08 ,5 3 0 ,-./0708 \
[ . > @- , 9 4/38 /. >9 4,.5-1 ?5 4- /E3/> 708 . ,33 ZD. ;-.1 9-./6 ; E /3 > -.6 ; 6 @//- 02 439 72 73 0 \
B ;-5 @9-1 < ;.2 < - 03< 6. ,, ;- @/792 76 9-./6 ; >-2 ;319 23 1-2- /> 70- ;3< 23 -q 4. 01 2 ;9-./6 ; 2 /-- . 01 < ;- 0 23 923 4 9-./6 ;708 \ B ;- 2- /> 70. , ?3./1 439 72 73 09 3E -.6 ; 9-./6 ; < - /-= . ,@.2-1 F 3/ r963/-1 Fs ?5 . = . ,@- E @062 73 0F 3/ r963/708 43 ,5 03 > 7. ,Fs @9 708 ,70-./ E @062 73 0
. 44/3q 7> .2 73 0 \ a0 2 ;79 . 01 32 ;- / /-9 4-629 [. > @- , 9 < 3/Z 9-- >9 23 ;.= - ?-- 0 709 47/-1 ?5 2 ;9 @88-92 73 09 3E [ ;. 003 0 GHf I e J \ a0 4./2 76 @,./F [ . > @- , 9 4/38 /. > < .9 ?.9-1 3 0 [ ;. 003 0 9
> 707> .q 4/36-1 @/- 23 ] 01 2 ;- ?-92 >3=- E /3 > 2 ;- 6 @//- 02 439 72 73 0 \ _ 3/Z708 ?.6 Z< ./19
2 ;/3 @8 ; 2 ;- 9-./6 ; 2 /-- E /3 > 2 ;- 963/-1 2- /> 70. , 439 72 73 09 F -.6 ; 439 72 73 0 < .9 8 7=- 0 2 ;963/- 3E 2 ;- 439 72 73 0 2 ;.2 < 3 @,1 /-9 @,2 E /3 > 2 ;- ?-92 >3= - F .99 @> 708 2 ;.2 2 ;- > .6 ;70< 3 @,1 . ,< .59 2 /5 23 > .q 7> 7` - 2 ;- 963/- F < ;7,- 2 ;- 3 443 0- 02 < 3 @,1 . ,< .59 2 /5 23 > 707> 7` 72 \ [ . > @- , 6. ,,-1 2 ;79 2 ;- tjuviwxyz { u|ki 3E 2 ;- 439 72 73 0 \ _ ;- 0 2 ;- > 707> .q 4/36-1 @//-.6 ;-1 2 ;- 9-./6 ; 2 /-- 9 /332} 2 ;- 6 @//- 02 439 72 73 0} 72 5 7- ,1-1 2 ;- ?-92 >3= - @01- / 2 ;.99 @> 42 73 0 2 ;.2 2 ;- 3 443 0- 02 < 3 @,1 ?- @9 708 2 ;- 9. >- -= . ,@.2 73 0 6 /72- /73 0F 9 ;7E2-1 23
729 43 702 3E = 7-< \ [3 >- = - /9 73 09 3E [ . > @- , 9 4/38 /. >9 @9-1 93 4;792 76.2-1 9-./6 ; 63 02 /3 ,
gI H
>-2 ;319 . 0. ,383 @9 23 < ;.2 ./- Z03< 0 .9 r. ,4;.D ?-2. s 6 @23: 9 G- \8 \F 9-- -./,F Hf J \
[ . > @- , @9-1 2< 3 > . 70 ,-./0708 >-2 ;319 F 2 ;- 9 7> 4,-92 3E < ;76 ; ;- 6. ,,-1 k| i hijklmln \
a2 63 09 792-1 9 7> 4,5 3E 9.= 708 . 1-96 /742 73 0 3E -.6 ; ?3./1 439 72 73 0 - 063 @02- /-1 1 @/708 4,.5
238-2 ;- / < 72 ; 729 ?.6 Z-1D @4 = . ,@- 1-2- /> 70-1 ?5 2 ;- > 707> .q 4/36-1 @/- \ B ;- /-9 @,2 < .9
2 ;.2 7E . 439 72 73 0 2 ;.2 ;.1 . ,/-.15 ?-- 0 - 063 @02- /-1 < - /- 23 366 @/ .8 . 70 .9 . 2- /> 70. ,
439 72 73 0 3E . 9-./6 ; 2 /-- F 2 ;- 1- 42 ; 3E 2 ;- 9-./6 ; < .9 -: -62 7=- ,5 . > 4,7] -1 9 706- 9 2 ;79
439 72 73 0 9 923/-1 = . ,@- 6.6 ;-1 2 ;- /-9 @,29 3E 3 0- 3/ > 3/- 9-./6 ;-9 63 01 @62-1 -./,7- /\ 07072 7. , 4/3 ?,- > < .9 2 ;.2 2 ;- 4/38 /. > < .9 032 - 063 @/.8-1 23 >3=- . ,3 08 2 ;- > 392 1 7/-62
4.2 ; 23 . < 70 \ [ . > @- , 8.=- 72 . r. 9- 09- 3E 1 7/-62 73 0 s ?5 1-6 /-.9 708 . 439 72 73 0 9 = . ,@- .
9 > . ,, . > 3 @02 -.6 ; 2 7>- 72 < .9 ?.6 Z-1 @4 . ,-=- , G6. ,,-1 . 4,5 J 1 @/708 2 ;- > 707D > .q . 0. ,59 79 \
raE 2 ;- 4/38 /. > 79 03< E.6-1 < 72 ; . 6 ;3 76- 3E ?3./1 439 72 73 09 < ;39- 963/-9 1 7: - / 3 0,5 ?5 2 ;4,5 0@> ?- /F 72 < 7,, . @23 > .2 76. ,,5 > . Z- 2 ;- >392 .1= . 02.8-3 @9 6 ;3 76- F 6 ;339 708 . ,3< D 4,5
. ,2- /0.2 7=- 7E < 700708 . 01 . ;78 ;D 4,5 . ,2- /0.2 7=- 7E ,39 708 s G[ . > @- ,F Hf I f F 4 \ e J \ [ . > @- ,
E3 @01 2 ;79 1 7963 @02 708D ,7Z- 2-6 ;07 @- -99- 02 7. , 23 9 @66-99E @, ,-./0708 \ ^- E3 @01 2 ;.2 /32,-./0708 4/31 @6-1 9 ,3< ?@2 63 02 70@3 @9 7> 4/3= - >- 02 2 ;.2 < .9 >392 -: -62 7=- E3/ 3 4- 0708
. 01 - 01D8. >- 4,.5\ ^ 79 4/38 /. > ?-6. >- . r?-22- /D2 ;. 0D.=- /.8- 03= 76- s .E2- / ,-./0708
E /3 > > . 05 8 . > -9 .8 . 7092 729- ,E F . = ./7-25 3E ;@> . 0 3 443 0- 029 F . 01 E /3 > ?33 Z 8. >-9 70 .
9 @4- /= 79-1 ,-./0708 >31- \
32- ,-./0708 . 01 32 ;- / .9 4-629 3E [ . > @- , 9 < 3/Z 92 /3 08 ,5 9 @88-92 2 ;- -99- 02 7. , 71-. 3E
2- > 43/. ,D1 7: - /- 06- ,-./0708} 2 ;.2 2 ;- = . ,@- 3E . 92.2- 9 ;3 @,1 - @. , 2 ;- = . ,@- 3E ,7Z- ,5 ,.2- /
92.2-9 92./2 708 E /3 > 2 ;.2 92.2- \ [. > @- , 6. > - 6 ,39-92 23 2 ;79 71-. 70 ;79 9-63 01 ,-./0708
>-2 ;31 F ;79 r,-./0708 ?5 8- 0- /. ,7` .2 73 0 s 4/36-1 @/- E3/ >31 7E5 708 2 ;- 4./. >-2- /9 3E 2 ;= . ,@- E @062 73 0 \ [ . > @- , 9 >-2 ;31 < .9 2 ;- 9. > - 70 63 06- 42 .9 2 ;.2 @9-1 > @6 ; ,.2- / ?5
B-9. @/3 70 B CD Y. > >3 0 \ ^- 4,.5-1 ;79 4/38 /. > > . 05 8. >-9 .8. 7092 . 032 ;- / =- /9 73 0 3E
729- ,E . 01 4- /E3/> -1 . ?.6 Z@4 3 4- /.2 73 0 .E2- / -.6 ; > 3=- \ B ;- 71-. 3E [. > @- , 9 ?.6 Z@4 79
9 @88-92-1 ?5 2 ;- 1 7.8 /. > 70 78 @/- HH\ \ .6 ; 3 4- 0 6 7/6 ,- /- 4/-9- 029 . 439 72 73 0 < ;- /- 2 ;4/38 /. > >3=-9 0-q2 F . 0 |lx | i 439 72 73 0F . 01 -.6 ; 93 ,71 6 7/6 ,- /- 4/-9- 029 . 439 72 73 0 < ;- /2 ;- 3 443 0- 02 >3=-9 0-q 2 \ X ?.6 Z@4 < .9 > .1- 23 2 ;- = . ,@- 3E -.6 ; 3 0D >3=- 439 72 73 0 .E2- /
. >3=- ?5 -.6 ; 9 71- F /-9 @,2 708 70 . 9-63 01 3 0D > 3=- 439 72 73 0 \ B ;- ?.6 Z@4 < .9 23< ./1 2 ;> 707> .q = . ,@- 3E . 9-./6 ; ,. @06 ;-1 E /3 > 2 ;- 9-63 01 3 0D >3=- 439 72 73 0 \ B ;@9 F 2 ;- 3=- /. ,,
-: -62 < .9 2 ;.2 3E . ?.6 Z@4 63 09 792 708 3E 3 0- E @,, >3= - 3E /-. , -= - 029 . 01 2 ;- 0 . 9-./6 ; 3=- /
4399 7?,- -=- 029 F .9 9 @88-92-1 ?5 78 @/- HH\ \ [ . > @- , 9 .62 @. , . ,83/72 ;> < .9 9 78 07] 6. 02 ,5
>3/- 63 > 4,-q 2 ;. 0 2 ;79 E3/ 63 > [email protected] 73 0. , /-.93 09 F ?@2 2 ;79 < .9 2 ;- ?.9 76 71-. \
[ . > @- , 1 71 032 706 ,@1- -q 4,76 72 /-< ./19 \ a092-.1 F ;- ]q -1 2 ;- < - 78 ;2 3E 2 ;- >392 7>D
43/2. 02 E-.2 @/- F 2 ;- z miui jw jl jn i E-.2 @/- F < ;76 ; >-.9 @/-1 2 ;- 0@> ?- / 3E 47-6-9 2 ;4/38 /. > ;.1 /- ,.2 7=- 23 ;3< > . 05 729 3 443 0- 02 ;.1 F 8 7= 708 ;78 ;- / < - 78 ;2 23 Z7089 F . 01
706 ,@1 708 /-] 0- >- 029 93 2 ;.2 72 < .9 ?-22- / 23 2 /.1- 47-6-9 < ;- 0 < 700708 2 ;. 0 < ;- 0 ,39 708 \
B ;@9 F 2 ;- 83. , 3E [. > @- , 9 4/38 /. > < .9 23 7> 4/3=- 729 47-6- .1= . 02.8- F < ;76 ; 70 6 ;-6 Z- /9
79 ;78 ;,5 63//- ,.2-1 < 72 ; < 700708 \
^3< -=- /F [ . > @- , 9 ,-./0708 >-2 ;31 > .5 ;.=- ?-- 0 > 799 708 . 0 -99- 02 7. , 4./2 3E . 93 @01
2- > 43/. ,D1 7: - /- 06- . ,83/72 ;> \ B- > 43/. ,D1 7: - /- 06- ,-./0708 6. 0 ?- = 7-< -1 .9 . < .5 3E
> . Z708 . = . ,@- E @062 73 0 63 09 792- 02 < 72 ; 729- ,E F . 01 2 ;79 < - 6. 0 6 ,-./,5 9-- 70 [. > @- , 9
gIg
actual events
hypothetical events
backup
78 @/- HH\ B ;- ?.6 Z@4 1 7.8 /. > E3/ [ . > @- , 9 6 ;-6 Z- /9 4,.5- /\ 4- 0 6 7/6 ,-9 /- 4/-9- 02
439 72 73 09 < 72 ; 2 ;- 4/38 /. > 23 >3= - F 1./Z 6 7/6 ,-9 439 72 73 09 < 72 ; 2 ;- 3 443 0- 02 23 >3= - \
>-2 ;31 \ b @2 . ,93 0--1-1 79 . < .5 3E 25 708 2 ;- = . ,@- E @062 73 0 23 2 ;- 2 /@- = . ,@- 3E 2 ;92.2-9 \ _ - ;.=- - 0E3/6-1 2 ;79 = 7. /-< ./19 . 01 ?5 1 7963 @02 708 3/ 8 7= 708 . ]q -1 = . ,@- 23
2 ;- 2- /> 70. , 92.2- \ b @2 [ . > @- , 9 >-2 ;31 706 ,@1-1 03 /-< ./19 . 01 03 9 4-6 7. , 2 /-.2 > - 02 3E
2 ;- 2- /> 70. , 439 72 73 09 3E 8. >-9 \ X 9 [. > @- , ;7>9- ,E 43 702-1 3 @2 F ;79 = . ,@- E @062 73 0 63 @,1
;.=- ?-63 >- 63 09 792- 02 > - /- ,5 ?5 8 7= 708 . 63 092. 02 = . ,@- 23 . ,, 439 72 73 09 \ [. > @- , ;3 4-1 23
1 7963 @/.8- 9 @6 ; 93 ,@2 73 09 ?5 8 7= 708 ;79 47-6- .1= . 02.8- 2- /> . ,./8- F 03 0D > 31 7] . ?,- < - 78 ;2 \
b @2 . ,2 ;3 @8 ; 2 ;79 > .5 1-6 /-.9- 2 ;- ,7Z- ,7;331 3E ] 01 708 @9- ,-99 -= . ,@.2 73 0 E @062 73 09 F 72 13-9
032 4/3 ;7?72 2 ;- > \ 3/ -q . > 4,- F . 63 092. 02 E @062 73 0 63 @,1 92 7,, ?- .22. 70-1 ?5 9-22 708 2 ;>31 7] . ?,- < - 78 ;29 93 .9 23 6. 06- , 2 ;- -: -62 3E 2 ;- 03 0D >31 7] . ?,- 3 0- \
aE [ . > @- , 9 ,-./0708 4/36-1 @/- < .9 032 63 092 /. 70-1 23 ] 01 @9-E @, -= . ,@.2 73 0 E @062 73 09 F
2 ;- 0 72 9 ;3 @,1 ;.=- ?-- 0 4399 7?,- E3/ 72 23 ?-63 > - < 3/9- < 72 ; -q 4- /7- 06- \ a0 E.62 F [ . > @- ,
/- 43/2-1 3 ?9- /= 708 2 ;79 1 @/708 -q2- 09 7=- 9- ,ED 4,.5 2 /. 70708 9-99 73 09 \ B3 8-2 2 ;- 4/38 /. >
7> 4/3= 708 .8. 70F [ . > @- , ;.1 23 702- /=- 0- . 01 9-2 2 ;- < - 78 ;2 < 72 ; 2 ;- ,./8-92 . ?93 ,@2= . ,@- ?.6 Z 23 ` - /3 \ ^79 702- /4/-2.2 73 0 < .9 2 ;.2 2 ;79 1 /.92 76 702- /=- 02 73 0 .//-1 2 ;- 4/38 /. >
3 @2 3E ,36. , 3 42 7> . F ?@2 . 032 ;- / 4399 7?7,725 79 2 ;.2 72 .//-1 2 ;- 4/38 /. > 3 @2 3E -= . ,@.2 73 0
E @062 73 09 2 ;.2 < - /- 63 09 792- 02 ?@2 ;.1 ,722 ,- 23 13 < 72 ; < 700708 3/ ,39 708 2 ;- 8. > - \
C-9 472- 2 ;-9- 432- 02 7. , 4/3 ?,- >9 F [ . > @- , 9 6 ;-6 Z- /9 4,.5- / @9 708 2 ;- 8- 0- /. ,7` .2 73 0
,-./0708 > -2 ;31 . 44/3.6 ;-1 r?-22- /D2 ;. 0D.=- /.8- s 4,.5\ . 7/,5 8331 . > .2- @/ 3 443 0- 029
6 ;./.62- /7` -1 72 .9 r2 /76 Z5 ?@2 ?-.2. ?,- s G[ . > @- ,F Hf I f J \ a0 63 02 /.92 23 2 ;- /32-D ,-./0708
=- /9 73 0F 2 ;79 = - /9 73 0 < .9 . ?,- 23 1-=- ,3 4 . 8331 > 711 ,- 8. >- ?@2 /- > . 70-1 < -. Z 70 3 4- 0708
. 01 - 01D8. >- 4,.5\ B ;79 4/38 /. > . ,93 706 ,@1-1 . 0 . ?7,725 23 9-./6 ; 2 ;/3 @8 ; 9-29 3E E-.2 @/-9
23 ] 01 2 ;39- 2 ;.2 < - /- >392 @9-E @, 70 E3/> 708 2 ;- = . ,@- E @062 73 0 \ X ,.2- / =- /9 73 0 G[. > @- ,F
Hf o d J 706 ,@1-1 /-] 0- > - 029 70 729 9-./6 ; 4/36-1 @/- F 9 @6 ; .9 . ,4;.D ?-2. 4/@0708 F -q2- 09 7=- @93E . 9 @4- /= 79-1 ,-./0708 > 31- 6. ,,-1 r?33 Z ,-./0708 Fs . 01 ;7- /./6 ;76. , ,33 Z@4 2. ?,-9 6. ,,-1
9 78 0.2 @/- 2. ?,-9 GY /7 2 ;F Hf oo J 23 /- 4/-9- 02 2 ;- = . ,@- E @062 73 0 7092-.1 3E ,70-./ E @062 73 0
. 44/3q 7> .2 73 0 \ B ;79 =- /9 73 0 ,-./0-1 23 4,.5 > @6 ; ?-22- / 2 ;. 0 2 ;- Hf I f 4/38 /. > F 2 ;3 @8 ;
92 7,, 032 .2 . > .92- / ,-=- ,\ [ . > @- , 9 6 ;-6 Z- /9D 4,.5 708 4/38 /. > < .9 < 71- ,5 /-638 07` -1 .9 .
9 78 07] 6. 02 .6 ;7-=- >- 02 70 ./2 7] 6 7. , 702- ,,78- 06- . 01 > .6 ;70- ,-./0708 G9-- F - \8 \F Y./1 0- /F
gI Goal: Raise tip above line
Torque
applied
here
θ1
θ2
tip
78 @/- HH\ B ;- .6 /3 ?32 \
Hf H J \
K K L
PM Q S - 70E3/6- >- 02 ,-./0708 ;.9 ?-- 0 . 44,7-1 23 . < 71- = ./7-25 3E 4;59 76. , 63 02 /3 , 2.9 Z9 F ?32 ;
/-. , . 01 9 7> @,.2-1 \ 0- 9 @6 ; 2.9 Z 79 2 ;- juk|t| F . 2< 3D ,70ZF @01- /D.62 @.2-1 /3 ?32 /3 @8 ;,5
. 0. ,383 @9 23 . 85 > 0.92 9< 708 708 3 0 . ;78 ;?./ G 78 @/- HH\ J \ B ;- ] /92 3 702 G63//-9 43 01 708
23 2 ;- 85 > 0.92 9 ;. 019 3 0 2 ;- ?./ J 6. 0032 -q - /2 23/ @- F ?@2 2 ;- 9-63 01 3 702 G63//-9 43 01 708
23 2 ;- 85 > 0.92 ?- 01 708 .2 2 ;- < . 792 J 6. 0 \ B ;- 9592- > ;.9 E3 @/ 63 02 70@3 @9 92.2- = ./7. ?,-9 2< 3 3 702 439 72 73 09 . 01 2< 3 3 702 =- ,36 72 7-9 \ B ;- - @.2 73 09 3E >32 73 0 ./- 8 7=- 0 70 78 @/HH\I \ B ;79 9592- > ;.9 ?-- 0 < 71- ,5 92 @1 7-1 ?5 63 02 /3 , - 08 70-- /9 G- \8 \F [ 43 08 F Hff J . 01
> .6 ;70- ,-./0708 /-9-./6 ;- /9 G- \8 \F C- 3 08 . 01 [ 43 08 F Hff b33 0- F Hffd J \
0- 3 ? -62 7=- E3/ 63 02 /3 ,,708 2 ;- .6 /3 ?32 79 23 9< 708 2 ;- 2 74 G2 ;- rE--2 s J @4 . ?3=- 2 ;] /92 3 702 ?5 . 0 . >3 @02 - @. , 23 3 0- 3E 2 ;- ,70Z9 70 > 707> @> 2 7> - \ a0 2 ;79 2.9 ZF 2 ;- 23/ @. 44,7-1 .2 2 ;- 9-63 01 3 702 79 ,7> 72-1 23 2 ;/-- 6 ;3 76-9 F 439 72 7=- 23/ @- 3E . ]q -1 > .8 072 @1- F
0-8 .2 7= - 23/ @- 3E 2 ;- 9. >- > .8 072 @1- F 3/ 03 23/ @- \ X /-< ./1 3E 79 8 7=- 0 3 0 . ,, 2 7>92- 49 @02 7, 2 ;- 83. , 79 /-.6 ;-1 F < ;76 ; - 019 2 ;- - 47931- \ 3 1 7963 @02 708 79 @9-1 G H J \
B ;@9 F 2 ;- 3 42 7> . , = . ,@- F G J F 3E . 05 92.2- F F 79 2 ;- > 707> @> 2 7>- 23 /-.6 ; 2 ;- 83 . ,
G. 0 702-8- / 0@> ?- / 3E 92- 49 J 92./2 708 E /3 > \
[ @223 0 GHff o J .11 /-99-1 2 ;- .6 /3 ?32 9< 708D @4 2.9 Z 70 . 0 3 0,70- F >31- ,DE /-- 63 0D
2-q2 \ X ,2 ;3 @8 ; 2 ;- .6 /3 ?32 < .9 9 7> @,.2-1 F 2 ;- 9 7> @,.23/ < .9 032 .= . 7,. ?,- E3/ @9- ?5
2 ;- .8- 02 63 02 /3 ,,- / 70 . 05 < .5\ B ;- 2 /. 70708 . 01 702- /.62 73 0 < .9 @92 .9 7E . /-. ,F 4;59 76. ,
.6 /3 ?32 ;.1 ?-- 0 @9-1 \ .6 ; - 47931- ?-8. 0 < 72 ; ?32 ; ,70Z9 3E 2 ;- .6 /3 ?32 ;. 08 708 92 /. 78 ;2
13< 0 . 01 .2 /-92 \ B3/ @-9 < - /- . 44,7-1 ?5 2 ;- /- 70E3/6- >- 02 ,-./0708 .8- 02 @02 7, 2 ;- 83 . ,
< .9 /-.6 ;-1 F < ;76 ; . ,< .59 -=- 02 @. ,,5 ;. 44- 0-1 \ B ;- 0 2 ;- .6 /3 ?32 < .9 /-923/-1 23 729 7072 7. ,
/-92 439 72 73 0 . 01 . 0-< - 47931- < .9 ?-8 @0 \
gI s s
G s
J
! G g G 639 J g G J 639 G
639 G g J
!
639
J J
gJ 78 @/- HH\I B ;- - @.2 73 09 3E > 32 73 09 3E 2 ;- 9 7> @,.2-1 .6 /3 ?32 \ X 2 7>- 92- 4 3E e \e I 9-6D
3 019 < .9 @9-1 70 2 ;- 9 7> @,.2 73 0F < 72 ; .6273 09 6 ;39- 0 .E2- / -=- /5 E3 @/ 2 7> - 92- 49 \ B ;- 23/ @. 44,7-1 .2 2 ;- 9-63 01 3 702 79 1- 032-1 ?5
;- /- < - /- 03 63 092 /.
7029 3 0 2 ; H H e \ B
3 702 439 72 73 09 F ?@2 2 ;- .08 @,./ =- ,36 72 7-9 < - /- ,7> 72-1 23 . 01 f f \ B ;- 63 092. 029 < - /- H G> .99-9 3E 2 ;- ,70Z9 J F H G,- 082 ;9 3E ,70Z9 J F
e I G,- 082 ;9 23 6- 02- / 3E > .99 3E ,70Z9 J F H G>3 > - 029 3E 70- /2 7. 3E
,70Z9 J F . 01 f G8 /.= 725 J \
B ;- ,-./0708 . ,83/72 ;> @9-1 < .9 [ ./9. G J < 72 ; ,70-./ E @062 73 0 . 44/3q 7> .2 73 0F 2 7,- 631D
708 F . 01 /- 4,.6 708 2 /.6-9 .9 70 78 @/- \ \ _ 72 ; . 9 > . ,,F 1 796 /-2- .62 73 0 9-2 F 72 79 0.2 @/. , 23
@9- . 9- 4./.2- 9-2 3E 2 7,7089 E3/ -.6 ; .62 73 0 \ B ;- 0-q2 6 ;3 76- 79 3E 2 ;- 63 02 70@3 @9 = ./7. ?,-9
< 72 ; < ;76 ; 23 /- 4/-9- 02 2 ;- 92.2- \ X 6 ,-= - / 1-9 78 0- / < 3 @,1 4/3 ?. ?,5 /- 4/-9- 02 2 ;- 92.2- 70
2- />9 3E 2 ;- . 08 @,./ 439 72 73 0 . 01 =- ,36 725 3E 2 ;- 6- 02- / 3E > .99 . 01 3E 2 ;- 9-63 01 ,70ZF
< ;76 ; > 78 ;2 > . Z- 2 ;- 93 ,@2 73 0 9 7> 4,- / . 01 63 09 792- 02 < 72 ; ?/3.1 8- 0- /. ,7` .2 73 0 \ b@2 9 7062 ;79 < .9 @92 . 2-92 4/3 ?,- > F . >3/- 0. 7=- F 1 7/-62 /- 4/-9- 02.2 73 0 < .9 @9-1 70 2- />9 3E 2 ;439 72 73 09 . 01 =- ,36 72 7-9 3E 2 ;- ,70Z9 F . 01 \ B ;- 2< 3 . 08 ,-9 ./- /-92 /762-1 23
. ,7> 72-1 /. 08- ?5 2 ;- 4;59 769 3E 2 ;- .6 /3 ?32 G9-- 78 @/- HH\I J . 01 2 ;- 2< 3 . 08 ,-9 ./0.2 @/. ,,5 /-92 /762-1 23 e g \ B ;@9 F 2 ;- 92.2- 9 4.6- 70 2 ;79 2.9 Z 79 . ?3 @01-1 /-62. 08 @,./
/-8 73 0 70 E3 @/ 1 7>- 09 73 09 \
B ;79 ,-.=-9 2 ;- @-92 73 0 3E < ;.2 2 7,7089 23 @9- \ B ;- /- ./- > . 05 4399 7?7,72 7-9 F .9 1 796 @99-1
70 [-62 73 0 \ \g \ 0- 79 23 @9- . 63 > 4,-2- 8 /71 F 9 ,76 708 2 ;- E3 @/D1 7>- 09 73 0. , 9 4.6- . ,3 08
. ,, 1 7>- 09 73 09 F . 01 2 ;@9 7023 > . 05 9 > . ,, E3 @/D1 7>- 09 73 0. , 2 7,-9 \ X ,2- /0.2 7=- ,5F 3 0- 63 @,1
9 ,76- . ,3 08 @92 3 0- 3E 2 ;- 1 7>- 09 73 09 F > . Z708 ;5 4- /D 4,. 0./ 92 /74-9 \ a0 2 ;79 6.9- 3 0- ;.9 23
476 Z < ;76 ; 1 7>- 09 73 0 23 9 ,76- . ,3 08 \ X 01 3E 63 @/9- 70 . ,, 6.9-9 3 0- ;.9 23 476 Z 2 ;- < 712 ; 3E
2 ;- 9 ,76-9 F 2 ;- 0@> ?- / 3E 2 7,7089 3E -.6 ; Z701 F . 01 F 7E 2 ;- /- ./- > @,2 74,- 2 7,7089 F ;3< 23 3: 9-2
2 ;- > \ 0- 63 @,1 . ,93 9 ,76- . ,3 08 4. 7/9 3/ 2 /74,-29 3E 1 7> - 09 73 09 23 8-2 32 ;- / 2 7,7089 \ 3/
-q . > 4,- F 7E 3 0- -q 4-62-1 2 ;- =- ,36 72 7-9 3E 2 ;- 2< 3 ,70Z9 23 92 /3 08 ,5 702- /.62 70 2 ;- 7/ -: -62
3 0 = . ,@- F 3 0- > 78 ;2 > . Z- > . 05 2 7,7089 2 ;.2 9 ,76-1 . ,3 08 ?32 ; 3E 2 ;-9- 1 7> - 09 73 09 \ aE 3 02 ;3 @8 ;2 2 ;- /-8 73 0 ./3 @01 ` - /3 =- ,36 725 < .9 4./2 76 @,./,5 6 /72 76. ,F 2 ;- 9 ,76-9 63 @,1 ?- >3/6 ,39- ,5 9 4.6-1 2 ;- /- \
gII
1000
median of
10 runs
typical
single run
Steps per episode
(log scale)
smoothed
average of
10 runs
100
1
100
200
300
400
500
Episodes
o p-./0708 6 @/=-9 E3/ [./9. G J 3 0 2 ;- X 6 /3 ?32 2.9 Z\
78 @/- HH\
[ @223 0 @9-1 2 7,7089 2 ;.2 9 ,76-1 70 . = ./7-25 3E 9 7> 4,- < .59 \ .6 ; 3E 2 ;- E3 @/ 1 7>- 09 73 09
< .9 1 7= 71-1 7023 9 7q - @. , 702- /= . ,9 \ X 9-=- 02 ; 702- /= . , < .9 .11-1 23 2 ;- . 08 @,./ = - ,36 72 7-9
93 2 ;.2 2 7,7089 63 @,1 ?- 3: 9-2 ?5 . /. 013 > E /.62 73 0 3E . 0 702- /= . , 70 . ,, 1 7>- 09 73 09 G9-[-62 73 0 \ \g J \ E 2 ;- 232. , 3E 2 7,7089 F Hg 9 ,76-1 . ,3 08 . ,, E3 @/ 1 7> - 09 73 09 .9 1 796 @99-1
. ?3= - F 1 7= 71 708 2 ;- 9 4.6- 7023 o d o d Hd o 2 7,-9 -.6 ; \ X 032 ;- / Hg 2 7,7089 9 ,76-1
. ,3 08 2 ;/-- 1 7>- 09 73 09 G /. 013 > ,5D3: 9-2 2 7,7089 -.6 ; E3/ -.6 ; 3E 2 ;- 9-29 3E 2 ;/-1 7>- 09 73 09 J F . 01 . 032 ;- / Hg 9 ,76-1 . ,3 08 2< 3 1 7>- 09 73 09 Gg 2 7,7089 E3/ -.6 ; 3E 2 ;- o 9-29 3E
2< 3 1 7>- 09 73 09 \ 70. ,,5F . 9-2 3E Hg 2 7,7089 1- 4- 01-1 -.6 ; 3 0 3 0,5 3 0- 1 7> - 09 73 0 G 2 7,7089
E3/ -.6 ; 3E 2 ;- 1 7>- 09 73 09 J \ B ;79 /-9 @,2-1 70 . 232. , 3E . 44/3q 7> .2- ,5 2 7,-9 E3/
-.6 ; .62 73 0 \ B ;79 0@> ?- / 79 9 > . ,, - 03 @8 ; 2 ;.2 ;.9 ;708 < .9 032 0-6-99./5\ X ,, 2 7,7089 < - /3: 9-2 ?5 . /. 013 > E /.62 73 0 3E . 0 702- /= . , 70 . ,, /- ,-= . 02 1 7>- 09 73 09 \
B ;- /- > . 70708 4./. > -2- /9 3E 2 ;- ,-./0708 . ,83/72 ;> < - /- e g F e f F e
F . 01 e B ;- @9- 3E . 8 /--15 43 ,765 G e J 9-- > -1 4/-E- /. ?,- 3 0 2 ;79 2.9 Z ?-6. @9,3 08 9- @- 06-9 3E 63//-62 .62 73 09 ./- 0--1-1 23 13 < - ,, 0- -q 4,3/.23/5 .62 73 0 63 @,1 9 43 7,
. < ;3 ,- 9- @- 06- 3E 8331 .62 73 09 q 4,3/.2 73 0 < .9 - 09 @/-1 7092-.1 ?5 92./2 708 2 ;- .62 73 0
= . ,@-9 3 42 7> 792 76. ,,5F .2 2 ;- ,3< = . ,@- 3E e X 9 1 796 @99-1 70 [-62 73 0 g d . 01 q . > 4,- g F
2 ;79 > . Z-9 2 ;- .8- 02 63 02 70@. ,,5 1 79. 443 702-1 < 72 ; < ;.2-=- / /-< ./19 72 7072 7. ,,5 -q 4- /7- 06-9 F
1 /7= 708 72 23 Z-- 4 2 /5 708 0-< 2 ;7089 78 @/- HH o 9 ;3< 9 ,-./0708 6 @/=-9 E3/ 2 ;- .6 /3 ?32 2.9 Z . 01 2 ;- ,-./0708 . ,83/72 ;> 1-D
96 /7?-1 . ?3=- 32- E /3 > 2 ;- 9 708 ,-D /@0 6 @/=- 2 ;.2 9 708 ,- - 47931-9 < - /- 93 >-2 7>-9 -qD
2 /- >- ,5 ,3 08 0 2 ;-9- - 47931-9 F 2 ;- .6 /3 ?32 < .9 @9 @. ,,5 9 4700708 /- 4-.2-1 ,5 .2 2 ;- 9-63 01
3 702 < ;7,- 2 ;- ] /92 3 702 6 ;. 08-1 3 0,5 9 ,78 ;2 ,5 E /3 > =- /2 76. , 13< 0 X ,2 ;3 @8 ; 2 ;79 3E2- 0
;. 44- 0-1 E3/ > . 05 2 7>- 92- 49 F 72 . ,< .59 -=- 02 @. ,,5 - 01-1 .9 2 ;- .62 73 0 = . ,@-9 < - /- 1 /7=- 0
,3< - / X ,, /@09 -=- 02 @. ,,5 - 01-1 < 72 ; . 0 - 6 7- 02 43 ,765 E3/ 93 ,= 708 2 ;- 4/3 ?,- > F @9 @. ,,5
,.92 708 . ?3 @2 d I 92- 49 X 25 476. , ] 0. , 93 ,@2 73 0 79 9 ;3< 0 70 78 @/- HH d 7/92 2 ;- .6 /3 ?32
4@> 49 ?.6 Z . 01 E3/2 ; 9-=- /. , 2 7>-9 95 > > -2 /76. ,,5F < 72 ; 2 ;- 9-63 01 ,70Z . ,< .59 13< 0 B ;- 0F
3 06- - 03 @8 ; - 0- /85 ;.9 ?-- 0 .11-1 23 2 ;- 9592- > F 2 ;- 9-63 01 ,70Z 79 9< @08 @4/78 ;2 . 01
92. ??-1 23 2 ;- 83. , ;- 78 ;2 gI o
78 @/- HH d X 25 476. , ,-./0-1 ?- ;.= 73/ 3E 2 ;- .6 /3 ?32 .6 ; 8 /3 @4 79 . 9- /7-9 3E 63 09-6 @2 7=439 72 73 09 F 2 ;- 2 ;76 Z- / ,70- ?- 708 2 ;- ] /92 B ;- .//3< 701 76.2-9 2 ;- 23/ @- . 44,7-1 .2 2 ;-
9-63 01 3 702 KKL
UM V S O V Q P _ 7 7 8 E = 79 9 7 @ 7 < 7 ; < ;7 ; < E > 7 7 _ 99 ?@ ; < E = = = 8 ; 8 ; _ > ; = < > E ; > @ ; = @ ; < < < ; ; ; = @ < ; q > F
E = ; = @ Z@ F < ; ; ; @ ? = ] aE
; Z@ @ F ; < ; @ ; = ?@ ; > = < ; q = ; q > E ; > ? >
E > > ; = ? ; @ @ ; > > > b GHff I F Hff o J @ ; E E > ; @ ; E @ D = F D > ; < @ HH X ; ; ; Z@ @ E ; < ; ; ? < ; = ; F F F @ E ?@ E < < ; < : @ ; @ ` ; @ @ = ? F b > ; ; > ; = He B ; @ @ > > > > ; @ ; = @ = E @ ? ? Z
@ = > < @ @ = Heee > @ < ; @ ; ; a
F
> = ; ; @ = @ gI d
hall
buttons
D
dropoff
request
U
D
U
D
U
D
elevator
going up
U
D
U
D
pickup
request
(down)
age of
request
U
D
U
D
U
D
U
@ HH @ = B
D[ b @ > @ ?@ B ; > @ @ ; B ; ; E
; = > @ @ > < ; @ @ = ? = > F ; = F < ; = = E @ = ; @ E > @ @ F ; > E ; ; ; ;> ; > = @ ; ; @ C ; > E ; @ B ; E > E = ; > @ = : < F < ;
= ; > B ; = jm mln m i ; <
; < ? E = F ; = { { i m i ; < ; < ? E ? : ; X ; E @ @ ; E < ; < > q o e B ; ? = ; b E @ ; = { yjkiw jm mln
m i B ; ? = > > @ ? @ Z ; < > < < ; @ E = ; b = E HD D @ > = < Z = E E @ E ; ? > B ; > > E ; ; E > @ E ; F ; = > < E ; ; [ F @> ? E < ; X = @ ? E E < :
; F @ = @ E < @ ; ; ; a
F < < @ > < : ; F @ Z @ E ; = < ; F = ; ? < > = @ < F ; = < < > = @ G ; < = @ ; ; @ < @ @ ; ; = < ; ?? J B ; ; < q = = > Z < > Z ; ? >
B ; @ E ; < ; ; = ; > Z E < gI > B ; ; ; ? > < < ; ; ; < ? ; ; ; < ? Z @ X ; > F ; ? > B ; ; = > ; E @ > > > ] D
E ; ? > X E ; < F ; > > @> E > > < ; ; ; > Z ; q _ ; @ @ D
> ? > D > > ; < Z < { i mx jkv| B q F @ ; ? @ Z
; c Z = ? Z ; < ; ; E ; < = ; @ @ D > = B ; E @ ` @ E > @ @> E E @ @ < @ ml in kjh E
E @ @ < X becomes
Z
< ; ; E ; @ @ > > < > ; ; ; @ < @ @ > a
; = ? > ; @ @ D
> < ; = E ; @> E ; @ < > E < B ; > e > ; E ; @ D > e HJ
B ; ? E ; q E D > D c Z = ? > < ? q [ @ ; > Z > F ; ; q @ > X E ; D = F ; > D c Z = D ? Z@ E ?@ D= @ E @ F F < @ ? G J G J b Z ! "#ff I J ] } } Z Z $ Z Z $ b q Z a
i% z iu iw & ! q $ Z Z ' b q Z X q $ G J G J Z
gI f
Z d $ g e $ g $ ! d # X ' $ #o X q #e #e r q $ $
$ # # # b a
r p #$ s ' Z a
r p g $ s Z '
$ q Z a
$ '
$ $ a
' $ ! ! ` " J $ ' '
q $ # ee "'
o e $eee J _ $ Z Z $ ' b Y q [ g $ go e
800
80
600
2
Average
squared 400
waiting
time
200
% Waiting
>1 minute
Dispatcher
0
SECTOR
DLB
HUFF1
LQF
HUFF2
FIM
ESA/nq
ESA
RL1
RL2
SECTOR
DLB
HUFF1
LQF
HUFF2
FIM
ESA/nq
ESA
RL1
RL2
1
Dispatcher
0
SECTOR
DLB
HUFF1
LQF
HUFF2
FIM
ESA/nq
ESA
RL1
RL2
Average 60
waiting
40
and
system
times 20
0
Dispatcher
## f r[ r p # s r p g s X ` r s ## f $ w| lxz ijv $ $ q ` ' " b $ # ff J $
b $ X Z $ ' '
' $ KKL
W V Q P V M U
UU Q V ^ [ b Z "# ff o J }
c Z } u jllih kiy{ i u|l{ kjml a
$ a
$ X
go #
Z $ r ! s a th|uviw [ b Z ' ! $ $ Z ` X q a a # g $ $ Z 1
2
1
2
1
$
# g $ $ [ ` a
$ $ $ q ! $ Z q q `
% iw j{{ mn l il " X a
w lj mu j{{ mn l il $ $ a $ Z q $
$ Z ' c Z X '
c ] ] " X f de de ] $ Z $ $ ! Z _ $ Z
_ $ $ $ ] X $ $ Z $ Z
gog
e ' c q ` q ` q " Z ] ` ] "[ o
$ ] $ X ] $ ] ] q $ $ $ $ Z ] _ $ a
$ X ] p q ] ] Z '
] $ ` ] ] $ Z ' ] ' X ` # X ' c Z "e [ b Z ' d d d e ! ! $ q ]q " X $ rb p Z s
"
b
p
"# f f $ " p b p a X $ a ## # e Z # e $ g ee $ ee ! ! $ p Z ' ! q go FA
150 calls/hour
BDCL
RL
200 calls/hour
Traffic
350 calls/hour
Nonuniform
0
## # e ' 10
20
30
40
50
% Blocking
X $ b
p $ p
! a
$ $ Z $ #e Z ^ Z "#ff o ! [ b Z a
` Z $
` ' ^ Z cX X X ap "[ i jh $ # ffe $
$
q ` ^ Z Z cX XX ap f $ de X Z $ $ ' cX X X ap $ ' _ $ $ ! ' a
$ q ] $ go KKL
P Q PM U Z Z ] Z " $ Z
Z ] Z ' a
$ ' $
q ] ' Z ] "#ff $ # ff o $ #ff o ' ' ] $ q ' Z ] ' ] $ X [X ' "[[ $ Z X [ [ g o $ #o Z X q Z c a[[ a ' [ & ' [ $ d g ee $ $
$ X $ [ [ $ ^ a [ [ Z ] $ $ q $ Z $ Z a ] ' $ $ ] ' $ ^ ' '
$ $ $
` X $ '
" $ $ Z ' '
g b $ { mln hi { mln hi
a
$ z |hmu Z ] jl [[ Z ' ] $ Z q ` [ [ $ $ X [X i jh "# ff c x go ukm mujh z j { u iw yhi $ Z
$ Z Z X X [[ aY ' p Z ] X c Z ] ] Z X $ '
$ Z $ X [ [ aY ' p Z a
$ $ ! $ a X [[ aY ' p $ c ' Z Z '
X $ X r '
s r s a $ q " $ '
a $ q $ $ ! [ ] [ ' X [ [ aY ' p c $ g e $ } } Z '
' " e ee # ] ' Z $ $ ] ] [[ $ Z $ ki{ | ykui wmhj m|l ju |k " $ ' '
$ Z [ goo
$ ] ' _ $ Z ] ' $ $ " e ee #" # Z ] ' ] ' } q q '
Z b `
} ! [ e ee #
$ $
e ee # [ $ q $ ' $ Z
q ] e ee # " q ' Z Z X ' $ ' Z ] Z q ] " tjuv jkw{ $ q a
Z $ ' ` ' i% z ikmilui kiz hj p "#ff g X $ X $ ' $ X $ $ Z Z ' $ g e $
{ j z hi n kiiw { ijku kjlw|
$ ` ] $ q $ q Z X $ q ! Z a
] $ g e ' '
] $ ] q $ q x go d
$
# e ' '
Z g e $ $ e $ $ $ Z & $ Z Z $ " $ # ff ' Z " ] " p i jh $ # ffe Z " q Z Z ] a rZ
s Z Z [ ! ! Z $ Z ] ] a
$ Z ##g X # ee ] $ " $ ] # ee $ Z #e $eee Z ! "e g e d $ ! $ ] ! Z $ #g Z $ ! # Z " ## ## g
Y #g i jh $ ` " a ' " a ' ] ] " Y #g "
] ' ## #g ] X $ ! ' " Y #g " Y #g ! Z Z
$ Z go 1.5
G12TDN
G12N
IR-RDF
IR-V
1.45
RDF
1.4
1.35
1.3
1.25
1.2
1.15
1024
2048
4096
8192
16384 32768
Accepted Repairs
65536
131072 262144
## ## " $ #ff o ' $ b ' ] z hjlx{z jui $ $ " ' $ ] Z |li $ Z Z ] a ' ' q b ' Z q _ q Z q q x go f
1.5
G12TDN
G12N
IR-RDF
IR-V
1.45
RDF
1.4
1.35
1.3
1.25
1.2
1.15
16
32
64
128
256
CPU Time (Seconds)
512
1024
2048
## #g & " $ # ff o gde
$ "# $ $
X
f lj mu kyu yki | ik wj m i $
cX X a' # e $ c a X ] i
c
a
a p $ "#
$ $ # $ #$ # "# # $ "# # $ "# $ & $ $ $ "#
'
' $ $ $
$
" $# ## $ # $ $ ! "# " $ $ $ $ $ $ $ $ $ $ # #
# $ "# $ $ '
$ "# $ # # $ $ "# $ $ $
$ # $ $ $ "#
$ % $ "# '
$ $ $ $
X
|t| mu{ jlw y |l| | y{ { i { o
X
[
fd X
{ umilui{
X
eg
o
[
X
_
fd [
cX
| yk l iklj m|ljh
X c
d
ef Y p
X
[
_
X
^
fof X
m|ljh | ykljh | jlx ju mli ywmi{
X
X c
^
n ym{ mu{ jlw |l k|h
` [ X
[
[
{ u |h|n mujh i mi X
^
f o [ ppX X
k|uiiwmln{ | i lw |ln ki{{ j{ hi
k|uiiwmln{
fd [
Z
a
|kv{ |z |l ju mli ijklmln e X
fdd b
f o ijklmln jlw k|thi |h mln m yh mhj ik
X
c
cX
_
| i
c
j i j mujh m|x
f kjml i j m|k jlw |t| mu{ b
X
_
|lliu m|lm{ { i { ffe _
d X
p
b
q
^
p
a
eg p
b
l ikljx
ge
^
fof p
}
]
a
X
lu uh|z iwmj | l |k j m|l mlx
q
go g de fdd mlvmln m i iju jthi ju mli X
ff fd
a
X
gd #
[
k|uiiwmln{ | i
gdg
ih l iklj m|ljh |l ikilui |l ju mli ijklmln $
e d $ [ '
$ X c b $ Y $ $ Y $ $ $ Y $ X $ p ` $
"# ff Z $ $ & c b $ "# ff ' ! c Z kjl{ ju m|l{ |l { i { jl jlw tikli mu{ $ g d o b $ X Y "# f p ' ' Z y jl iyk|tm|h|n $ gg f g o b $ X Y "# f o Y ' Z '
a
Z $ [ $ $ i ykjh i |kv{ |k | z y mln $ # X a $ Z o
b $ X Y "# ffe X a c $ $ [ $ [ $ _ $ $ $ iykjh i |kv{ |k |l k|h $
c a $ $ cX a
b $ X Y "# ff # [ Z $ p [ $ p $ $ iu yki{ ml | z hi% { i { $ # f gg X ' _ $ X b Z $ $ X b $ X Y "# ff g a _ $ X [ $ X $ $ jlwt||v | l ihhmn il |l k|h iykjh
y jlw wjz m i zzk|ju i{ $ o f f # $ !
$ " $ #
$ $ $ $ $ $ $ $ $$
X Y "# ff X a
^ Z $ p
b $ Y $ $ |wih{ | l |k j m|l k|ui{{ mln ml i
j{ jh jln hmj $ g # g g c a $ $ cX b
$ b $ X Y "# ff a X $ c X $ $
jlwt||v | kjml i|k jlw i ykjh i |kv{ $ e ef c a $
$ cX $ $ $ # $ $
b
X Y
mu{
Z
oe d
X $ "# f ` kjl{ ju m|l{ |l { i { jl jlw tikli x
X Y X $ _ "# f [ '
a k|n kj | i i il ll yjh |l ikilui | i
|n lm m i umilui |umi $ $ a $ X b
$ " $ $ $ $ $ "#
$ # # tikli mu{ X Y X
b
d
_
[
[
f g [ Z m|h|n mujh
gd
$ " $
$ $ "# # ' $ $ b
X Y
b
Z
[
[
[ ff f #' d $ a
[ $ & c '
$ X $ cX b $ X Y $ b Z $ [ $ [ $ [ "# ff p ' k m umjh l ihhmn ilui $ d g # # b $ X Y ! $ c "# ff c q a
$ $ $ Y $ X $ $ '
| i $ w jlui{ ml iykjh l |k j m|l k|ui{{ mln { i { k|uiiwmln{
|l ikilui $ o d o f $ [ $ X c b $ X Y $ c a "# f d Y Z' Z a
$ c b $ $ $
k|uiiwmln{ | i mk{ ll yjh |l ikilui |l iykjh i |kv{ $ aaog f
aao o $ [ $ X b $ X Y [ $ [ "#f # Y Z '
X X _X p' '
#' # ede $ X _ X p X p $ _ '
X b $ ^ b $ X Y [ $ [ "# f # p Z X m|h|n mujh tikli mu{ $ g # b $ X Y [ $ [ "#f g [ '
' Z ix
j m| ykjh kjml i{ ijku $ gg # g b $ X Y $ [ $ [ $ X $ _ "# f Z
kjl{ ju m|l{ |l
{ i { jl jlw tikli mu{ $ # o X X $ iyk|u| z y mln | ylwj m|l{ | i{ ijku $ c a $ $ cX $
#f b $ X Y $ [ $ [ $ b $ [ "# f # X Z X kjl{ ju m|l{
|l { i { jl jlw tikli mu{ $ e g e # g ## b $ $ [ "#f f q '
j jthi{ jlw ik mwi{ | | z y j m|l $
# g d g # b $ $ $ $ Z $ b "# fd q } X X '
j i j mujh | z y j m|l $ #d # # o # b $ "#f o X q '
jlv j $ # # f o gg gg
$ " $ $ $ !
$ $ $ " #
$ " $ $ " #
$ !
!
gd
$ $ & $ $ "# $ $ $ "# $
% $ '
$ $ "# $ $ "# $ # # $ # $ "# $ # # $ $ ' "#$ ! $ $ $ $ $ "# $ % %% $ $' $ "#
! $
b
f d lj mu k|n kj mln f d X c Z
b
i j mujh iu o o d f o b
^
p
X
| ykljh | j x
b
f jlwm k|thi {
b
Z
fg kjl{ ju m|l{ |l y | j mu |l k|h g d o e o o
b
Z
f ]q
j i j mujh k|n kj mln g d ed g e
b
Z
fd lj mu k|n kj mln ^
|u j{ mu |wih{ X
jlw
b
b
Z
cX
ff i ik mlm{ mu jlw
lj mu k|n kj mln jlw z m jh |l k|h b
Z
m{ kmt y iw | z y j m|l y ikmujh i |w{ Z
f f jkjhhih
^
$ % %% $ $ "#
$ $
$% " $ $ $ $ $ "#
' # $
$% $ $ "# '
$ $ "#$ & $ $ $ $ "# ' $ $ $ %% "
$ $ $ $ $ "# lj mu k|n kj mln X
[
]
b
]
tikli mu{ [ c
Z
X _
b
[
b
q
b Z
l
mk|l
il
b
fg kjl{ ju m|l{ |l { i { jl jlw
p b
fg l ihhmn il i j m|k j{ jl wjz j m|l | i
X
X
c
ca
b
Y
ffd c
lj m|ljh |l ikilui |l |t| mu{ jlw y | j m|l X
ff o i ykjh
o ff iykjh i |kv{ |k j ikl iu|n lm m|l
g o
c
b
cX
Z
c
l ikx
c
ff q
`
a k|uiiwmln{ | i | yk iil l iklj m|ljh |ml |l ikilui |l k m umjh l ihhmn ilui b
a
j{ v
Y
$
$ $ "# $
$ $ $
$ $ $ ! $ " $ $ $ $ %
$ $ "# b
[
X
X _
c
ff Y
`
q
a Y
w jlui{ ml iykjh l |k j m|l k|ui{{ mln { i { X c
c
|l ikilui
of do [
p
`Z
k|uiiwmln{ | i
b
k|uiiwmln{ | i
X c
X _
[
[
ff |kv{ |z |l jhyi ylu m|l zzk| m j m|l ju mli ijklmln
gd
[ $ c & c &' [ ' f ' g e o b Z $ [ "# ff a
[ ^ $ $ p Y $ $ w jlui{ ml i ykjh
l |k j m|l k|ui{{ mln { i { k|uiiwmln{ | i |l ikilui $ g f e g $ [ c $ X c b Z $ [ "# ff luki il jh lj mu k|n kj mln |k lx mli
wjz m i z m jh |l k|h $ & c $ X X '
c [ a f ' og b Z $ [ b $ X Y "# ff o p ! ju mli ijklmln $ gg d b Z $ [ ! $ c "# ff ' c Z a
Y $ '
k|uiiwmln{
` Z $ p $ $ w jlui{ ml iykjh l |k j m|l k|ui{{ mln { i { | i |l ikilui $ f ee $ [ c $ X c b $ [ "# ffe Z q a
` Z $ [ $ $ w jlui{ ml iykjh l |k j m|l k|ui{{ mln { i { $
g ## g #d $ [ c $ X c b $ [ p $ "# f c Z | z hi% { i { $ g g # b $ $ X "# ff o } # f e # f |l k|h
{ i { $ # " go b $ c $ "#f |u j{ mu |wih{
|k ijklmln _ $ Z b $ ^ $ Y $ $ b q $ X "# ffe '
jz h { mj a
^ Z $ b $ Y ^ $ $
| z y j m|ljh |wih{ | ijklmln $ # o X $ Z $ "#f f b Z ' a
$ c $ [ $ $
ih x kn jlm mln { i { $ g e g # s $ s $ "# ffd ' a
k|uiiwmln{ | i l ikx
lj m|ljh |kv{ |z |l zz hmuj m|l{ | iykjh i |kv{ | ihiu| ylmuj m|l{
$ ^ p $ $ p "#ff # a
'
` X '
a
k|uiiwmln{ | i l iklj m|ljh |ml |l ikilui |l k m umjh
l ihhmn ilui |l ikilui
$ #
$ $
$ X [ !
$ $ $ $% $ $ $ $ " % !
!
!
!
gdo
%%%
$ ' $ "# # '
' $ # % $ "#
$ # # $ $ % $ ! $ "#
$ # # $
$ ! % $ ""# ! $ # $ $ "# ' $ # $ "# $ & $ [
Z
ff X
y | j mu |l k|h o f f p
ff g
ilui |l k m umjh l ihhmn ilui
kjl{ ju m|l{ |l
a k|uiiwmln{ | i il j m|ljh |l ikx
X XXX a c
Z
ca
i
[
fo X
]
a k|uiiwmln{ | j m|ljh |l ikilui |l k m umjh l ihhmn ilui x
g
X c
m c
` ihhmn ilui i{ ijku
| ykljh | k m umjh lx
g gd Z _ X
| z y ik |l ikilui
ijklmln
c [ a
ff `
b Y
f Y
a k|uiiwmln{ | i
o f
`
i{ ikl |ml ffd l l in kj mln zzkil mui ijklmln jlw iml |kui il X
X
c
f o ' e g o $ & ! $ "#
'
$ # # %
% $ $ "#
$ " $ "#
'
' ' ## #$ $
ijklmln |l ikilui
fg
$
cX Z
_
ff g X
k|uiiwmln{ | i ml e
l iklj m|ljh ju mli
c
c
ff wjz m i i j m|k g g d g d
ff X
]
Xa ca X ]
a
% $# $ ! "#
% $ "#
a
f i
j yki | % z hjlj m|l p
& ^
ff o jkn ix ujhi lj mu z m m j m|l { mln ij { | iml |kui il ijklmln n il { $ & c $ X $
cX % $ $
$ "#
'
$ $ $ $
$ # # # $ $
%
$ "# X Y
ff o a
a
[
c `
c `Z c
w jlui{ ml iykjh l |k j m|l k|ui{{ mln { i { k|uiiwmln{ | i
e d eg
cX c a |l ikilui
^
^
^
f X
b
g dd
a
c $ ^ X $ $ z |{ my |l |l i jkh| i |w{ $ # f # g _ $ Z ` Z $ Y "# ff m | y mkjuhi{ lm ik{ jh ihiu m|l i|k jlw i
iu|lw jk mlmjl i |hy m|l c a $ _ "# fd o [ | ykljh | j i j mujh ljh { m{ jlw zz hmuj m|l{ $ e g ed $ "#ff # a
` Z $ [ $ $
p $ [ Z $ $ ^ $ Y $ $ |lliu m|lm{ |wih{ k|uiiwx
mln{ | i y ik u ||h $ # c $ [ c $
X $ "#ff g " ju mli
ijklmln $ # og $ ^ $ Y "#ff a
^ $ [ $ $ $ Y $ p $ $ w jlui{ ml
iykjh l |k j m|l k|ui{{ mln { i { k|uiiwmln{ | i |l ikilui $ g d # g d $ [ c $ X c $ [ Z $ "#ff " # ju mli ijklmln $ # g f e # $ p $ [ ' ^ "#ff a
k|uiiwmln{ | i | yk iil l iklj m|ljh |ml |l ikilui |l k m umjh l ihhmn ilui $ Y [ $ c _ "# ff [ X q a
k|uiiwmln{ | i ikmujl |l k|h
|l ikilui $ g # g # og $ "#f o d i mi $ f #o #dd $ "#fd kjml{ |k { $ _ p ' ' ! _ Y X $ d # f b c a $ $ cX $ Y $ [ "#ff q '
X ] a
$ X '
$ [ $ $ k|uiiwmln{ | i ih l iklj m|ljh |l ikilui |l ju mli
ijklmln $ # d o # $ [ $ X c $ "# ff o ! a ` Z $ [ $ c ` $ c $ ^ $ c $ $ w jlui{ ml i ykjh
l |k j m|l k|ui{{ mln { i { k|uiiwmln{ | i |l ikilui $ #ed # ed f $ $ cX c a $ Y [ $ p "#f jlw| jhv{ jlw hiu kmu
i |kv{ c X X c c '
gg % % % #
% % !
% % !
!
!
gd
$ $ "#
$ # $ $ $ "# $ !$ $ $ "# ' $ $ # $ $ ! $ $ # ! "# $ $ "# '
$
$ "# $
% "#" ' $ ! $ $ $ $ $ $ $ $
$ $ ! "# $ # #
$ $
"# $ # $ $ "# $ $ $ $ $
$ $
$ $
"# # $ $
$ $ $ # ! $ $ # $ "#
$
# % " $ $ $ $ $ "# % $ $ $
lj mu k|n kj mln X
uili ljh { m{ _
[ ^
Z
c ff k|uiiwmln{ | i
ef
g
g d [
[
ijklmln
_
i mi d f ed
Z
{ u |h|hn mujh
Z _ X
f [
kjl{ ju m|l{ |l l |k j m|l
f o e z m jh |l k|h
Y
Y c
X X
ff i yk|{ umilui
Z
[
fde p
ju m|l{ |l y | j mu |l k|h
g e gg
}
Z Y
Y
c
f
q
{ u |h|n mujh i mi o g gg d
X
Ys
^
ff a X
Y
|kv{ |z |l zz hmuj m|l{
k|uiiwmln{ | i l iklj m|ljh
kjh i |kv{ | ihiu| ylmuj m|l{ x ee ed [
[
X
Y
p
f [
Z
a b
i jlwt||v | k m umjh l ihhmn ilui
X
X
Y
c
Y
a [
hm j
$ Z fd c
X
^ ]
X
q
g oo Y
q
X
kjl{x
o b
| iyx
Z
e _
umil m u ikmujl gg e Z
_
f |wih i ykjh i |kv{ jlw i j m|k
% %
$ $ i|k
i|k X
Y [
[
f gg f g i|k | X
a ih l iklj m|ljh |l ikilui |l ju mli
X c
b Y
d o i k jlw
fd j ikl hj{{ m uj m|l jlw
`
Z
fdd f e
X c
p
c "# fd X k|n ki{{ ml j m{ mu{ $ g #
Y $ "# f f ili mu hn |km { ml ijku z m m j m|l
jlw ju mli ijklmln X ' _ $ $ cX g df
% $ "# ' $ $
% % $ $ ! "#
' $ ! $ $ "# '
$ $ $ $
$ # $ $ ! &'
' ' # $ & $ $ $ # $ "#
$ $ $ $
$ # # $ $
% $ ! "#
$
Y
cX
^
Y
wmu m|l jlw |l k|h f d hj{{ mujh iu jlmu{ X
Y
^
[
[
Y
Y
ff o [
c `
c ^
`Z c
mln { i { k|uiiwmln{ | i cX c a Y
Z
X
f oo X
c a
mh ikmln kix
Y
Y
ff [
X
a [
l iklj m|ljh |l ikilui |l ju mli ijklmln
X q
c
[ f
e
c
f wjz m i
q
k|uiiwmln{ | i
g o go [
_
ih c
X
ff
]
X
a
[
w jlui{ ml i ykjh l |k j m|l k|ui{{x
e g e |l ikilui
cX
X
]
a
c
f
Y $ X "# fd X Z k m umjh l ihhmn ilui $ # d
# Y $ "# ffe X ' iykjh i |kv{ $ o d # o f g Y $ p $ p $ p ' $ ^ $ [ "# ff a '
c Z '
^ $ [ "# f iykjh |wih | wjz m i i j m|k $ & $ a $ X ^ $ [ "# f f |lliu m|lm{ k|thi |h mln | z y jx
m|ljh {z iu { | m|h|n mujh ijklmln b Z $ b ^ Z $ $ "# f a '
{ u |h|n mujh i mi $ f # d f # ^ $ Y $ "# f o f b umil m u ikmujl $ oo d ^ $ b $ Y ^ "# fd i|kmi{ | ijklx
mln ' ^ $ ! $ ^ $ Y "# f c &' [ ' ' # d $ [ $ ' c & $
$ X ^ $ [ [ $ "# ffd p ' iykjh | z y j m|l % !
% % " #
% % % $ % % % !
ge
&
$ "# $ $ "#
$ $ $ $
$ $ $ $ "#
'
' $ $ '
$ $ $ $ $
$ ! $ $ " $ $ $ $ $ "# $ $ $ $ $ $ $
$ $ $ $ $ "#
$
# $ "# ' $ $ "# $ " $ $ $ $ $ "#
^
k|n ki{{ ml
^
c
^
^
fd o X
i|ki mujh m|h|n ^
^
Y
n ilui zzk|ju
c
X
Z
a
^ Z
p
k|ui{{
mln
ml
i
j{
jh
jln
hmj
^
cX
a f o c
|hy i
^
fd wjz j m|l ml j ykjh jlw k m umjh { i {
X
X
foe p
b
f
X Y
b
Y
de
ca
g
c
ff X
|wih{ | l |k j m|l
cX
g
lj mu k|n kj mln jlw jkv| k|ui{{ i{ c a
^
p
f kmlumz hi{ | i j m|k
^
p
f g i j m|k { i _
ZZ
c a
go g f X
[
a c
Z [
ju mli ijklmln l k m umjh l ihhmx
X
f og c
[
c
X
[
[ z y j m|l $ o " ff iykjh | x
ZZ $ $ [ $ [ $ $ c a "# ff '
c Z a
Y $ ` Z $ p $ $ w jlui{ ml i ykjh l |k j m|l k|ui{{ mln
{ i { k|uiiwmln{ | i |l ikilui $ g $ [ c $ X c "# ff o X gg $ p "# ff ^ a
k|uiiwmln{ | i il l iklj m|ljh |l ikilui |l jx
u mli ijklmln $ # o d # d c $ p "#ff ijklmln ml tiwwiw { i { c a $
cX $ p $ p $ c p $ c $ X _ "# ff o X | ykljh | k m umjh l ihhmn ilui i{ ijku $ Z $ [ "# f c Z k|u jz ujw $ g # gg d g $ c ^ _ Z $ X "#f o |l i jkh|
i |w{ _ $ $ "#f z jk{ i m{ kmt y iw i |k c a $ $
cX !
% !
% # !
% # !
% " !
% ! % !
!
!
g #
# ! $ "#
$ $ $
$
& $ " ! $ $ $ $ $ ! "#
$ $ ! $ $
^
c ^
e do q
% % $ ! $$
a b
& [X $ b "#ffd $ $ jlwt||v | iykjh | z y j m|l [ [
& $
$ Y X "#f o # mhn jkw jlw jk ym{ |l m m|lmln jlw ijklmln X ' ' $ a $ Z $ Y X "# f o d | ylwj m|l{ | |lwm m|lmln jlw ijklmln X ' ' Z Z $ [ $ Y $ $ $ c "#f '
` umilui $ gg e o d # o e $ X ^ "# fd g b } X X p' d g ' e # o $ X p '
$ b $ cX X k|uiiwmln{ | i l iklj m|ljh
|l ikilui |l { i { jl jlw tikli mu{ $ # fd $ a [ $ c $ [ $ $ $ X ^ "#fd X ] i { hi ik $ ## # $ X ^ "#f g i iw|lm{ mu iyk|l i|k | i |k ijklx
mln jlw l ihhmn ilui ^ $ _ $ $ X ^ "#f X { u |tmx
|h|n $ # o # g $ "# fdd {{ |umj m i i |k { i i|ki mu z x
zk|ju [ ' $ b $ "# f ] a
$ p $ $ $ ijku ml k m umjh l ihhmn ilui $ gg g o d [ $
% !
% !
% % " # !
!
!
!
! !
! !
!
b !
$ $ "#
$ $ $ $ $ $ $
$
# # $ $ " ! $ $ $ ' $ $ "#
$ $
$ $
$ # $ c
[
a
i|k jlw z hi il j m|l
p b
[
fde [
q
a
c
c
[
wjz
m
i
ijklmln jlw
j ikl iu|n lm m|l { i { i|k jlw zz hmuj m|l{ X $ Z q ff [
{{ |umj m i iykjh i |kmi{ X
zk|ju i{
cX
[
of c a p Y
_
c
p Y
Z
cX
ffe X
a
iykjh
i
|kv{
|k
|l
k|h
_
ff g `
X
cX
Z
a _
[
y jlw wjz m i z x
jlwt||v | l ihhmn il |l k|h iykjh
Z
g
g g
gg
% ! $ $ "#' $ ! $
! $ "# $ !
$ ! $ "#
$ $ ' ' !
$ ! $ $ $
$ # ' % ! $ $ "#
' $ % $ "#
' $ # " # # ### " $ ! $ $ $ $ "#
' $ % % $ ' ! $ "# # '$ '
% $
$ ' "#
' '
$ #
% % $ ' $ "# $ # % $ "#
' $ # # $ $ ! % "
$ $ $ $ ! $ "# $ $ $ $
$ $ $ ! % " $ $ $ $ ! $ "# wil m uj m|l jlw wjz m i |l k|h { m j m|l
f X
| ykljh | |l k|h jlw z m m j m|l g g f e
p f p [
f o |u j{ mu { i { ^
ijku
ml k m umjh l ihhmn ilui
^
|k |u j{ mu |l k|h k|thi { ml |l ml y| y{
fd X
i lljh{ | j m{ mu{
p
p
Z
p
p
p
p
a
d
ff g y ikmujh i |w{
m i [
Z
ef
X ^
_
X
^
Y ffe X
i ykjh i |kv{ [
^
ff kjl{ ju m|l{ |l iykjh i |kv{ g e
ff g [
ju mli ijklmln g f g
p p
c
ff g a k|uiiwmln{ | i iu|lw l iklj m|ljh |l ikilui |l m yhj m|l
| wjz m i i j m|k k| lm jh{ | lm j {
gd ge c a p
c p
ff c Z
Z
a k|uiiwmln{ | i hi il l iklj m|ljh |l ikilui |l
X c
d o [
ju mli ijklmln
p
p
[
ju mli ijklmln
k|uiiwmln{ | i
og de [
X c p
p ff X
[
a ih l iklj m|ljh |l ikilui |l
X c
c p
p
p ff q
c Z
a k|uiiwmln{ | i hi il l iklj m|ljh |l ikilui |l luik jml ml k m umjh l ihhmn ilui p
# $ $ $ "#
$ $ "# # $ $ "# $ p
p
mui | iuyk{ m i wil m uj m|l c a
p
_ [
p
f f
c Z
[s
f cX
ff X
lljh{ | z ikj m|l{ i{ ijku
lwm mw yjh |mui i j m|k _
i|k jlw kjux
g d oo
g " $ $ "#
$
$ $ $ $ # ! $ $ % % $ $ "#
c
g
c
g
b
a
c
[
ff [
q c [
X
[
Z
l ihhmn il u iw yhmln
_
ff a
a k|uiiwmln{ | i
|l ikilui |l k m umjh l ihhmn ilui x c
c
ih j m|ljh
$ $
$ "# $ # # $ ! "#
' ' ' ' $ $ $ $
c
[
c Z
p
ff o X
ju mli ijklmln gg
f
fo
ff [
Z a c ` c
` Z $ [ $ $ p $ _ $ X [ $ $ k|uiiwmln{ | i
|lliu m|lm{ |wih{ y ik u ||h $ ^ $ c ` $ "# ff ijklmln jlw i j m|k mkw wm m|l ' ^ $
! $ c $ X "# ff g a
k|uiiwmln{ | i il jx
m|ljh |l ikilui |l k m umjh l ihhmn ilui $ # # $ c Z $ X X X X a
c a c $ X "# ff a
k|uiiwmln{ | i il l iklj m|ljh |l ikilui |l jx
u mli ijklmln $ # fe # f o c c $ X "#ff iml |kui il ijklmln m ihiu m i ikx
uiz m|l jlw mwwil j i $ & $ c $ c "# f oo X ] X [X ' d $ X '
[ X c $ c c p $ _ "# fde '
a
c $ c $
[ $ $ wjz m i ijklmln jlw j ikl iu|n lm m|l { i { i|k jlw
zz hmuj m|l{ $ g d # X $ Z c $ "# f o # a
b $ [ X c p $ X $
$ umilui yk i jk $ #g f # $ ^ c $ "# f o q # ` | z y ik | ykljh $ # g g g o c $ "# fd l ju mli l ihhmn ilui & c $ $ X "# f o b [ X q a
$ c $ $ $ ju mli l ihx
hmn ilui $ # d # g b #
!
% % % % #
% % % % !
!
!
!
g % %% $ $ "#
' % " $ $ $ $ ! $
ff g p a k|uiiwmln{ | i i il jhi
|kv{ |z |l wjz m i jlw ijklmln { i { $ # o d #d g $ [ [ $ p $ & c
[
_
X "# ff Z
[ c
Z
a k|uiiwmln{ | i mn |kv{ |z |l wjz m i jlw ijklmln { i { $ # o # o #$ p '
jhi
$ & [ [ c
_
[
% % c Z $ c p "# f i|k | iykjhx ljh|n iml |kui il { i {
jlw m { zz hmuj m|l | i kjmlx |wih k|thi $ & c Z $ c p "# f o # [ ] k|uiiwmln{
| i l{ m y i | jwm| ln mliik{ $ f e X $ $ | z y ik{ jlw | yn c Y ' ^ $ Z $ e o e $
#f o % '
" $ $ $ $ $ "#
'
$ # # # $ "#
$ & $ $ & ! $ "#
' $ $ $ $
$ $ $
$ ## # $ $ ! # $ $ "#
'
$
# # # " $ $ $ $ $ $ $ $ $
$ $ "#
' $
$ $ # # # $ ! $ "#
$ ! $ $ ! $ "#
$ c Z $ c p "# f o d | z y j m|l ^ $ ! $ c
Z
mlm i jlw l lm i ju mli{ [
ff o X
Z
| ykljh | iyk|{ umilui
c
X _
o fo fd
ffe umil i |k x j{ iw ijklmln |k |t| |lx
c
X _
ff k|h a
Y
w jlui{ ml iykjh l |k j m|l k|ui{{ mln { i { X c
d
d [
|l ikilui
X
k|uiiwmln{ | i e
e
[
c
c
X Y
b
X _
_
f o [
]
X Z
Z
Y
b
ff `
ju mli ijklmln
b `
[
a i j m| ykjh kjml i{ ijku
g
ijklmln y | j j l l k|w yu m|l p
mu{ g }X
^
c X
p
ff [
c X p
fd kjl{ ju m|l{ |l { i { jl jlw tikli x
g
% % ' $ $ "#
$ $ $ !#
$ "#
$ '
$ $ "# '
$ "#
% $ $ "#
' #
$ "#
$ & $ $
% % # $ $ "#
$ #" ' % % $ $ $ $ $ "#$ ' $ ' % % $ $ "# $ "# ' "# $ $ $ %
% %
$ $ "#
## $ $ '
^
p [
p [ fdd ^
kjl{ ju m|l{ |l { i { jl jlw tikli mu{ [ c
ff o X
^
Z
d dd o
ff X
q
a k|uiiwmln{ | i
l iklj m|ljh |ml |l ikilui |l k m umjh l ihhmn ilui
a
[
f g d |lwm m|liw i i i{ q
f i ykm{ mu{ _
k|thi |h mln X
l ihhmn il ijku
ff umil k|h b
_
ff Z wjz m i i j m|k
_
a
_ _
^
^
l iklj m|ljh |l ikilui |l ju mli ijklmln
_
ju mli ijklmln gg g Z
kj in mi{ |k | z y ik
cX
p
lj mu k|n kj mln x j{ iw ijklmln |k |lx
ff a
k|uiiwmln{ | i hi il gg o g g
ff o a
c
ff p
`
iykjh | z y j m|l d f e fd q
| yk iil X a c
X
p
`
Y
e X
ff X
]
a
Z
c
p
a
$ Y $ "# ffe ` Z umilui $ g d fd f g $ c "# f d '
X a
c $ q $ c Y $ $ hn |km { |k zzk|% mx
j m|l $ q $ c p "# ff jkv| ium{ m|l k|thi { _ $ $ c p [ $ c "# fd c ] c Z jljn i il umilui $
g ## g d ## d ` $ "# fdd X q c Z '
|llik j i j m{ u i u km il |h lj m{ u i z m mikyln $
dd f g % % % % go
% $ $& "# $ $ # % %
$ $ "#
' $ % $ "# $ '
% $ "# $ " #
'
$ "# # $ ## $ '
c b
{ my |l
ff |l ml yjh ijklmln ml iml |kui il l mk|l il {
X
X
q
q dd g
p
[
fd ]
a k|uiiwmln{ | i il x mn ll yjh z |x
| ylwj m|l{ | | z y ik umilui
d d
^
f g [
yhhi ml | i ikmujl j i j mujh |umi gd
q
b
ff g c
l{ mwi juvn j |l g g gg
f o kmlumz hi{ | iyk|w lj mu{ ikuiz k|l{ jlw
i
i|k | kjml iu jlm{ { [
b Z o
_ _
$ $ [ "# f l k|w yu m|l | |u j{ mu lj mu k|n kj mln X '
$ Z $ "#f # m yhj m|l jlw i |l i jkh| i |w _ $ $ $ ^ $ Y $ _ $ "# f o p a $ c $ p $ $ jkjhhih m{ kmt y iw k|ui{{ mln % z h|kj m|l{ ml i mx
uk|{ kyu yki | |n lm m|l |h | ylwj m|l{ b b Z c a $ '
$ cX $ Y X "# ff k|thi |h mln m iml |kui il ijklx
mln $ & $ Y X $ c "#ff ' '
& ' a Y #oo $
& $ [ $ "#ff k m umjh l ihhmn ilui |wikl zzk|ju ^ $ ! $ a
X $
$ "# ff o ^ $ Z $ $ $ $ $ jlwt||v | | z y j m|ljh u|l| mu{ $
o # d gg $ X [ b Z $ b $ X Y b "# ff X a
k|uiiwmln{ | i ikmujl |l k|h
|l ikilui [ $ X p "#f f [ Z | ykljh |l i{ ijku jlw i ih|z il $ g #e gg f X $ $ | z y ik{ jlw | yn $ c Y '
^ $ Z $ # f o #
% % " % % !
" " $ gd
$ "#
$ # # $ $ "#
' $ " $ $ $ $ $ "#
$ # # # $ "#
$ ! % % $ $ "# '
$ ## % " $ $ $ $ $ "# $ $ $
$ $ $ ! $ "# ' $
# #
$ "# $ # $ $ "#
'
$ % $ "# $
$ $ % $ "# '
$ # $ $ ! % # $ "#
'
$ & $ Z
o d
oe
[
aa} X p
fod [
| ykljh |l i{ ijku jlw
[
`
mlijk
|l
k|h
{
i
{
c
Y
[
[
ju mli ijklmln
Y
^
` _
` X
a
c
p
Z
c
umilui g d
ff X
k|uiiwmln{ | i
gf e c
f o d j i
f
f
il i ih|z il ylu m|l{ jlw
ffd X
q `
l iklj m|ljh |l ikilui |l
X
[
f Y
`
q
c Z
| ykljh | j ix
`
j mujh ljh { m{ jlw zz hmuj m|l{
e o g
X Y
[
[
[
b
f X
Z
a
k|uiiwmln{ | i ml l iklj m|ljh
X c
|ml |l ikilui | k m umjh l ihhmn ilui
od e odg [ c
[
[
f e X
g [
f e mh|{ |z mujh jn j mli g o g d
[
Z
umil m u ikmujl
l iklj m|ljh z |{ my |l l ihhmn il |l k|h
ffe a k|uiiwmln{ | i
a m [
[ ff g a k|uiiwmln{ | i il j m|ljh |l ikilui |l k m umjh l ihhmn ilui
X XXX a Z
ca g e g g ed c
[
[ ff g [
a k|uiiwmln{ | i ml l iklj m|ljh
X c
eo [ c
ju mli ijklmln |l ikilui
[
[ f ' dd ff ijklmln | |h i jkv| mjl
X
X
c
ium{ m|l k|ui{{ i{ c [ a
%
$ $ $ "#
[
[
b
Z
ffd ml iykjh l |k j m|l k|ui{{ mln { i { k|uiiwmln{ | i
$ cX c a a w jlui{
|l ikilui $
% "' $
$ $ $ $ "#
'
$
[
[ ZZ
c Z
c a
ff p
a
g
_ _ ^ $ ^ $ $ k|uiiwmln{ | i hi il l iklj m|ljh |l ikilui
|l ju mli ijklmln $ g g f g $ [ $ X c !
%
" $ $ $ $ $ "# $ $ $ $
$ $ $
% $ $ "#
$ # # % " $ ! $ $ $ ! $ "#
$ # % # $ "#
' $
% $ $ "#
'
$ $ $ $
$ # $ $ "#
$ $ # $ "#
& $ $ "# $ "# $ $ "# $ "#
$ & $ $
$ "#
! $ $ "#
$ $ $ # $ $
! $ "# # $ $
$ $ # # $ # # # ff a Y
p
`Z
w jlui{ ml i ykjh l |k j m|l k|ui{{ mln { i { k|uiiwmln{ | i ikilui
cX c a f o
[
[ [
ZZ
[
[
ff o ju mli ijklmln gg g c _
ffe a k|uiiwmln{ | i i mu yhjk
o od
iu l|h|n |l ikilui
[Z
|lx
[ [
c a
b i i j m|k | kn jlm{ { X
f X
X
_
ff g X
X
X
a _
[
y jlw wjz m i zzk|ju i{
jlwt||v
g f g
c _
ff [
|l ikilui |l |t| mu{ jlw y | j m|l [
a k|uiiwmln{
X
[
| l ihhmn il |l k|h iykjh
| i
[
[
Z
f wjz m i i j m|k jlw ijklmln
[
[
kjml
[
[
[
fd p
X
[
fd [
i|k i { hi ik d g d
[
fd X
]
ijklmln [
[
f q
i z |kjh kiwm {{ mn l il ml iml |kui il X
c
cX
[
f p
ju
mli
ijklmln
f [
ffe a
q
il l iklj m|ljh |l ikilui |l ju mli ijklmln
X c
[
[
[
ff
| i{ | i
a k|uiiwmln{ | i i x
c
g o gg [
yhhi ml g
zkmln z |{ my oe
o X
|kvmln
gf
$
$ "# # $ $ $
$ $ $ ! $ $ "#
$ $ ! $ $
# $ "# $ $ $ $
$ # $ $ ! $ "#
'
$ $ $ $ $ $ $
$ # # $ $
$ $ $ "# # $
# $ $ $ "# # $
# # $ $ $ "#
' ! a b
m|ljh
[
[
ff
p X
Y
|kv{ |z |l ju mli ijklmln
k|uiiwmln{ | i mn X
c
d [
[
[
|kui il ijklmln
X
ijklln
ff c
X
a [
l iklj m|ljh |l ikilui |l ju mli ijklmln
c
[
q
[
^
c uiiwmln{ | i ff g z iumjh {{ yi | ju mli ijklmln |l imlx
ju mli ijklmln X
iml |kui il b
cX ff g
[
[
ff o Y
k|uiiwmln{ | i
f [
ih X
[
a
Z
[
c
c
`
`
w jlui{ ml i ykjh l |k j m|l k|ui{{ mln { i { k|x
e e cX c a |l ikilui
[
[
[
[
q
b
X Y
de
Z
b
f X
|n lm m|l jlw kjml
X Y
f
Z
i|k
{ u |h|n mujh i mi X Y
b
fd X
a k|uiiwmln{ | i ml ll yjh |l ikilui | i |n lm m i umilui |umi $ ^ $ [
[
$
$ $ $ $ $
% $ $
q
`
g d go
l ikljx
c
X Y "# ffe ' '
a Y
c
c $ $ $ ijklmln jlw
| z y j m|ljh iyk|{ umilui | ylwj m|l{ | wjz m i i |kv{ $ fd d ca cX
[
[
[
[
b
b
"#f Z a k|uiiwmln{ | i i il ll yjh |l ikilui
| i |n lm m i umilui |umi $ a $ X % $ ' ! ` |kv{ |z |l
& $ Z $ "#ff ^ ' X ` f ' e '
e #$ [ & $ c "# ff # p ' '
a
b $ p X $ Y $ $ k|uiiwmln{
[ $ [ "# ff a k|uiiwmln{ | i mn jhi
wjz m i jlw ijklmln { i { $ f # f o $ ^ $ [
[
g fe
| i mn l iklj m|ljh |kv{ |z |l ju mli ijklmln $
c $ X c # $ "#
!
og $ [ ff c ' a '
a k|uiiwmln{ | i il l iklj m|ljh |l ikilui |l ju mli
ijklmln
$
e d c c
!
$ $ #"# $ $ "# ! $ "#
$ ' '
$ ' $ " # # $ "# $ ! ' % $ $ "#
' ' Y
m|h|n mujh tikli mu{
ff g ju mli ijklmln g d g dd
Y
ff iykjh | z y j m|l o g g
Y
ff | ylmuj m|l{ | i o Y
fo [
d ee
g
Y
Y
Y
Y ffd a w jlui{ ml iykjh l |k j m|l k|ui{{x
|l ikilui $ $ cX c a mln { i { k|uiiwmln{ | i Z
f
g
$ ! "# $ & %
$ $ ff |w yhjk lx mli
yz iml |kui il ijklmln ylu m|l zzk| m j m|l |k ujhmln
c X p
[
[ "# f o '
a k|uiiwmln{ | i hj ml y ytmhii
|l ikilui |l { i { jlw mn ljh k|ui{{ mln $ b $ a $ $ "# $ # # # $ "#
'
##
$ c X p
[
[
ff X
ju m|l{ |l { i { jl jlw tikli mu{
g f _ q
il x li Z
|
d
Z
m|
i
kmvj
g g
# $ $ "# % $ "# ## $ $ $ "#
$ # $ "# $
% # $ "#
$ % %'
% $ $"## # | ykljh | j i j mu{
f o
Z
kjl{x
Z
{ i { X
c p
_ f d e d
p
f
ikmujl
lm jh l ihhmn ilui ^
f oo ij i ijhik ^
Z
mllmln kj in |k i j i
f g ykz |{ m i i j m|k ml lm jh{ jlw il
fd y | j |l
Z
Z
ju mli ijklmln
ff X
o
geg
i|k jlw |wihmln | m|h|n mujh
q
gf #
% % % $ $ "#
' $ % %% ' ! $ $ "#
Z
Z
y | j mu |l k|h & $ b
ff o ju mli ijklmln gg f f q
b
ffd X
kjl{ ju m|l{ |l
p ^ "# ffe X Z Z' a c $ _ $ [ $ [ $ _ $ $ $ i ykjh
i |kv{ |k |l k|h $ d e g c a $ $ cX ! $ $ "# % $ $ ! [
_
ikj m i ljh { m{ ' ^ $ f og j km
` c
f [ "# f o X '
kjl{ ju m|l{ |l y | j mu |l k|h $ # e fe
% $ $ "#
& $ $ % $ $ "#
' $ $ "#
' $ $ $ $
$ $ $ "#
$ $ "#
$ ! $ $ $
_
Z
^
f f ijklmln k| ihj iw i jkw{ _ Z
ju mli ijklmln g d f g f g
^
ff g ff g X
q
X
X
a _
[
| l ihhmn il |l k|h iykjh y jlw wjz m i zzk|ju i{
Z
_
_
a
_
[ ' jlwt||v
f g
fdd X
ilikjh { i { ijkt||v gg g
fg X
Z { i |wihmln jl z m m j m|l
a a $ Z $ # f # $ "#
$ $ "#
'
$ # $ "#
'
$ $ $ $ "#
'
$ # # % $ "# ' $ % $ # $ "# X
fd b
kjl{ ju m|l{ |l { i { jl jlw tikli mu{
g o e go
]
_
d ge
_
f Y
Z
`
Z
iykjh i |kv{
f o
_
ff Z
a k|uiiwmln{ | i |l ikilui |l ium{ m|l jlw |l k|h
_
_
_
ik jui{
d ffe iykjh i |kv{ d f
fof ^ f
lj mu k|n kj mln ^
f c Z
[
lx
gfg
% $ $ # "# # '
% # $ "# $ # # % $ $ $ "# # $ "# % $ "# $ # % $ "# $ # $ % # $ "# $ $ % " # $ $ $ ! $ $ "#
$ % $ ! $ "# $ # '
$
$ _
l ik jui{
f c Z
o
_
ff X
| ykljh | i z ikj m|ljh i{ ijku |umi ed _
[
b
ju mli ijklmln d
_
_
fd X
q
| z ikj m|l{ i{ ijku g g _
f g z m m j m|l | ik
p
_
f z m m j m|l | ik
_
b
c Z
ef o
Y
m i
_
m i
g _
[
jl jlw tikli mu{
ff p
a j i j mu{
c
^
fd kjl{ ju m|l{ |l { i {
o
b
^
c foe X
a |l il m|l iu|kw jk f o e X X
iyk|u|
z
y
mln
|
ylwj
m|l{
| i{ ijku
$ $ cX $ # f _
% % a
ca
_ $ b [ $ _ "# f o ' ` | z y ik jlw l |k j m|l umilui{ k|uiiwmln{ $
[ _ $ b [ $ [ "#f wjz m i mn ljh
k|ui{{ mln ' ^ $ a
$ ! $ _ $ "# f o '
Z X a [ o e $ a
[ $ & [ $ p $ X _ $ "# f d ' &' [ ' d ' $ [ $ & '
$ b $ cX _ $ "# f Z a
k|uiiwmln{ | i l iklj m|ljh |l ikilui |l
iykjh i |kv{ $ go g de $ [ $ X _ $ "#ff g [ ' ju mli ijklmln $ gg f g o _ $ b $ p "#ffe X ' '
a
k|uiiwmln{ | i m% jhi |kv{ |z |l wjz m i
jlw ijklmln { i { $ f o # e #$ ^ $ _ $ [ _ "# ff [ X ` ] |hy m|ljk
| z yj m|l $ g # # _ $
% % % % % % % % % % % $ % % gf
% $ "# ' $
# # # # % $ "# $ ' % %
# $ $ "#
$ # " $ $ $ $ & ! $ $ $ "#
'
! $ $
$ $ "#
' $ $ "#
'
e
_
}X
f
o
a ^
fd o | ykljh | i
kjlvhml l{ m y i
fdd X
c Z
l |k j m|l jlw |l k|h g o g f
_
a ^
c
fd ^
X
Z l iklj m|ljh | ykljh | jlx ju mli ywmi{
d
e
_
a ^
mln{ | i mn cX
[
[ q
f b
iu yk{ m i { m j m|l jlw
c
i muyhjk
X Y
j m|ljh |l ikilui |l k m umjh l ihhmn ilui
[
g m ix ikmi{ ljh { m{
f f iu l|h|n $ ffe q
a k|uiiwx
kjl{ ju m|l{ |l
$ $ "#& ' ' ' # % % $ $ "# ' $ ### ## % % ' $
$ "#
'
" '
$ $ $ $
$ # # $ $
[
_
ff o iml |kui il ijklmln |k |tx{ |z u iw yhmln [ fo e
Y
ff X
a k|uiiwmln{ | i | yk iil l ikx
lj m|ljh |ml |l ikilui |l k m umjh l ihhmn ilui
ge
_
Y
ff o ^
Z a
[
c `
c ^
w jlui{ ml iykjh l |k j m|l k|ui{{ mln
`Z c
eg ee
cX
{ i { k|uiiwmln{ | i |l ikilui
ca _

Download Report

Reinforcement_Learning_An_Introduction.pdf

Paperzz.com

Your Paperzz