Appendix 2 Probability in Lin. Algebra

! $ " % %
! "& " "
! " E S E P .E/
! # 0 P .E/ 1
P .S / D 1
%!! !%$!"" E1 ; E2 ; : : : !
1
1
[
X
P
En D
P .En /
nD1
nD1
P .;/ D 0
P .E c / D 1 P .E/
P .E [ F / D P .E/ C P .F / P .E \ F /
E F ! !%$!"" P .E [ F / D P .E/ C P .F /
E " F P .EjF / %
E !" F ! P .EjF / D
P .E \ F /
P .F /
# F1 ; F2 ; : : : " $$#$('$"%%#"!&
1
[
Fn D S
nD1
!(%# E #"" S P .E/ D
1
X
P .EjFn /P .Fn /
nD1
!%!"!%$$#)#"" S "!%!###"#"#$#
$!""%$"
("!#!%!"&"!#"#'# !%!"###
$$#()#"#%$"!"!%$!""!#(
#!( # #'#%$"!#!%!&")
'#%$"!#!%!(")$"$#
# p "!#!%! X "#!
%$$#)( p.a/ D P .X D a/
"!#!%! X "
X
EŒX D
xp.x/
x
&!#"$"#%! x &# p.x/ > 0
####!%!#"#%$" x1 ; x2 ; : : : &#"#%!
#( ##'#%$#!%!"
X
xp.x/ D x1 P .X D x1 / C x2 P .X D x2 / C x
&#"#)#'#%$%# "#)
#% #""#!#!&!#"&##'#%$"#&!!#"
$ k $! X Y EŒkX D kEŒX EŒX C k D EŒX C k
EŒX C Y D EŒX C EŒY f !
P f .X/ ! EŒf .X/ D x f .x/p.x/ " ! x " p.x/ > 0
$"! #! X ! F ! S X ! F X
EŒX jF D
xP .X D xjF /
x
" ! x " p.x/ > 0
"$#! " ! "
F1 ; F2 ; : : : $# !!"
1
[
Fn D S
nD1
$! X EŒX D
1
X
EŒX jFn P .Fn /
nD1
S
F1 ; F2 ; : : : $# !!" 1
nD1 Fn D
S X ! %#! "$
X
X
EŒX D
xp.x/ D
xP .X D x/
x
x
1
X X
D
x
P .X D xjFn /P .Fn /
x
D
D
1
X
nD1
1
X
nD1
nD1
P .Fn /
X
xP .X D xjFn /
x
EŒX jFn P .Fn /
"(#"
&#*"+'/"''%)"#*(#&' "#&&(#
)"&'("&#*"'&#!$&# '('("$#"( ('((&(#/"&#*
"''%)"#&"#!*& ' #" #"'&"-# (#"#&"#!
*& ' '' '(#'($&#''
fXn W n 2 T g '# (#"#&"#!*& '
'( T ' ( #&('(#'($&#'' #" -'( T ((
"#"'&#&('$$",' T D f0; 1; 2; 3; : : :g '#('(#'($&#''
"'&'('%)"#&"#!*& ' fX0 ; X1 ; X2 ; : : :g " T D
f0; 1; 2; 3; : : :g (",'#(""(/+((!"('(#'($&#'''
'&((!'(#'($&#'' &"#!*& Xk ')"&'(##(#
('(#'($&#''((! k (''')!(((&"#!*& '"'(#'($&#''*#!!#"&"
'&"' ( #&('(#'($&#'' '(('$'"
$(&& /"( '#(&"#!*& ' Xk & '&(&"#!*& '
Xk D i ++ '-(( i '( #($&#''((! k #&((($&#''
'"'(( i ((!#&'($ k #((('(#'($&#''")'(#!# !#*!"((+"('(('
"('(('$ #&'#! !"( ! "('!$ '$ S ('%)" fX0 .!/
X1 .!/; : : :g + '%)"#'(('"('(('$.'%)"((+
$#("( -&"(#& !"(" S ') -($""#"('!$ '$'"#&"('(#'($&#'''(&(''%)"#'((' "(
$&#''''(#!#*#&(&"'(#"(+"(#''((''(!$&#'
"'(#'($&#''''%)"#&"#!*& ' (() '((((
($&#''#)$'("-*"(!""#("#+" # (&#&'(#
/"($&# (-((($&#'''"$&() &'((($&() &(! '
!#)"('(#/""($&# (-!'')"(#"#&"#!*& Xk "(
'%)"(('('(#'($&#''
"'&((!'(#'($&#'''/"('(('$ ($&# (-!''
)"(#"#&"#!*& Xk ",$&'''$&# (-*(#& k '$&# (-*(#&'+&)'(#/"&#*""(#"
"#&&#&'&((!'(#'($&#'' fX0 ; X1 ; X2 ; : : :g (#&#*"
('((#($&#''((! n C 1 "$"#" -#"('((#($&#''(
(! n ''"#"(&'(+(!#&"& '(#'($&#'' +#''((((!
n #) $"#"("(&'(#&-#($&#'' "(&!'##"(#" $&# (-
('$&#$&(-'
P .XnC1 D ijX0 D j0 ; X1 D j1 ; : : : ; Xn D j / D P .XnC1 D ijXn D j /
$&# (-#"(&('#('%)(#"' ((&"'(#"$&# (-&#!
'(( j (#'(( i ""& ('(&"'(#"$&# (-""$""#"(
(! n ''"#(('#&&#*"'#"'&"$(& ((&"'(#"
$&# ('#"#("+((! '#((&"'(#"$&# (-&#!'(( j (#'((
i '
P .XnC1 D ijXn D j / D pij
# '(% $%%%#$% !# %$$% &$
# ' &$%$+% $$ ($
$$#%%$% $%!# $$( $
%#$% !# %$$%$*
P .XnC1 D ijX0 D j0 ; X1 D j1 ; : : : ; Xn D j / D P .XnC1 D ijXn D j / D pij
#%$ n #$%%$ i j $%$+% %$#%% %&# $%%$$+% %%#$% %#) $%#&%%%$%!# !#%$$$&% %&#$
#% %%$%*$%%'% # ## '(%
%#%&#%% $%% % #$$%%% %$% #
!# %%#$ %( % %!# %* #)!%'&
% Xn n D 1; 2; : : : ##&# '(%+%$%%$! S %
nij %&# $%!$&%%+#$%'$%$$%% i '%%%
$%#%$$%% j % ti i D EŒni i ti i D
1
qi
(# qi $%%#*%$%*$%%'% # ##$! % $%% i +)!#$$ # ti i +#$%!# &"&% ' ' tij * $#%+#$%$%! % X1 ##%( ! $$%$ %# X1 D i #
X1 D k ¤ i X1 D i %%% )%* $%!% '$%$%% i EŒnij jX1 D i D 1
X1 D k ¤ i %(% $%!% #$%% k %%)!%
&# $%!$%(% +#$%'$%$%% i ( EŒnik D tik &$
EŒnij jX1 D k ¤ i D 1 C tik
*%( % %!# %* #)!%'&
tij D EŒnij X
D
EŒnij jX1 D kP .X1 D k/
k 2S
D EŒnij jX1 D iP .X1 D i / C
D 1 pij C
X
k ¤i
X
k ¤i
.1 C tik /pkj
EŒnij jX1 D kP .X1 D k/
D pij C
X
pkj C
k ¤i
D1C
X
X
tik pkj
k ¤i
tik pkj
k ¤i
D1C
X
tik pkj ti i pij
k 2S
' T ' '%+*"& .i; j / !'& tij !' D '"! '%+*"&
"!!'%&% ti i !'/!$(',") ,*%''!&
Tij D 1 C .TP /ij .DP /ij
U &!##%"#%',&- '%+""!& $('"! !*%''!! '%+"%
&
T D U C TP DP D U C .T D/P
('#,!&"$('"! ,'&',&'')'"% !%!''
P D )&
T D U C .T D/P D U C .T D/ D U C T D &"
U D D
"!&%'!'%&!"')'"%&!$('"! ! U & '%+"
.&
2
3 2 3 2 Pn
3 2 3
1 1
1
q1
1
PknD1 qk
61
7 6 q2 7 6 k D1 qk 7 6 1 7
1
1
6
76 7 6
7 6 7
U D 6 :
7 D 6 :: 7
:: 7 6 :: 7 D 6
:
::
::
4 ::
5 4:5
:
: 5 4 : 5 4 P ::
:
n
1 1
1
qn
q
1
k D1 k
&! &#%"',)'"% *&
2
t11
0
6 0
t22
6
D D 6 :
:
::
::
4 ::
:
0
0
0
0
::
:
tnn
32
3 2
q1
t11 q1
7 6 q2 7 6 t22 q2
76 7 6
7 6 :: 7 D 6 ::
54 : 5 4 :
qn
3
7
7
7
5
tnn qn
$('!"%%&#"!!!'%&! U ! D )& ti i qi D 1 "%
ti i D
1
qi
%"',&&&%"#%',
!'"!'*&&'''''*"&''&"!'"'& "
'!'%#%"& (&'$( #%"""'&%&('""*&
' i ! j '*"&''&"%")!''%!'& "
&& !'#%"&" i ! j %$(
(!'"!&&
(!'"!
*%%$()) i # j '#)("$""*#)$#!(($')' $+#
X ))()) i (%'$ di #))()) j (%'$ dj $("%!.)-%$()$#
$)%'$$ )#$))$# .ar /ij ,!!*()$'')$) .i; j /#)'.#)")'- Ar # i # j '#)("$""*#)$#!(( )'-()%$()+#)'( m # n
(*)) .p m /j i > 0 # .p n /ij > 0 ) k %$()+#)'(*)) .p k /jj > 0 #
) .p lk /jj > 0 $'!!#)'( l > 1 $, .p nClk Cm /i i > .p n /ij .p lk /jj .p m /j i > 0
$'!!#)'( l > 1 (#!$$%'$"()) i )$()) i # n C lk C m ()%(".
')#"#.,.( *)$#,.()$%'$'$"()) i )$()) j # n ()%(
)#)$!$$%'$"()) j )$()) j l )"(*(#!$$%$ k ()%()" #
)#)$')*'#)$()) i # m ()%( # di ()%'$$()) i di "*()+
n C lk C m $'!!#)'( l > 1 $ di +( n C k C m # n C 2k C m #($
+( .n C 2k C m/ .n C k C m/ D k *( di ($""$#+($'$)()$
!!)"()%( k (*)) .p k /jj > 0 # dj () $""$#+($'$)
()$!!)"()%( k (*)) .p k /jj > 0 di dj ("!''*"#)($,())
di dj ($ di D dj *#"#)!)'#)$#
)#*"'$+()( vij )$)'#(#)()) i ))' $+#" (
()')#)))'#(#)()) j ,(()* %/!!. )-%)+!* EŒvij ,($"%*) #)*#"#)!")'-,(/#()")'-,$( .i; j /
!"#)( mij D EŒvij $!!$,#)$'"'())($'"#)$#
#
#&*+!#)$'"#%'$+(%'$$))'!($#)!,$)$)!%'$!).$'
-%)+!*
) j # i )'#(#)())($' $+# #!) Q ))%$')$#$)
)'#()$#")'-,$+'#("$+"#)),#)'#(#)())( ) vij )#*"'$+()()))#,!!" )$()) i +#)))#()')(
#()) j #!) mij D EŒvij #)")'- M ,$( .i; j /!"#)( mij
()(/()&*)$#
M D .I Q/1
%'$*#&*)$##+$!+# mij .$#)$##$#)/'()()%$
)# X1 $#('),$(( i ¤ j # i D j '()((*")) i ¤ j #
(*%%$()) X1 D k #,())
EŒvij jX1 D k D EŒvik i ¤ j $,((*")) i D j #)%'+$*(#!.(((+! *),"*()
$#+())$ i (#)#,()()) i ))" 0 *(
EŒvi i jX1 D k D 1 C EŒvik ".$"#&*)$#(#
.#)'$*#)$!!$,#(."$! !!)
(
1 i D j
ıij D
0 i ¤ j
$))) ıij () .i; j /!"#)#)#)).")'- I #,')&*)$#(
#
(
EŒvij jX1 D k D ıij C EŒvik +) /*"-%*%*"&(% " */%(.&*,"+
mij D EŒvij X
D
EŒvij jX1 D kP .X1 D k/
k 2S
X
D
.ıij C EŒvik /P .X1 D k/
k 2S
D ıij
X
P .X1 D k/ C
k 2S
D ıij C
X
X
EŒvik P .X1 D k/
k 2S
EŒvik P .X1 D k/
k 2S
%-$%*** k )(+(($*)** *$ EŒvik D 0 +)-%$"/$*%)+#%,(
*($) $*)**)%* $
X
mij D ıij C
EŒvik P .X1 D k/
k *($) $*
D ıij C
X
mik qkj
k *($) $*
) $ j $ k (*($) $*)**)$ Q )0$ $*)**#$*%**%(# #/-( **0$"'+" */%,)
mij D Iij C .MQ/ij
%( $#*( .%(#)
M D I C MQ
#/(-( *'+* %$
)
M MQ D M.I Q/ D I
)% .I Q/ ) $,(* "/*$,(* "*( .%(# $ M D .I Q/1 )%(&* %$(% " * )
$* %$ *&(% " */*** $-))%( $*%&(* +"()%( $
)**-))*+ (!%, $-)))+#*%,%$"/*($) $*$)%( $
)**) j )*($) $*)** $ i )$)%( $)**%* $ &(% " */ aij
*** $ ))%(*)** i ,$*** $)*(*)*)** j -)"+"*
$ *-))%-$***#*( . A -%) .i; j /"#$* ) aij )* )0) A D SM -(
M )*+$#$*"#*( .$ S )**&%(* %$%**($) * %$#*( .**%,($)
#%,#$*(%#*($) $*)**)*%)%( $)**) %""%- $*%(#()**)* )
()+"* - -)&()$*)%(# $* %$ $"*($* ,&(%%%* )
()+"* ) ,$**(" )%$*"-%*%*"&(% " */
%$) ((!%, $- *0$ *)**)&-%))**)( *()%( $
%(*($) $* +&&%)** j )*($) $*)**$** i )$)%( $)**%
* $ $"* aij *&(% " */*** $ ))%(*)** i ,$
*** $)*(*) $)** j * A *#*( .-%) .i; j /"#$* ) aij $ A D SM -( S $ M ()0$%,
" X1 X1 D k k k i k i k P . ijX1 D k/ D aik
k D i P . ijX1 D k/ D 1
k i P . ijX1 D k/ D 0
!!
aij D P . i/
X
D
P . ijX1 D k/P .X1 D k/
k
D 1 P .X1 D i/ C
X
D pij C
X
P . ijX1 D k/P .X1 D k/
k aik pkj
k j i pij D sij " j k pkj D qkj "!!
X
aij D sij C
aik qkj
k D sij C .AQ/ij
A D S C AQ
! A " A D SM