다 변량 해석
표본 평균, 분산
어떤 환자의 체중을 서로 다른 때 4번 측정한 결과가
다음과 같다. Least Squared Error의 의미에서 체중으로
가장 적합한 값은?
=
=
=
=
61
63
60
61
1
1
1
1
x
=
61
63
60
61
x = (61+63+60+61)/4 = x
E2 = (x-61)2 + (x-63)2 + (x-60)2+(x-61)2
E2 = ∥ax-b∥2 = [(a1-b1)2 + … + (an-bn)2]
E2 = ∥ax-b∥2 = (ax-b)T(a-b) = aTax2 -2aTbx + bTb
dE2/dx = 2aTax-2aTb = 0
x= aTb/aTa
Sample Mean =
Sample Variance = E 2/(n-1)
X
X
x1
x2
x3
x4
표본 공 분산
xT
1 4 4
yT 14 21 16
(x- x)T 1-3
(y- y)T 14-17
(-2, 1, 1)
θ
(-3, 4, -1)
4-3
4-3 =
21-17 16-17
-2
-3
1 1
4 -1
-3
(-2, 1, 1) 4 /(3-1) = Sxy
-1
(x-x)T ( y-y )/(n-1) = Sxy
cos(θ) = (x- x )T (y- y) /{[(x- x) T( x- x)]1/2 [(y- y) T( y- y)]1/2}
= (n-1)Sxy/{[(n-1)Sxx]1/2[(n-1)Syy]1/2}
= Sxy/{Sxx1/2Syy1/2} = rij Correlation coefficient
표본 분산
(x1 - x1 )T
(x2 -x 2 )T
(xp -x n )T
(x1 -x1)
(xp -x p)
Sxx Sxy Sxz
= (n-1) Syx Syy Syz
Szx Szy Szz
Sx = (x- )T(x- )/(n-1)
x
x
y = Ax
Sy = (y-y’)T(y-y’)/(n-1) =(Ax-Ax’)T(Ax-Ax’)/(n-1)
= [A(x-x’)]T[A(x-x’)]/(n-1)
= (x-x’)T ATA(x-x’)/(n-1) = ASxAT
표본 공 분산과 상관계수
(x- x)T
(y- y)T
(z- z )T
x1- x x2- x ..…
y1- y y2- y …..
z1- z z2- z …..
xn - x
yn - y
zn- z
(x-x ) (y-y) (z-z )
Sxx Sxy Sxz
/(n-1) = Syx Syy Syz
Szx Szy Szz
k
j
s
s s
jk
jj
=R
kk
Sample Correlation Coefficient
s
s
s s
jk
jj
jj
s
kk
=
kk
s jj R s kk = S
R = S jj
1 2
Sxx Sxy Sxz
Syx Syy Syz
Szx Szy Szz
S Skk
1 2
변수의 표준화
x1  x
x2  x
s
s
xx
xx
…..
xn  x
s
xx
x- x y- y z- z
y1  y
s
yy
y2  y
s
1
j
1
sk
s s
=R=S
jk
jj
kk
/(n-1) =
Sxx Sxy Sxz
Syx Syy Syz
Szx Szy Szz
yy
…..
yn  y
s
yy
1
Sample correlation Coefficient
표준화(정규화)된 변수의 Var-Covar. 행렬은
Correlation Coefficient 행렬(상관행렬)이다.
Statistical Distance
v 2
1
u' 
u
su
v'
v
sv
P(u1, v1)
= 4 0
0 1
Su 0
0 Sv
d(OP) =
-2
2
O
-1
2
-1
u
v

1
4
1
u v
2
1
u
2
 u   v 
2
2
 

u'  v'  
 s   s 
 u  v
u2 v2


su s v
-2
1/4 0
0 1
u
v
=1
0< Distance Square =x’Ax = x’Σ-1x
1/4 0
0 1
=
-1
Su 0
0 Sv
2
Relationship between PDM
&Σ
Σ = ΣT (대칭행렬)이면
Σ를 대각화하는 하는 직교행렬 E가 존재한다.
즉 Σ = EΛET = λ1e1e1T + λ2e2e2T + … + λnenenT
와 같이 분해된다.
Σe = λe 이면 Σ-1e = (1/λ)e 이다.
즉 Σ-1의 eigen vector는 Σ의 eigen vector와 동일하고
eigen value는 Σ의 eigen value의 역수이다.
Σ-1 = EΛ-1ET
(증명)
Σ-1 Σe = λ Σ-1 e = e
Σ-1 e = (1/λ)e
Relationship between PDM
&Σ
PDM A
v 2
1
P(u1, v1)
Example
1/4 0
0 1
Rel.
A=Σ-1
x’Ax
1/λ i
Stat. Dist. Sq.
-2
2
O
-1
2
u Eigen Values
1/4, 1
Eigen
Vectors
-1
u
v

1
4
1
u v
2
1
Diagonalize
-2
1/4 0
0 1
Σ
u
v
=1
0< Distance Square =x’Ax = c
1
0
,
0
1
A=EΛ-1ET
4 0
0 1
Σ=A-1
x’Σ-1x
λi
4, 1
1
0
,
0
1
Σ=EΛET
1 0
4 0
1 0
4 0
=
0 1
0 1
0 1
0 1
=4 1 1 0 +1 0 0 1
0
1
u’ = 1
1
v’
Statistical Distance
v 2
u+v
PDM A
Example
Σ
1 5 3
2 3 5
1 5 -3
8 -3 5
Rel.
Stat. Dist. Sq.
u Eigen Values
A=Σ-1
x’Ax
1/λ i
Σ=A-1
x’Σ-1x
λi
1/4, 1
u-v
-2
1 5 3
2 3 5
=4
1 1
2 1
u
v
2 1 2
2 1 2
Eigen
Vectors
1 1
2 1
Diagonalize
1
1 1
2
+
1
2
1
-1
4, 1
,
1
2
1
-1
A=EΛ-1ET Σ=EΛET
1
1 -1
2
Diagonalization
x=
AQ = QΛ
xTAx =
xT
xT
q1 q2
QTAQ = Λ
q1 q2
qn
=
qn
yT
(QTx)T= yT
xTQ = yT
xTAx = yTΛy
A = QΛQT
q1 T
q2 T
.
qnT
λ1 0 .. 0
0 λ2 .. 0
………
0 0 .. λn
q1T
q2 T
.
qnT
x = y
QTx = y
x
Diagonalization
v 2
u+v
u’ = 1
1
v’
PDM A
Example
Rel.
Stat. Dist. Sq.
u Eigen Values
1
8
Σ
1 5 3
2 3 5
5 -3
-3 5
A=Σ-1
x’Ax
1/λ i
Σ=A-1
x’Σ-1x
λi
1/4, 1
u-v
-2
Eigen
Vectors
1 1
2 1
Diagonalize
u
v
2 1 2
2 1 2
4, 1
,
1
2
1
-1
A=EΛ-1ET Σ=EΛET
0< Distance Square =x’Ax =x’EΛ-1ETx =w’Λ-1w
1
x’
8
1 1 1
5 -3
x = x’
-3 5
2 1 -1
1/4 0
0 1
1 1 1
1/4 0
x = w’
0 1
2 1 -1
w
Statistical Distance
Σ=EΛET =
e1 e2
ep
Λ-1 =
λ1 0 .. 0
0 λ2 .. 0
………
0 0 .. λp
e1T
e2T
.
epT
1/λ1 0 .. 0
0 1/λ2 .. 0
………
0 0 .. 1/λp
0< Distance Square =x’Ax =x’EΛ-1ETx =w’Λ-1w
A : 정정치 Q : A의 단위 고유벡터를 열로 하는 행렬
A = EΛ-1ET 이면 회전 w = ETx에 의해
xTAx = xTEΛ-1ETx = wTΛ-1w
= (1/λ1)w12 + (1/λ2)w22 + ….. + (1/λn)wn2이 된다.
Statistical Distance
v 2
1
u' 
u
su
v'
v
sv
P(u1, v1)
= 4 0
0 1
Su 0
0 Sv
d(OP) =
-2
2
O
-1
2
-1
u
v

1
4
1
u v
2
1
u
2
 u   v 
2
2
 

u'  v'  
 s   s 
 u  v
u2 v2


su s v
-2
1/4 0
0 1
u
v
=1
0< Distance Square =x’Ax = x’Σ-1x
1/4 0
0 1
=
-1
Su 0
0 Sv
2
Statistical Distance
Σ=EΛET =
Λ-1 =
e1 e2
1/λ1 0 .. 0
0 1/λ2 .. 0
………
0 0 .. 1/λp
ep
=
e1T
e2T
.
epT
λ1 0 .. 0
0 λ2 .. 0
………
0 0 .. λp
1 λ1 0 ..
0 1 λ 2 ..
0
0
0
………
0 ….1 λ p
1 λ1 0 ..
0 1 λ 2 ..
0
0
0
………
0 ….1 λ p
=Λ-1/2Λ-1/2
wTΛ-1w = wTΛ-1/2Λ-1/2 w =(Λ-1/2 w)T(Λ-1/2 w)
Λ-1/2 w : Statistical Distance
0< Distance Square
=xTAx =xTEΛ-1ETx =wTΛ-1w
Statistical Distance
v 2
1
-2
2
O
-1
2
u
su
v'
v
sv
2
1
-1
u
v

1
4
1
u v
P(u1, v1)
u' 
Λ
-1/2
=
4 0
0 1
1/2 0
0 1
Statistical Distance
Λ-1/2 w = 1/2 0
0 1
u
v
0< Distance Square
=xTAx =xTEΛ-1ETx =wTΛ-1w
-2
1/4 0
0 1
u
Su 0 =
=
Λ
0 Sv
u
v
=1
0< Distance Square =x’Ax = x’Σ-1x
Generalized Variance |Σ|
v 2
1
-2
2
O
-1
2
v'
v
sv
Su 0 =
=
Σ
0 Sv
Σ
-1/2
=
4 0
0 1
1/2 0
0 1
u
0< Distance Square ≤ C2
=xTAx =xTEΛ-1ETx =wTΛ-1w ≤ C2
-2
1/4 0
0 1
u
su
2
1
-1
u
v

1
4
1
u v
P(u1, v1)
u' 
u
v
=1
Area(Volume)
= Constant x |Σ|1/2
0< Distance Square =x’Ax = x’Σ-1x
표본 공 분산의 고유 값, 고유벡터
xTSx x = C2
yTΛy = C2
Sx =
Sx E = EΛ
Sxx Sxy Sxz
Syx Syy Syz
Szx Szy Szz
ETAE = Λ Sx = EΛET
y = ETx
Ry = S jj1 2 Sy Skk 1 2
=
1 λ1 0 ..
0 1 λ 2 ..
0
0
0
………
0 ….1 λ p
λ1 0 .. 0
0 λ2 .. 0
………
0 0 .. λp
Cov(y) = yyT = (ETx)(ETx)T
= ETxxTE = ETSxE = Λ
λ1 0 .. 0
Sy = 0 λ2 .. 0
………
0 0 .. λp
1 λ1 0 ..
0 1 λ 2 ..
0
0
0
………
0 ….1 λ p
=
1
0
0
0 ….
1 ….
………
0 ….
0
0
1
변수 변환된 y를 표준화하면 Variance는 1이고 Covariance는 0이다.
즉, 표준화된 yi는 표준 기저(서로 직교 & 길이 1)이다.
표본 상관계수의 고유 값, 고유벡터
Rx E = EΛ
1
j
1
sk
s s
= Rx
jk
jj
kk
ETAE = Λ Rx = EΛET
y = ETx
Sy =
1
Sy = s jj Ry s kk
=
λ1 0 ..
0
λ 2 ..
0
0
0
………
0 …. λ p
1
0
0 .. 0
1 .. 0
………
0 0 .. 1
Cov(y) = yyT = (ETx)(ETx)T
= ETxxTE = ETSxE = Λ
1 0 .. 0
λ1 0 .. 0
1 .. 0
0 λ2 .. 0
Ry = 0 ………
………
0 0 .. 1
0 0 .. λp
0
0
λ1 0 ..
λ 2 ..
0
0
………
0 …. λ p
=
λ1 0 .. 0
0 λ2 .. 0
………
0 0 .. λp
표준화된 y의 Variance는 1이고 Covariance는 0이다.
즉, 표준화된 yi는 Cov공간에서 표준 기저(서로 직교 & 길이 1)이다.
다 변량 정규분포
ΣE = EΛ
ETΣE = Λ
Σ = EΛET
1
1
(x  u)T Σ -1 (x  u)
1/2
f(x) 
|Σ| e 2
p/2
2π 
(x - )TΣ-1(x - ) = C2
x
이고 각 축이
x
x
중심이
±cλi1/2ei인 타원이다.
(X-u)TΣ-1(X-u) = ZTZ = ΣZi2 ~ χ2p
Z = Λ E(x-u)
주 성분 분석(Principal Components)
AS = SΛ
A = SΛS-1
λ1 = 2.12, λ2 = 0.83, λ3 = 0.05
상관행렬
1
0.9
0.2
S-1AS = Λ
1
0.9
0.2
0.9
1
0.5
0.9
1
0.5
0.2
0.5
1
y1
y2
y3
0.2
0.5
1
=
0.61
0.68
0.41
0.61 -0.47 0.64
0.68 -0.11 -0.73
0.41 0.88 0.25
= QTx =
-0.47
-0.11
0.88
0.64
-0.73
0.25
2.12
0.83
0.05
0.61 0.68 0.41
-0.47 -0.11 0.88
0.64 -0.73 0.25
0.61 0.68 0.41
-0.47 -0.11 0.88
0.64 -0.73 0.25
x1
x2
x3
yTΛ-1y = (1/2.12)y12 + (1/0.83)y22 + (1/0.05)y32
주 성분 분석(Principal Components)
AQ = QΛ
QTAQ = Λ
A = QΛQT
A = QΛQT = Q Λ Λ QT = ( Λ QT)T( ΛQT) = WTW
1
0.9
0.2
0.9
1
0.5
0.2
0.5
1
=
0.61 -0.47 0.64
0.68 -0.11 -0.73
0.41 0.88 0.25
2.12
0.83
0.05
2.12
0.83
0.05
0.61 0.68 0.41
-0.47 -0.11 0.88
0.64 -0.73 0.25
yTΛy = 2.12y12 + 0.83y22 + 0.05y32
0.61 0.68 0.41
-0.47 -0.11 0.88
0.64 -0.73 0.25
x1
x2
x3