Linear Mixed Models with Flexible Distributions of Random Effects

 !"# $$%$
&'($)$&)
$
& * ) ) & &
+) + ) +) ) #&&) $ , ) + & * & + -./ 0 & 1 -2!/ 3 )& & & 4+ ) +& + &
+ )# ) $ % & 1& + & & + & ) ) && '
5)$ , & && + )& ) & & &) & ) ) & ) )& & 6 )&$
7)& &8 9)&8 & *8 &#
8 & * &8 13$
7)& & & & & )) & ) ) * 3# & #&&) 3 &&)#: +$ % ) 31 & * & 3 & * & & #)+;
2
-7& & , 2!/$ 6)& ) && & 3#)+; & & * &+)&$ &
) :& & & & * + &
) ) 3& + 3 -$$ % 7 $ 2!! /$
%) 3#)+; & + )#
& * + & ) #&&) $ 6) 2-/ 3 &
& &&) 6 )&$ < & = #
)& + )& & 3 + & &$ % && +; ) & ' * + & #)+; $ 6) 2-/ ) )+; +) 3 )+ #)+; $ < 3 :
&&) : + $ % & &) )
) 3#&&) 8 3 ) & )+;#:
6) 2-+/ ) + &+)&$ < + & + + $
%) :& * + +) & *
-) & 7) 2!!8 >+1 & 7* 2!!/ ) + & Æ & & &&) *$ 9 &
* &+) )& ) & &+ 8 $$
)& 13& ) ) & ) )+; $ <) &+ )& ) & ; & * &+) &
& $ & ) &+) + &
) 1& -$$ 7& 2!8 %1 2!!!/$ ?3 )) + ) & * ))
+ & )& ) @A & *
&$ 9& & B -2!! / ) 1&
3 ) +)& & ) 3 : &
:$ < $ -2!!!/ & & * & ) $ >+1 & 7* -2!! / ) ) 3 C9 ->+1 & 9+ $ 2/$
D 3 & ) & &$ %) @A & * & 3 &+ & & ) @A -./ 0 & 1 -2!/ & & *$ & & 0 -2!!/
) & &8 3 & +
& + ) 5) & &:+ . &$ ) 3 3 & & . 3 1& & & & 3 ) ' . ) &:+$ < 3& 3
&& ' )$ D E 3 ) & 6
& 6) 2 & ) ) "$
)
F 2 F 2 )+; :
F G
G
-2/
3 - 2/ :& * & 3 8 #
& )) && )+;#: & * & 3 8 & - / )) && && $
< ) ) & & * F G -/
3 - 2/ - / 3 ) & - 2/ & $ ) && ) 3 ) & & + @A &
&)& & + 0 & 1 -2!/$ < & +) 1 & )Æ &*+ &
+ ))) + ) 11 ;) +) + 13& )#
& & # #& 8 $
% &)& & & 0 -2!!" $ / & +
& + )& & ) & &
& & @A -./$ % -/ 3 & + && . &
- / F - /- / F - /
-/
3 F - / #& F & F - / #& && & & -/ & Æ & &)& $ 6 3 F F -/ F G G G G
G , F - / 2 )& & &)& - F 2 / -/ )& & -2/ &) )) & & 3 - / 1 &:+ )
½
E
& ) -/ ) 5) +) & 3 ) E$ < & ) & 4+ ) & -/$ % &&
E & " & + 2 & )& )& & 13$
6 -/ + & Æ -/ ) + -/ F
2 .) -$$ & & 0 2!!" $ / -/ 3 &:& -/ &&& + ' 3 & 2 &:+$ , & ) -/ F 2 + C - / F 2 3 - /8
-E/
5) & ) + &)& $$
< ) + 5) 3$ < &#
& F 8 F - G 2/- G / & - / &
3 3
-
/F
F
F
½
¾
3 & 3 && )$ 6 3 F F - / & ;)
)+ & $ 7 + & 3 3 & && && 3 - / F ½
¾
C - / F C- / F !
-"/
3 ! 3 - / C- /C- / & ) &
& $ < 3& + && ) )H -$$
I & J' 2!!E/ & 3 ! &: $ ,
½
"
½
¾ ¾
F & -"/ 3& )& + 3$
, - / F G G ! 3 F - / & 3
F F - / &
! F
3 ! F - ! / F - / -! / - / F G G
- / -! / F -! / 2 - / <) - / 5)&
3 & + 3 + -"/$
< + ) + '& & & )& )#
)$ , ) -E/ ! F 2
-/
7 " F -/ & #' # F -
" / 3 )+; - / 3 ) & - /$
!
¿º½
)+) -/ -2/8 &: $ F - / Æ F -
/ F - / & 8 & % - G / & & - / + 3 3 $ & 3 & F % Æ G & G 0 #1& # '-#8
/F
( - 8 #/
-/
3 ( - 8 #/ & )+; $ J & && - / # 3 ( - 8 #/ F ( - 8 #/ - /- /
3 ( - 8 #/ & 3 % Æ G & & $ ( - 8 #/- / + &:& ; & & 3 -/ )&
+ && # $ & & )- 8 #/ & & & )- 8 #/ + & & 3 $ <
( - 8 #/- / F ) - 8 #/) - 8 #/ & (-
8 #/ F ) - 8 #/
-/)-
8 #/ F )- 8 #/C
- /
3 C -/ 3 & &+) 3 )& #$ D 3& 3 )- 8 #/ & 3 % Æ & - G & KK & / 3 K F & )- 8 #/
& 3 & F L K & - % Æ/ & L F - G
K & & K/ $ <) #1& + & '-#8
/F
)- 8 #/ G
MC
- /N
-/
< : -/ ;) )) #1& ) & &
-/ 3 )& 3 + & +$ < &
) & 3 & L F 2 & $ <) #1& #
)& & & & $
% %&$
) 5)& & + & ) ) & +8 %&$ < ) + +) ) + )& & & *$ 6 & ) + & 3&
$
¿º¾
6 + ) 1& -97C/ # '#
'-#8 / )+; 5)& - /$ O + 1 7
) & ' '-#8 / - ! 2/ 3 -# / #
&& ' 5)$ ?3 &) 3 +) ) +$
% 3 )& 3 ' & 5) +
$ ) ! - / &: * &: ) ! F * $ , + F * - 2/ - / + + + F 2$ + -&
/ & & & 8 ) + ) #) $
? + F -+ + / + & ) & + F -, / +
F -,/ -, / + F -,/ -, / -, / -, /
+ F -, / -, / -, /
3 - . , - F 2 2 ) + 1 ) #) $ 7 , F -, , / :& # F -
, " / 3 # 3 & 3 & +
$
, ' & & && '
5) + )&$ , &) & $
D ) & ) # & , #
' $ ) ) + +& + ' '& #1&
# ' ) ' -#8 / F '-#8 / /- ! 2/ 3 / ) / F F )+ +$ O & ) # +& + & , & & ) )& 3 '$ % 3 & & , + & ) -- -N & #1& #
'& $ % 3 3 & 5)& & )+
4+ $
O 97C # ) +& +&
+ )& ) ) ) & #
)) 3$ .) & + &
:& * 3 ' & 3 ) & E$ % && &&) + +& #& #
3 &&) & @&A + :& ' & ( - 8 #/ ( - 8 #/ - /- / 3 # F # &
) F G $ % + @&A + C- / )& #
3 3& &#
- %&/$
¿º¿
< ) &) +& ) ) 4+ & * &$ %) : &
4+ ) 3& & )& +; & +$ 63 ) -$$ &
& 0 2!!/ 3 + )&
# : &* )& F -/$ < 1 '& #1& '-#8 / G 0 - /-
/ 3 !
)+ -
/ & )& P %11 D
-%D/ 3 0 - / F 2 3' D
-D/ 3 0 - / F " & ?#Q) -?Q/ 3 0 - / F $ 6 ' '& #1& &8 %D & & 3
D 3 ?Q &$ & & 0 -2!!/ &
& & & 3 )
+ & & ?Q @)A ) &&$ ,
) +; ) "$
" #
, ) & & + 6 &
&)& 2$ 6) 2-/ & & ) +
&& &&) )+; & 3 & &$ 9 &)
&&) : 2 + ) $ & + 3 & & &
F G G G G -!/
? &&& + 2 )+; & -"/2
3 )& + 3 & 3
&& ) +8 && - /8 +8
& & -F
2F/8 & F - / F G 3 F
- / -/ F -" " " / & F - / & -/ &)& +3$ <) F - / & F -2 / 9& -!/ & Æ & 3 + * & 8 ) -2/
2
3 3 & F 1 G G G 1 G
G
G -2/
3 1 F C- / F G "C- / 1 F C- / F G " C- / G " C- / & F
- / ' & 2 F - / F - / $ O
) 3 F C- / F & - / F $
<+ 2 ) : F 2 $ < & && &$ % <+ & 3
F 2 ) &) $ 6) -/ & & + & & * & : 3 3 & & @+)$A 6) -+/ & #
)8 3 & -/ )+;#: @)A 3 & )$ 6) -/ & -&/ 3 & & & & * ) + 2P
&+) 3 & 3
& 13 6) 2-+/$ % -!/ )& + & & *
& & ) 4
&) $
<1 3 ) ) + @)+)A &&)
3 + &;) * & &$ %
)+ & + 1
)$ D + & * & & &+ & ) ) $ 9 ) &&) * )& )) ) )& + &$ & & *
3)& & &) 8 3
22
F + & ; & 6) -/ 3 ) 3 +& $
$ , &)& ) )& & &$
, ) &
F
G 3 G G
F 2 F 2 F 2 "
-22/
3 F 3 F 2 " & 3 F F 2 - " /
& ) &+) ) --/ M - G / G
- / N$ & : ) C- / F 2" &
- / F " 3 ) 3 &&)
& &&) 3 3 &&)# $ < F 2
& ) 3 ) + + :&
& & & $ 6 2 9 &
-22/ 3 : )& ) 3 & & + . 3 F 2 & & $ 3 )& :$ . )& &
& - 4 / 3 & + $ < ) +; ) : & + %D D & ?Q 3 &&$
%D D ?Q & : - F / 2 & & + & & +)
&) $ O3 %D & F 2 "R & F "R 8 3 R & ER D & " R & EER ?Q
& & %D -D/ -/ &
2
3 ?Q &$ < : <+ -/ 3 ) 2 & )
F -) / & 3 ) ) 2 & & + D & ?Q ) 3 )& @)A )$ ) %D & )&& +$ . )+& $ < Æ )& ) & * 5) 3 & &$ % ) ) 3 + ) * ) & ) ) & Æ :& *
$ D & 3#&&) * & )*&$ % & 3 )+;#
& & * )+;# ) ) ' 3)& 3 & 3 3#&&) * @A #)+;
&*$ + 3 +& + < $ -2!!!/$ < #)+; *$ ) - / #)+; )*&8 3
C- / & 3 )& 1 &) 3 $ & - <+ 2/ * ) )& : 3 )+;#
& * & + 4 +& $
< & & * & + & 6)
$ 6) -/ 3 9 & & 2 & 3 ) & F - :/ & & )& D &
2
?Q <+ 8 %D : ) &$ < :) & && 4+ *&& + . )Æ ) 5)
) ) )& ) & * 3 2 )+;$
< + ) )& + 6) -+/ 3 3 2 : & + ?Q$ 0 ' )+ 3 && 4+ & 3)& ) @#
&8A 3 2 : & + ?Q )& &
)) &$ D 3)& 1 + ) 3
+ & ) & ) &
1 @#A ) +$
< ) )& ) 3 &)& ) )& -22/ +) 3 ) & * &+) -2" "/$
< %D ?Q & D & F ER !R & !R $ %D & F 2 & F R & !R & 8 :) 3 "R & R ?Q & R & R D$ D & 3 4 3 & & )& & +&$ % ) . & & )+ & +) ;) + )
$ 9 ) ) & )& +
& 4 )& ) ) )+ @)+)$A
) 9 ) <+ -+/$ < Æ :
& + D & ?Q +) &) 3 & 3 4 3 &$
6 ) ) ?Q ) ) Æ F &$ < ) & * & 3 ) & &8
2E
) & ?) $ -2!!/$
% , & & & 3 &
* )& @A & 3 & *
& & + . )& $ % 3 &&
. & 3 1& & + 3
& $ 9 3 & 3 ' &
&:+ 3& &&#
5) - &+)/ + )& Æ &
+ )$ && ' 5) + )& #
; :& & & &$ < & 4+ & + ) & & )) & $ && ) 3 ) & & 31& 3 & + &$
% . & * & + #
) ->+1 & 7* 2!! /$ %) ) ) C9 3 1& + &
& & )+ ) ) $
< 5) +) + & ++
& && ' 5) + )&$
% +& & -$$ ?) $ 2!!8 < $ 2!!!/
Æ 3 2"
) & & 3 & 3 $ % && ; & ) & * & &$
, 3 ) -2/ )& )+;#
: #' 0) 5 -/ & )& + + B $ -2!!/ & +
F G
G 5 - / G 6
3 6 - / ) $ < &: && #
3& + & 8 1& ) 3 &
-/$
, & ) % ) ' -%
D) D$ 2!!/8 & + ) ) 5)$
< 31 3 )& + D? 2#%"E & 2#%D2!$ < ) ) & ) & $
%1 9$ -2!!!/$ % ) 1& '& &$ 22S2$
) $9$ & 7) <$%$ -2!!/$ & * & 3 $
2!2S$
& 9$ & 0 %$$ -2!!/$ < & * & 3 & * &$ E"SE$
2
& 9$ & 0 $9$ -2!!"/$
$ 7&P & ?$
0 %$$ & 1 $,$ -2!/$ ) 1& #
$ S!$
?) .$ < %$%$ & & 9$ -2!!/$ C & 3 + )& 3 $ 2ES2E2!$
I $7$ & J' $ -2!!E/$ $ 3 T1P I , & $
!
7& $9$ -2!/$ ) 1& &+)#
$ " # #
"S22$
7& $9$ & , I$?$ -2!/$ & * & )& &$ ! S!E$
7 $$ 91 0$%$ ) ,$,$ & ,: $ $ -2!! /$
& $ P % D)$
$
# % 9& 7$$ & B $7 -2!! /$ % &#
+) ) ) 0)$ " # #
22E2S22"2$
% D) D$ -2!!/ #'()
$ P % D)$
* +
, -
< ?$ . 9$ T& $$ & 3 9$%$ -2!!!/$ % & & * &$ 2S22$
2
>+1 0$ & 7* C$ -2!! /$ % &#* & 3 &#* )$ " # #
2S2$
>+1 0$ & 7* C$ -2!!/$ < * & * &#
+) & & )& &$ #% "E2S"" $
>+1 0$ & 9+ 0$ -/$ ) & T1P $
)+ $ 3
B $ 7 U$ ' I$ & 3 9$ -2!!/$ &
& )& &$ " # #
2S
2!$
< + 5)& ) &)& $2 3 & F $ < #
) & -/ 3 & ) C- / 3
3 & &+) - / - L /8
7 & 7 8 & & L $2$ < #
+ ) ) ) -/ F - G L / 3
F - / $ < ) -/ + 3 -/ F + $
<) C- / F 7 V7 V + 3 & + &#
& + & L $
D & -/ $ 6 3 F & F 2 + G G G
- G /G G - G / 3 & +)
& L $
½
¾
½
¾
½ ¾
½
¾
2
< ) + )& ) C- / F C
&)& $$
2!
- /C
- /
- ./0. 10 F 2 2 &
F
. C
-/
$2E
-/
1 -/
2$"! !
1 -/
$2
$E
$2E2
$2E
$
2$"! !
$2
"
$"
"
$
"
$2 ,
S
,
S
,
S
,
S
,
S
C
C
$" $2"
$""E $2" 2$22
$E2 $2
$" $2
$2" $2E2
$2 $!E
$22
$!
$2" 2$!22
$E2 $"!
$ $2
$" $22
$2 $2 2
S $"E
S 2
S
S
S
S
S
S
2
F2
C
$
$E""
$2!
$E
$""
$2 "
$!
$2!
$2E
$2
$2!
$
$"
$
$2 !
S
S
S
C
$2 2
"
2$
$2
$!
$2E
$!
$!"
2$"!
$
$"
$2
$2 2
$"EE
2
$!!
""
$"2
F
C
$
$EE
$22E
$E
$""
$2!
$2"
$22
$2E $
$ E
$
$"
$
$2
$2"2
$2"
$!
F 2 3 F
F2
F
7#1& 2 ! E 2E"!2 2E !!
%D
$2 2! $2"2! $2"
D
$2 $2"
$2E
?Q
$2 !2 $2 ! $2 E
2
$
2$2"
2 2E
$E"
$E!
$
$!!E
2E!2
"$!""
$E!
-/
-2/
C-/ -2"/
-/ - $"/
-$"/
-/
-2/
C-/ -2"/
-/ - $"/
-$"/
F
$2
$"2
$ $!
$2
$2
$E
$ !
$ $2
9 %$ 9 F 2
.
& + D
2$
2$2
2$!
2$
2$
$
$!!
2E!
"$!"
$E!
$
2$
2"E!
$!!
$E!
$2
$""
$
$!
$2
$2
$
$
$ ""
$2
$2
$E!
$E
$ $2
$2
$
$ !
$ !"
$2
2$
2$
2$"
2$
2$
2$
$
$"
2$
2$
%$ C C
.
& + ?Q
C 9 %$ 9 2$
$2
$"
2$2
2$
5
6 2
%$ C 9 %$ 9 %$ C
-/ 9) $2
$ $2
$2
$E!
2$E $E
$!
$E! 2"" $"
$ !
$ $! $ "E
$ !
$2
$E! $2
$2
-+/ $2
$ $2
$2
$E!
$! $"
$E
$E
2E $
$E"
$E!
"$!" $!
$ 2
$2
$E! $2
$2
% # 2 + 4
11 # 2 + & ' ()
$ 6 &$ -/ 7)& )+#
; 3 ; & " & )+;$ -/ ? )+;#:
&&) 5) :$
$ 6 & -2/ & 3 F 2$ -/ C& & $ -/ ) & -/ 3 )+;#: & & )& -) 2 " & !R8 )+; )& :)/$
-/ & -
/ & & & -&/ 3
3 )& -&&/$
$ ) ) +& 2 &$ -/ <) & -& / & 9
& & 2 & P ) F - && 8 /
& ) : & + D -&& / & ?Q - && /$ C&
& : & + ?Q 2 & $
(a)
(b)
2
4
40
••
••
••••
•
••
•
••
••
••
••
••
••
•••
••
•
6
8
10
30
0
••
••
•
••
•••
••••
•
•••
••
••
•••
••
••
•
•••
••
•••
•
•••
••
•••
••
••
••
••
•••
••
•
20
••
••
•
••
••
•••
••
••
••
•••
•••
•••
•••
•••
•
••
•
10
•
•
••
••
•
•
•••
•••
•••
••••
••
••
•••
•
0
•
••
••
••
••
•••
•••
•••
••
•••
••
•••
••
••
••
Percentage
350
250
150
Cholesterol level
•
•
•
150
Time in years
200
250
300
350
Estimates of subject specific intercepts
E
(b)
.
...
.
. ...... .
. .......
.
.
. ... ..
..
..........................
.. .. .
............... .
..
...... .........
.. . ..
................
. .
.
.
.
.
.
0.5
3
op
e
2
t
cep
nter
0
1
-0.2
Sl
0.2
Slope
0.6
Density
0 1 2 3 4
(a)
I
0.5
1.5
2.5
Intercept
(d)
2.0
1.5
1.0
Density
0.8
0.0
0.5
0.4
0.0
Density
1.2
(c)
0.5
1.5
2.5
3.5
-0.2
Intercept
0.2
Slope
"
0.6
3.5
0.0
0.0
0.1
0.1
-6
-4
-2
0
2
4
x
0.2
Densities
0.2
Densities
0.3
0.3
0.4
0.4
(a)
(b)
-6
-4
-2
0
x
2
4