Research
Report
Simulation Studies
Applying Posterior
Predictive Model Checking
for Assessing Fit of the
Common Item Response
Theory Models
Sandip Sinharay
Matthew S. Johnson
Research &
Development
October 2003
RR-03-28
Simulation Studies Applying Posterior Predictive Model Checking for Assessing Fit of the
Common Item Response Theory Models
Sandip Sinharay
Educational Testing Service, Princeton, NJ
Matthew S. Johnson
Baruch College, New York, NY
October 2003
Research Reports provide preliminary and limited dissemination of
ETS research prior to publication. They are available without
charge from:
Research Publications Office
Mail Stop 7-R
Educational Testing Service
Princeton, NJ 08541
% &'() %* + , %
&-% ./012 (! ./3. ./34) %* !
5 % ! ! ! %* % , 5 '( % &( % "6 % $6 %) 5
% % 7 5 % % % 7 % 5 %* % 5 & ) +% 5% 5 %! 5 % 5 8 5 , 5 %% '(
% % %%9 5 % %%
5 ! , 5 % 5 +% 5 % ! 5 %
5 %, 5 '( % ! ! ! Æ 5 5 % %!
5 7 % % +% % !% 5 %
: ; % % * %
7 %! 5 % 5 , < = ! =!% 7
> = =
% 6 ? 5 ! , 5 % 5 5 % 5% 5 % , 5 % % % + 8 5 @ %, &5 5 %
+ %! 5 5 5 ) % + 5 % 5 ! 5 % , % 5 % ! 5 % !5 % 5
A % % % &'() *! @ 5 % , + + 5
% % & 6 B =%! .//1 .0) %! 5 % % 7 5 & C! ./3"2 ./3$2 ( .//0) ! ! % 5 + , 5 5 % &) % % ! 5 % ! *5*, &-% B .//0) % %
% ! ! % %! 5 2 % % 8 ! 5 ! %! 5 5% ! 5 ! & ) 7 % 8 ! ! 5 5 % + - % %! +%
82 5 5 * &"###) 5 +% % 5
? % 5 % % ' 5 % 5 5 % 8 5 % + 5 ' ! % @ + ! % % %, % % 5 , 5 % % &( % "6 % $6 %) '( 5 %
7 % & B ) % +% 7 %> 5 , 5 % 5 % , ! % % % %! % @ %%9 %! % 5
%%9 % % 9 % % C ! % ,
% '% 5 % % (! &.//4) => &.//1) => %%
&.///) 7! - &"###) &"###) &"##") &"##$) A+ - &"##$) % , = 5 ! % % 5 % 5 % +% 5 % % % % 5 , 5 '( %
" ! % % 5 $ % % 5 8 ! % 4 % +% D ! 5 % % , 5 % 5 8
5 '( % , 0 5 5% % 1 5% 5
5 ! 5 % '( ,
5 % 5 % ' , &!) ! %%
% % % '% % %
% 5 % Æ % A
% % % & 5 ) 6 5 * * % % . 5 +%
% # + % !! % & ) + !! 5 5 * * % % 5 A +% $*% % &$62 6 ./3#) % %
5 % E & ) ! Æ % 5 % 2 % , % % + !! 5 &
) & E . ) E F &. ) & &
)) &.)
&) +&)&. F +&))
7% 5 % '( % % 5 % , ! ! % 5 8 %
% % % % ( % &( ./0#) 5 .6 % '( % ! 5 % !
&
) E &&
)) 2
&")
"6 % &!% ./03) !
&
) E & &
)) &$)
+ '(
! % % % % % % !> ! , 5 % 5% @ 5 %
' % ! %
&# .) ,+ 5 !% 5 .* "* $6 % ' ,
% & = .//#!)
& ) . & ) &)
5 +% E . +% , % &) 5 &# .) ! 7 % 5 % ,+ %! 5 % +% % 5 &C B
: ./31) C C &.///) % % ! 5
% 5% % % , 5
&.///) % 5 5 % 2 5 5 +% % %
! & ) % + !! 5 5 % & E . ) E F &. ) &4)
% &) 5 & ) A % % ! &# .) # %% + 5 $6 % "*% % &( .//1 5 ) !
&
) E F &. ) & F ) E & )2
E & ) &# # . . )
&D)
. .
-% &./01) , 5 !2 % ! (! &./3.)
5 ! 5% % &) % 5% , 5 @
&./34) ' % -% &.//0) +
% 5 % % 5 ! %
' , 5 % 5 &-% .//0); &.) +% 5 5 ! ! 2 &") 5 ! ! + 5 %2 &$) %
+ @ @ 5 6 &) ! 5 % &+% ) % % 6 &) !
! % 6 &) Ê ! 5 6 G5 % ! 5 % % & ! 5 ! )
&
) E
& ) E
&
)&) E
&
)&)
&0)
5 ! 5 ! % ! 5 +% % 5 ! ! % & ) ! 5 ! ! 5 ! @, ! ! & )
+ % % ! 5 ! ' % &) , ! 5 & ) % 5 ! 5 & ) , 8 ! % % 5
5 Æ &0) 5 ! %
!% (! &./34) % 5% ! % 5%
! & ) 5 5% ! & ) % 5% > ! & ) @ 5% & ) ! % 5 ! & )
% &) * E . " 7 , 8 ! !
! 5 5 %
A% ! % %! &) % &- ( B
.//02 -% B (! .//D) 7 % 5% ! 5 , %
+ % 5 5 % % ! 5% % 5 &) % +% &) %H @
% 5 % &) 5
% -% &.//0) % ! ! &"###) %% % 5 7 %% 5 % * !! * &*) 5 * &
*);
E && ) &))
E
&
) &1)
5 5 7 ! ,
* + 5 + ! & ) 7 %% @ 5 5% ! 5 5 &)
+ &) % 5 * I +% * & # .) % %,
-% &.//0) + & ) % ! 9 !"
6 %! 5 ! 5% % ! % ' + 5
% % % 8 &5 %) 5 %! 5 5 8 # & ; E # ; #
5% 5 5@) A% 5 ¾
&# )) &# ) ! 7 ! &# ) @ + 6 % !% % %
5% ! & ) " "
% % % &) E J K % &
5 !
& ) E -%%
- % % J &J
)& ) J
#
&3)
% ! 5 J ! ! ) E
& ) *! 5 5%;
. &J
- % +% 5 !
% % +% &J
) ! 7 ! E 4/ A
5 5% A +% 5 E .# J E "
−2
0
2
4
. 5 % % !
−4
!"# $ % 8 #
!H 5 % % % % +% 0.4
0.3
0.2
0.1
0.0
* 5 +% &1) &3) J
&J J) E . L &/)
L &) % ! 5 5 ! 5 5%
(%%! 5 !% & ! % 5 %) * E
% &*.) K * J
J E . L &.#)
8 &/) &.#) %! , 5 % % 92 %
8 5 % A +% 5 E 4 J E " E . * ##1 * ##. = 5 %
% 9 8 @ A +% 5 E .# J E " E .
& A .) * ###/ * #####D2 * * ! !
5 % = % &) E %
! 5 % & ) E & )
% ! 5 * !% % &.#) *
#
$
' 5 ! 5 % @
* * & % +% ) &.//4) % 5 * * = * ! % 5 * ! 5 &) % % = 5% 5@ % ' 5@ 5 * 5 ! + " -% &.//0) %%
% ! 5 &.//4) M% 5 * ! * 5@ N
-% &.//0 .14) 9 5 ! 5
% ,+ % & 6
) -% &.//0) ! 5 @
% 5 ! !! % % % = !% %*% 7 5 % ! @ 5 5 5 5 %
&
% ! @
! 5 ! ! %
% -% &.//0) %% 5 % *%
5% % % 5 ! ! 5% ! %
8 5 !
! %! @ 5 5% ! -%
&.//0 1D1) +%
!
5 , 5 5 %
8 &-% .//0)
A '( % + % 5 5% % 5 8 5% ! 5 % A +% * % %
&5 $6 %) 5 D* % % + ! #"H
% 5 5 5% ! 7 %! 5
+% 5 % ! 8 ! 5 ! 5 % &.//4) 5% % % &
M N 5% 5@< ) 5 5 * = (! I I &"###) * &*) 5% ! % ! 5
* 5 % % % % 5% % %
% ! &"###) (! &"###) 9 % 5 ! (! &"###) * &
5 5 % %,) % 5 % 5 %H5 +%; &) % % 5 % % &) %+%% % 5 % &"###) % * % 5%
! % Æ ! % % 5 % ! ! & *) 5 % 5 9 % % % & "###)
7 ! 5 % A
% % , %
% &5 ) % ! 7 !
+% 5 5 % % 5% 5
* % ! Æ ! !
! !! 5 * % 5 5 % 5 5 5 % ! %, ! % 5 !
5 , 5
' 5 5 % 5
% = 5 % % % I % % + 5 @ % @ % !% , % 5 % + 5 ?
% 5 5 ! !! %
+ 5% ! &-% .//D) A +% *
5 % 5 .* "* $6 % ! %H
Æ % % * %
@ A , &
%! 5 5 5 %,) % % , @
A !% +% %! 5 5 % , &-% .//0) A +% 5 % % % 5 !% ! +% 5 ! 5 % '5 5 +% , 5 % , 5 % ! , % +
@ 5 5 A % '( %! 5 % ! 5
+ 5 !% ' % ! 5 % 5 % , % , % 8 % 5 , 8 % ! 8
5 +% 8 5 , 7 ! % ! % ! %
!> 5
, % 8 !*%
5 '( % ,
&
'
!"
+% %! 5 % 5 ! & %) ! % ! 5
(
7 ! % % & %! 5 +% % ) @ * 5 % ! 5 % Æ 5 Æ % % ! '( % ( % &") % % '( % ! ( % %* * + % ! * ! % %! 5 *5 % 5 % !! ! 5 +% % % %2 5 % % *
5 % ! 5 % !% %
% )& &
! ! &6 ./3#) ! 5 %! 5
+% ! + %! 5 % @ % *% % % +% ? ! %! 5 +% + % E & ) 7 ! % = &./3$) * 5 % ! > Æ 5 % 5 ( % & %
'( % ) 5 ! '( % @ 5 % !
5
* Æ
' % H % @ > 5% % H %% Æ ! % !
E
&"
" )
O
. O
"
5 +% % "
5 5 % O !
* 5 % *! 5 % 5 % H % ! A % %!
5 % & "D ) 7 &./30 $.1) %% +% ! % % %
7% ! % 5% %
! &./#/) 5% 5 ! !
! @ Æ % ;
! E!
O&. O)
&P &O))
P &# ) # * @ 5 % !
! Æ ! ! % , 5 ( % % % ! ( % % % % % '
( % @ 5
! Æ 7! - &"###) , 5 ! ! 5 % 5 %, 5 ( % A
% % % 5 % & "6 % $6
%) % % % ! %,
! Æ &! % + ) % +% % %%%
%+%% 5 % &*%! %% 5 ! Æ) %
(
+
(
% '( % %
G 5 % % & 8) % %
!! ! 8 ! %, 5 '( % +%
% ! ! !
( , (
'
C! &./3") &./3$) +% ! %! 5 5 % 5 ! %, 5 ( % , !
5 % 5 ( % (
&.//0) 5 ! %! 5 5
% &5 % ) 5 % % +% 8 5 * % % % ! 5 5 % @ + % % 5 +%
% % ' %! 5 +% 5 % % % !! ! % ) #
(
% 5 % ? ! %! 5 5 $ % $ % $ $ E # . C ,
¼
%& E
@ * ! , % & 5
+% 7 "##" 4D) ;
&% % ) &% % )
&% % ) &% % )
5% 5 % &5 5) % % 5 H5 +% 5 , % @ + % % A +% 5 % % % % , !!
5 % 5 %
+% 5 @
F % % 5 7 & ) % &) 5 * % 5 %%! % +%
& 5 % % % 5 %
% 5) % 5% (! &"###) ! & ) ! % 5 * % %
(
) % 5 % % ! 5 % % 5 * 5% ! % = 5% % 5% 5 8
% 5 %! 5 %! 5 * % % ! 8 5 % %
% % % % , ! 5 2
* !! % ,
! % % +% 8 5 % 8 % +
! % 5 8 5 '( % ,
% ' % ' %
% ! % " 5 ! 5
% 5 % ;
. 7 FF % .## 5% ' 5 "D## +% $# % % &5 % +*
%) % 5 .## 2 %!
5 % % 5 ' % A
+% ' $6 % % % %
5% 7% % ! 5 &
) *
% 7 5 % , 5 % % % 5 % 5 % .## 5 ' ' " A 5 ! .## !*% % %
5 ! % , % ' %2 % , 5 4### , "###
% 5 ! .#
%! % 5 9 .### 7 %! 5 &%* -%*(! *
-% % 52 5 +% "##$
5 ) ! %! Æ 5 +% ! 5 % 9 5 .### ! 9 5 , % * !
8 8 ! 5 ##. ##$ ! ! 5 %
, !% %
! ;
& ) &# .)
&# .)
& ) &.$/ .)
! 5% + 5 9 5% %
' ! 5 % 5 *.$/ % 5 5 % % , % +
! #" &#") E
.$/ %! 5 +% "D## % ! 8 5 $ A 5 , % % % 5 8 % % % * &*) 5 * 5 % &% ,
% 5 9 D###) 5 5 .## 4 7 5 % * ( &;GG*
>) %%9 ! % 5 FF
% 5 5! ! 5% 5 %
A % ! .## * &! 5%
.## ) %* 2 %
@ 5 % +% & !%
%) 5 %%
5% ! 5 %! 5 %! 5 ' ' 5 , %! 5 % % ! 4
.### @ /D# =9 K 5 ! 5
(7 %! ! . &M(N) $ +% A +% +% * % $6 % % ( %2 ! +% * % % % (
% % % .6 "6 $6 % !
5 , 5 % % @ + 8 5 2 , % % 7 "6 % + 5% .6 % & 5
5%)H +% % 5 % ! " % % $6
% 5% .6 "6 % %&) 5 5 % 5% ! " A +% % 5 5 ! % 5 5% ( &.6) % ! % 5% &# .) !
$ -
. !
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
!
A " % &') ,
5 ( % % 5 "6
% $6 % ! % %
% 2
4
ICCs: 1PL
0
0
2
4
ICCs: 2PL
-4
0.6
0.8
1.0
0.0
0.2
0.4
0.6
0.8
1.0
0.0
0.2
0.4
0.6
0.8
1.0
*
% 0
2
4
ICCs: 3PL
-4
% +% 5 5 & MN %
) % '5 * %, 5 % & M%% ' N 5% 5@
5! 5 / 0+10+203 ' 5 % &!) 5 % &) 5 5 % &) * % 5% % 8 5
5 ! ! %
&* %) 8 @ 5 %
5 %! 5 % +% 5 % % 7 + * 5 % % 5 5 5 %! 5 % ! , 8 5 -4
0.4
% 0.2
0.0
%) ! ! % ' = % +% +! ! % 5 * #D 5 % % 5 % +% &% #/D ##D) % #.# ' 5 %
7 +% A $ % .## * 5 5 % . 0 ! % % 0
2
4
6
8
$6 %
0.0
0.2
0.4
0.6
0.8
1.0
!" % + $ % ,-./
7 5 % 5 % * % 5%
! ! # . % + A +% * 5
* 5 % & %
) % )*+!,&# .) % !
A 4 .## * 5 % 5 '% D ! % % $6 %H #41 5 ! 5 * 5%
)*+!,&# .) ! $
15
10
5
0
0.42
0.44
0.46
0.48
0.50
0.52
& !" % + $ $ " # $
/ 10 203 ' 0
( % % 5 '( % % % &5 @ 5 % % )H !
, 5 % )& &
! ! % ! % 5 @ 5 ( % 5% $6 % 5% $6 % 9
( % A D %% 5 % 5 5 ! ! % A ! & ! # $#) !+ &%) ! 5 %! 5 +%
! !+ 5% !+ 5 !+ + D /D
5 ! 7 % 5 !+ %
! %! 5 2 > 5 5 7 +% 5 1 ! %! 5 +% $# % 5 &) %! "4 D /D .0
150
100
50
0
Number of examinees
0
1
2
3
4
5
6
7
8
9
11
13
15
17
19
21
23
25
27
29
Observed score
( 0" % $ $ 1 2 2
$" * #.# 5 ! .6 % %!
5 %! 5 % ( % 5% 5 .4H ! %! ..1 /D
5 %! ..$ &* 5 ##"0)H .. .0 &* ##$3 #/D.)
7 % % 5 // A 0
!+ 5 * 5 .## 5 !+
5 , ! % %! 5 & .##
) 5 9 ##D #D #/D * 5 5 ! % (
% %! 5 ! ( % 1.0
0.8
0.6
0.4
0.0
0.2
P−values
1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
22
24
26
28
30
Observed score
* 0" % + $ $
1 2 2
% % +% ,
% H %! % +% 5 * ' Æ + 5 & ! % % 5 5 ) Q 5
* ! !! % 5 8 ! ' 5 ( % $6 % !! % % Q A 1 % !+ 5 5% "6 % 9
( % , % % ,
A 3 % !+ 5 5% ( % 9 ( % 8 5 A 3 & % % %) 5% A 0 1 & % %) = %! 5 % % + % 5 5 5% "6 $6 %
' ! ! 1.0
0.8
0.6
0.4
0.0
0.2
P−values
1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
22
24
26
28
30
Observed score
3 0" % + $ $
0.6
0.4
0.0
0.2
P−values
0.8
1.0
1 2 2
1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
22
24
26
28
30
Observed score
4 0" % + $ $
1 2 2
! % % 5 @ 5 ( %
* Æ
! Æ ! 5 %
5 5 , 5 ( % % & %) "6 $6 %
A / !+ 5 ! Æ 5 % 5 % % $6 % 5
2
3
4
5
6
7
8
9
10
12
14
16
Item
18
20
22
24
26
28
30
0" % $ 1 2 1
5 !+ D /D 0.8
0.7
0.6
0.5
0.4
0.3
% ! ! Æ
% 5% "6 % 8H ( %
% 5 ( % 5 ! 8 5 ! &#.$) 5% 5 5 ! Æ 7 @ 5 ( % A .# % 5 ' 5 , * ! ( % % % % % %
% #D1 ! ! Æ 5 % 5 % ! ! Æ 5 % 8 ! 2
Biserial correlation
150
Frequency
100
50
0
0.00
0.05
0.10
SD of biserial correlations
0.15
- 6 % % $ 1 2 2
% % 5 % &5 ! ! )
! ( % // (
+
(
% % ! @ 5 @ 5
( % 5 ! 2 !
! % % 5% % H 5 % $6 % 5 5 A .. !+ 5 5 %* % .
&.") &.$) &.4) &.$#) , % 5 % " .D "" ! 5 5 '% .H !+ 5 % ! '% . ! 5 9 + % A +% 5 % &. ") " ! 5 "
%! 5 5 A ! " @ 5 5 5% % = &.//#) % 5 ! 5 &
%% =) ' ( % % %
Item 2
1
1.0
1.5
2
2.0
3
2.5
4
3.0
5
3.5
Item 1
1
3
5
7
9 11
14
17
20
23
26
29
1
3
5
7
9 11
17
20
23
26
29
20
23
26
29
Item 22
1
1.0
2
1.5
3
2.0
2.5
4
3.0
5
Item 15
14
1
3
5
7
9 11
14
17
20
23
26
29
1
3
5
7
9 11
14
17
0" % $ 1 2 2
% % 5 % % 5 ! + ! % ! ! ( % @ >! 5 %
% ! % 5
'% " .D &% %%G %) 5
'% . "" &% %) 5 % %
! 5 % // & 5% "6G$6 %) % A ." %%9
% &5% .## ) * 5 % 5 5
% 5% "6 % '% & )
% % %! 5 &. ") % % * % %
30
30
7 5 % % 5 .## * 5 25
20
0
5
10
15
20
15
10
0
5
Item rank wrt discrimination
25
Median>0.95
Median<0.05
0
5
10
15
20
25
30
Item rank wrt discrimination
+ % 1 2 2
! #/D 5 % ! ##D %! 5 % % % * ##D
#/D 5 , ! %! &
*) 5 % &. ") % 5 &" .) 5 % 5 =9
* % 5 D +*! 5 ,
> &##) &$#$#) 5 ( % @ + % % 2 % % *% % % % Æ % ( % % 5 % 5 % 2 % 5% "6 % 5 *% % & ! %
5%) 5 A .$ ! &8 %
@) 5 * ' 9
5 >% % , ! +% *H % +% 5 ! +% * A
.$ 5% %%9 5 % & 5 .##)
* +% &! ##D ! #/D) '5 ! #/D
. 5 %! 5 A .$ ! 5 5% A .4 '5 ! #/ #/D ! 5 +
' 5 5 % * +% 5 A ." .$ % H 5%
& +% %) , !
= 5% @ @ 5 ( % ! % C %
& %) $6 % 8H 5 & % 5 ) @ 5
( % A .D % A ." 5 %
% 5 % *% % % 5 + '% "" %2 , % !
30
0
5
10
15
20
25
30
25
20
15
10
Item rank wrt discrimination
5
0
0
5
10
15
20
25
30
Item rank wrt discrimination
1 % + % 1 2 2
Æ %
' % * 5 5% ( % 9 ( % = % ' , 5 (
%
! ! @ 5 ( % % "6 $6 % 5 5 , ( % % % %
0.0
0.2
0.4
0.6
0.8
1.0
& 30
30
25
20
0
5
10
15
20
15
10
0
5
Item rank wrt discrimination
25
Median>0.95
Median<0.05
0
5
10
15
20
25
30
Item rank wrt discrimination
( + % 1 2 2
& %)H % % 5 5 / 203 ' 10
"6 % + 5 ( % %
5 8 % % 5 % = % % $6 % = ! 5 +% % 5% "6 % , 5% $6 % 7 %! 5 + ! "6 % , %
, ! .6 % ! , $6
% & B "###2 ./3.) 5 % 5 % % ! 5 , 5
% )& &
7 !5 +% % 5% $6
150
100
50
0
Number of examinees
200
% 9 "6 % A .0 !+ 5 ! 5
0
1
2
3
4
5
6
7
8
9
11
13
15
17
19
21
23
25
27
29
Observed score
*
0" % $ $ 1 2 2
%! 5 +% & 5 "D##) 5 ! %! 5
> % % A
D "6 % * %! 5 5 ! % 5 %! %
H ! %! $ @ 5 ! .# .D = , !% %
7 % % 5 // A
.1 !+ 5 * 5 .## 5 !+ 5 , ! % %! 5 &
.## ) 5 9 ##D #D #/D
0.6
0.4
0.0
0.2
P−values
0.8
1.0
% A 0
1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
22
24
26
28
30
Observed score
3 0" % + % $ $ 1 2 2
+ 5 "6 % % %! 5 7 * % ! % +% A
0 8 5 5 % 5 ! % @ 5 "6 %
* Æ
A .3 !+ 5 ! Æ 5 % 5 ! ! Æ 5 % "6 % % ! ( % !
H /#R ! 5 % =
5 +% 5 5 %! 5 % "6 % %
! A ./ % 5 5 % 5 ! Æ I ! % "6 % ! % 5 0.8
0.7
0.6
0.5
0.3
0.4
Biserial correlation
1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
22
24
26
28
30
Item
4 0" % $ 1 2 0
0 50
50
150
250
100 150 200
2
0.55
0.58
0.61
Average biserial correlation
0.12
0.14
0.16
SD of biserial correlations
5 6 % % $ 1
2 2
! 8 % &* #/D) A
+% "6 % %%% ! &* #"D) %+%% ! &* #/") * = % 5 @ 5 "6 %
8 // A "# % 5 * 5 % 5 !
% *
SD
0
0
5
10
10
20
15
30
Average
0.80
-
0.90
1.00
0.80
0.90
1.00
+ % % $ 1
2 2
!! 5 % % % %
% ! "6 % $6 % 5 % 5 ! ! "6 %
(
+
(
"6 % @ & 5
%) 7 5 % * 5 % 5% .## %! % ! #/D ##D A ". %%9 5 * 5 %
5% .## % %! A .$
@ 5 "6 % % $6 %
= %,
% $6 % % "6 % !! %! 5 5 "6 % + @ 5% $6
%H 5 ! %
% H %
% % , "6 % 5% @ 5 30
0
5
10
15
20
25
30
25
20
15
Item ID
10
5
0
0
5
10
15
20
25
30
Item ID
1 % + % 1 2 2
C ! "6 % 5% $6 % 5 +% / 3 ' 10+20
% , %&) 5 % A +% 5 8 % %
8 %% % % !
! + @ ' 5 +% 5 "6 $6
% + @ A 5% *% % &D) Æ % ! " !
% 5 % 5% ! %
&# # . . ) ! 5 8 5 5 . % % % 5 % 5 5 ! " ;
E E 5 ! % , .D % % .D % % '
A .## % ! 5 % 5 ! #
+% %% $6 % !
5 , .D % ! 5
.D % & ) 5 .## A "" !+ 5 * ! 0.6
0.4
0.0
0.2
P−values
0.8
1.0
! 5 .## 5 & 1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
22
24
26
28
30
Observed score
0" % + % $ $ 1 1+ ,1 / 2
5 ) %, 5 $6 %
A "$ "4 %%9 % 5 * 5 % & % %! 5 A .D .$) 5% .## , % % % % $6 % 30
30
25
20
15
0
5
10
15
0
5
10
Item ID
20
25
Median>0.95
Median<0.05
0
5
10
15
20
25
30
Item ID
+ % 1 1+
30
25
20
15
0
5
10
15
0
5
10
Item ID
20
25
30
,1 / 2
0
5
10
15
20
25
30
Item ID
&
1 % + % 1 1+
,1 / 2
, .D % *% 5 %
'
+% +% & % )
%% ! Æ ! 5% 6 Æ ! #0 $6 % ! ! !
% 5 8 A
"D %%9 % 5 * 5 5% .## 30
30
, 25
20
15
0
5
10
15
0
5
10
Item ID
20
25
Median>0.95
Median<0.05
0
5
10
15
20
25
30
Item ID
(
+ % 1 1+
, / 2
= , 8 5% A "$ +% % 5
! 5 % .*.D .0*$# % % Æ *% = 5 +% $6 % %
8 % % 5 , , %! 5 ! % 5 % % ! %< % % 5
% 5% $6 % % +% , %* , % 5 = % 5 +% % %* ,
, 5 % , 5 % % A % % 5% .*.D .0*$# % 5 !*% +% ! % H * ! &
*) 5 % 5 *
& ) % 5%
/ 3 ' 20
A 5% % &4) % + , % '% . D ! . '% 0 .# !
" % % % ! "
% 5 8
5% ! # * % % &4) +
5 # #$ #D #1 #3D .
! ! ! 5 @ 5 $6 %H 5 % % 5% $6 % 5 A 5 A "0 %%9 % * 5 % 5% .## %!
, & 5 5 *)
% 5 $6 %
% 5 % % &'% .0*"# ".*"D "0*$#) % 5% 5 30
30
25
20
15
0
5
10
15
0
5
10
Item ID
20
25
Median>0.95
Median<0.05
0
5
10
15
20
25
30
Item ID
* + % 1 2
5 5 '% ..*.D ' % + 5 , &'% .*D 0*.#) @ 5 #
##/ % % 8 5% $6 %
5 $6 % @ %+%% A &"D## +% $# % %
% ! ") % % 5
5 #"D 7! % + % 5 5 H! % % 5 ! #$ % %
/ 3 ' 20
% % *
% % 5% % % 5 ! $6 % ! % 5 +% 8 ! % % 5 5 +% 8 8 % 7 % 5% 5% "$ "4 $# % 5% +% 5 # % % & % %
) % %! % & %!
5 + 5% 5 +%
H+% 5% %*) ! 5 %
A % +% +% 8 ! % % '5 % %, +% 5 % +% ! A "1 !+ 5 ! 5 %! 5 +% & 5 "D##) 5 ! %! 5 5 7 > ! 5
%, 5 $6 % % %! 5 5 ! % 5 %! 5% % 7 % % 5 // A
"3 !+ 5 * 5 .## 5 !+ 5 , ! % %! 5 &
.## ) 5 9 ##D #D #/D Q 5 %, 5 $6 %
200
150
100
50
0
Number of examinees
0
1
2
3
4
5
6
7
8
9
11
13
15
17
19
21
23
25
27
29
Observed score
3
0" % $ $ 1 0.6
0.4
0.0
0.2
P−values
0.8
1.0
,"/ 2
1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
22
24
26
28
30
Observed score
4 0" % + % $ $ 1 ,"/ 2
! % ! 5
5 % % % @ 5 %! 5 % & ) % !% %
" ! A "/ %%9 % 5 30
30
* 5 5% .## %! , 25
20
15
0
5
10
15
0
5
10
Item ID
20
25
Median>0.95
Median<0.05
0
5
10
15
20
25
30
Item ID
5 + % 1 "
2
% % !% % 5 5
* & ) % $6 % % 5 % + % 5
5 H % +%
5 % % % 8 5
5 &) % % % % * % $6 % % +% , , % 5
= 5 % % % %
5 +% % H * ! & *) 5 % 6 % "#R +% 8 ! % % % 5% % %! ! "$ $# % A +% % &.//1) , .//"*/$
-(
"D @ 5 +% '% "# "D *!* 5% "D .D 7 .1R D#R 5 +%
* ! .# %2 5 +% '% "$ $# % 5% "D "# @ , 5 % &.//1)
! !% % ! ! & ) % @ 5 $6 %
! % +% A "3
A $# %%9 % * 5 % 5% .## %! ' 5% , % !% % % +% / 3 ' 20
C 5% *% % &D) E#0 % %% % + % &
! ) "#R +% ! 8 '% "$*$# A $. %%9
% * 5 , % 5 5 5 % $6 % ' ! , % % A "D $#
30
30
25
20
15
0
5
10
15
0
5
10
Item ID
20
25
Median>0.95
Median<0.05
0
5
10
15
20
25
30
Item ID
-
+ % 1 ,/ 2
* ' % % %
%, 5 %% '( % 5 5 %
! $ %%9 , 5% % 5% &) 5 % ! ! 5 % 5 #*" & # % G . % % "
% ! ) 8 5 % %, , * 5 % 5 % !
! 5 8
5 %, 5 '( % 5 %
! ! ! Æ 5 % 30
30
25
20
10
5
0
0
5
10
15
Item ID
15
20
25
Median>0.95
Median<0.05
0
5
10
15
Item ID
20
25
30
+ % 1 % . $ 7 2
3
' , 5 % ( 6 =%! &.//1) ! 5
*! %* 5 % % 7 % 5
5% 5 % % 8 5 % % % ' & 5 !% ) ! & 5 !%
5) %, 5 '( % 7 % & B
) 5 % +% 5
, 5% %
5 5
%! % 5 , ' %
' 4
5/ ,6 / ,6 1/ & ,"
$ $
%% &
'
()! %
*
% %%
( "+ %!
$ , ,#
-&% $ .%/ $ $ 0 -&% $ $ $ -&% $ $
-&% $ $
$ -&% $ $
% ' 5% % 5 8 5 %, 5 %% '( % %! 5 8 @ % 5 %
7 5 ! 5 '( % 5 ! %! 5 ! @
& ! ! ) 5 A +% , ( % 5% @ 8 % %
5 % 5 % 7 %! 5 % +% % '( % , +% ! % 5 ! 5 % % % ! 5 5 % % , ' % % 8 5 5 % & % ) 5 5 5 %
% %*% % = 5 % 5 % % & % !
)
% , % % % 5 , 5 % + % 8 & % 5 5 %! 5 ! ! 5 ) A 5 % ! Æ %! % % & .///2 "##$2 A+ B - "##$)
% % ! % 5 % ! 5 % % 5
5 @ . = %! 5 @ 5 % 5 % ; &) +% % , % &!) +% 9
&-% .//0) % &)
+ % % &) + ! 5 , 7 7 &"##") &" ) =! ; C
7! B - &"###) '% % ' ? : ? - B &
)# $ % &! '()'*)+! ; *? .1$*./$
B &"###) * 5 % % , % - % *. .."1*..4"
!% 7 &./03) % % 5 +%<
! ' A 6 B ( &
) - & .1*"#) ( 7; 7*C
C = B C S &.///) 7 % 8 % 5
/ 01 .D$*.03
B = &./3$) 9 %5 !! 5 % / 12&.) ."/*.4.
6 B 7 &./30) !
% 7; C
A+ B - 7 C &"##$) % 5 %% ! % / 02&") .0/*./.
-% 7 = B (! ? &.//D) !
; % B =
-% 7 S*6 B = &.//0) % 5 %
, 9 - - 0 1$$*3#1
- C ( ( B ? &.//0) 3
3 6; % =
-% ' &./01) 5 5 5 ! *5*,
!% , 4 - - 5* 3$*.##
=> = B ' C &.//1) 7 %% % %;
-!! % / 05&") .1.*.3/
= C &.//#) ? ; 7 5 5 % % / ..&.) D*.3
= C &.//#!)
% 5 5 % % / ..&4) D11*0#.
( + A B ? &"###) 7 '(
% 5 *5 %% , 6 - 5.&$) "3D*$#0
6 A &./3#) % !
= ; 6 !% 7
- B &"##") % 7 %
&% ( ?% ()
; ' 5 %
' C &./3$) % % 5 5 5 ( %
/ 12&.) 4/*1"
B ? &"###) 6*! %*, 5 %
% % % / 3 51 D#*04
: &./#/)
% 5 % ! %
5 7 5 5 5 + & 5 5) 5 5 7 (
/0*.#D
( - &./0#) / !
?%; ? ' 5 (
( ? &.//1) 7 %% % 5 % %
' 6 B =%! &
) 8 & "1.*"30) = ; !%
( &.//0) 7 5 5 %% % %
/ 0'&$) D#/*D"3
(! I 7 B I I &"###) % ! 5
* % % , % - %
*. ..4$*..1"
(! ? &./3.) % %9 +% , 6 - 0 $11*4#.
(! ? &./34) >,! 5@ 5 % - '5 ..D.*..1"
(! ? B = &.//4) % ! ' 7 B &
) 9 $ % & 4"#*4$3) 7;
!
( %% 7 B => = &.///) % 5
@ % / 01&.) $1*D"
? 6 B % ? &.//1) % % *
%+ %; 7 % 5 % , 6
3 )1&$) ".$*"$"
B & ) / !
; &"##$) % 3
3 $
% : &
((*#$*#1) ; = &"###) %% M* 5 % %N , % - % *. ..D1*..0#
C! 7 6 &./3") 5 ( %
/ 1( ."$*.4#
6 C B =%! ( : &.//1) 8 ; = &"##$) % % % 5 % % / 0(&4) D./*D$3
C = B : - &./31) '% %9 ; 7 5 , 6 3 51 .3D*"#"
C &./3.) K % % %
/ 3 . "4D*"0"