Research
Report
Bayesian Item Fit Analysis
for Dichotomous Item
Response Theory Models
Sandip Sinharay
Research &
Development
December 2003
RR-03-34
Bayesian Item Fit Analysis for Dichotomous Item Response Theory Models
Sandip Sinharay
ETS, Princeton, NJ
December 2003
Research Reports provide preliminary and limited dissemination of
ETS research prior to publication. They are available without
charge from:
Research Publications Office
Mail Stop 7-R
ETS
Princeton, NJ 08541
! " #$%& '
" ( ! " ) #* +,- % . ./& 0 1 ( ! " ) 2 !
" ( #' ' & " ) ' 3 " 3 "
4 #& " 5 ' ) 2 " ( 5 " ! ) 3 ' $ ' " 6 ' ! ( ! )
7 '8 #$%& 1 3
! ' " )
9 #$%& ' ! " #)) " ':
& " " ( " )
; ' #.<& ; #.& 1 )
01 #,& = #.& >7 > #.<& > >??
#/& ; # & 6" ) " " ()
;' " 3 # & "
( 3"3! ) 2
' ( " # " @A 6& )
4 # & ' 31 #1' & " ( 3 #'&
) " " % # ))
> . &) ' ) *
9 # & ! #
Æ & ( 3 )
;' * 9 # & ! " ! ' " 4 #& 1 ! " ')
;' " B5 C #< & 4 #& "' 3 ) " ) $ " ( "
! 6 " )
1 #>B& 0
1 " ) " ' " - 1 5 ' " ) " " " # &) 2 5 '
" " " " ( ) * ' ( 5) 2 '" 0 " 3)
>B ( ! " $% ) 2 4 #& ' " ( " " ( ) 2 ! ' " ( " 5 " " ' 5 !) D ' 3 3 4 #&) 3 #3&
6! " " ! )
$% ( ! ) " " >B 3) / ! ' ! 3 " ) 2
" ( 5 " ! !
3 <) 2 " + 3 " ' ' $ "
- E F! #1 4
- * 9 &) , " (- ' ! ( " 1 " " ! #)) "
4 - * 9 &) . " )
B " ) C " 3 3 - "
( ' ')
3 # C& #C .& # G & G H # & # #
' #& G
&& #&
Æ " !: " ( )
% #% +& " 3 #C& # G & G ##
&& #&
'3 #C& #0 +.& #
& G # #
&& # &
' )
$ # & G !( " 3 3 C ) " " ) ! # ; &)
# & # # && #
&
" ( G ( ! ' #
& " # & )
" ( ! " $% "'8
) 9 $% " )
) 9 " ( ! " " '
)
) ( " : 3 '
- ) #/& ; #& ( " ( )
/) 9 ( #& "
( ' ' :)
<) B 6 " )
+) B " #& ( 3
)
( G " ( G ! "
( " ( '
) ( ! #" &
( * 9 # & " "
G
# &
# &
#/&
G H # &
#<&
* 9 # & C
" "
G I #+&
' " 5 ' ( " 3 ( 1
" I ( " )
! ( " #/&
#<& #+& " ( " )
01 #,& = #.& >7 > #.<& " ( F ( 1 " ! ) " ' 3 ' 1 3 ) $ ) #/& ;
#& ( 1 #>>C
& " ( " ) $ (
' #'&
" ) " #' ( 5 " Æ &)
;' " " ( #'
& " # & 3"3! J
@A #& " " !
' " ) 2 F ' : #)) ' ! & ) ( 6 @A " " B5 C
#< &) 2 ; # & 3 " ) ' ' " " () 9 ( = #.& >7 > #.<& ; #& / 01 #,&
" )
! "
9 % 3 #'& " ( Æ
" ( - " % # )) > . & " ( ' ) 4
# & ! " $% ) $ 3 " # H & "
' ) " ( " ( " #' & ' ' >>C
" C D1 #./&) ( ( #/& #<&) "
G # & ( " G " G ) 2 Æ
( )
" 4 #& " ' ) " ! " 6 ' # )) * 9 " ' " " &)
' C C % " 3 " #' " 3 &) 9
" 4 #& ! "
J ' ! ) '1 ' ' Æ " ( # ' "
( " " :Æ&- " )
* 9 # & ( ' " )
( # G & : # & # H & ) #+& " C " (
# Æ & " 8 C )
8 # G & G H # & # #
&& #,&
' G " Æ " ) ;' " "
" ( #,& " " C ) > * 9 # & ! " ' 4 #&- ! " " " )
2 " 4 #& ! " ') B5 C #< & '
" " " ! 3 ' " " ) $ ' # ( ' " " "6&) ! " " ) 4 #& 3 ( ' >>C
" " #& ) " " " " ( ' (
) 9 ' " ' " " ( # " " & " 4 #&) 4 # & * 9 # & ' $ " # " E !&
" " )
! "
* #+,& - ) % #.&
" >B % #./& " 0
! " 6) * > #+& ( >B ' " " ' )
C #& 1 " #( (& ' )
C #& ) "
#& Ê ) C " ' " )
>B 1 # " &
#
& G
#
&#&
#.&
" " ) 0 >B " 1 ' " " " )
( >B " #.&) $ # & ! #* ) +& " # & " # & ' ! 5 ' ") 2 # & G #& " )
2 " 3 3 #3& 0 " 3 #0
3&8
G ## & # &&
G
#
&#&
#&
' " " 2)
0 " Æ ' #.& #& " % #./& " " >B ) 4 ' ) ) ) " #& " ' " 1 # & G ) ' " F # & 6 " # &) (
#& 3 ( " ' ( ' F # &) 2
6 " " ' #
&
( # & " 3) ( 3 # " &
!)
* ) #+& " ' " "
? # & : # &
# & # & G )
" 3 3 "6 #* ) +&) >B ' ' >1 > B #>B>B& #* B
K % <&)
% 1 % L L #& ' 3 #)) " " !& " " ' ) ;' ' ' # F "& " ! !
" " " F
" " " ) ;' 3 6 ' F !
( ) " ' " ! ' 1 ' ' 1 " ! )
#
$ $ % &
" 4 #& (
' ' 6)
! ( : " ( *
G # & ' ' $ ) G "' ) 9 9 $ " " M
G # & ! " ) 4 ' 1 3 #3& " 3
) ! " ( ; ' #.<& 1 )
9 ( " ' ! " +3 1 ,/ () ? ( " #)) ' & "
2
Item
14
0.0
0.0
0.2
0.2
0.4
0.4
0.6
0.6
0.8
0.8
1.0
1.0
Item
1
3
5
7
9
13
'
1
3
5
7
9
13
( ) ()
( " ) 9 2 ( "
" ) 2 F "
" ') '1 " ( < < " " ( ) ' " ( 6 " " (
# " 5 ' - ! 5 " " &) 9 " " " '1 #)) N & " "
( ) $ 9 ! #1 @$
A& ( ' # " " <& N "' " " " () #1 @$ /A& ' ( 6 " ( #' N &)
4 ! " ! ' ! #)) " ' 3 & ' ! #)) ' : " " & " 1 Æ # " " " &) 4 ' <N ')
# #$
3! " "1 ! " ' " ? ! " " " 3) ' # 3 3& 4 #& #?& ) 3 " # & # & G
# &
# &
#&
#/&)
3 " # & # & G # &
H # &
# &
#&
" ' ? ! " " ' !) 2 ' " # & O
# &P " # & O # &P ! " $ ) #)) 9 &)
2 3 " ) C " #& ' " ) " # & O # &P (
# & O # &P " 3) ; 3 # &) 9 ( 3 9 ) #)& " $ )+. #)+& " $
/ ! " ( " $
/ 6 ' " " $ )
" 3 ( #)) ( ( ! & 3
? ! " ) #3 & ' "6
# " ' ' & ' >B ) ;' " " 3 ' ' "' " ( ' # '& 4 #&)
( " " # & ' 1 " ) 6 1 1 ' " 3 ' # &
)") ' " F " " #)")& " Æ " ( " '
J " ' " ) ( " 6 " " " )
$ $ " #$
0 " ! 3 # ! & ) 0 3 6 1 4
#& )
) " 0 " ')
) B 3 6 (3
#" " " (
! 3&)
4 " 6 " >B #)) % ) &) ;' " >B 6 ! ) * ) #+& >B " " 1 " ' ! " 1 " ! " ! ( " ' 1 " " " ) 6 >B>B #)) * ) <& ) ) 2 " >B>B ' ! 5 "- ! " 3? " " 3
# ( , &) 2
' 1 6 0
) ;' # & ( " 1' " " 5 )
*
+ +' 0" $ ' " ) " ( # '& " !
" " " )
% "
B ' C C C ) "' E " ) # & )
) * " " < (
) #" (& " ) 2 " ! " " " " ) 9 " " 3
! >B>B )
8
# & # &
# &
# & # &
" ( " ? " )
) 9 #& 9 " ' ! " ? ) 2
*3; #)) ..& ' < " #" 3 C & 6 ( " ( C D1
#./&) $ " )
#& B 3 #3& " ? )
3 " " " )
/) ? " )
& $ " ! ) L 9 ' " 3
" 3 " ' C ! " C ) ( < < " 3 ' @(A ' " 3)
? )<J 3 ' '
1.0
) 3 )< ' " −
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
0.4
0.6
0.8
−
−
0.2
PPP−value
−
−
−
−
−
−
−
0.0
−
1
5
−
−
−
−
−
10
−
−
−
−
−
−
15
−
−
−
−
−
−
20
−
25
−
−
−
−
30
Item
'
, ( ) & - . ) . ( ' )<) " 3 ( <N # ' & )/) " 3 ' ' 5 " ! 4 #& ' ! $ # ( ' < " &) ' 0
! #' & ' ) " " " % C
# '& ? )
& ' " ' " 3)
()*+) 9
' " ' " ? # & # & ' % ! " C ) 2 " J '
#' ? 80
Predicted discrepancy
20
40
60
0
0
Predicted discrepancy
20
40
60
80
& ) ' " ' 0
'
20
40
60
Realized discrepancy
80
0
20
40
60
Realized discrepancy
80
( / - ) . ( " 6 #' "
), & ' 3 ' ? ) 3 )) ' ' J ( " # " )& 6 #3G) <&)
9 / ' " 3 " 3 " ' % ! " C ) " # & #' ' ( & " ) ' )
3 )< " ' '
J % ( 6 3
' " ) 4
#& ' ! ! ' ' " " ) 0 % 1.0
−
−
−
−
−
−
0.8
−
−
P−value
0.4 0.6
−
−
−
−
−
−
−
0.2
−
−
0.0
−
−
0.6
−
−
−
0.7
−
−
−
−
−
−
−
0.9
1.1
True
−
−
−
−
−
−
−
−
−
−
1.2
1.4
1.5
1.5
discrimination parameter
−
−
−
1.9
−
−
−
2
−
−
−
−
2.4
#' , ( ) & - ) .
" ( " C
' ) "
3 ( <N # ' & + ' 4 #&) ' % ! " C ')
9 < ' ! " " " % ! " C ' " ) 3 " 3 ) ) ) ) < - 6 ( 9) ' '
" ( " ! " " ) 9 ! # ),& " " - " " # )<+& " ' ! - " # )/& " " ' )
" ! ' % ! " C 1)
True discrimination: 0.56
0.0
0.0
0.2
0.2
0.4
0.4
0.6
0.6
0.8
0.8
1.0
True discrimination: 0.7
1
3
5
7
9 11
14
17
20
23
26
29
1
3
5
9 11
14
17
20
23
26
29
26
29
0.0
0.0
0.2
0.2
0.4
0.4
0.6
0.6
0.8
0.8
1.0
True discrimination: 1.1
1.0
True discrimination: 2.4
7
1
3
5
*'
7
9 11
14
17
20
23
26
29
1
3
5
7
9 11
14
17
20
23
) ( ( ( ) . () +) 9 + ' " 3 " 3 " ' C ! " C )
" # ' '
( &) 3 )< " ' 4 #& C ( " " C ) ' ) 4 1.0
−
−
−
−
−
−
−
−
−
−
−
−
−
0.8
−
−
−
−
−
−
−
−
−
−
−
−
−
0.6
−
−
0.4
−
0.2
P−value
−
−
−
−
0.0
−
6
10
−
−
−
12
12
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
13
14
15
17
17
18
20
22
100 x True guessing parameter
−
−
−
−
24
−
−
−
25
30
0' ) & - . ) . #& ) C ! ÆJ " )
9 " " 3 " 3 ' ' " )
' 0 ! $ )) ' ' ! ") D
" 3 3 C ! " 3 ( <N ( )<)
' ' '
! ' ) D % ! " C 6 ' E % () 0 % " C
C " ( " ' 6J ! ' )
D C ! " C ! '- 4 #& = #.& >7 > #.<& 1 ) 9 " C F ! #C& $BB $BB #" C & 5 " ( ! ' "' ) 2 ? ! !
3 () " " 9 , ' ' '
C ! " C #3G)+ &) " ' C " '
Æ (! "
9 ,) 5 " C 1 " #)<& 0.8
0.6
0.4
0.2
0.2
0.4
0.6
0.8
1.0
An Item 2PL model cannot explain
1.0
An Item 2PL model can explain
0.0
True (3PL) ICC
Fitted (2PL) ICC
0.0
True (3PL) ICC
Fitted (2PL) ICC
−3
−2
−1
0
1
2
3
−3
−2
−1
θ
0
1
2
3
θ
1' 2.3 2.3 ( - - . ) . 5 ' $BB ! $BB " " ) 3 " " ) )
4 " " ! " ! " $% " )
0
+ +' +
" " " 0 ! 3 5 ) F 5 $ # " E !& " # "
E !& " 0 ! ) 2 ! 4 # & * 9 # & 5 " " ' "'
! J ' " ( ' 0 ! " ) 2 "
0 ! " : " ()
" $ " ' " C ! C
" 5 " # / ,.& "
( #< /& $ " 0 !
3) 3 4 #& " " >>C
" ) 3 5 " ' >>C
5 ' ' " 1 >>C
) ? 1
#& " >>C
" C C
) 9 ' 5 3 " 5
' 0 ( 1 " )
'8
9 * 9 #
& G " )< )< ' " 3 " ) G G
G )
9
" )< )< '
! " 3 3 ' " )< )<)
9 ,. >>C
" ,.3 # &)
, ' ( &
& &
" 3 ( <N
#)) $ &) ' $ " # & 4 #&) 0 3 J $ (
<N ) 4 #& 5 " $ ' " # 4 " ( " & ?) $ " " * 9 # & " " " >>C
)
" ! ,
2 " ( ' ( ' # & " !: ' C ) $BB " ' " " 8
0 $ 8 2 $BB * 9 #
& 3
" #,& " G < 3)< )< 3)< )
0 $ 8 4 ' $BB
# G & < #/< #
H <&& H #/< #
&& " ' )
0 $ 8
4 ' $BB # G &
)
0 $
, #
/ #
H <&& 8 4 ' $BB ( " ' "
# G & << #<< #
H && H /< #<< #
H && $BB ( " "' "
" )
4 # & ' $BB " 0 $ 3 #' 3! C $BB& ' ! )
* 9 # & 4 # & ' ' " ! ! " #)) " E !&) 9
( / * 9 # & ' " ' /
( " 0 $ # " C & " " ( * 9 # & ) ' " ))
" 3 (
<N " ! # '& " C #"
& " 0 ) ' 6 " # & 4 #&) " 0 $
" ' ')
, ' - 4 ( & & & ( 56 ) #$
!"
%& &
" "8
) " " 0 ! $
) % " " ( ! , ' - 4 ( & & & ( 56 ) #$
!"
%& &
" * 9 # & 4 # & 1 " " 0
! " " ! ) 2 F " 0 ! " 6)
) ' " 4 #& ' " 0 ! ) 5 ! " < ( ' # ' " & " #/& " () B ' " " '
0 4 #&) " ' ' " ? " " E ! ) " 0 3 " " >B " C
6 ( ' $BB 5 " " # )) 4 &)
) $ 5 @A ' C ! )
9 ( C $BB " 0 $ '
" " ( ' " ! " ' # " 4 &) 4 ' " 0 $ )
0 ! ( ! ) 0 3 ' $ "
#1 " ( ! 3&J ' ' ) ' ' " ? " J " " F Æ ) ' " ? ' ) Q " ' F " "
' ! ( 6 ( ' 1 ' F!)
9 . ' ! " " " " " ) 3 ? " " " ) " 0 $ " ' /
(- " 0 $ 3 " ' / ()
" " C 6 ') 9
Bad Item 1
0.0
0.4
0.8
0.0 0.2 0.4 0.6 0.8
Bad Item 0
1
2
3
4
5
6
7
8
9
1
4
7
10
18
22
26
22
26
Bad Item 3
0.0
0.0
0.4
0.4
0.8
0.8
Bad Item 2
14
1
4
7
10
14
18
22
26
1
4
7
10
14
18
7' ) ( ( , ( " 0 $ ' " " ' J " " ) " 0 $
' E " 5
" )
1
-. ".
C " " ? ( " 1
#/&) " < 3 < (
" ' " )
' " ! 18 #& "
#& ": " ( #& ' "
" #& ' " ' ( #& ' ")
/ < ? 1 6)
;? 1 6)
2 " " > #<& ? 0
, #' +! " ( 8, +,
,
!
!
!
! ! ! ! ! ! ! ! !
!
!
! '(&& )
#"
**
'1 ) 3( " 4 #& 1 ")
D ! 3 3 C >B>B # &) # & # &
# &
# & # &
#&
' #& G ) 0 " F ))
D ! 3 " " ) 9 ' 3 4 #& " C 3 # >>C
" 2%B2C
>1 01 &)
9 ' ! " % ! ) ' % F !) 5 ' 3 " " ' 5 " $ < )
" C ) 9 ' ! "
) $
< " ' 3 5 " ) " #" C & " @0 $ A @0 $ A
9 .)
" "1) 4 ' " (
' ' " " 3 " ) 9 ( " $
< 9 ' 3 " " ( ' ' ' " ( ' '
) E( " % F ) 9 ' ! " C $ < J )
Item 2
Item 3
9 11 13
3
5
7
9 11 13
9 11 13
3
5
7
9 11 13
9 11 13
7
9 11 13
9 11 13
0.4
3
5
9 11 13
1
3
5
7
9 11 13
Item 12
7
9 11 13
1
3
5
7
9 11 13
Item 15
0.0
0.4
0.8
Item 14
0.8
7
7
0.8
1
0.0
5
5
Item 8
9 11 13
0.8
5
0.4
0.8
0.4
0.0
3
7
0.4
3
Item 13
1
5
0.0
1
3
Item 11
0.8
7
3
Item 10
0.0
5
1
0.4
1
0.4
0.8
0.4
0.0
3
9 11 13
0.0
1
Item 9
1
7
0.4
0.8
7
5
Item 7
0.0
5
3
Item 6
0.4
0.8
0.4
0.0
3
0.0
1
0.8
Item 5
1
0.8
0.8
0.4
1
0.0
7
0.8
5
0.4
3
Item 4
0.0
1
0.0
0.0
0.2
0.4
0.6
0.8
1.0
Item 1
1
3
5
7
9 11 13
1
3
5
7
9 11 13
9' ) ) ,
#$
! " ' ! 6! ! " " ") Item 3
9 11 13
1
3
5
9 11 13
7
9 11 13
5
7
9 11 13
9 11 13
7
9 11 13
9 11 13
9 11 13
0.4
1
3
5
Item 14
1
3
5
7
9 11 13
Item 12
7
9 11 13
1
3
5
7
9 11 13
Item 15
0.8
0.8
7
7
Item 8
9 11 13
0.8
5
0.4
0.0
0.0
5
7
0.4
3
5
Item 11
0.4
0.8
0.4
0.0
3
5
0.0
1
Item 13
1
3
Item 10
0.8
7
3
0.0
1
0.0
5
1
0.8
0.8
0.4
3
0.4
0.8
0.4
0.0
3
9 11 13
0.0
1
Item 9
1
7
0.8
5
5
Item 7
0.0
3
3
Item 6
0.4
0.6
0.2
1
0.0
1
0.8
Item 5
7
0.4
7
0.0
5
0.4
0.4
0.0
3
0.0
0.4
0.4
0.0
1
Item 4
0.8
0.8
Item 2
0.8
0.8
Item 1
1
3
5
7
9 11 13
1
3
5
7
9 11 13
5' ) . ) ,
3 ) < ' 3 # ' & " 0 ! #& #& " '
? 3 3 C ) 9 C , *' % & ( &$ &$ . . 8, +,
& (
#+!*&*&
#+!
#+!
#+!
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
- * "!.& / &.&
' 3 4 #&) 9 3 ( <N 1 ' 1) 9
! 3 ' %' ( " %' " "' - " %' /) 1 " ' " 0 3 ')
$ 0 3 ! " "
" ! " 3 ' ! " )
2 " 0 3 #" C & ' 5) 0 " 3 6 " $ . ' 6 "
$ + , / < # 5 "
3 &)
' 5 " ) 5 " $ /) 0 3 ( ' 0 3 )
)/) " ' 5
' " %' " " " ' " (" 0 3 " ! F!)
0 " #<& " ( " "
4 #& - #!& " 5
B5 C #< &) 9 " ( # <&
" ) " 3$ <N) 5 0
3 "6 3 " $ < ' 5 " )
5 0 "6 3 " ) 3 #)) ' ' " & 5
! " 5 " 3 " 4 #& ( )
" " C 5 " " C " ! "' (
3 " C ) C ( $ / , ' ' C " )
% #C& " ' C # C& '
. ( 3 " 3 3 )
4 " " " " !) 2 # & ' 6 (
" " )
- B " 2 " #2
& > 4C #>4C& #)) & " " ,/ . ( + ") D ! 3 3 C >B>B ) #& ( # &
#/ & ! " # <& G ) D ! 3 " ) 3 " 4 #& )
9 ' ! " C ! ) ' C ' !) 5 ' " $ . )
#$
9 ! 3 ' %' 3 ( " ' " "' - " %' /3<) 1 " ' " 0 3 ') 0 3 " 3 3 ' ' 3 "
)
+ ' 3 # ' & "
' ? 3 3 C ) 9 C ' 3 4
#&) 9 3 ( <N 1 ' 1)
9 C 0 3 Item 2
Item 3
9 11 13 15
1
3
5
9 11 13 15
9 11 13 15
3
5
7
9 11 13 15
9 11 13 15
7
9 11 13 15
9 11 13 15
0.4
3
5
Item 14
7
0.8
0.4
3
5
7
3
5
9 11 13 15
7
9 11 13 15
Item 12
9 11 13 15
0.0
1
1
1
3
5
Item 15
0.8
7
9 11 13 15
0.4
1
0.0
5
7
Item 8
9 11 13 15
0.8
5
0.4
0.8
0.4
0.0
3
7
0.4
3
Item 13
1
5
0.0
1
5
Item 11
0.8
7
3
Item 10
0.0
5
3
0.0
1
0.4
0.8
0.4
0.0
3
1
0.8
0.8
0.4
0.0
1
Item 9
1
9 11 13 15
0.8
7
7
0.4
5
5
Item 7
0.0
3
3
Item 6
0.3
0.8
0.4
0.0
1
0.0
1
0.6
Item 5
7
0.0
7
7
9 11 13 15
Item 16
0.8
5
0.4
3
0.0
1
Item 4
0.8
0.8
0.4
0.0
0.0
0.0
0.4
0.4
0.8
0.8
Item 1
1
3
5
7
9 11 13 15
1
3
5
7
9 11 13 15
' ) . ) 84 ' ' ( 4 #& ( " " (
# " + (&)
, 0' % & ( &$ &$ . . 84 & (
#+!*&*&
#+!
#+!
#+!
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
- * "!.& / &.&
( " " ( ,.
" " ' ) F
( ! ' $% " !
3 ) 2 ' ' ' ')
' 1 " ( "'8
) $ 3 ,3/<8 :3 6 ( #@ A "&
) $ 3 /+3<8 ' #@D% A "
" "&
) $ /3 + <3<, <.3++ +,3,.8 #1 &
$ 3 + " ! ) $ ,3++ " $ +,3,. " ) " " )
D ! 3 3 C >B>B ) #& ( # &
# <& G )
#/ & ! "
D 3 " ! "
" ) # ,. & '
1 " C 0 '1 6
' < >;? BQ " " %2>) ;' >B>B ' " # & 1
" " ! )
#$
9 ! 3 ' %' 3 ( " ' " "' - " %' ,/3,,) 1 " ' " 0 3 ') 0 3 " 3
3 ' ' 3
" )
9 ! 3 0 3 " C
! ) ' ? )< " ) ' " 3 6 ' ' " ( " ) " ' 1.0
Classical p−value: 3PL model
0.2
0.4
0.6
0.8
0.0
0.0
0.2
0.4
0.6
Bayesian p−value: 3PL model
0.8
1.0
' & & ( . ) 5 " ' $ /. " ' 3 0 3 )/ ' 0 3 )</ ' 5) 9 ,, 3 ! <N #< " 6 !& !)
9 0 3 " C ) " C
) " " C ' "
C " ! , ( 3) %
#C& " ' , ( 3)
9 / ' ! " " " C ! ) 5 " ! 1 9 - N
Bayesian p−value: 2PL model
0.2
0.4
0.6
0.8
0.0
0.0
0.2
0.4
0.6
Bayesian p−value: 3PL model
0.8
1.0
' & ( . . ) " ' # ( "&) " $ + ") #
3 " 3 " )<.)& 5
' " $ $
+< '
') 3 " 3 " )) 4" ' $
+< ' " ' J ' " " 5 # &) 2 " $ # ( Æ
& ' J " " ' " ' " / ) " " @0 $ A 9 .)
Item 10
Item 16
−−−
−
0.8
−
−
−
−
−
−
−
−
−
−
−−
−
−
−
−
−−
−−−−−−−
−−−−−−−−−−−−−−−−−
0
−−−−−
−−−−−−−−−−−−−−−−−−−−−−−−−−
−−−−
−
−−−
−−−
−−−−−−−−−−−−−−−−−−−−−−−
−−−−−−−−
20
40
−−
−−−
−
−
−−
−
−
−
−
−
−
−−
−−−
−
−
−
−−
−
−−−−−−−−−−−
−−
−−−
−
−
−−
−
−−
60
−
80
−−−
−−
−−
−
−−
−−
−−−
−
−−
−−
−−
−−
−−
−−
−
−
−−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−−
−
−
−
−
−
−
0.0
0.0
−−
Probability
−
−
−−
0.4
−
−
−
0.4
Probability
0.8
−
−
−
−−
−
−
−−
−−
−−
−−
−−−−−−−−
−
−−−
−−−
−
−
−
−
−
−−
−−−−−−−−−−−−−−−
0
20
40
60
Raw score
Raw score
Item 33
Item 65
80
−
−−−
− −−−−−−
−
−−
−
−−
−−
−−−
−
−−
−−
−−
−−
−
−−
−−
−
−
−−
−
−
−−−
−−
−−
−−
−
−
−
−−
−
−−
−
−−
−−
−−
−
−−
−−
−−
−−
−−
−
−−
−−
−
−−−
−
−−
−−
−
−
−
−−
0.8
−−
−
−−−
−
−
−−−−−−−−−−−−−−−
0
20
−−−
−−
0.0
−
−
−−
−−
−−
−−
−
0.4
−
−−
−−
−−−
−−
−
−
Probability
0.4
−−
0.0
Probability
0.8
−−−
−−
40
60
80
−−−
−−
−
−−
−−−
−−
−−
−−
−−
−−
−
−−
−−
−−
−−
−−
−
−−
−−
−−
−
−
−−
−−
−−
−
−
−−
−−
−−
−
−
−−
−−
−
−
−−
−
−−
−−
−
−−
−−
−
−−
−
−−
−−
−
−−
−−
−−
−
−
−
−−
−
−−
−
−−
−−
−−
−−−−−−−−−−−−−−−
0
Raw score
−−−
−−
−−
−
−−
−
−−
−
−−
−−
20
40
60
80
Raw score
#' ) ( ( ( . ) 7
( 6 " !
" $%) > 01 #,& = #.& ) #/& ; #& #3& " " ) 0 '3 ) ! 4 #& * 9 # & ) ;' * 9 # & " " ' 4 #&) 4 ( " 4 #& B5 C #< &- " " " " ()
* 9 # & 4 # & '
( " $ " ) 4 ' " " ( ! ( ( Æ " " " 1 )
' ' >B ! " $% ) 6 3 3 " 4 #& (
# ( & "
) $ # 0 & " " ) 3 #3:0 3& " 0 ' ! " )
! 1)
" ' 5 ' # &
>B )
2 " " " ! 3) 3 $ " ( ! ( !
# ' 1 0
&) ' " ? #' ' " ' / ( " (&) " 0 ' ' 6 ' ' E " ( ! )
$ 6 " '1 " 6 ) "
6 () ( ! - " ( ) " 0 6 " 6 " 4 #& " #
( & 1 5 " #
( & '
( 4 #& " " ) ( ' 0 " " '- ' " )
0 " ( !
6 ' $ ') 3 4 #& " " : " (
' ( 4 #& ' ! ") 9 " ( " ' '3( ) ;' ( Æ " " ( ' $ " ! ) 4 0 3 1' ' $ " " ( ' " ! ) F " " ) 6 >B>B " " "' >B>B ! " " ")
2 ! ( ' 0 " ' "6 " " 6)
(
0 2) #+.&) " (M
) $ 9) >) C K >) %) 1 #
)& # ,3&) % >28 23D)
01 %) ) #,&) ' ' ) R<)
B5 ;) K C ) C) #< &) " ( 1 " " !) !" <,R<.+)
) %) K ; B) >) #&) #$% &) 2 > " C' 7)
) %) K ; B) >) # &) #$%
& ' ) 2 " B>
B $C)
* 2) B ) 0) ;) ) K % ) 0) #<&) ( ) '
=18 B ;)
* 2) > S) K ;) ) #+&) " ! ? ) ) , R.,)
* B) 2) D) K 9 ) B) ) 9) # &) 2 " 3! " 3 ) !#& .,R+)
* $) #+,&) " " " 3"3! 3
) * $ ( !+ . R)
; %) 7) #.&) " ) $
%) C) C #
)& ,
#) / 3&) ' =18 >)
; %) 7) K ' ;) #.<&) # - ) 08 7' 2 )
45
; ) D) #&) 4 " " )
""#/& <,,R+)
>) ) K ) # &) . ( #
%%3 3 &) 8 )
C 9) >) #.&) ) ;3
8 )
C 9) >) K D1 >) ) #./&) B " $% 3 6
3 @6A) / /< R/+)
>7 %) K > B) #.<&) 2 " 3"3! ) / /< R/+)
> $) D) #. &) " " " % ) 0/#& /R,)
>1 ) K 01 %) ) #&) 2%B2C
8 " ) B8
! "' $)
4 >) K ) #&) C13 3! $ " ) !0 <R+/)
4 >) K ) # &) 9 " " " ! 8 2
! ( " ' ) !#/& .R.)
? %) K 1 0) #&) 2 ( " >B>B $%8 >
) * , (
!0 /R ++)
? %) K 1 0) #&) 2 "' >1 > B
" ) * , (
!0
/+R,.)
% *) #+&) 1 B3
18 $ " %)
% ) >) L 2) K L L) #&) "
3 ) * +"
/ R,)
% ) 0) #.&) ? () * ,
) ,,R/)
% ) 0) #./&) 0 F! "6 " ) 2! <R,)
) # &) & #
%%3 3 &) 8 )
) K >) ) # &) & #
%%3 3.&)
8 )
B) 2) > %) ) K >?? ) #/&) .& &
#$% ) / 2 > " 2 % 2 ' 4 C2)
1 7) #/&) ' " ) $ ) 91 %) * 2) C K >) *) " #
)& 3
4 #) /< 3/..&) ; 8 )
%) 2) #..&) , - 5 ) C8
B ;)
= D) #.&) Q ) " /<R+)