!" # #
!" $ %
& "' (
$) # ! #$
&' )' )' + , - + ' + - / Æ / Æ
-# -# / ' 0-# 1+' + &23 +' 4' / / + 5
#$
6- 6
7 .'
"
%
(
*
"
*
(
*
%
*
%
(
' 8
+ ' + .'
4' ' 4' ' &23 +' ' &23 +' ' 9' ' 5 ' ! '+' ' + - ' :;
+ ' :;
+ ' + 6- + - ' + 1
+ - + 6-
, - 6 -8 # $%
1 +
$8 + +
$8 / / 6 &' +
$8
/ +
$8 4' -' 7 3 8 %
%
"
""
"%
"(
%*
%
%
%
%
%
%
%
%
(
"
(%
((
((
**
*
*
*
*
*
& ' ()' #
6 +
6 & $ ' 0/#-# & $ &23 +' 0/#-# 6 ' +.'
6 06&3#/#-# 06&3#/#-# %
*
"
(
4' / / ' +.' ( *
+ , ( +%'
(
!
#
##
#"
3 + 6 '
8 8 '< + '$ '
' = '
$' 5
+
6+ - 6 8 + ' + '
' ' + '+' ' ' $ ' '
#' < ' 7 + 5 6 !$ >6!$?
& + ' + 1 + '@
-A , )< 6!$ < = $ ' 6 8 + '
8 + + / +' 6 ' < '< 6 $ ' '$ /8 $ +
6!$< $ ,'< +
+'
< '< 6 '
+ 6 +
/ $ +' < ,
$ -B -
'
6 +' ,+ C -D$ ' +
' 1 + : 6 : + + *** +'+' + 8 6 '
+
$8 + ' 5
+ 6+ - + 6 8 ,+
-D$< 6
)' 6 -' '
+ : 6- ' + 6 ' / + $ + ' < & < : < C C< -$ C' -D$ ' : 6 '
8 8 E < /'
/ /$< '
+ + :
6 8 '+' ' 6 8 -
F#G< ' ' + ((( = + 5 6:6+< 6:6-H(( 6 8 8 < 1
+ E
*** 8 '
+ < '< 6
'
8 + + + + 6- ' 6
$ *** 6 ' ! 1 + !
'
' + 6- 6 8 '
$' 3$ +' 6 '
1 +
' : = ' ' < ' ' $ *** '
+' ' / ' + 8
$ $ 6 8 $ + + I ,+ &
C < ,+ & C ! 3< & - , )< & 3$ & '
!
6 '
8 8 5 ' '
$ F 6 8#
+ 3,6 8 ' 6 8 + ' : + 8 6 8 1 + '@ + '
6 8 + ' >? '
6:6-H(( ' '
6 5 ' + D + J1:,:6&/((,J6 ** >+ ?
+ ,("#*% >+ ?< $
+ / ' '
' 5 $
3' 8 ) CK -
L'F /
'
6$ $ +
+ 2
$ 6 6 6 '
8 8 < 8 '
! $' < 6 +'
8 + '' ' ' 6 8 $ 6- < ' ' '
8 '
$ 5
'
6 6+ - >6-? M E +
+ + '$.' ' $ =< 6- < < F +< + 3 '< F
< '
+ )< ' 7 + + 3 < $ $ ' + + < + ' 6- 2
< 6- + '
< ' #
5 F< '< ' +< 'F< 5<
'< < ' ' + $ 6- / $ $ 6- .' '
! ' + ' + / $
$ 6- .' 5
+ ' + 'H +
' $ ' $ + ' + '+' ' + + N > '#
? / + ' 7
$ ' $ / 5 + #
$ + $ 6+ '' 7
.' .' ' '
$
' + 7 '' / 'H
+ 7 / '
' '< + 1'< 5 $ +
' .' ' + .' +
8
7 + ' <
F + ' +'
$ 4 ' '
' 7 + '< .' '
6 < $
.'I / .' + + .' ' 6-
E' + + + 4 7 + + ' + < 8 ' + > ? 6- +
' $< ' # < #
'' '
$ 57
< 5 $' ? ' $ ' ' ' $?
' $ ' $' $ #
> + + 6- ? $ '#
< < '$D .'< 6- + ' E' ' '$D + 6- = ' ' ' + + '
8
6-< ' < < + < + ' ' + + 2< $ + M '
'
' < +'
.' ' / $
6- $ ' $ ' =< + ' 6- +#
/ '
$ 6- 75 6
7 >+ 8
? '' 7 ' 8 7 + ' 2< ' .' 5 + ' ,<
$< D'< + > ? '' '
> ? =
.' D' 5 $ + F
' '< D< ' + ' .'< .' 7 8
F ' + ' ' + 6 '' + ' '
+ ' +.' + + 7 + '< +.' + + ' )+ '< 7 ' .' ' O
'' + 5 $' + ' '
.' 7 + 1+' ' + ' +
8
6- $
$ .'5
3<
$ 5
+ < I
+ '
+ .'
+' 5 .' #
'< +' + / ' + '< + N + / ' + ' ' + # ' $
/ + + 6- +F ' 6 7 $ + < <
$ )' $D $ +
6- < $ !< + 6- ' + + 6-
- / ' + + 6- & +F '
#8 ' 7 + 5
/ $ $' ' .'
+ ) < $'
' .' #
/ 7 5 '
+ : 7 ' < / .'5 + 7 + $ + ' / +' ' 7 #
< / $ $
$ $ 6 7 8
$ ' &' $ $#
< 7 '
$ $I 9' + 7 8
$ $ /
$ H $
$ < ' # / + .' / + ' + $ ' .' +#
.' $ 7< $ +
3 < .' $ < + $#
5 7 < 4 $#
D' + .' ! $ .' $ .' +
+ D' < + ' .' 5
I
+ > ?
/ ' .' M )< ' $ #
$ .' + .' '< $ +8 $ '
+ 6- < ' D' $ + < + 2< $ 'M + $8 3< +
$' $ / + + ' < + $
7 ' 5
E' 7 .' ' $ 7
)+< $ .' 8
+ 'H & $8<
$ $ + $$ <
< 8 $ 5
+ ' $ !
& + $ < 8 ' + #$ '$ + 6 < #$ $ ' .' +8
$
&' .' #
+ &'
.' < #$ / '
' + $ ' ' $
.' '
$ ' &' + <
'< 8 ' .' / 8
'
$ $ ' .' < ' + $ $ ' + $ ' .'
) + '
' ' ' + $ 3<
> ?
+ ' $ / ' + + * ' $ + .' +' $ '
+ $ .' ' 3 '
+
+ PQ
1'< $
' + $ / ' 8
+ ' <
'< N + '< +
6
7 $ '
M & ' ' 8 / +N
+ + ' + ' / ' $
+N
+ 3< +.' ' + '
< '< '
< '
'+' + ' ' + # < '<
'
3< $ F + ' $ '$ + ' 8
! $ +.'
+ ' < '$ + 7 + ' /< #+.' +< < $ F
+.' + 8
' 3<
> ?
- #
7' '
7 + '
/< >
+ + ' +.'? $I
> ?
3< +N
+ + '#
> ?
3 .' ' +
+ $
$ ' =< < +N
+ + 3 + < 7 '
$ '' ' 5< ' + / 8
E' ' ' .' 7 +
$8
6 < $ ' 8
) < $ / $$ $
' + $$ + ' .' : ' .'< + ' 7 ' / .'
+ + + / ' ' $$ + '
5 + ' 6 ' ' + $$ + 3'FF 7
$ # / +'FF .' 5 ' ! 47
$ 7
$ +'
+ / F
+ 7
'
$' / 7 ' .' / 7 - '
7
$ ' + 7 / + 8 $+ 8 + $$ / + 8 $ 7 < ' '
.' 6
7 ' $ 8 + ' $ + '
$+ / .' $ $ 8 4
+ 7 .' / $+ 8
+ + 8 5
&
18 + 8 < $+ 8 H $ ' .' + 8
)' + ' +
$8 $ F#G -$#2 PQ + + + 6-
/ $ 7 8 + 6- =' ' +
'
$ ' 7
< ' .'< +'
+ ' + / 8 '
$ E 7 3 < $ E ' $' 7 + + '
.' 6 < $ + 7 +
+ .' '
/ 5 6 >6? ' '
M $
7 + E + 8 1' + R
- >R-? ' '
'
+ 7 + 8 &
' ' $'
7 + ' M + 7 3' + R- '
$ + 8
+ / 6- $
5
+ R- 6
< ' ' + 8
'
$ ' R- .' + 6- ) < 8 3
< + ''
'< ' / 7 + R- ' ' ' < F
'
+ 8
+ 6- + 7
3< ' E /< +
' .'< $ + 6 < '
$ $'
+ 7 + ' E
6H 7 + M $ +' < + 6- ' &'H
'
$ $
' / M
$' 7 +8 < + ' + '
/ 8 + 6- '
+ / + +' $ ' 4 + '''
7' +< + 'H '
''
'< '
'
+ / ' + 6- +'' 7
+ ' 6 < $ #$
/ + ' $ 'H ' + ' $ < + + 7 8
1+'< - , 7 + 8
$ +< +
! ' '+ +8 + $
6
< $ $
' +8
+' + 6- < ' 8< '
< 'H 8
' + 6- + +' $ 6- $'< + ' 7 3'< 8 $ $' 6- / $ ' '< ' + + + 6< + ' ' $ ' 7$
+ +< $ ' ' #$
+8 $ + 6- < $' ' < '
'5
+#$
+ 7 + 6- ' #
< '
$ $ $' ' 6- +' + / $ $
$' ' ' + $ '
'
+ + 6- 6 7 $+ ' + 6- 7
$ + / ' + 6- ! / $ + + 6- ' .' ' $ M $ +' / $
+ +
+ $ < 6- + / $ +' .' $ +
+ +' '
3'
' + &' .'
$ +' + .' 'F
< ' .' M < < ' + + =<
' 6- 6 8 ' ' ' < ' + > ? .' # + + >$'
? .' < '< 8 5 ' =< $
.'+ + + 1+'< ' $ ' .' / $'
' $ C -D$ 5
$ + ' ' + + P *Q > $ + + ? -D$ 7 $ # 6- ' + !!I
: S ' + ' + $ 7 + < $ ' + "
.
6 < '
+ + 6- + $
' '< ' ' $ ' / + '#
$ 6- '$
+ M & -D$H ' M / $8 P Q '
+ 8 ! 'F PQ 5
' +8 F
5< + ' + '
'
'
$ + M 2 P< Q ' + + 6- ' $#
+ $ 4 +' '
7 + $ 6 + +' ' / '
< $ +' ' $ + ' $ + +' ' $ + ' $ + 2 +'
$ + $
' + ' + 6- 4 ' $ + +' / 9' +' ' .' + / '
.' + ' 6'<
' 6 < $' ' .' $' -D$ P Q 6- + $$ + + ' .' 6 +8 + 6 $ ' + '
7 5 $#
' '
+ .' ' ' + .' ' 3 -D$ ' + / '
7 +
' $$ $' + / $$ + $ ' + ' $+ 6 ' + + $$ + '< $$ + "#
"#< $$ $' / / + 7 + $ ' ' >? + ' 6 ' < .' ' >? + ' ' + $ '
$ $ 6 ' <
+ 5
/ $$ + '
' +
' ' / + $ F
P Q / 7 ' '.' + < '.'
- , + '
$
+ P Q + '' $ ' +
'
6- 8 + $ < $ + + 5
/ + ' ' + / + 6- 8 'H + - +
$8 .' $
.' ' + + + / +F + + $ ' +' ' ' + + + +
+ +
8
' + / ' + + O ' O 5
/ O + + $D + $' $D ' $ '
6
6+ $D ' .'< 7 + O + +
$ $D 8 + 6- 5< + ' + $D > '? $' $D >
.'?< O + + $ $D / +
8 ' PQ 6- $
' $ 7 $'
' + + '
PQ ' + 6-
/ 8
' M $ 7#
$ $ '
/ 7 + ' ''
+ ' .' '$' $ + / $ ' '$'I ' .' + + .' '$'
$ + '
8 +'
' + $ / 7 '+ 6- $ M 6 <
+'
' + ' +
.' $ 6 '$ + ' 7 ' / O
M '$ + 6- 2< ' $ $ .' PQ
' '$ $ < ' + + 6- PQ 3' .'
$+ M + $ $
< 7 8 M + + 6- 1'< + 7 +
8 = 7 $ 3 < + 6- $
$ '
$ P Q $
< ' $ ' '< 5 ' '
$ / ' $8 + $' + /
" #$ 6+ - 5
7
'
'
$ ) '
$' 7 3 < $ $ $ O'
$ 7 /#'
+ ' ' 6
< +
F O'
2< + + 6 < ' 6- 4' + 6- +< 8 /-4 +< +' '$D 4 + 8 6:6-< 6- ' +'
' 4' ' $
' ' ' ' ' + ' '.'$< + + F + 6- / $ $ 8
.' + 6- < +' + + 3'< 5 $
+ 6- < .'
$ $5
+ + '
+ = + ' '
$ '
$8 + $ <
< + + 6 < 8 + 7 + 8 '
' ' < '< E +
8 / ' $'
#$
6 '
' ' 6- < F
$' $ +
+ 6- 6 < + ' +
3< $ ' +8 / $D
8 < F + ' + ' 3 < < 7 6 < $' '$' $' +' < $ ' < 7 + + +8 '< $ 7 ' + ' .' &
$'
5 +' M + 7 < < + + ' .' +' / +' '
' 7 + ' .' 3 < ' $ < + ' 8 6 - - 7 6 + '
' + ' 6 ' 7 +< $ '
< $ +' $ '
-! '' + / + '
M .' + $
' + 6 < / ' + ' $ ' $ $ +' < < + 5
6+ 8 + '' + +' 6
< .' #
47 '' $ 8 3 < 8
, - P"< (Q $ + + ' 7 + 6- <
+ 7 + $ ' .' ) < ' '
' ! ! '
7
' .' < $
< 7 $ / 7 + $ 6- $ 3'< +8 $ ' +' + ' 6 < ' .' ' ' '' +< +
$8 + + +8 '
$5 + + $ + $' ) < 7 + '
'
+8 / < ' +' 7 ' E'
6 ' + +
$8 +
' =< $' $ '<
.'< ' + +
$8 + / $' .' + 3 < ' '
' + $ ' .' $ '
+ '
/ ' + ' $ F ' < 7 + 7 +
+
$8 + ' 8
6 +
$8 '' + ' 8
$ ' '
2< 8
+ + $ '+' #
+
$8 +
) < ' '
+ ' / ' +
+< $ '$ + ' + + ' + 6$ ! +' +F 8
6+ $ D $8' 6-< + 8
$
$ + $
6- $ $ +8 6 < E 8 / $D
6- ' + + /< + ' $ $ +
+'' 7 ' 8
' .' '
8 .'
% #$
/ 5 + > ? $ ' + / 5 + +'
+ E ' ' + #
$ ' .' ' + 6- '$ $8'
6- ' / + 6- ' 8 '$ 2< '$ $ + < ' ' +' #
' + ' -
.'
5
+ $' '
' 6 + +
$8 / 5 + >' $ + ? $+ ' +
$8 / + +
$8 7 + ' +.' / $ $+ $' 7 + '
/ '
/ '$ + '$ + 8 / $ > ? +' P(Q %&''( )) & *! & / + P < *Q 5< %+&),,,( - %
! % + & -# -# P Q > ?
! + 6+ - >6-? $ '+' / + 7 < .'< ' $ ' =< 7< + < + 6 6 +< + + + $ 6 PQ ,'< + ' .' + $' '
'#
3 < '' 8 8
'I '
' 8 ' 7 '#
$' +$ 7 + ' + '
.' / 7 ' + ' $ +'
' 6- $ $ P Q + +< + ' + ' .'
> +N
+ ? $ '
M .' )
< ' +8 P Q
6 6- 8 $ +8 + '
+ + 6- < 5 $D $ $ $ ' , ! + ' .' / + 7#
' $#
< '
7 +'
+ - >-? '#
+' + 6- - ' + + 7 $ +' 6 ' ' + $ ' .' +' / ' ' + ' < #
+ ' .' 6 ' < ' + ' $ 5
/ ' ' + !2
< 5 ' .'
)' $
' .' +' '
7 + , ! '
< 8 , ! !
$' ' + 6- $ 7 $5 ' 7 + 8 <
, ! ' + + < 8
' M $ 7 7< $ + '
7 '
$ '
3'< ' ' '
7 < < ' ' + ' .' / + + 2' !' , .' +
6- ' $ $ 7 7< ' 3 )
!
+'< + 7 /'< ' 6- .' 7 5 + ' .' $ +'
/ 7 '
+ $ ' 3' $' ' >?< >?< >
? '
< +
$ ! +'
+ $ T'<+U : > '
+ ? ' + +' +
3 8 + ' + +' ' + ' + + + + '
' + $ ' ' S +
+ + $ + + S '
+ +' ' /'' $ + ' 3 < $ V ! < ' $ + $
+ +' + + + +' + : " +' < $ " : +' < < +
' + ! # $ $ < M $ < # $ <
$ # $ # $ < ' M $ ! O7 + + % % % ! "
6 ' 7 $' + 6- $ $
4 7 &' .' $
+' 3 < $ + !
< ' $ +' ! ' $
' $ ' '' - + #
, 6
7 $'I
&'I
>*< <*< ?
9'I
> <*<*< ?
, $I
3' I 7 + + $#
+'
.' $ ! 8 + ' $ ''
/ 7 + , ! ' ' +
$ $#
$
+' $ < 7 + 5< #
' D' +' + <
M M 9' M / ' / *# +
.' + ' 6+ +' '
$ 8 + ' ) < $ + F 'H
/< .' '
$ +
! $ 7 + .' .' < +' +
.' , ! / * .'
/ +8 7 $' ' .' 8 ! / .' $
'
3' 7 + + ' .' $ $ < , ! ' $
' '' 7 !
' / + $'
7 ' 3 < 8 < $ > ? / 8 +
+ I 8 '
' / ' + D' + ' ' 7 + ' 3 < ' $ M + 'I
< $< / $ ' +' 8 < D' M + ' /
+ ' ' $ +' 6- + +< + , - 8 P"< (Q + ' '
$ M 5 +'#7 ' 7 .' ' + 7 + M F ' ' '8 / ' ' + '' + 'H &
6 < , ! + $' ' $' 'H 6 6 - - +' $ +' + + ' 6 5 ) '
$ 7 8 6 < +
+ < $ '$ ' $ W=
8 $X W= 8 X W= F X < $ '+' 2 ' 2 .' '$ 4 6- < .' '
3 < +' .' + W + X < '
$ '
7 + ' ' '+ + ) < ' 6 6
- $ + $' '
3 < ' ' 7< $ +#
' 6 + +'
+ + '
$' .' ' ' ' 6 P *Q ' +'5 3 < 5 $ ' .' ' 6 < + ' + '
+ 5 ' + ' + ! < '+' + ' + ' + ) + $8 + + #$ $ = $ 8 3 7< + +' + $ $ $ + 3'< 7 +
' +.'
6 5 ' + $ ' .' +' '
+ I +' ' .' < '
.' + + = $' 6 +< + >?
' , ! + ' .' ' + .' +'
+ 'H >$ + ? ' + $#
< 8
$ < +$ 6 < ! 1 ,
>!1,? 5
$ -D$ P *Q $ $ + ' + I
: S ' + ' + $ 7 - + + < $ ' + +'
8< 'F
M + / '
P Q PQ + 8
)' .' + 5
+ + - #$ ' + )' " > + !1,? $
+ ' + $ + : 7 8
$ +< + - $ + + 8
$ 6+ < 8
$ +
& - .' ' 5 ' +
7 $ 8
5
+ 7 +
- + ' ' $' - .' $ ' + 7 $ ' .' 7
+' / 7
$ +'
+ + -
+( + - $ + '
8
$ + .' + + / .'
+ O ' 8
$ 6 8 $ $' ' + + '
8
$ '
$ < '' +
6 + '< + - $ 5 8
$ 7
+ 8
$ $ +
/ ' +F
$ +! < ' $+ $ '
$ 8
$ < +
'
.' + - F
' 8
$ $+ +
'
.' + $' $+ $ 5 ''
- $ !! !! :
$+ $ & + #< +'#$
+' 8
$ & + # / +' +
$+ $< $ & Æ # ) < #$
/ ' + + + $+ $ + 5
'
'
' + & Æ # / +
' + # >$' + & ? + & ' + '
< + '<
$ $+ $ & 6 ' 8 +' #$
- '
- < $ Æ< 8 & +' # $'
'
& Æ # &H P "Q< #$
< $' $ + - "
.
$ + 6- +' 6
< ' $ +
6- +' - #$
- + +' # $ + + 7 + & / 8 ' +
+ 5< &H < $ Æ < ' '$ + % M ' +
$ < % $ + '< ' + $ $ $
+ + M $ ' + $ + + +' ' 5
+ ' I
( ' > ?
! $ + $ O7 5 ) ) % + + %
% + + % < % % : +' ' < $ $ 7
+ #
+ + + +' ' & 5 I
%
M ( ' (% ' >?
6'< % ' % ' + *< + + > '
$ ? $ + I
' Æ
* * >?
/ '$ + ' + ' + &H R' #
F P Q F
'$ + +8 + : ' '
&H +'5 : ' # / $ 3< 1 P Q< PQ<
P Q< PQ $ P Q + + ' / : '
+ ' + ' + / '
5
$ 'A< :;
+ 8 PQ $ F
$ + 6+ 5 : '#
'
' / + + ' 6- 27 7 + &H
+'5 : '
+' +' ' 3 < .' 5
+ + +' ' R' F 5
+ ++' + / +'5
+ + I
- + 6+ 6+
' ' )
' < )
6+ ' +< / < + ' $ + ' ' $ #
+ ' 3 5 R' F 7
0 - Æ 5 ' >- ?#>- ? + + 7 ++' 8
$ ' ' ' Æ * * / ' >- ?#>- ? + ' 5
$ R' F .' : ' : ' ' #
+ 8
$ R' FH ' ' 8
$ $ 5 + 6 $ '
$ &H >.' ? ++'
27 8 +
+ ' $
( ' ( ' /< )
:
/ $'
6+ ' ' < ( ' =< )
( ' , 6+ ' +< ' + < '< &H ++'< + ' '
&H 5 - '
/ + ' + + ' 3<
' + 6 < $ $
' $ $ + 8
$ 3 ' < $' '
+ .' < ' +
$ 8
$ +' < 8
'
.' $ .' ' '
$ + 6- 8 2< 8
+ E'
D'+ ' '' P Q /
< '
'
$ + 8
$< +
$ 8
$ / + M '$ + $ ' .'
) 8 + + &H '
7 6 '< 8 $ 4 :$ P*< (Q F ' + M / +' + #
$I 8
$ " < +' +' < $ + " Æ < '
8
$ / $ + M /
+ 7 + $ &H ' $ +' = +' F + +' $'
$ = +' +' $ D' + / 7 + $ 6- $ 8 + ' E + '
$ ' .'
Æ + &H + < +'
$ &H 6- +' &H '
$ + '$ + M $ 7 $'< $ $ '$ + M 7 $ !
' .' ' +' <
Æ 8 $' + -D$H ' I Æ +
' .' $ : '
5
' + ' + ' + Æ + + + .' 5
+I
( >?
6 '< '
8 7 #< '
8 7 + ' <
'< '
$ + > '
? 6
'' ' + $' $ + 7 + 7 $' ) ' < #
' ' + )+ '< 5 $' ' >?
' 2< 6- + +' 6+ ' 5 ' + + ' .' ' + + ' + + .'< 5
Æ I
(
>?
+ ' 3 6- '
'$ + 7 '
$ ' + .' /< $ ' + 7 + -D$H !1, 2 + ' 5 .' > + ? 5 + I /< + '< < + .' >
? ' (
- + : $ +' < ' .'< 5 + ' + ' + $ .' ' / $
+ $ '
Æ Æ 3 M $ ' .' '
/ M $ + ' .' / ' ##
+ M < 5< +
+ ' + + .' + '
.' 2 5 ' + O ' 'I
+ .' 5 .'
! ! ! !
Æ .' Æ .' ! ! !
>? M $ .' ' Æ .' Æ .' ! >$? + M
(
(
3' I ' + $ ' .'
/ +8 + ' 6 ' + + + ' + + .' + ' .'I
(
> ?
6+ + ' $ + + $ ' > ' + '? / ' + + ' + + .'
) ' + + ' .' $ 8 ' '
5
+ ' .' +
+ ' 3 '
8 + # + '< .' =< '' ' + 7 ! ' $
- ! < .' !< ' ! / + ' '
' ' + + $
' .' / 7
' $ ' 8 ' + ' + 6 $ + +<
$ $ $' ' + ' 6 7 $+< + 8 ' ' ! '
8 ' $ ! ' ! +
'
$ .' $ 5
/ $ +
8 ' + .'
M >"?
5 ) ) M < M /'< Æ < $ +F + 8 +
' .' 3 7 5 < ) / $ +
' /
7 .' 5 ' $.
< F + 8 ' '$ + .' ' $'
+
I
$.
/
>%?
'$ + 3' 7 +
' + $.
+ ' ' ' ' 8
/ 7 $ '
' + $.
M $.
>(?
- + ! !
' .' !
! ! ! ! >? M $ .' ' ' .' !
! (
! >$?
+ M $.
/ 3' I ' + - $ ' .'
1(0
WX
5 + I / ' 5
4
+
(
/ / $ < '<
3< $.
WX
6+ $.
< $ .' ' .' < ( /
< / ' $.
'+ 5 $.
)
6 < $
+ .' D' '
' # ) < $.
' '
$
+ + + '
.' < $ M + ! ' 'I ? $' + ' + .' >
+ .' < .' + ?< + ' + .'
$? $' + ' + .' < ' + ' ? $ ' ' +
' $? : .' '< < 5 7
+ 8
+ ' 2 ' 5 .'< < $'
' $.
$ ' $ / ' ' $ '
!
! ! !
! ! ! Æ .' !
! ! !
Æ .' !
! ! !
! >? M $ .' ' Æ .' !
! (
Æ .' !
! (
! >$? + M $.
/ $.
/ 3' I - - + #
6+ D' + $#
$.
.'#
' .'#
' +' 27 8 +
+ .'
! $ $#
>
? ' .' / ' .'#
' +' ' $ +I
> *?
/ ' ' .' +' <
' 3 $.
+ $< ' .' < '$ + .'
> +' $' .'
? ' .' / ' + 5
+
/
+' + < '< < * + ' /< (
! ' (
+ +' > ? ' & + ' + $ + ' ' 8 '
+ ' ##
< $ / $ ' >$' + ' ? / $ /< 5 ' +
(
'$ + $ +
>$' + ' +? /
' '< '$ + * /'<
'$ + $ > '$ + ? ) < ' '$ +
$ / .' $ $.
' .'#
' '
+' D' + / + '
< $ 7 3 < + .'
' > ' ' ? ' ' ' > ? $' 7 / $ '
$ + $ + + +
' .' + + 3 .' + < 47
$ >4? PQ .' '' $ $ .' ' 6 < 7
$ $ ' + ' $'I ? $#
' $ 7< ?
&
$ .' 7 ? ' .' ' ' .'#
' '
> + 4 ' # V ? < $' 7 + ' / # ' F
#$
' $' $< $ '.' $ ! P"Q '
+ ' / $' M M 2 + $
F
$ !
! < + ' .' / $ '
' + * + ' .' /
' $ 8
< $ $ ' < < $' / 7
' < +'5
$ 6- <
' ' $ $' 8
8 '
' 2 + + .' .' ' ' M ' ' 3 ' < $
+ ' + / ' .' .' < '< + / ' + ' $.
'
'.' $ '' ' .' .' +'FF .'< $ < ' 8
.'
Æ
/ ' $.
8 ' ' + .' 5
$
' 6 '
$ ' ' + '
5
$ .' / $ 7 $ 2
P Q "
5
' '$ + .' 5
$
'< !2
' '$ + ' 5
$ .' 47' #
5 #
/ 7' ' > + ' '? ) <
5 8 + / + 5 + $ / '+' + 5 ' $ ! < ' .'
$ +' !< ! ! ' 7' '
' $ 6 $ 8
5 ' $' !2 .'
/ ' $ $< ' ' /+< $ 8 5 ' - + "
$ '
.'< '
8 ' $ 7' 5 / ' $.
< '
Æ < 7' =< Æ
' + 5 2 $ $' + + ' .' ' ' < < $ ' + 5 #' '
/ .' '
' $.
$ Æ
+ $ ' + 5 6 Æ
' + ( + + + '< 5
I
( >
?
/< ' + + .' ' $ $
I
(
> ?
2 ' +' '
/ ' + .' ' + 5
' .' < 5 5#$
' +
< $.< $ FI
$. /
> ?
'$ + 6 ' 7< $ $.
$.
3' + ' + 5#$
' + /
$ '
5 + '
Æ
Æ 6 5' ' < +
$< '' 2 5 ' + ' +
5 O ' $ 6 < ' $ ' .' 8 ' 7' 5 6 P Q +' $ $
' + 7' >$.
? 5 >$.?< 5 ' +' + $ +I
$.
$. > ?
' ' ' + 7' 5 6 7' '
$ 5 ' $' 5 '
$ + < + $ $ $ P Q 6+ .' '
$
5
< .' ' + '
$ <
+ + .
Æ Æ Æ Æ ¾ ¾ ½
´ µ
¾
´ µ
3' I ' + 5#$
' + / $ + #$
6- 7 E' P"Q 6- $ /+ M $ 7#
+ 7 + 8 ' $ 3 < + '
7 + 8 E#
' + 8 3< F 7 + ' + ' $ ' .' +' /
+ E ' + ' / + 7 ' ' !
6+ ' $.
+ $ ' .' ' M $ + ' + .' / '$ + + +' 7 F + $ /'< + $.
'
$ '
+ < + '$ + 7 F + +' ' .' 5< + + +' ' ' $
' .' ' ' + $ ' .' 27
7 F
/ +' ' .' $ D'
+ >&23? &23 +' +I D'
+ I &23 +' $ $ + '< ' ' ' <
' + D' / ' D' + ' 3 < +' ! $ ! 8 D' + $ < + ' + $ ' ' +
D' 3 < $
! < D' ! +' < < ' ' $ ' + $ '
+ 0( $ ' ' * $ 5
+<
/
+
20
' *
' ' * * *' !
"
0(' * 0(' * ' ' * 0(' * 3' I -# 0( ' * ' * 0(' * 0( ' * > ?
>?
/ M $ ' > +< ' M? $ + ' ' / $ ' + ' M 3
F ' $
&23 +' / + 7 + +'
' .'
#
/ ' $ ' .' D'
+ & < ' D' + D' + &23 $ ' 3' ' ' $.
$ ' .' D' + / -# > '?
/ ' + 0(' * '$ + ' * ' /< + $ M + <
+ + * + + ' '< + ' + 0(' * + .' < ' + 0(' * / + ' ' * ' $ * /+< ' ' ' * 0(' * '$ + ' * < + *< + + + * ' + + ) < .'
+ + ' < + ' - ' ' 57
' ' < + + + * < ' ' * 0(' * '< ' + + ' + + .'
3< +
' P*< Q ' + ' 6 7 8 '' + ' + $.
* ' ! ' $.
F + 5
I
(
>?
/ ' + ' $ 6
D'+ < ' + $ / +'
$ I
$ . >? /< $' ' + ' .' $' ' >+? $ +
' $ + .'
>? . >?
/< (
$' + / $' ' >+? $ + ' +
>'? $ + .' / '$ + 0(' * =< + + 5 + 0(' * . + . '
' + + + ' + + + + /< + + + (
/ '$ + ' ' * 0(' * / $' ' ' * 0(' * . + '
' + + + . ' + + + . + 2< (
8 + < $' + .' *
/ ' '< I
0(' * ' ' * 0(' * >?
/ 5 F + ' $.
8 '$ + / ' + F + .' '< ' ,' < '
'' + ' + $.
* ' ! ' F 7 + -# $ 7 + ' 8 $ * 6 $ < < 7 * 8 ' 4 8 $ ! ! !
+
20
' *
' ' ' !
* * * ! *' !
"
0(' * ' * ! ! #$
3' I 47 + 7' + -# ' $' $ '
$ ' /< $ F + ' * 6 ' < $ F + + ' 6 '<
$ 7'
F + ' .' .' '' < '
7 + ' ! ' $ < ' .' 5 /
5' -# + 7 2 '$ + + M
$ F + $ ) < + ' + $.
'
' + $
' .' 3 < + $ ** .' $ '
< .'< + $.
'$
' ' $ ' ' + 5< $. 6 5
$. I
( $. /
>?
> ?
/ ' ' $.
$' + ' .' /'< + -# ' ' ' + $. -
7< -# $ '
F + + ' /'< E +
' $. ' F + .'
- #
2 + .' ' D' D'
9' ' $ &23 +' ' 6+
' ' $ ' + $.
+ '
$ ' ' ' $ '
' + + .' > + -# ? $' + ' '
< '
$ '
+ ' .' '
$ > $.
+ + ' .'? '< <
-# > '?< ' + + ' )
< ' .' D' $ ' + ' .' / 7 +
$ .' ' D' 7 + ' '
$' 5 ' + M
$' D' 8 + / + + ' .' + +
' ' + .' / + D' 6 +< D' .'< + + + 7
D' ' ' < + '
+ 27 7 $ '
$ / F + $ $ 1 < 1 : < - " + + + + < - " / $ ' ' >* ? F + ' ' >*?< -# 5 -' 8< 7
+ '< ' .'< '' < 5< ' + 4 + ' 5
+
+ > '? < '
.' ' / + .' (00' (00' F
F + $< ' $'
+ .' ! ' F< ' $
/ ' $'
+ 5 ' < F + ' < $' + + ' + + .' ' 8 + .' 3 ' ' + ' < + F + ' ' / ** ' + +
' > ? / + * ' < '
$'
+ '$ + ' / + % 8 ' 7 + ' 6 '< 8
** ' ' ' 7 F + $< 8 + F + $ ' /'< 1 57
' $'
$ / ' '$ '
+ $.
$' + .' '
9' + + <
'< + $8' .' 8
' + ' < ' 7
+ 3' 7 + + -# + ' !
+
2 0
' *
' ' ' * * * *' !
!
( " % & ' ' *
" () * ' *
+ (%%' 1
$ () * ' '
, 0(' - " - ' 0(' - " ) (%%' &
(%%' 0(' - " . / $ ' 0 " % 1 ( (%%'
# / " * % 3' I -#
- #
! " ! # $ ! " ! # $ ! " ! " # $ ! " ! " # $ 3' I -' -#
&
F + $
*
*
*
*
*
2'$ +
*
*
*
*
*
2'$ +
.' "
*
*
2'$ +
2'$ +
.' -' >?
"%
%%
%
%*
"
"% ("
( "
*%"
/$ I -' / ,+ + .' &23 +' ' 2 5 ' + ' $' ' ' 5 + .' '
-# 8 &23 +' ' / 7 ' + =< ' ' +
&23 $' $ ' $ / +$
$' +' $ .' +' &23 #
' 8 7 < ' .' + + < '< $ $ < 5
+ -# $ + ' 5#
$
' $. / 7 + 5
7
& '
7 + $.
< + ' < -#< E '
/+< ' + + '+' + #
-# -# ' ' + $.
+ $ ' .' > + ' + + ? '
$ F F + +' ' > '$ + #
+ ' .'? /'< F $ + M '$ + + ' +'
)' 8 8 #
/$ ' + + F + $ + 8 7 ' ) < -# + ' F ' ** + + / ' + -# $ + +< F +
.' $' 8 $ F -# '
$ '
$ F ' ** < '< $ + ' -# / + + -#
& $ $ < -#
- F + $
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
**
**
**
**
**
**
**
**
**
**
**
**
**
**
"
2'$ +
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
**
**
**
**
2'$ +
.' "
"
"
"
"
"
"
"
*
*
*
*
*
*
*
-' >?
%
*
(
"
(
%(
"
(
"
*
%
(
*
(
"*
"
2'$ +
2'$ +
.' .
F + $
*
*
*
2'$ +
2'$ +
.' -' >?
*%*("
"(
%%
*"*
( %*
("
/$ I -' / ,+ + -#
$ $ F ' * /+< -# $ '
' /$ 'F ' $
-# / '
< $ $
' $ &23 +'
$ % & / ' + 7 5 + ' $.
+ /
' $
+ + +
' I
>"?
6+ $ ' .' D'< ' ' $ '
+ -# $ + + + ' ' ' 6+ &23 +' '< ' ' < '
$< $.
$ $
' ' ' 5 '#$
'< + #$
:
' ' ' * * * &23 + .' '
< ' ' 0
< 5
I
0(' * ' ' * 0(' * * * ' '
>%?
0* ' *
0
* ' 0* ' '
>(?
6
+ ' ' ' '
!
' 5 + $.
' $' + > 8 - ' + '? ' ' ' $ < < $ / + ' ' .' .' ' / $ ' '$ + M >0(' * ? ' + .' $ ' ' / ' 8 $ &H
$' ' + ' + .' 8 < +
+' &23 ' 0
$.
6 < 0
!!" $.
! ' F 0
+ 6- / $ ' .' $ + ' '
.' &' ' $ ' M $' ' =
8 $ > ' + '? /+< ' + ' ' .' / ' + ' ' .'< 8 .' ' 9' ' M .' + .' D' + + .' / 8 .' ' ' '
/ 8$ $ ' 0
< $<
+ 5
+ , - , -#
.' M ' <
'' 6 D' + ' ' + 7 $ F + ' ) ' < $ '
' = ,' P"Q .' + ' < < '
/ ' + ' .' P(Q ' + + $ ' + '
' + ' .' 6 ' '< '
+ ' $ ' + + ' 6
< '
, - .' ' < <
' &23 +' ' 6+ 8 .' % (< $ ' ' 8 ' 'H ' ' 5 ' / 'H
'
$ 8 ' + ' .' '
5
' , - 8 3 < '
' + $ 'H ' ' + 7 'H + '
0
' +' + ' 7 / 5 + '
'
'+ 0
+'' + 8
6 < 5 '#$
' + 5 : ' ' ' * * * &23 + .' ' < 5
' 0 I
0* ' 0(' * * ' * 0(' * > *?
' !/
3+
2 0
' *
' ' ' * * * *' #
( () * * *
(%%' 1
+ () * ' '
$ 0(' * , ' ) (%%' & (%%' - / + ' . ( (%%'
0 / ! * % !
"
3' I 0-#
0* ' 00* ' *
>
?
/ 5#$
$ &23 +' 5
.'
' / + .' ' + ' ' ' ' / M $ ' 5
$ < ' 0 $ 7 #$
'< $.
' ( #
/ + ' +' 3' '
+ 4 ' ' >* ? 7
+ * .' '
.' ' >
(00' ? 3 ' F ' + 0-# + $' ' ' 0
< 7 $.
6 $ -# ' + / 7 + 0-# + / + ( 8 * + " 8 ' / '
+ $ F + ' * .'
7
< E + - !
! ! ! 3+
2 0
' *
' ' ' ' ' * * * * ! * ! *' ( ! * ! " (%%' + ' $ 0(' * ' ' * , (%%' + ' $ 0(' * ' ' * , (%%' . ( ! * ! " (%%' + ' $ 0(' * ' ' * , (%%' + ' $ 0(' * ' ' * , (%%' . ( # % 3' I -' 0-#
!
+ ' >F + ' ' ? /'< 7 +
*' ' 6 5 7 + + ' + 0
'
0-# 2 5 ' + ' '
/ .' 8 + + ' ' + +
.' ' < '< ' 5 .'
< $ ' ' 0 / 7
+ '
' < #
0-# 7 ' '
$+ ' $' F ' ** + + .'< 0-# >
-# < + 0-#? ' + 6- ! &
$
'() $
' ' E 7 +
57 + + +' 3' ' .' '
$ &D' 2 3 2< + + &23 +'
+ 6-
&23 ' 7 'H '
'< 8 , - $ +#
+ ' ' 8 6 - - 'H 7 / '' + ' < < + $ ' $ 5< &23 +' + $
$' $' ' + ' $ 8 '' + &23 +' + ' / 7
$ &23 < '< .' ' 7 / &23
'' D' >#? $ '
$ ' ' +
$ ' ' + &23 +' 3 < ' +
'
' ' > ' ' '
8
$D? =< &23 +' $ ' $' >
? 3'< ' .' $ '
, ! +' / $' ' .' + + &23 $ ' !! *$
6 ' + $' 6- ' '
' $8
/ ' $ + / F
+ 3< $ $' 6- ' /< 8
$ +' + 3< ' ' ' - #
/ + 7 6- - 7 7
' 7< '
+ + 7 6- ' $ 5
$ +
M $ +'
+ ' < +
$8 ' 6- < '
' + O $ +
+ ' 6- + + < '< '
+ ) + '
$ + H
+ ' 8 '
+' + / $ 8 $ + < + 6- 6- ' $ ' < / + ' '
+ '< 7 < < .' '< 1#
' +' ' / $ 5
+ ' + 7 + '#' + 1#
#
' E' ' ' $' $ '
' ) < #
' '' ' + '< .' D'
/< '
.'
$' + 6- 3 < 7 $ #
$ / + 5
' $
$ 7
/ + ' $ $D + ' ' < '' 8 5 8 5 6- .' 5 ' 3 < /-4
+ 8 +' + 7 /
'
3< 8 &' -< !'< $< 9' < 3'< 5 8 ' ' ' 3 < ' < + '
+
$8 / ' $
' & ! '
$ 6- ' .' $< ' '' + < + + '< + 7
+ .'< + ' + + .' &'
.' + ' ' + > ?< ' $ + .'
' < + .'< $'
8 + ' + #
.' / 8 F
' D'
< $
6 < '
$ $ 57
'
< 5 $' '$D &M ' M $' # + ' ' .' 2#
< M ' 7 $ ' + .' $ 9'
!
!!
+ + + ' ' D'
$ + 7 6 ' 5
+ 6- $ '
'$ + 7#
8 + ' 8 / + $ 7 & + '
'
' : - + ' + .' $ < 5
+I
. . .
. #
> ?
. + ' - + + ' $ + + '
6'< # ' $ +
' $8 # / '' + $ '' + ' > $ ? ' ' 8
' #$ ' + $ ' .'
6 < ' < '' /< ' ' N ' 8 /
+ + ' / $ .' 8
+ / F
+ ' # ' '
5
' 3' " 7 / ' '
+ 5
' >
< % 8? 8
'< 5 5' + ,N ' '' $
*Y< *Y< < **Y ' 8 $
+ 7 ' / + ! < $ + D# / 8 **Y > #
5' ' ' + + **Y? 3 + <
7' 8 $ D#
>DZ ?# > ?
2 < D< + 8 ' >+ #
5'? $ D# >DZ ?# < D# + >DZ ?# 6 5 % + N 5' + 7 5 " *Y< *Y< *Y *Y .' *< 8
Y *Y< *Y *Y .' *< 8 Y "*Y< %*Y<
- !#
0 . 0
"
%
-V/< ,V/
-V/< ,V/
-V/< ,V/
14 0
-
*
*
,
*
*
*%
3' "I 5'
2 0 0
-
*
*
,
*
*
*%
-
*
*
*
*
*
*
*
*"
*%
*(
,
3' %I 6 + 5'
!&
1
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
0.8
0.9
1
3' (I , (*Y **Y .' *%< 8 **Y
3 .' ' 5' ' + + .' 5' !
> ?
< '$ + .' '
+ # .' ' '
5' $
, ' 5' '' / J 7 #
' + G 7 ' + / ' / F ' '
+ + 3' ( ' +
5' 5 % ' '
+#
+ ' / ' ' 7
'F
' , ' ' ' ' .' $
.' + $
+ '
' + $ 6 ' / + 5 6 < 8 6< ' .'< 6 ' '< .'
+$ ' $ ) < - !"
' $ < + ' $' ' ' >? $' + ' 'F ' 5' ' $
+ $ + >*<*<*%? / + ' + ' +
, > ?
+ ' ' / + ' $' , >*<*<*%? > ?
/ ' 7 '
6- ' ' ' $ 5
' + + ' + $ 2< ' +' '
.'
' + ' < '
' + 27 8 ' + 6- '
&+ 5
-# 8< - '$ + ' + ' .' < -# '
$ $
' .'
/ ! ' + '
$
+ ' $
8 / + ' .'8 6 +$ ' $' + + ' ' 'M '
3 < ' < *< < *< *< * ** ' $ + '
+ / $
' + ! ." . $ -#, ' + + # .' / + 5
<
."# ." . > "?
' + M .' * $ .' +
+ .' ' $ ' $ + $ & ' + ."# + .' F
/ + $ +' + .' + $ ' ' 7 ' + P%< Q + +
!.
2'$ + '
2'$ + .'
F >R$?
'$ + .'
,
*
(
**
"
%"%
*
"
(
"*
(((
( %(
/$ I F + / + + ' 6- 6 8 '
+' I < -2< 66 !6 6 ' 7
' $' + ''
'$5
'F
''
$'
&23 +' + ' + '$
+ 5 ' (% '$ + ("( -2
' $' < 66 ' !$ + 6#
' + 5 6+ >66? !6 ' !$ 6+ $ /$ $' F + 6 < ' 6- ' +#
< 6- ' 3< ' '
'
< $ M $ ' 8 < ' ' .'< ' / + + .'< '
' '
8 / < $#
< 8 + #F
4' ' $ O + + +'#7
< - ' +8 + < ' 6 +< '
$ 5
3'< /-4 .' ' $+ 7 $ ' M < + ' .' '
M .'
7' 8 6 ' /-4 '
5 E 7 '' +' ' .' ) < ' ' O '' $' ' '$ ' + ' '' 8 5 '
$ 5
&23 +' + /-4 ' 8 8
+ 8 ' + + /< F
$ + ' ' 7 +' / '
/-4 $ '
+'' + 8 / +
$
' $+ /-4 2< ' $
' ' $' +'' /-4 ' )' ' D $ '
+ / M
$ F + F + $ /< + '
$ D' 7 '' ' E +
+'
( *
) ' 5' <
M $ M 2 '
$ $
+ M $ 6 +< 8 5
7< 6- 7 M
$ 5 '
$ +'
5 + 'H + 5 $
+ M
$ '8 ' $ 2< $ M + 5 $' ' + +< + 5 $ < Y $' $ 8 '
$
5 + ' 3 + ' + 6- < Y $ 5 *Y 5
5 '
+ M $ #
.' 5 2 7 $ +'
+ 3<
'
.' $ .' /< ' !< $$ $
+ M '
'
$ / #' < 8 .' .' < '< 5 M + #' $ D ' '
' $ M $ + + 7
8< ' ' + ** + 6 6-< '
5 27 8 + $
!
#/
+ ! ' J G .'
2 2 2 + ' + < 5 $ +I
( + .' 2 ' G + .' 2 ' J
> %?
2
/ # ' ( ( ( $ + $' * '8 3 '< $
$ " < 5
$< + #
$' + +
I
" (
(
(
> (?
>*?
= ' + " 5 8
M $ < #
< $$ ' $ : $
" 5
$< #' I
#' 3 " > ?
3 '' $' +' + #
$' + +
/ ' ( , ( ) 3< '
'$ + .' + J $ G $ + $
$' ' * ! $ '$ + .' + J +
$ G 6+ '< $ '
$ $' /< '
- ) &
2 $' + ' / $ #
' + ' 5 * / 5
$7 $
+ + / #5
$7 N5 #
'
$ 4 H 3< 5 '
+ .' < 7' + &23 #
$' ) &23 +' ' .'< '
8
+ ' + .' 0-#< <
+ ' + $ &23 + '
&23 + .' ' $ .' ' < + .'< + ' + .' '
3< 8
5
+ '
5
3' ' 7
+ 5 + .' + + / ' ''
'$5
< < < $< < '< 8
< + 5 + $' # $ / 5
8 + 7 ' ' 7 + '+' 6 ' + < $< ' 8
'$5
6+ + '$5
/ '
$ + 7 + '$5
/ 8 I
!7 < < < '' 8< $ + 4 + < < < D' +.' / 5 + ' < < '
$ 'H < + + #
.' 8 '< '
+< 'E7< 3 < / $ $ < '< .' ' $' /
'
-/H PQ + + + -/#
+ ! PQ / $' -/ 6- $ +
$ / + 7 / -/ 6- 7 $
/ ' + -/ +8 ' 6- + 7< ' -/ ' + 7 ' 7 + + ' + + $ -/ '
7 ' .' $#
< 8 ' ' #
#
DOCUMENT
BASE
INFORMATION
REQUESTS
Parsing routines
Preprocessing routines
Logical indexing routines
DNF
QUERIES
DNF
DOCUMENTS
Algorithm A_BRsim-SC
Sorting routines
RANKED LIST
OF DOCUMENTS
FOR EACH QUERY
Computation of non-interpolated
precision vs recall figures
RELEVANCE
JUDGMENTS
NON-INTERPOLATED
PRECISION vs RECALL FIGURE
FOR EACH QUERY
Interpolation & averaging
FINAL RETRIEVAL
PERFORMANCE
RESULTS
3' *I !#$
6- - #
!!
%
& &'( ) *+' ( ,
)
-
(
.( / / -
0
& ( / 1(/ '
/ + ( ) (
( +
/ ( %( ))+ ) ( (
/ ' + ( 2
+34
) ) ( % + ( / ( ( (
41 ( )
' ( +
) ('
5
0( (
'
( )
( 1
+ ( 2
+34 ( %( /
1 / +
( +
) / (
)
(
( (
(
(' ( (
'
' ) (
5&5- */ #!6
&
71
8 5
%
(9
7
:
-&5 2
+34 +
%&2 / 5
# #
2
5&!6; 8 /
#"6 ; .<
!!
!!
!! !!
!! !!
!! !!
!!
!!
!! !!
!! !!
!! !!
!! !!
3' I ' + #!
+
2
3 & ' / 4* 5 4 4
)
6 4
6 *
& ' & *& *&
& *7 & 4 4 /8/ ) ' + 96 & ' 5 3' I + .' + ' .'#
' +' ' 5 +
'
) 7 $ < 7 ' $'
+'
+ ' .' 6 < 0-#< ' E $ ' .'< $
&23 +' .'< $ $ 8 ' +
.'< 7 $ ' .' &23 +'
+
8 + ' + ' ' + '$5
' $
D' & $ < '' 6
+ $ D' +' $ .'< ' + ' .' &' '$5
6'< '$5
M + ' /< 8
M ' + + ' ' + &23 / ' $ &23 +' '
/ 7 $#
6 + ' + $ 9' 7 ' ' 7
( ( )'
) ' .' &23 +'< 8
+ ' +
.' '
: &23 ' &23 .'< 0-#
' ' + 0
'
6+ 5 ' .'
< 0-# ' ' 0 3 .'< ' + / 5 8 5 * ' ' ' 5 + ' 3 .' 8 8
+
' #
# 5' '
7 5 "< 8
F
+ ' ' + '
+ 5
' / D'
+ ' + ' + .' 3< - ##
/
$
'
R
,
7
7
7
7
7
7
7
7
7
7
7
7
7
/$ I &' '$5
'' < -2< 66 !6 ' 5' < '< + ' 5' / 5' .' / ' 5' 'F +
+ '
* 3' + $ '
+ ' ' I < -2<
66 !6 3 < 7 ' 8 ' '$5
< $< ' 8
< + $ 2 '$5
7 /$ '$5
' + 27 + 7 3< +
7 + ' &23 +' ' &23 +' ' / +' 7
$' $ D' D' / 7
+ ' + 5 +
6
+ ' 0
' > 7'? ' $ $
7' 5 6$ (
3< 7 ' .' &23 +' ' / $ + 7 $
< 5 + 7 ' '
'
'$5
'
$ 6'< '< $
$ 8 + ' '$5
+ ' ' &23 ' ' $ =< '
-/ ' + ' + $ ' $#
D' + '
$.
'$' ' .'#
' +' =< .' 3' 7 + 7 7 #
< 7 + '$5
+ ' D' +'
$' 2 ' 7
+ !6 < < '$5
+ $ > $ ? 6
7 + .' 8 )
' .' 7
< ' ' + ' + +' #&
&' %0&* & ,*, 2%2 =>&.7?
%&5, %7, 7%? %7, @&>, %7, %,- =>&.7? &2* &>@, &
0*, *, 2%2 &,* 2 %7, &2>=3&-,5&2 525,.% A, ,,25, ,B5,A %
&55--*&%, %7, *B,%? *5@-,2% &2* -*, &55, 20 &B&=&=,
, 0
!! ! 3' I !6 ' -/ 7 ' '
+ $ >+
+ -/< '
4 + 5
%*/& %*/&?
'
.' ' '#
N.' * 'N.' < 'N.' -8 $' + #
' $ .' ' 6 + ' , + $ -/ ,!-
>, ! + - ? + ' + + , + + ,!- + +< ' ' $.
'$'
' .'#
' +' / .' $
+' $' '
' >? 3 < 5 < '
' +' ' '
+ ' =< ' 8 $5 +
$ + ' < < +' 8 5'< '
8 ' > ? '
$' 7 5 + ' +
>D' ' ,!-? ' + >,? / M $ $ + .' ' 6 ' < * ' ) < + $' + ' ' < * 5 ' + + ' .' >$' + + + +'
' + + +? 6+ ' '
$ < + *# + 'H 8 8 ) < + ' $' $ < *# ' 3 + < '
+ * /'< ' ' < < $ '
' + '
/$ < "< % ( N ' + 5 + 7
/ 5 ' + $ N ' $
+ ' - #"
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 1,+
/
*
**
*"
* * *(*
**%
** **(
**
***"
**(
* (*
**%
*" (
*
* "
* * **% ** (
***
***
**(
* Z % Y
/
*%
*(""
*%%
* %%"
* (
* *
* **
**
**"
***
* %
Z Y
/R
*
*
*%*
*
* %(
* %
* %
**""
** %
***
**"
**
Z" Y
/R
*"*
* %
*(
*
* (
* (%
* ((
**"(
** "(
** (
**"
**"
Z( Y
*
* "
Z Y
* Z"( Y
* %
Z % Y
* %"
Z"% Y
""
+7 1
/R
*
*(
*(
*"
**%
* %*
* **%*
** *
** ***
* "
* ( (
/$ I 1
T
W
TW
TWK
TWKA
BVSP - TWKA
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I # , 0.8
0.9
1
#.
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 1,+
/
* (
* **
* %
*(
*%
* * "
* *
** "
** * "%
* (
* *%
*%
*%
*%"
*(
* %(
* (
**("
** "%
** *%%
#( Y
/
* (
* *%
*%
*%
*%"
*(
* %(
* (
**("
** %
** *%%
#( Y
/
* (
* *%"
*%
*(
*%(
*
* %(
* (
**("
** "%
** "
*%%
#( Y
**""
*" "
# * Y
*" "
# * Y
*" %
# ** Y
+7 1
/
* (
*%
*
*
*"
*
* %%
* (%
**( ** "(
** *"%
* *%
/$ "I -2
1
T
W
TW
TWA
BVSP - TWA
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I -2 # , 0.8
0.9
1
- #
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 1,+
/
*(%
* %"
* * **%"
**" ** **
**
**"
**
*
* "
*
* "
* "
* (
* *
**%(
**"%*
** "
**"
**"
* *
Z* Y
/
*%*%
*(
* ""
* %
* * * **(
**%*
**" *
**(
**%
* %
Z Y
/R
*%*"
*(
* ""
* %
* * * **(
**%*
**" *
**(
**%
* %
Z Y
/R
*%
*
* ""
* * (
* *"
**(
**%*
**"
**("
**%
* %"
Z Y
**%
* Z Y
* %
Z(( Y
* %
Z(( Y
* %
Z(% Y
+7 1
/R
*%
*
* %
* %
* *(*
**(
**"%(
** ""
**(
**"
**
* * *
/$ %I 66
1
T
W
TW
TWK
TWKA
BVSP - TWKA
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
3' 0.4
0.5
Recall
0.6
0.7
I 66 # , 0.8
0.9
1
&/
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 1,+
/
* %*
* *%
** *
**
**(*
** *"
***"
***%
***
***(
***
** * (
* * * (
**%
***"
** ***
***
***"
****
***
***
Z Y
/
**(
* " *
* (
**%(
**
** *** ***"
***
***
***
** **
Z Y
**
**(*
Z Y
**%
Z( " Y
+7 1
/
* %*
* "
**%
**
** ***(
***"
***
****
***
***"
***
** "
/$ (I !6
1
T
W
TW
BVSP - TW
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' "I !6 # , 0.8
0.9
1
- &
' + /
' + $
,
"
%
"%%
% *
% (
%"
*
/$ *I '$ + $
' + $ ' + , $
+ -/ 6 '
M + ' '$5
'
6 $< / + '$5
<
+ $ '$5
< R + 8
'$5
+ ' '$5
)
+ ' ' '$5
7
3' < < " ' ' 5' + + 6 < + '$5
' ' -2H $ ' $
'$5
7
$ *< '$ + >+
? $ '$5
-2H $ 8 ' + ' 6+ $ '< 7
' $
6 +< ' $ < '< +.' + $ '
' + 8
) < -2H
' < < +
' < < -2 < ' +
+ '$5
' 5 + 7 +' '
6 , ' '$ + '$5
$ 6+ , ' ' ' $ ' + +' ' ' $ ) , '+
,!- < M .' + / 5 ' '
' $' ,H + ' + + ,!- D' '
' 8 < +'< , '+ ' / '
< ,!- ' $ + 8 6- +
' '
$ , / + 6- +
' + M M 6- M /
'$D + ' .' < + + $'
M< '$ + ' .' M< .' .'
+ + + '
$ M / $D F + $' + $' '
+ + 6+ $
' $ '
6 $
+ ' + + # + ' + + $ $' # $
8 M &
6$ (
6 + 7 '< &23 +'< D' D'< '
+ 7 ' .' / + 7 $5 6- + / $ &23 + '< + '$5
' 6'< M '$5
+ '
M < '< 8 ' &23 +' ' ' + '< ' 7 '$5
3' % ' + 5 $' ' 7
$ &23 +' ' -
.'< 66
.' '$5
'' 7 ' $ $ ' &23
+' ' 6 .' + '$5
'< .' < -2 !6 7
&23 +' '<
' &' %0&* & ,*, 2%2 =>&.7?
%&5, %7, 7%? %7, @&>, %7, %,- =>&.7? &2* &>@, &
0*, *, 2%2 &,* 2 %7, &2>=3&-,5&2 525,.% A, ,,25, ,B5,A %
&55--*&%, %7, *B,%? *5@-,2% &2* -*, &55, 20 &B&=&=,
, 0
!! !! ! 3' %I !6 ' /$ < < 'F ' ' $
+ 7 .' 6 + ' + 3* + ' < $ ' .' $ &23 +' ' 3*45& + < &23
+' 6 $ ' + $ 2&# / ' +
-/ + , 3 -2 $ 2&# >
7 < /? $' / 2&# / $'
2&N)-# -2 7 '$5
/< < '<
2&# < + $< 5' >5 (< *< ?
6 < 2&N)-# '+ 2&#
> Y + ? / ,< $ $ $ 2&# > Y + ?< 5 + 2&N)-#
3 -2 ' $
/ 2&N)- +#
$ 2&#< 7
'$5
> %Y + - &
2 1 1,+8 62 +7 1 1,+8 642
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , /R
) H $ [ .
*"*
* %
*(
*
* (
* (%
* ((
**"(
** "(
** (
**"
**"
/R
,
*
*(
*(
*"
**%
* %*
* **%*
** *
** ***
* "
Z Y
/R
H [ )H ) H .
* **
*(%%
*(
*"
* *"
* "(
* *%
**(
** **(
**
Z Y
* %"
* ( (
Z Y
* Z((Y
/$ I 1
TWKA. Only ANDs
BVSP - TWKA
TWKA. ANDs/ORs in docs & only ANDs in queries
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Recall
3' (I # , 0.8
0.9
1
&!
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 1,+8 62
/
) H $ [ .
* (
* **
* %
*(
*%
* * "
* *
** "
** * "%
/
) H $ [ .
* (
* *%"
*%
*(
*%(
*
* %(
* (
**("
** "%
** "
*%%
#( Y
**""
*" %
# ** Y
+7 1 1,+8 642
/
* (
*%
*
*
*"
*
* %%
* (%
**( ** "(
** *"%
# Y
/
H [ )H ) H .
*"*
* ( %
*"
*% *
* * *"
* """
* %
**((
**%("
* %*
Z %Y
* *%
# Y
*"%
Z *Y
/$ I -2
1
T. Only ANDs
TWA. Only ANDs
BVSP - TWA
TWA. ANDs/ORs in docs & only ANDs in queries
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Recall
3' *I -2 # , 0.8
0.9
1
- 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y ,
Y , &#
1,+
62
+7 1
/R
) H
$ [ .
*%
*
* ""
* * (
* *"
**(
**%*
**"
**("
**%
* %"
/R
*
%
1,+
642
*%
*
* %
* %
* *(*
**(
**"%(
** ""
**(
**"
**
* # *Y
/R
H [ )H ) H .
*"
* "
* %%*
* "
* * *
**%(
**"*
** ** **((
* "
# Y
/R
H [ )H
$ [ .
*%"
*%
* ("
* (*
* "
**(%(
**%
**"**
**("
**%
**%
* (
Z*Y
/R
) H H [ )H .
**%
*% * (("
* *"
* *
* *%*
**(
**"
** "
**"
**"
* (%
Z"Y
* *
# *Y
* %"
Z*Y
* %
Z*Y
* *
Z%Y
/$ I 66
1
TWKA. Only ANDs
BVSP - TWKA
TWKA. ANDs/ORs in docs & only ANDs in queries
TWKA. ANDs/ORs in both docs & queries
TWKA. Only ANDs in docs & ANDs/ORs in queries
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Recall
3' I 66 # , 0.8
0.9
1
&&
2 1 1,+8 62 +7 1 1,+8 642
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , /
) H $ [ .
**(
* " *
* (
**%(
**
** *** ***"
***
***
***
** **
/
* %*
* "
**%
**
** ***(
***"
***
****
***
***"
***
#%Y
/
H [ )H ) H .
*
* %
* **%%%
***
** %
*** (
***
***
***%
***
** "
Z"%Y
**%
** "
#Y
** Z Y
/$ I !6
1
TW. Only ANDs
BVSP - TW
TW. ANDs/ORs in docs & only ANDs in queries
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Recall
3' I !6 # , 0.8
0.9
1
- ? < .' $ $ 2&# >
7 '$5
/< ? , / '
+ + '
E > + +? +
+ '$5
) < ' 2&# $#
+ + + '$5
/ M $ 2&# 2&N)- + 66
!6 3 66 '
7 &23 +' ' + $ ' .' 18 < 2&N)- ' 7
&23 +' .' 7
&23 +' ' '+ 2&# 6+ 8 2&#
+ 66 >$ %?< ' + $ 2&# >/R? .'
$
+ 2&# >* %" ' * * < M + Y? / $ O' + +
'$5
>$?< O' + '$5
' /< 7 +' + '$5
+ / M + 2&# $ 2&# ' 5< M $ $ 2&#
2&# Y< (Y Y + < -2 !6< / + 5
+ +
< '< + + + '$5
+
2< 66 .' '' + '$5
+ &23 +' ' / ' + $ ' + &23 +' + .' / $ ' $
' $ &23 +' ' .' $
&23 +' 6 + < "Y 2&# 6
7 M $ $ 2&# $ 2&N)- 5 < M + $ 2&N)- , .' 5 > % Y ?
/ 2&N)-# + !6 '+
$ 2&# >"%Y + ? , > Y + ? / M
< 7 M + 2&N)-# 2&# 5
/ ' + +
6 ' + 7 +' + ' + 6- + + 6 < 7 7 +' D' D' 5 + + 6 8$ M + $ 2&N) , > "Y< %Y< %Y Y + <
-2< 66 !6 ? 6 8 ' '
$ + 6- $ + / ' + &23 +' 5 $ / + ' + ,!- + -
.'< 7 +' $' ' $ 7
'
' &23 .'
&"
&.
+ 66 /'< 7 '
$ $ $ +' $' + &23 .' +
' < +8 < $
' >8 $#
? 7
' > &23 +'? 5 ' 9 + 7 + 'F
+ .' '
/ $' + .' + + '$5
9' ' '$5
< < +F + .' ) 66
' .' '' &23 +' ' 8
&23 + .' 6
7
.' ' $' ' ' +
+ # / ' + D' + .'
+ ' 7 )' ' .' $
3'< ' .' 7< 8 E' + ' $ .' < + D' D' '
$ '
7
'
66 '' 7' +< 5 .' +
$ 7 /< $ .' &23 .' 7 + .' $' +'
' '' &23 7 >+ '$5
? 2 + .'
' ' ' *'
/ ,!- + '
' 0
' $ #
' .' 0
7 #$
' $.
<
'
< ' + 7'< ' + .' 5
$ ' 6 5
' 0< 7 #$
' $.< ' + 5< ' + ' 5
$ .' 6 $ '
$
8 ' 6 +< ' + .' $' + '
$ ' '+' ' ' .'
8 + ' ' + $ .' /< ' $ 7' 5 $ 4.' 5 ' $
0
0 ' $ / ' ' P*< Q ' + 7' 5
0
0 >?
6 ' + 7 8 ' ' ' + 0
/ + 5 + / ' < '
' 0
< $ ' + - &
'$ +
'
'$ +
.'
,
%
( "
(%
*
(%
/$ I '$ + ' .'
/$ < "< % ( ' $
+ + 6
7 7
$ ' .' ' D' 3
< ' + $ 2&# 0
> 7'< ? 5 ' + $ / ' + $ ' $
+ $ $ + 7' 5 ' '
+ + *( * + * )' $ ' + $' + + 5 + ,!- / ' 5' 5 < < / ' + 5 ' + '
' '
+ +' 5 $
'
8 ' $ 7' 5 6 + < + Y< "(Y< Y Y + < -2< 66 !6 -
$ ' + < -2 $ ' +
5 7' > ? ! ' 7' #
'< 5 #
6 $ < '$ + + $ ' .' + +'
6+ F ' + -2 < $ -2
' .' ' < ' ' 8 ) < .' < $ 5 < < ' $'
' /< + -2 < / ' + .' *< +
5 ' 0
'
' + ' $ $ 5 7' $5 + + 6 '< '
+ '
$ ' + <
+' $ $ + $ 5
7 ' + + '
.' D' D' =< "
/ $ ' 0 '
+ 5 ' $ &23 +' > '? ' !2 .' + $ .' 0 ' + .' ' ' + .' ' ' ' / 5 ' ' 8 ' 5 ' .' 2< ' ' $ 5 .' $' '
+ $ $' ' $
.' .'< $' < + ' '< 0 '
$ '
' 5 + ' .' = "/
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 62
62
* %"
* "
Z Y
*"*
* %
*(
*
* (
* (%
* ((
**"(
** "(
** (
**"
**"
* %
*
* *"
*"(
*
**
* "
**(
**
**%
*""
Z Y
/$ I 1
TWKA. alpha=1
TWKA. alpha=0.6
0.9
0.8
0.7
Precacmon
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I # , 0.8
0.9
1
- "
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 62
62
**""
** "
Z*Y
* (
* **
* %
*(
*%
* * "
* *
** "
** * "%
*% *
*""((
* * *
*%
*(("
* ((
* %*
* %
* *
**
Z"(Y
/$ "I -2
1
T. alpha=1
T. alpha=0.3
0.9
0.8
0.7
Precranon
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I -2 # , 0.8
0.9
1
"
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y ,
Y , 62
62
* %
* %"
Z "Y
*%
*
* ""
* * (
* *"
**(
**%*
**"
**("
**%
* %"
*((
**
* "%
* " * %
* * **
**%"
**" "
**
**
* "(
Z Y
/$ %I 66
1
TWKA. alpha=1
TWKA. alpha=0.5
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I 66 # , 0.8
0.9
1
- "
2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 62
62
**%
** "
ZY
**(
* " *
* (
**%(
**
** *** ***"
***
***
***
** **
*"(
* (*%
* **(("
** ** ***"
***(
***
***
****
**"
Z Y
/$ (I !6
1
TW. alpha=1
TW. alpha=0.6
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I !6 # , 0.8
0.9
1
"!
$ + 0 + '
$ '+' '
$< 0 ' + .' ' ' '< 5 ' ' / +' '
$ +
+ ' + .' 3 < '
.' + + , - ' > I ' ? $
' &23 +' 6 < ' 0 '
' + .' 5 ' / + +' '
, - 6
< 8
$ P(Q ' $ 'H ' + ' .' / ' + 0 + 8
+ 8 ' + + +'' + 8
$ #
/ + 7 '
' 7 '
3< ' $ + $ '
3' $ '
7 + $ ' .'< 0-#< < '
8 ' + .' 6- $' ' $ $
6- / + $ 8 5
+ + 6- / + + 6- P Q + + $ / 7 $ + F + '
+ ' P Q
/ ,!- ' .' $ D' +'
+ ' , / ' $' ' .'#
' ' '$'
$ ' ' >+ $ ? ' $
+ 7 + ' .' + ' + '
$ $ 7' 5 / $ + + 7
+ 'N.' $ M '
+ '$5
+ ' .' / > 5 ? + O '' + > D'
+'? < + ' $ &23 +' '< ' 0 ' + 5 + ' .' 6 <
' + 5 ' ' 8 ' 7' )' 7 < + &23 +' '< ' 0 ' '
+ 5 2< + ' &23 +' ' '
$ + 6- 8
7 + '
$
+ , +' ' ' .' #
7 ' ' 5 " + + < + +#
.' > W 2 & ' X? ' ' + 5 .' / < '< + .' - "#
,
2
4 / &
/ 4 2 &
' , :& ;' 4
3' "I + .' + '
$ ) < &23 +' < '<
'
' ' ' / '
' .' ' 8 5' < .'< '
.' 6 $ 8 '
+ + + 6
< 6 7 .' 5'< D ' $ + $ + / ' '< 7
+ + .' 3'< 7 ' ' .' 7 6 < ' + '
+ 1+'< + .' ' ' + 6 < ' 7< E' 7 .' &23 +' ) ' + .' ' + N + $ '' + &23 +'
$ '+' / + +' .' ' 8 ' + $ '
' $'
N .' &23 .' < '
8 + < '< ' &23 .' ' $ -
'< 7 '
+ #
' 6 ' 7
'< ' + ' 7 + ' / +
' ' 7 + ' $ 2< .' + ' '
'
"&
6- $ + + 8
$ #
+ ' + < 5 $' + M D'
$ < '#
+ ' 'H 7 + + '
$ +
P(< %< "Q 3 < ' '
'H 8
N / + $ M '
2 P%Q + +< + 8
< M D'
/ + 7
' + ' 6 ' 8 + ' W+ X ) + 6- '
< ' $' W +
$8X '
$ D'
+
+ $ ' / ' 8 +
$8 6- =N $$ 8 + ' $' '$D
.' + ' + 3 < '
' $ '' ' / $' #
' 'H < 8 '
$ .' / $' $ ' 8
'H )' , ! + - + +F
' /< 7
' ' ' ' +' ' ' <
' ' / +' ' + '
.' 6 < 8
$ >$ 'H ' 8
?
< F $ + M $+ .' $ ' ' ) + + 6 ' + '
' / ' < '<
' / + F
+ 6 8 + P%Q<
$
' '+' / +8 ' + $ '
$' + '5
6 '
$ ' + '#
".
+' + - / ' '
' ' 3'< + + - 8 E #
+ /' 8 + ' + ' E $ ' + ' ' / '
" $
$ $
3 + 6- '' + + < 7 $ / 6 ! !! 5
+
6 $ + 'H
D'
'$ + + 8 O' D'
< 'H 8
'$D< 7
' + +< ' + ' ) '
6- < $< +
$' < '
5
+ 6- < '
$ 7 $ + 'H + PQ 6 < ' 8 '
+ + '
$ +< ' + '< '
+ '< $ + ' 8 ' + M 'H
D'
) + + $ ' #
+ + $ 6 < 2< $
! P%Q 5
+8 + 1+'< ' ' 7 + 6- ' '
$ + 1 < 1 < + '< ' .' 2< + $ 1 < ' + /< .' '
' < < '
$ #
.'< 8
' '< + $
$ ' + 2< $ ! P%Q '+'
' / $ + 8
+ +'
'+' + 6-
'+' # , $ + + W+ '<
'
X< # '
$ + ' + M / + '+' 6 7 '+' + ! ' ' M $ ' + 7
W6+ $' H 8< 6 '
$ X
W6+ $' H 8< , '
$ X
+ < + $' ' !- +( 8 $ $ ' 2< '' $' $ 8 + , '
' $ 5 D 2< $ ! + 'H
D'
/ +F + .'I
6+ + ' ' '< '
.' $ 5
6 < '
/ $ 5
+I < + ' + < 1 < + '< '
$ $
' , 1 / ' , 1 5 1 ' $
' ' 1 6'< + + ' / .' '
'
1 ) + ' ' , ' +'
, ' ' ' 1 / + 8 ' ' + 'I + 1 1 5
8 '+'< ' '
+ + I
' + + ' + <
'H + $ 5
" $
- 5 + ' P(Q -H
$ $
+I 5
' $ + $+< 5 + 8 + $+ < + + < 8 D'< $ '
+ $+ < ' 3<
.' + D'
+ $+
/ + $ + +
+ / - ' + + $+
/< ' / + 4 6 < - 'F
$ :;
+ PQ / + 4 :;
+H
+' $ $
+I
' :;<( (
=0 4' '+' # , $ 8
$ " .' $ .' +
" Æ # > " Æ # $ ?< " Æ # 8
$
" +' # $ Æ
"
./
$
+,! & & ' + - < + + -
' + < 8 6
$
& PQ -' 8< ' 5
$ $ - :;
+ 7 + $+ + +'
' + $+ 6 '
$+ ? '
'#+' ' $? '
.' 8< $+
D' '#$
8
$< 57 + 5 + 8
$ /'<
' 8
$ $ 5 + +' 6 <
+' :;
+ +
;<( ' 0 ! , $ Æ ,< ' , + - '
>- ?< >-? >-? / , / ' >- ?< >-? >-? +'
$ : ' * +'< ' 5
I
. ' Æ * *
. >
1 1? 6+ ' * 5$< ' Æ * ' *
. 6+ * 5$< ' Æ * 5$
+ ' +' +'< ' + +' + + 3< $ + +' ' < 5< * + ' + -< ' ' 5< ' * 5 * -< + ' < + 5 + * - ) - / + :;
+H ' $ +
+!< +'
< +
!< + + - / + + $ >-? +F + + < '
$+ '
+F + 8
$ .' + 8
$< + +' #I
' 10 : & &
& Æ # & Æ #
8
$ ' & & <
/ + .' + - $ +'
PQ /
- $ $ + $+ 6+ $ !- +( $ +,! & ! )
)' + -< + - 3< ' ' $ + ,
! +' 1 ' + #
$ +' / '
+
0
/ ' + ' 1 + + 1 Æ / + - + $
'+'
$ 2< $ ! P%Q =< '
$+< + - :;
+ / -' .' '
' $ + 6- < < + '
' '
$ 3< F ' ' $ + ' 6- /'< ' '$ + ' ' ! ' ' $ 1 + +' +'
$ 1 '
$ +F $ ' + $ +' / 8 1 Æ /< ' $ M '< .' ' 2 '
' D ' .' / '$ < '
$ + 7 !
' ' $ +' < .' $ +' ! ! ! / +$ 6- '
' 7 +'
.' + '< - ' + /< 8
+ $ < '< ' '$ + 6-
$ &
:;
+ '< '
M / $ +'
+ 8 5 , , ' $
+ - < 5
$ < ' + 1
P*Q =< $ '
'
$ $ 7
$ +
6 '
H '$ + ' ' 6
.
.
+< + + $ , , $
+ 6- 3 1 Æ > ? , , I
6+ 1 5$< 1 Æ 1 / + $ ' '<
+' $ ' + 8
/ + 6- $'
+ $+ ' + .'
) +
+ 5 8 + + - /
8 $D + / $ '
I
> ' 0 # , $ ! & M & Æ # $ / + .' + - PQ + , $ ' 6 < ' 7
+ +
- $8 + $ + 7
+' / + W+
>+ ? X 3 6- ' ' =< + 8 6
+< P%Q '+' 8 + 6- ' $ )'
'+' #< ' $ ' #< + ' +' + - ' ' ' / + P Q< ' ' ' 7 5 $$ # / 8 8
+ '
$ '
'
1 ' / '
M $ ' / $' '
$ +
$ $8 '< $' $ + + 6- <
$
#'< #
+ '
8
$ W X '
' /'< + 1 Æ +( ' / + - '
+F
+ ' $ :;
+< 'A 8 P < < Q / '
+'
' /
: ' 8
$< 5 + $ R' F >R? PQ / + R ' 5 /
5 ' $ + - ' $
!- +( .
. ' Æ * *
. 6+ ' * 5$< ' Æ * ' *
. 6+ * 5$< ' Æ * 5$
. 6+ ' ' * * ' Æ * ' Æ *
. ' Æ * ' ' Æ * ' . 6+ ' Æ * ' 5$< ' Æ * ' ' Æ * '
3' I + - ' + 8
$
F
F +F
1210012 0
.!
6 ' * *
6 6+ ' * '
**
6 6+ $ ' * 5$ '
6 6+ ' ' * * '
* 5$
* '
*
6 ' * ' ' * ' 6 6+ ' * * ' * * '
6 6+ ' '
6 ' ' * '
* '
* '
* '
* '
*
* * *
3' I + 1
' + 8
$
'
8 5$< '
.' ) < '5$ ' '
'5$ +' 1 Æ < < '
'
$ .' < M '$ $' '5$ ' 8
+ ! ' $ $ +' '5$ ' $' $ +'
PQ
,' - , + 6 + 7 '
P*Q / ' $
'< ' ' + ' $ + ' < ' < ,' >-? + < ' < $ <
* +< ' $ * + + ' >- ? '
$ R % < % / + '
6- ' ' '
+( ?
6 F + 1
'$ + ' #
R' F P*Q ' $
'A< :;
+ 8 .' + +'
$ '
'
1
+ $ 8#
$ ' $
$ ) < '
$ '
$ + $' /+< 7#
F + 1
6 5 + ' + + 1
/ $ '
+ '
,' >1 ?< >1? >1? ' >- ?<
>-? >-? + '
' +
$ ' ' 2<
, , >-?< $ + + - < +'5
$ + 1
/ ' 1 < '
+ 1 < 1 '
$ .' 1 / !- +( 7
$ + 6-< 5 '
O $ ' + 8
' '
+ 8
' 1 + ' ) ' + '
' '
6+ ' >1? ' + < >-?< $ >1? 8 >-?
3 '
< '5$ ' '5$ +' 1 < '
.' > '
' ' + 1 '
1 < + 1 < + ? /
' 5$ ' < '$ + 6- $' ' ' 8
6 <
' '
$ $'< + ' 5$< + '
M '
6 +< '
$ .#
.&
5 ' + 6+ ' .'< ' 6 < ' '
$ &H $' 5 ' + /
'
$'
8 + ' .'
/ '$' $' ' 8
< 1 < 1 Æ / + + ' +
.'< 1 Æ .' + ' +
$' ' ' ' 1 Æ = $' 6 < ' ' + ' '
+ ' + / ' + $ +F
$ &H + - < Æ < '
5 '
$ ' .'< $.
3< + - Æ $'
'
$ .' $ 'H / 7
5
$ ' .' /+< ' + '
< $ < ' .'#
' '
+ $#
$ + ' $.
2 $ F 'I ' $
< 1 Æ '
< ' + ' + 1 Æ $
+ - Æ 1 Æ /' $ +
8 ' ' +
"! ) 1 Æ '
8
' < 7 ' 7 + < ' + < E / + #$
- E $ $
+ - ' 8 +'
+ #$
' '$ + 6 < F + + + - + $ = + - $ < 7
$ $ $ $'
6 '< &H 2,# $ P "Q '
$' 7
+ + '
8
$ $ 4 :$
P*Q 5< 8 +' $ + 8
$ " < '
+' +' < + $ + " Æ / ' &H $ 7 ' 6 7 !$ %
=< + '
< +' $ " = +' F + '
+' $'
$ < 7 < " < " F + F + .' 2< !- ."
' $ P (< %Q $' &H +
+ +' & H 8 P (< %Q F ' + 7 + '
< '< F + +' 8
= 5
#
,'< 7 ' + &H + - ' + '
&23 +' +' D' 2 3 >23?
+I D' + I +'
2 2 3 >223? +I D'
+ 223 +' 6 P %Q &H / 8 223 + &23 ' '
223 $ $' + 23<
+ &23 ' 23 6 < 8 &23< + &23 ' &23 $
< + 1 Æ '
< .' #$ ' + 1 Æ 6 +' &23 $ $ ' E ' 2< 1 Æ &23 / $'< ' +' $ .'
&23 +'< + + 8 7 /'< 8 &23< + &23 ' &23
& H 8 F $
6 +< '
F $'
'
$ &23 +' 2< ' + >< +' 1 Æ ?< ' ' + 27 .' + &H / $ D' + ' * 5
'$ +
' * 0( ' * ' * 0(' * 0( ' * > ?
>?
: &23 +' * D' + ' < 7 +' D' + * * M + ' I
( ' * * ** * 0(' * 0(' * >?
/< $ D' + ' &23 +' * 5
+ ' ' *
(' * 0(' * 3< +' ' &23 +' *<
>?
..
( 3 ' * ' ( 3 ' ' ( 3 ' (' * (' * >?
( 3 ' + + + +' ' &23 6+ ' &23
( 3 ' ' ( 3 '$ + ' ( 3 ' + $ + *
: ' +' + I
0 %
7 *1 !
'Æ*
' ( 3 ' *
* ( ' *
'
( ' * * 3 +
' &H #
&23 &23 + / ' + &23 /
+ 223 3' + &23 / $ * + F + ' *
/ 8 + 3 ' ' + ' ' +
+ ' + > ( ' *? ' > ? / ( ' ( ' * 7 $ (' * + F '< ( ' 7 ' / 7 + ' + ' 6 (
' + + > ( 3 ' *? < + ' ( 3 ' * * ' > ( ' *? / $ ' + + $'< '< + ' +
2< F 7 + / + 8 ' / ' + ( + ** /'< + + + ' **.
16.0 0 TD
0 Tc9522T9 1 Tf
4 .98 0 TD
0 T TD
0.22T9 1 T0 TD
(1(2T9 1 29.7(2 0 TD
-0.2TD9()-309.2+)Tj
50.)TD
(+)Tj
2
(+)Tj
0.2
Tc
(
!- .
0
6' *
& ' ' ' * ' * * * 'Æ *
!
-
<7 & * *& & ' * *&& & <7 ' = * " () * ' '
+
( ' * (' *
$ ' ( ' * >7?
, / " ' 3 6 / ) & 6
.
'Æ*
0
' (
* ( ' *
' Æ *
' 0( ' * * 3' I -
/
+
( 1 )
Æ -
4 ( 1( ( ) 1(( ( -
4 *
) C *
DE
*
DE
*
DE
" %
+ *
' F (
+
6 Æ Ï
Î ÎÎ Ï Î ÎÎ Ï Î Æ
Ï
Ï
# Æ 3' I 7 + 7' + -
!-! % ' + / 5 5' M $ * ' / + M '
' + $ + * + ' / ' + ##
5' " % /< + + * + + ' + + * ' >
' + '? $ + + / + * + ' 6 $ '' + - '' + ' + .' / $' + ' + ' + &H
>
$ + 5 %? + + +'
'' >5 ? < + $ '$
+ < '$ + '
$ ' + &H 8 ) < ' + M
$ F
+ $
"" +
= 7 6- + ' + ' 6 < 6- F + ' + / ' + ' 6- $ ' '+' '+' , '
' 1 ' + '
.' ' < '
' + $ $' $ ' 3'< $8 :;
+ / -' < +< ' # E
' + 6- +'
'
$ 6 +< ' '
+ ' < ' '
' + + +' 6 < ' < '
+ ' - + < +' 1 Æ $ .' / + 1 ) < ' < + ' 'H
-D$ ' ' ' ' P(Q 6 +< 8 $' 6- ' I ' ' + 8
+ ' + + H 7 < 6 + 8 '
>? $' ' : 'H + 7
.' ' 'H 8
< ' ' $+ F .' / 8 ! + ' 3 < ' 8 ' ' >? $' 7
' '
$$ .'< 5 'H ' & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & 3' I #$
' + &H >6?
& & & & & & & & & & & & & & & & !-! & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & 3' I #$
' + &H >66?
& & & & & & & & & & & & & & & & & & !
* ' ! ! ! ! ! ! ! ! ! !
! !-! #
* ' ! ! ! ! ! ! ! ! ! ! ! ! ( ' ! * ' ! ! ! ! ! ! ! ! ! ! ! ! ( ' ' Æ
! ! ! ! ! ! * * ! ! ! ! ! ! ! ! ! ! 3' %I #$
' + &H >6?
&
$' ' + 7
' /< ' < + $ ' ' .' 8 $'
'< 5 ' '
' '
/ '7
' ' 7
' 5 6
< ' ' ' 8 =N $$ 8 + ' $' '
/< + + ' < ' +
' < < 6+ $ ' ' + $ ' ' &23 -
'< &23 +' ' &23 +' $ '
7 + ' 6 D' ' 7 $'
&23 + ' ' &23 +' -' 8 ' 23 - 8 ! '
' 8 ! < .' 23 +'
! '
$< 23 +' $
&23 +' $' 8 7 /'< '
+
' = $ E ' ' 7
&23 1 5 $ 7 + $' M $ D' 6 +< P Q ' 5 6+ 3 '
' + - .'
6- ' + $ $$ / = + $ !H ' P%Q < +' ' + $$ $
!H ' + :;
+ PQ -D$
P Q ' ' + $
/ 7 # + + =< ' 2 P%Q 8 '
' $' +8 6- $ 6 $
+ 7 + $ F
' + 6- 5
E' +' .' )+ 5
$ 'H .' 'H < $ 8
'
$
.' / ' 5 .' +' '
$ + '< 6- ' ' 'H .' / $ +' +
.' O 'H $ / + + 'H .' ' 7
"!
# 9' 7 .' $
+ + 7 .' &
' + + '
+ .'< + .' 5
'
I
$
825 99 0 TDO
.
$%
'' $'
'' $
7 + #' / + #'
+ ' $' $
$ ) '' $ $'< + 7 $
.' ' .' $'
''< + ' 7 + ' '
7
' .' / $ M< + 7 ' ' ' $ +.' - +
$8 + .' +' #
< I
' + + +' $' ' D'
$8 8 .' + '
F + #
F # +
' +
$8 7 + ' +< 8 +'
+ ' +
$8 6 ' ' ' +
$8
+
$8 + 9' 7 $ $ +
$8 + '
6 < + .'
' ' +
$8
% &
+
- +
$8 ' .' +' / $ ' $ < + .' ' + + $ 6 '< ' / $ 8 + 5 'H .' ' + #8
' / ' 8 ' '
+ $'
.' / .' 7
$ $ + 'H + 1 +
$8 F
M +#
4 7 ' -/ 7 ' $$
5 + ' +
$8 + 3 '
M +
$8 ' $ + #+
$8 ) +
$8 8 '
+ + ' + .' 5 .' + ' '
+ .'
#- ? (%
'
% ! !6 + + +
$8 ' ' $ '
+
$8 < +F + + +
$8 ! ' + ' .' 8 6 ' '< $ $ .' I
0 ' 0 ' > ?
0 + ' ' F + ' / $ $
+' .' + ' + + #
'
! ' +8 $ ! $ + .' 0 $ + '
< + ' 6+ $ ' < .' ' '
# ' 3I
.' + 5 6 $' < < + ) < + $ 5
' .' + < # '< $ 0 / + + + <
'< =< +' $ '5$ 3 <
# ' ! !< +' 5$ > H $ ! !? 15$
.' '
$ $' '5$ .' < ' '< '5$ .' '
'< < '$ 6 5$ +' +'5 $< 8 + + +'< < $ +'5
$' D' $
'5$ 6+ ' +' ' <
+ D' + 5$< ' + .' D'
+ +' / $ $
+ + 5< +' ! Æ< + ! 5$ Æ ! .' ! 3'< + D' 5$ $'
5$ +' > ! 5$? + $+ //
$%
$ / $'
5$ +' $ $ 7
$ 6 + + $ .' + +'< Æ! !
< + $+ $+ + / + +
+ 2 + # ' < # '
.' ' /< + $ + .'
$ 3 < ' +' ' Æ Æ <
' + + Æ '
$+< + 5$ 6+ '5$< 5$ $' + + $
) '
' $ '5$ = ' '5$ ' +$ ) .' '< < .'
D # '< < ' $'
.'
< < < $ '5$ '
'
$+ < < $5 + $ + ' + $ + ' +
$8 ' +
$8 >+ + '? +
$8 >+ + ' '? /<
5$ +' $ $
' Æ 6 ' + ' 8 6 <
5 .' ' F 5 * *
8
' 8 ' / .' ' + '
$ ' / + + $' ' #8
' 8
$ ' / 7 +' -H
P*Q ' 5
.' ( ' 7
( ' >?
( '$ + ' 5
$ '< ( + # ' ' < 7 '
6 $ + .' '
I , 7 / + + ' +
+ ' ' / + .' +
$8 + $ .' + .' 2<
< $
+
$8 + '
+ +
.' P%Q< '
, 7 , & +' 7 ' .' )' #
' + +
$8 8 8 + 8 / #- ? (%
/
' +'I .'< + + '#
+ + ' ' )$ .' + / $' .' + + 'H , ' 2 $ < '<
$ ' 2< $ ' ' 2 $' .'
! ' +
$8 .'
+ ' / ( ' 2 ( # ' 2 + $ .'I
Æ Æ Æ Æ Æ >?
/ .' ' + # ' / + + + / +' Æ Æ Æ + '
' 8 > '
$ 8
# ' 8
# '? 6 +< +
$8 ' + + 8
#
' / ' < + .' 6
#&#= P(Q ' 5
.' / + + < + 8
# '
' 7 >?
/ +' Æ Æ Æ Æ 8 +
$8
+
$8 > , 7 ? / 5 + +
$8 + .' > 7 , ? .'< +' $ + + .'< +
$8
'
)
/ + 6- ' E + ' .' &23 +' 6 '
+
$8 <
' < &23 .'< +
$8 $'
.' &23 3< .' < $ &23 + &23
6
(%
6 # < &< $'
' + &H
&23 +' &23 &23 + ' 1 .' $ &23 < < .'
+ 6- $ $ &23 +' /< .'
/
$%
$ &23 / + + +' < < ' + / +' &23 &23 / $'
D' + &23 +' &23 +' =< +' ( 23 >
+ &23 +' 23 +'?< '< +' ( Æ Æ ( + 23 +' 1+'< E $ 8
+ /< E + +
$8 '
+ + ' ' '< +
$8 +
$8 > + + ' 8 '?I
Æ >?
2< $ '
$ & $'< $ '
$+<
$ &23 6 ' + +
$8 6- 6 + +
$8 < ' ' $ #
.' '< ( / '' +
#- ? (%
/
$'
+' D' + < 4.' Æ > ?
+ ' + # ' 2 '$ +
$ $ $ + .' 7 < + ' $ .'
= PQ * + ' 5
+ / '
+ ' < '< $ + + ' '
$+< .' + + +
# '
.' $ 5
+ + = + $ ' / $ '
+ ' ' ' + +.' + ' , &23 +' $ ' $' #$ +.' $ /< 8
+ $ ' ! /
+ '$ + ' ' 8 ' >
+.' + '?< + &23 3' 7 + ' + / * ' + 5' / ' $7 $ ' + + $
+ 5' 18 < ' ' <
'$ + ' ' ' 5< + / + ' + / 8
$ '
+' 6 ' < + ' ' + 8
'
+' 6 + + + ' ' ' / < ' ' ' ' ! ' ' ' .' / ' + .' F ' 6 $ 8 < ' < ' > 2? < '< 8
$ M + +' 5$ $' $ '
/ $'
' $ ' < '<
$ '
/!
$%
/ 6
! ! ! ! ! ,
$
+
*
*
*
D
*
8
*
, + 3' I 7 + ' + + '
3 ' + +
$8 / #
.' ' < 8 - 6
#
&#= < + + ' ' $' 3
< ' /
+ < ' ' ' ' 6 $ 8
F + ' ' 6 .' ) < ' + + $' '
.' * $ $ '
#
/ $$ + .' 7 = -D$ P Q
7 7 $' '
+ 7 6
7 + 5< 8 ' # + 5 $'
+ 8 ' +8 = P%Q + # + 5 + 5 $ 8 + # ' / ' +
' 6+ $ 5 8 +
? ' $? # ' 6 +< 8
M '
$ $ 5 #
+ 5 ' '$ + 8 ' < '<
' $ ' / +
$ = $ P%Q $
# + 5 + + 5< #- ' + 5 5
$ #
+ 5 $ 8
+ 7 '
$ $' '
+ + +8 6 < ' $' $ + ' 6 7 ' ' + $ ' >.' ? >.' ? / + I
+ .' '+ D'
+ '
F ' + ' 5 % *$
3 7 ' + +
$8 $
/< ' ' + +
$8 '
' +
$8 8 + ' ' .' ' # 5' + ' + .' / ' ' ' 1+'#
< 5 + + 8 + ' 5
$ ' ' +
$8 /< 8 + ' ' $ ' ' + + .' +
' ' + ' F
$ ' / + '
,N ' ' $ $' 8
' / + ' ' $
P Q < < '
+
$8 / ' +
$8< ' =< ' 6- 7 'H D'
#
$ H D'
/ $ $' H D'
$ 7
6 ' ' + +
$8 ' ' < ' #
D' + ' +' >.' ?< < $'
+' >.' ? / $ $ + 'F
+' ' < < -2< 66 !6
&' .' 7
&23 +' 5 '
.' ' '
+ +
$8 4 '
* 8
# ' H D'
2 .' $ '
+ +
$8 ' $' + ' >
< '< ' '? + ' >
< '< + .'? /$ + '$ +
.' + /#
/&
$%
,
/ '$ + .'
9' 9' 2'$ + .' "
(*
"
*
*
(
/$ I 2'$ + .' + /$ < < # ' + +' ' #
5' < < ' /
5 ' + $ $ ' '< ' ' +
$8 ' / ' # '
+ ' 5 $
+
$8 '
6 + < ' $
' / ' 66 >
Y + ? / $ ' + 66 ' .' > $ ? < < E' 7 .' $ + ' $ + ' 8 ' 6+ .' '< + +
$8 '
< 66 $ .' < < ' + ' $
' $ ' < 7 M
5
'$ +
'
'$ +
.'
'$ +
' .'
,
%
( "
(%
*
%"%
"*
(%
%(
/$ I '$ + ' .'
/ +' ' + $ ' $
M ' + '$ + $ '
+ )' $ $ ' +
'$ + $' +8 $ $ 6 < +
$ ' / '+
' ) 66 ' $
< E' + '
'
/ + $ + 6 $ / .' 5 6 + 66 < + '+ ' $'< #- /"
"""
"&"
""
" "
""
""
"'"
"%"
"$"
"#"
&""
()! * + ,!
()! * + ,!
" "
"
"&$#
"&"'
"&"
""$
""'#'
"""
"" #'
""&
""&'"
"&&$&
" #$%
"$"
"&#&&
"&&"
"&"
""$&
""%"%
"""
"""
""&
""&'
"&%
-%% *
" %
" &&
"&
"&% "&"$'
""#%
""%
"" ""&&
""&#
""&'
"& -& $ *
"&
" &
" %"
"&#&
"& "
"&&&
""#&
""%'
""
"" ""&%&
"& -"' *
"&"
"&"
." *
"&&'$
-&&$ *
"& -' *
!
/$ I 4' ' + 1
Base residual
Document oriented approach
Term selection. Only positives
Term selection. Positives & negatives
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I 0.8
0.9
1
/.
$%
"""
"&"
""
" "
""
""
"'"
"%"
"$"
"#"
&""
()! * + ,!
()! * + ,!
" &#
"#%#
" '"
"&$&#
"&"
"&%'
""$ '
""#'
""#$
""&$
"""
"& $
"&$"
" $&%
" &
"%
""#
"&%$$
"&& &
""$$"
""%%
""'%
""'"$
"&#''
- '% *
&" ""%
" $
" " $
""'
"&$&#
"&#$
""#&$
""%#%
""%
""%"%
""&
-"& *
&" " !
"''
" $&
" '
"#
"%
"&
"&
"&""
""$ ""%"%
""%""
"
-'& *
"& %$
"&#&#
- *
""&'
-' *
""
-## *
/$ I 4' ' + -2 1
Base residual
Document oriented approach
Term selection. Only positives
Term selection. Positives & negatives
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I -2 0.8
0.9
1
#- /
"""
"&"
""
" "
""
""
"'"
"%"
"$"
"#"
&""
()! * + ,!
()! * + ,!
"&&#
""&
"&'&&
"& '&
"&&
"&"
""$'"
""%'
""' &
"""
"" $
"& "%
"'"
"& "
"&'$
"& #
"&&%&
"&"&
""$%
""% %
""' &
""#'
"" $
"& %
- *
"&$
""
"&'$
"& %'
"&&%&
"&" ""$$&
""%%
""''
""##
"" $%
"& -' *
"&"$$
"&"#$
-"# *
"&&
- & *
"
"&%
"&$#
"&%"
"&&#
"&"&
""$"
""'#&
""'
"" "" "&#
-&&' *
' !
"&& $
-' *
/$ I 4' ' + 66 1
Base residual
Document oriented approach
Term selection. Only positives
Term selection. Positives & negatives
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I 66 0.8
0.9
1
/
$%
"""
"&"
""
" "
""
""
"'"
"%"
"$"
"#"
&""
()! * + ,!
()! * + ,!
"&''
""#$
""'$
"""
""&"
"""$'
"""$
"""#
""" $
"""#
"""'
""'$
"&# "&&&&
"" ""&##
""&&
"""$&
"""#
""""
""" #
"""#
"""'
"" %#
-& *
& "&&
"&"
""
""&$"
""& &
"""#'
"""%
"""
""" %
""" &
"""%
""%
-# *
& " !
""
"&%#
""%
""&
"""$
"""'
"""&
""" %
""" """%
"""'
""%
-%'# *
""&#$
""&%
-#' *
""&#
.& *
""$
-# *
/$ I 4' ' + !6 1
Base residual
Document oriented approach
Term selection. Only positives
Term selection. Positives & negatives
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
3' I !6 0.8
0.9
1
#- < + $ 5 $ '
6 + >8 66?< 7 .' + '< $ '+' .' + ' '
' .
' + +
$8 $' +
R
PQ 7 +
+ 5 / $
5 $ +
' / 5 ' '
$ + + < ' / ! .
# 3
.
# $ + + < ' 3< .
# '+' + ' 6'< 8
+ ' < 8
+ ' ' 8
8
'+' + 'H / 8
5 ' '< 8
'H ' ' / 7 .' $ !' ' P Q $
8
5 $ R
PQ
8 !
>"?
/ .' $ '
' + ' + 8
+ < ' 6 .' 8 '
+
' ) ) / ' + '$ + ' 8
> + ? '$ +
# ' 8
/ ' + ' + $ / ! '
8
7
< '$ + '
$ D'
$ ' / +' +' ' ' $$ ' 8
/ ' + 7
+ & &
& $$ ' 6 $ '
' + 8
< ' + 8
9 > *? + $' ' + $ !< 8
'
/ '
$ !' P Q 7 + 6+ 3#
6+ 5 ' ' 5 + + $+ + ' 1H + < '< + 5 ' $ $ $+ $' 'H
+ !' $ +F H $+ $ ' 6 '
H $+< + ! 89 '
6+ $+ $+ < 6+ + $+ < $+ +
' / '' + 8
5 $ R
$%
PQ $'
, 8
$+ +'< 2 8
$+ +'< < ' 8
#
+ 6+ < +' '
$ R
' + + < '< + $+
) < 8
' + + $ 8 + $+ 8 !' H P Q + '
H $+ < '
5 + P < Q + ' $
= .' ' + M +
$ '
< 'F + .'
5 H $+ ' < < $
$ 7
' ' 5< 8
5 $ R
PQ '
+ $ $ $' 8#
5 >.' "? 'F ' + +.' '
'
$+< &23 8
+ ' / '
+ $' ' 8
5I
Æ >%?
, 9 ) 9 > 9 + ' 8
? + #
7 8
5 2< +
$ 8
5 / '
8
5 '+' 8 + 5 ' 7 + + +' + .'
< + ' D' + < $' &23 +' / &23 +' '
< '
' $ + ' ' + +' < .' + / $ ' F + + '$5
+ ' ) '$5
'$
+ < '< ' $ ' 6+ ' '$5
' F< .' + $
' / -
/ ' + 7 +8 $ #
$ / $ ' / ' ' $' >
'? ' $ '$ + .' + +< -2 $ '
+ ' +
$8
#- 2 1 A
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
+ *%*
***
*%*
*"*
* *
* *
***
* %(*
* **
* *
* *
* *%
* *(
*"
* * * **
**%
**"*"
**"**
**(*
**
/$ "I 3
$8 3
$8 ' P< Q / '$ + .' + '#
+
$8 /$ " N 5' + ' $ ' -2 =H $ ' PQ = '
+ $$ $ $$ ' '
+.' $'# .' 7 ' $$ < =#
M .' 7
.' / $ ' $ .' 7 / $ 7 $' =H 8 ' ( .' '
(* $' D' ' '
# + + ' #$ +.'
' 2 M !
$%
/ ' $ '
&H $' $ #
$ 8 $ 6 +' ' + $ $ '$ + M 2< 5 + 6-< '
8 $5 + + ' ! ' $ 7 #
$' + 6- / ' + $ 'F
+ .' : #
< > ' $ + $ ? $
< 6 ' < >
' ' $ ? * $ < =< 6- + '+' ' ' + 8
6- 5 + + #
3 < .' 8 + ' $' ' ' ' $' < + ' $ ' 6+ ' + ' ' + < '
$ $ 8 $ '$ + ' + $ $ '
$ 2# .' $
$'< <
'
' + ) < 8
$ 'H .'H '' + '
+.' + + 8
6'< + ' +' $ ' ' ) < + ' + $ + + ' / + 7
>
+? +F ' / + + +
&
' ()' 6 5 ' 8 ' $ $ ' +.' / 5 + ' + $ + 2< $ ' .' * ' + $
' .' $' ' +
+ / +.' + + 5 ' + ) < # ' ' + $ / 7
>+? + / + + ' + $ < ' ' $' + >+'#
< + #
$' ' +
$ + ''< + < ? / '
5 $' ' + $' =< ' + 8 $ I , !
&' .' +' $+ / + +< $ '$ + ' + '< $ $' ' ' < ' + + + + ' $ $' $ + < < 8 'N.' $ )
< + + '
8 'N.' $ / '
$ $ $' $ + ' .' =< + '
+.' M '< '
7 + +.' + 2< +
+ 5 + ' ' &23 +' ' & ' + ' < <
7 + ' ' ' + ' < O
' + / + F
+ 3< + '
+ < 7
+ +
2 7 ' ' + , 6 7
+ 5 $ < +' 7 + 7'#
' $.
< $
- Æ ! ' &H < Æ < ' '$ + % M ' + $ < % $ + '< '
+ $ $ $
+ + M $ ' + $ +
+ +' ' 5
+ ' I
&- ' (
( ' "
> ?
/ '
5 ' $.
+ +
+ ' + + .'
8 '+' 5 ' 5 8 ' + < M .' $
5 7 + ' + + / + ' + + + .' $' ! + $ + ' ' $ + .' 6'< .' 8 + ' $' ! ' ! =< $ < $
'< ! 6 < $ ' + + ' .' 8 ' $ ! 6+ ! '
8 + $+ $' + !< ' + '
$ 57
=< M $ ' .' '
$ 5 7 / 7 ' $+ $' + ! / 5 ' + $' 8 M < ! =< .' 8 + ' ! ' ! 6
$ 8 < < ' + + 8 3 ' + M .' &M .' '
5 ' + .' '
' + ' 7 5
' + + + + +' ' 5
/ $ '
' + + ' + + .' 3< M >&? $
+ + +' ' / + +
M $ + ' 11( ' % % ' % ' % % % ) % > ?
M $ ! ' < # $ < M $ < # $ < $ # $ # $ < ' M $ $ & &H D' 8 ' + ' + ' 5 &H +
: 11( ' < 11( ' $ +I
> ?
> ?
.
' ()' 3' I & + + ' + + .'
3' I ) 7 + + + ' + +
.'
&- ' (
/ < ' $
>
< '< + $ % ' ' % ? '< + $ >
< '< ' $ % ' ' % ? ! '
M $ ! $ $ 'H > ? + $ .'H ' .' 8 + ' 6 8 ' + ' .' 8 + !
$ $ 'H > ? ' $ .'H + / < $
' $' + .' ' 6 8 ' + '
' + &H ! ' ' + $ <
$ : < ' + < ' + * / +' '
$ : < +' + #< 7 +'
$ $ #I
# + # "
' + +' ' +
( ' )
> ?
+ + ! ) > ?
/ < M $ ' ' $ >
< ' $ ? 2 5 + +
' '
$ &H $ ' ' 5I
( ' )
> "?
6
< + &H < 7 ' $' 11( ' < < ' + : +' < 5 7 + ' + ' + / 7 ' ' + / M ! $' .' ) < + M $'< ' '
< < >
?
/
' ()' ! ! ! ! .' ! ! !
> ? M $ .' ' 11( !
!
!
(
! ! (
3' I 2 + + ' + + .'
2 &H '
8 ' + +< 5
+ + + +' ' 3 5 +F $ #
$+< +' ' < $ $ 7
+ + + + +' ' 3< 5
I
%
M
( ' (% ' > %?
6'< % ' % $'< < + 8 ' + < 5 ) ) % + +
% % 3 5 ' + *< + + >
'
$ ? $ + I
' Æ * * > (?
+ ' ' $ #$ ' +
2< 8 5
.' % ++' ! ' + ++'< +'5
&- ' (
- ' / ' '
$ +'' 7
+ / 5
.' % ++' + + I
6+ 6+
' ' )
' < )
6+ ' +< 6 7 '
5
+ ' #
! $ + ' ' < 11( ' 11( ' '< ( ' ( ' < <
)
$' $ ! $ + ' #
+ ' < ( ' + ' < '< $ 11( ' 11( ' 6+ , + ( ' ,
< < ) ) + /< ' + ( ' .' ! ) 6+ ' +' .' + ' F > $'
? < <
* 2 <
! ) + >
?< * >
? =< ' +' ' 6+ ' +< ' + < '< + '< ++' +' +'5 $
/ $I 7' + 6
< + ' '' $ 6 P Q
/ ' + + + +' ' 5
' + + ' + + .'
< ' + + + '
+ + .' + ' .'I
(
> *?
< '
$ .' $ 5
/ $
+ 8 ' + .' 2
8 ' +
M > ?
' ()' 5 ) ) M < M / $ +
' /
7 .' 5 F
+ ' $.
< /#- F + 6 $ < +'
8 ' < '$ + .' 8 $ ' $'
+ /#- /
> ?
'$ + 3' 7 +
' + /#- + ' ' + '
/ ' < ! / + .' < < (
) < M + ! ! + $ <
(
$ $ ! < ' $ !
, < ' + ' /#- '
8 7 $' + ' 6 < E ' ' / $ .' $' ' + + ' 3' ' .' + F $+ ' .' &23 +' - &23 +' $ + '< ' ' ' < ' + D' / ' D' + '
6 ' ' /#-< ' + + ' + + .' 27 5 ' 7 ' 5
$ $' ' .' * ' 6 '
< ' .' ' * ' '
0
% 6 5 ' + $ ' : ' ' * < ' * ' 7 ' + + *
+ + ' ' '$ + 5 ' * ! < 7 < '
7 ' /#-* ' < * ' &23 +' '
' .' / $
'
+ $ .' ' ' 5
< 7 7 ' + + ' + + .'
/ M $ ' ' * 5
+ I
&- ! !
! ! ' .' !
! ! ! ! > ? M $ .' ' 11( (
11( !
!
!
(
! ! ! (
/#- / 3' I 7 + ' + /#-
!
' ()' 0( ' * ' * > ?
2 ' $ * * /'< 0( ' * +I
0( ' * 0( * ' 0( ' * 0( * ' > ?
> ?
/ < 0( * 0( * : ' < 7 +' I
> ?
/ +' 8 ' < 6 ' + + * + + ' < 7
+' 5 $' + M * < + M 0( ' * 8 + $
+ * >
* ? / $ >? * < 6'< ' * < $ 0( ' * * &&! > "?
) < M * + + * + + ' / + 5 +
$' + M * 0( ' * 0( ' * > %?
+ 5
$' + M $ ' 2< 5 $' + ' $ * > ? : ' ' * < ' $ * +
' * ' ' * 0( ' * > (?
3< $ ' * >' ' * ? #
< $ ' * 2
0( ' * M $ 5 '< ' < &- #
0( ' * ' ) '
< * $ ' 2 ' .' ' * ' '
< < * $ ' / $'
+ * + + ' 8 M
$ * + ' : * $' ' < + ' ' ' + * 2 #
3< ' ' * I
' * ' * ' * ' * > *?
> ?
5 + $' + #
: ' ' * +' < 5 + #
+I
' * ' * * > ?
2 ' $ * * / $' + + + * ' + + + *
+ ) < + ' + /
7 ' * , ' $ * ' +
$ * < + + + * '
+ + + * + + ' ' / + * ' * ! ' * + / ' $'< + < 7 $ M
* 3 5< $ ' 5
I
' * 0( ' * 0( ' * ' * > ?
3 2+
2
/ ' $ ' .' D' +
D' + &23 $ ' 3' ' 7 ' /#- $ ' .' D' + ' ' 7 /#- ' &23 +' '< 0/#-# 0( ' * '$ + * ' / + .' &
' ()' 3 2+
20
' *
' ' * * " " 1 $.
* ' 0( ' * ! 0( ' * " ' * + ' * 0( ' * 0( ' * ' * $ 3' I 0/#-# + + ' ' - + >+ .'H ' 'H ?
' + < < + '
+ * + 0( ' * + + ' / ' + 0( ' * '
+ + 0( ' * !
$ 0( ' * * #
' 6 + ' + # > ? +
$ 0( ' * + .' # ' + ' # + 3 * <
# $ 11( ' 5< # $ - $ ' ' $ = ' '
< '< 8 ' $ + '
/+< $ ' $' + # ' + ' * + * ' = + * ' >
' ? + * < ' 7 ' + + + .' / $ '
' 7 6 5 7 $
' $ >+#
? ' $ ' >#
? / !< 0( ' * < ' $' '
' + ! * < ) < #$
M ! ' $' $ ! + < $' $ ! + !< ' &- "
3' I 7 /#-
' ' + 8 ' ' + < + '
/ $' + .' $ ' #
'
$ 2 .' 'H
> $ ' * < + #? + + + + ' # ' + + + ' # +< # + + + ' $ .' > + '
?< #
# ' * ! ' .' 'H > $ ' * < +#
#? < # + + +
' 2 # ' $ ' 8 ' $ + '< ' + #
* '
.
' ()' $ + ' / +
# * ' + 'H ' * < < 7 ' + /#- $
' 0/#-# 6 < ' * < < ' * * < '
0( ' * 0( ' * 7 + + '
+ + .'
/ 7 + 0/#-# + / 0( ' * 0( ' * + $ $
F + ' * 0( ' * D' + 0( ' * $'
0( ' * ' ' 5< + 0( ' * ' * ' $ ' < $ 0( ' * + * ,' < 8 ' .'H
' 'H '< $ ' # * ' ' '$ + + ' ' * +
' # * / ' ' 7 + ' * 3' " 7 + 7' + 0/#-# /
$ ' .' < '< ' + / ! $ ' .' /< ! ' ' > ? 3< $ ' < < + + + ' + >
.'? / .' # 0 % 1/ !
6 ' 7 '
/#- $ ' .' &23 +' '
0/#-# < +
5 0-#
< ' ' * < ' + $ $
0( ' * 0( ' * ' * : * ' &23 +' * * * ' ' ' < 5 $ * ' +
/.* ' 0( ' * 0( ' * ' * *
> ?
/ $ &23 +' '
' + *
' ' / + * ' ' '
+ * ' ' ' / '##' '
0/#-# 2 ' + $ 8 $ * ' + * ' ' 8
' ' '
&- È
½ ½ ½ ½ !
½ " 3' "I -' 0/#-# I 7
/
' ()' 3 2+
2 0
' *
' ' ' * * * 8 * ' ( () * * *
(%%' 1
+ () * ' '
$ 0( ' * 0( ' * ' * , ' ) (%%' & (%%' - / + ' . ( (%%'
0 / ! * # % !
"
3' %I 0/#-#
/ 7 .' + /#
' /# P*< Q / $ ' + F + ' ' / '$ '
$'
+ + * ' ' /#* ' /#
* ' '
> ?
3 2+
2 / ' 5 0/#-# 5 %
2 0/#-# ' + 0/#-# /
'$ + + /# 7 /#- 3< '
+
0/#-# < ' 0( ' * 0( ' * ' * 7 + * ' < * '
< < .' ' ' 5 ' + /#
* ' 7 * : ' ' * ' + $' 8 ' # * ! 8 * 8 ' '< 7
+ 0/#-# *' ' * < ' >* ? F + ' ' >*?
&- #
È
½ ½ 3' (I -' 0/#-#I 7 >6?
' ()' 3 2+
2 0
* !
(00' ' ! 0( * ' 0( ' * 0( ' * 0( ' * 0( ' * ' * ! ! ! 0( ' * ! ! ' * ' * ' * ' * * ' * * ! ' * # 0( ' * 0( ' * ' * (00' ' 0( * ' 0( ' * 0( ' * 0( ' * 0( ' * ' * ! 0( ' * ' * ' * ' * ' * * ' * * ! ' * # 0( ' * 0( ' * ' * (00' % ( * 0 '>*("?
3' *I -' 0/#-#I 7 >66?
&- ()'
3' ( * 7 + 7' + 0/#-#
< ' + '
/ + ' ' ! .' * $' 5 + .' ' / +
' ' ! .' $ + ! .' '
,! $
-$
6 7
' +.' ' ' + + + + +' ' 3<
5 $ ' /< ' + ' + + 3< M $ + ' ' % % ' > ?
/ < ' M $#
% ' ) < $ ' ' ' $ + ' /< 5 $ ' +
' ' > "?
! $ ' ' ' $ + ' + ' ' > %?
' ' > (?
/ ' * ' + + + + ' $ ' ' $ + ' 3 < ' .' 8 + ' + + < .' &
5 >
+?< '
$ / 6- +'
+ + ' $ $
+ + ) < $ ' + $ + ' 3
< ' $
.' 8 + ' 6 8 ' + + 8 '< 5 + + + +' ' +
!
' ()' ( ' )
#
)
! ) > *?
+' F
+ ' +.' ' ' P*< Q ' + + + ' " > + '?
< '< + * ) < ' " $
> '? < '<
< ' + + ' 6+ '
' + / '
$ < # '
5 >$' ?< 8 $ =< '
' < ) $+< +' ' < $ $ 7
+
+ + + +' ' 3< 5
I
%
M ( ' (% ' > ?
2< + 8 ' + #
' +.' < 5 ) ) % + + % % 3 5 ' + *< + + >
'
$ ? $ + I
' Æ * * > ?
6 $ ++' $'< + ' < < $ ) $' + '
$ < $ ' .' $ +
+ ' + + .'I
(
> ?
'
$ .' $ 5
/ $ +
8 ' + .' 2 8 ' $ + ' +.'
M > ?
&-! #
5 ) ) M < M ' P*< Q $ 5
+ ' 5
/ ' 6&3#/#-
6&3#/#- /
> ?
'$ + 3' 7 +
' + 6&3#/#- ' + '
/ ' '
'
$ .' * 2 ' ' + ," 6 < E ' 7 ' #
' 6&3#/#- / + 0/#
-# 0/#-# + + 3< 5 ' +
$ ' 5
: ' ' * < ' * ' 7 ' + + * + + ' + + * + + ' + +#
< '$ + 5 $' + ! < 7 < ' 7
' 6&3#/#-* ' < * ' &23 +' ' ' .' / $
' + $ .' ' ' 5
: ' ' * 7 +' $ 'I
0-' * ' *
> ?
$ < ,! +I
0 -' * 0-' * > "?
: ' ' * +' 7 +' 5 $' + ' * #
$* > %?
3 5< $ ' ' * 5
I
' * 0( ' * 0( ' * ' * ' * > (?
06&3#/#-# 06&3#/#-# #
' 7 ' ' 6&3#/#-
&
' ()' ! ! ! ' .' ! ! M $
!
! ! ! ! ! .' ' 11( ! ! ! (
# ! (
# 11( ! ! ! (
# ! (
# 6&3#/#- / 3' I 7 + ' + 6&3#/#-
&-! "
0$
()/ #
: ' * .' ' &23 +' '< #
06&3#/#-# ' 7 ' 6&3#/#-* ' #
06&3#/#-# < 5 < ' $' +
# 0/#-# < ' + #
$' + '
/ 0 -' * $ 'H '
.'H ' 6 $ < + + ' 0 -' * ' ! ' 0 -' * / + ' + .' '
=< M .'< + + '
' ) < + $ ' '
$ 0 -' * $' $ + ' + < < '
$ 0 -' * ' 0 -' * ' 7 ' ' $' + / $' ' $' ' + ' >0 -' * ?
36$2 2+
20
' *
' ' * * " 88* ' !
"
+
$
,
-
0( ' * 0( ' * ' * 0 -' * ' * ' * 0( ' * 0( ' * ' * ' * 3' I 06&3#/#-# / '
+ 7 + 0/#-# / $' 0 -' * $ '
F + + ' 3' 7 + 7' + 06&3#/#-# ' ' + '
2 < ! ' ' !
.
' ()' ! ! ! ' * * * ! .' ' ' ' ! ! 36$2 2+
20
0( * ' 0( ' * 0( ' * 0( ' * 0( ' * ' * ! ! ! 0( ' * ' * ! ! ' * ' * ' * 0-' * ' * !
0 -' * !
' * # ! # ' * 0( ' * 0( ' * ' * ' * ' * 0
0
0
!0
#0
&0
"0 /
3' I -' 06&3#/#-# I 7
&-# 0$ ()/ #
2 + 0/#-# + 5 + ' + $ ' '
0/#-# 5 ' + $ &23 +' ' ' + $ ' '
' 3< * ' &23 +' * * * ' ' ' < 5 $ * ' +
6&3#/#
* ' * *
' * ' '
*
> *?
/ 7 ' * ' >
5
.' ? < $ ' '
< $
< ' + $
' 7< '
' / 7 .' + 6&3#/#
' 6&3#/# P*< Q / $ ' + F + ' ' < ' $'
+ + * ' ' 6&3#/#* ' 6&3#/#
* ' '
> ?
06&3#/#-#< 5 < +
5
+ 0/#-# '
+ + 3' 7 + 7' + 06&3#/#-# ' + '
/ ' ' '
$ .' * 2< ' ' + + < + ' '< .' ' + ' ' .'
,% *$
' 7 ' 6 M + ' + $ / $
+ 5 ' + $ $ $ '
"! 89 $' $ '
' P < Q : < : + ' + + $' > < $ '? 3< 46 ' 5
+I
: > ?
+ " -D$ P"Q 46 $ ' #' $ $ + ' !/
' ()' 36$2 2+
2 0
' *
' ' ' * * * 88 * ' ( ! () * * *
" (%%' 1
+ () * ' '
$ 0( ' * 0( ' * ' * ' * , ' ) (%%' & (%%' - / + ' . ( (%%'
0 / ! * # % 3' I 06&3#/#-#
&-# ! ! ! !
' * * * * ! * ! .' ' ' ' ' ' !
! 36$2 2+
2 0
( * ! (00' ' 0( * ' 0( ' * 0( ' * 0( ' * 0( ' * ' * ! 0( ' * ' * ' * ' * 0-' * ' * 0 -' * ' * # # 0( ' * 0( ' * ' * ' * (00' ' !
0( * ' 0( ' * 0( ' * 0( ' * 0( ' * ' * ! ! ! 0( ' * ! ! ' * ' * ' * 0-' * ' * !
0 -' * !
' * # ! # 0( ' * 0( ' * ' * ' * % ( >'
?
3' I -' 06&3#/#-#I 7 >6?
!
!
' ()' 36$2 2+
2 0
* ! (00' ' 0( * ' 0( ' * 0( ' * 0( ' * 0( ' * ' * ! 0( ' * ' * ' * ' * 0-' * ' * 0 -' * ' * # # 0( ' * 0( ' * ' * ' * (00' ' !
0( * ' 0( ' * 0( ' * 0( ' * 0( ' * ' * ! ! ! 0( ' * ! ! ' * ' * ' * 0-' * ' * !
0 -' * !
' * # ! # 0( ' * 0( ' * ' * ' * % ( * 0 '>*(?
3' I -' 06&3#/#-#I 7 >66?
&-# '
46 + & 46 5 7 $< ' M
: 5< ' M ' / ' $ *** *
- ' ' + ' $ + # /< 46 5 8
+ + > '
$+ + *** ? $ # 6 # + < D' 8 ' + *
46 5 $ , < '
7 0/#-#
06&3#/#-# '
' $ ' .' < 2&#< &23 +' ' > D'?< 2&N)- < &23
+'
3< 7 ' 5<
'
0/#-# ' 7 ' ' /#
- /< ' + 7 $ ' +.' 6 '
06&3#/#-# ' 7 ' ' 6&3#/#- 7 $
'
0'
&
/$ 'F ' $
+ 3'
" ' / 5 ' + $ ' + 2&# ' ' $
+ 2&N)-# /
$ $
+ 3 2&#< $ 2&# $' '
, + -/#
+ ! ' ' $ + 2&N)-# / $ 0-#
' < < ' >$.
'? 5 $
'
/ ' + + $ + ' + $ < &23 ' ' &23 ' '
0'
& !"&
6 ' + + '
' +.'
+ < '
! < F + '$ + ' F
' P*< Q $ $ 7' '< / ' ' 5 +' < .'
$ 06&3#/#-# '
½
!
!!
' ()' """
""
""
""
""
""
""
"#"
""
"$"
""
%&' (
) * !'
%&' ( (
) * !'
""
""
"
"
"$$
""
"#
""#
""$
""#
""
""$
"$#
! ""#
"#
"#
"$
"
"
"##
""
""
"""
""$
"
+$")
"$"
+)
!
""
""##
"$"
""
"#"$
"$
""$
"
""$#
""
"""
"#
"$
!
! "
"""
"
"
"$
"#"
"
"$"
"""#
""#"
""
"#
+)
"#
+)
/$ I / 1
AND-test
AND-test with term similarity
AND/OR test
AND/OR-test with term similarity
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
3' "I / 0.7
0.8
0.9
1
&-# ' + ' > + + +? + *( * + * $ '
/$ 5' % 'F ' $
' + ' + + + / ' + ' + ' 5 + + +
$ 2&# 2&N)-#
6
' $
+ 2&N)-# '
+.' $ ' $
+ ' #$ 6 < '
-/ ' + ' + +N
+ >+ + -/< '
? /$ >
5 (? ' $ ' +N
+ # ' -/ / $ # + # < < ,!- +.' 2 ' M
$ ' + ' + ' +.'
/ ' + 7 + '
' ' 8 $#
> ' .' +'?< ' + + + ' + $ ' .' ' #
+ + +< ' .' &23 +' 7 + ' + ' $
+N
+ / ' 7 +8 + +.' + < + +
' ' + / + +'' 7 + $
.' &23 +' 2 ' &23 +' ' '
+ '$5
+
'N.' ) < ' , .' ' .' $ '$ +'
+ + 6 < +'' + 8 ' + $ ' $ ' < <
$
' $ '
/-4 '$ + +'' 7
!#
!&
' ()' 2 1
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , 62
*%*
**
*%
*
* ((
* *%
* "
**% "
** (%
**"
**
**(
* %("
62
+
* %
*("*
*%(
*
*%
*(
* *
* "
* **%
**"*
* (
Z% Y
*""
Z* Y
642
* *
**""
*( *
**
*"*(
*(
* %*(
*
**( "
**
***
*"
*(
642
+
*" %
* %
*"(
*%
*(*
*
*"
* ( (
* (*
* * **%
**
Z "Y
**"
Z% Y
/$ I / ' +.'
1
AND-test
AND-test with ts and idf
AND/OR test
AND/OR-test with ts and idf
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
0.8
3' %I / ' +.'
0.9
1
&-# !"
2 1 1,+ 72
***
* *
**
**
**
**
* *
*"*
*%*
*(*
**
Y , + Y , *%
Z Y
2&N)-# +
*" %
* %
*"(
*%
*(*
*
*"
* ( (
* (*
* * **%
**
**"
+N
+
*"
* ""
*
*
**"
*(
*( %
* %%
* ( * *
* *
* (
ZY
/$ I 2&N)- + +N
+
1
AND/OR-test with ts and idf
Vector-Space with tf/idf weighting
0.9
0.8
0.7
Precision
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
0.2
0.3
0.4
0.5
Recall
0.6
0.7
0.8
3' (I 2&N)- + +N
+
0.9
1
!.
' ()' 6 +
6- 3 $ +8 #
6- 8< '
+' ' E
6 + 6 < $ O7$ 3'< '
+8< , !< 6- / ' +8 / 5 + $ 8 '
+ + .' < 8 -D$H '
' $ 5 #$ ' + / 5
+ + - ' '
' + $ 8 + 8 +F ' + $ ' .' +' $ $ $#
<
$
< ' + ' .'#
' +' =< , ! 7 $' $
+ ' .' $ 7
2 M $ '
7 ' + ' '
+ ' / + ' .' ' 6 $5 + 7
'
$ ' 6- /< '
7 + 8 '< E $ ' $ ' .' ) E < '
6- 6
< + $ '
+ '
' '< $ 7 + ' .' ' 3'<
'' + '$5
+ ' 7 + + / ' + 7 3< ' $ + '
6 +< + + ' # $
< ' + 7 ' 5 + / 7 + $ < + $
' .' + '
' / + $
.' # ' , # ' ' $ + '
' +
$8 ' - '#
$ ' 8 O' #/
D'
' + ' ' / + ' ' $
< < $ D'
$ < E #
$ ' ' / +
$8
+F
' < + .' +
$8 + / 8 + +
$8 8 + + < $ 7
.' $ / ' + #
$' .' + ' ' / 8
+
$8 6
< ' ' ' + ' 5 +
/ + +'
7 + ' +.' 5
' + $ '#
.' / + ' .' 8 $ ,
! $' + 8 ' $ ' + 7 + '< '
$ + $ ' ' +.' 2 7 ' / + ' ' + +''
+ + +< + + ' +
+ ' #$ 8 +'' + '$
+ 8 ' + 7 $ + '
M $ 7 7 +' '
< $ M D' 7 + ' .' 3'< $
' 8
' .' $5 + +8 6
< $ ' + 7 '
+ 'N.' 5 6- $
('.
/01 2 ('3#.
/01 2 4
6 66 < $ ,!- 2&N)-# > 2& 'H [ 2&N)- + .'? +
$ $ ,!- 2&#
=< M >2&# I * %"< 2&N)-#
I * (%?< ' 5 M 5
3 .'< ' ' + $I
( + .' 2 + 2&# + .' 2 + 2&N)-#
" $ ( ' ' ' + $ " I
(
" ( (
3< ' + " '
' #'I
#' 3 " 3 < 3 '' $' +' + #
$' " + +
!8 $ + $' +' $ 3 " < #' " /< + #< '
M $ $
,!- 2&N)-# $ ,!- 2&# 5
#
5
('.
/02 ('3#.
/02 4
6 !6 < ,!- 2&N)-# +
$ $ ,!-
2&# =< M >2&# I ** **<
2&N)-# I ** "?< ' 5 M 5
3 .'< ' ' + $I
( + .' 2 + 2&# + .' 2 + 2&N)-#
$ ( ' ' ' + $ " I
(
" ( (
3< ' + " '
' #'I
#' 3 " 3 < 3 '' $' +' + #
$' + +
!8 $ + $' +' $ 3 " < #' " /< + #< '
M $ $
,!- 2&N)-# $ ,!- 2&# 5
$ $
+ 4
/ 66 ' +
$8
6 + < ' '
' +
$8 +
Y
$ $ ' ' M < ' +
5 3 .'< ' ' + $I
( + .' 2 + $ ' + .' 2 + +
$8
( *
#
* $ ( ' ' ' + $ " I
(
" ( (
3< ' + " '
' #'I
#' 3 " 3 < 3 '' $' +' + #
$' ( + +
!8 $ + $' +' $ 3 " < #' " /< + #< '
M $ $
' ' +
$8 5
#!
5
!
" )' '
+ + / '
$ -/ H $ $' $ ' + +
H
' $
#
H '
8 8 $ +' $ $
$ $' $ $ $ $ $+ $+
$
$ $ $
$
$
$ $ $ $
$ $+ $' $ H H H ' ' .'
'
'
H ' '
5 $
H M H H #
' ' ' $
7 7 7 7 + + + 5+
5 5 +
+ + + + + + +' + +' +' H #&
5 +
H + $ + ' H
H H H 8 ' ' ' ' '' ' ' 8 ' ' ' '
'+' ' '8 ' ' ' ' ' ' '
'+' '
' '' '' ' ' F H H
H
H H H H H + $ ' H ' H '
'
'
H 7 ' 'H
'H 'H 'H ' ' '+ '
F F
!
P Q 'A & 8 ) + I +' +' $< %I \"< (%
PQ 4 'A< , :;
+< & 8 ) + I ,
+' : %
/< *I *\*< (%
PQ - F#G -$#2
< (((
& < PQ ! 1#
5
I 7 '
%
%< I (\ (< ((
: PQ !' +' + O7$ + 7 + $ * %
< *I \ *< (%
P Q , 'F !
,+ + .' $ 6 3 <
!< C -D$< < &( 0
/
; ! < "\( < 2#
< < ((% R' ,'$
P"Q , & 'F ! !#$
+ I 6
+< 0$1'=( > ! $7 % !<
% \%< < :< (("
+< %&
'?( @A & *! &< P%Q '8 : )F + +
$8 6
\"< < 1< C' ((
P(Q C, ,# ' 6 +<
%&'>( @- & *! &< *\ *< &'$<
1R< C' ((
P *Q C#, G 47 + '
''
+ 6 ! 3 C -D$<
< &( 0
/; !
< (\"< 2< < ((% R' P
Q 3 47 + # &< > ?I\< ***
#.
++,; 1AB
&( 0
/; ! P Q 3 < !< C -D$ >
?
R' < 2< < ((%
P Q 3 < 6 -'< < C -D$ / '$ '
+ + + ' 7
$ 6 +< $&>( $" & < *(\< < 1< ((
P Q 3 C -D$ 6+ $ *< > ?I \ < ((
: P Q 3 C -D$ ,$$ 8 + 6
+< %&'?( @A & *! &< ( \((< < 1< C' ((
P Q 3 C -D$ '
+ $$ 8 +
$ %
< >?I\< ((%
P "Q & 6 + 8
$ I 6
+<
AA( - 3 2 < "\"(< ,'< 1< (%%
P %Q B & 0!
,& < +
1< ((
P (Q F + $+ 6 +< : 1'C( $ : 2 < *\< #
$< 3< ((
P*Q / 4 : :$ ) 7 + 8
$ <
'
< '+' 2 < "I"\"*< ((
P Q - 3< C& 1< G ) + '
$ 6
PQ
PQ
PQ
+< ) % $%5*% &$ %
! +! *
%
< \ < (%
, :;
+ -' + + $+ 6 /,'< < +! * / 7 D B
< %%\ * < (%
, :;
+ + + $ +!
&#< (> ?I% \(< (% & = /
.' 7 6 +< %&AA( @@ & *! &< \ < :$< 3< C' (%%
+< %&')( @? & *! &< \ *< #
PQ & = - +
$8 6
< &8< C' ((
P Q & = C -D$ ' + +
$8 ' '
#' : *< >?I %(\ < ("%
++,; 1AB
#
+<
%&'C( @= & *! &
< (\ %< ,$'< 1< C' ((
P"Q = ,' '$ '' + +'# ' 6
P%Q R =< R '< 2 6'< R = &' 5 '#
# + 5 6 +< %&),,,( )C & *! &< " \ %< <
:< D' ***
P(Q 4 6
2 7 +
$8 6 : < < $ % &$ "! !< "\< 4
M<
2C< (" , = 6
P*Q = R' ) F ) M $ '
8
$
6 C < - 38< 4 < < +< E&1'@( )
+! E# &! &< %"\(< $
< 1< (( P Q = R' ) F , 8
$ 2 < I \(< (( PQ = R' ) F , 8
$ 2 < I \(< (( PQ / R
< = G
< / < / $ +
5 F 5 ' 6 +< : 1'-( @?
2 < " \" < 2< C< (("
PQ ! , & 'F / ' + + &#< >?I \(< ((%
E#
PQ ! C -D$ + + $
'#
6 +< @> B ! %
& 7<
\ < !< 1R< ((
P Q - !'< = =+
< , & 'F 7#
D' + 5 6 +< 3&1),,,( A .! 3
&< 8
< 1< ***
+< %&'>( @- & *! &
< &'$< 6
< C' ((
P"Q C = ! , + 7
$ + 6
P%Q & ! ,$$ + $$ 6 ! =< - #
8< : ,< < $ 0
5 % +!
%< (\ "< &
< =
< (% &-
,'$ P(Q & 4 !
1 $+ + ' 8 7
$ 6 +< %&''( )) & *! &< \"< 8< 1< '' (((
&/
++,; 1AB
P*Q & 4 !
4E + 8 ' + +' 6 +< %&),,, .! &< \< < :< C' ***
P Q & 4 !
6 ' 8 +8
6 +< %+&),,,( - %
! % + &<
%%\ (%< '@< < $ ***
PQ & 4 !
- ' $+ 6 +<
PQ
/0%1),,,(
* 1),,, .! / 0
%
< \"< :< 1R< $ ***
C ! & + $ !
/< I\ < ( %
PQ < 3 $< 1 < / + + $
6 +< %&'C( @= &
*! &< (%\*"< ,$'< ,< C' ((
+< %&
AA( @@ & *! &< PQ C#G 2 ' + + + 6
(\* < :$< 3< C' (%%
P Q C#G 2 + $
< >?I""\( < (%(
+ P"Q C#G 2 /
$$ + #$
+ 6
P%Q
P(Q
+< %&')( @? & *! &< *\ < '< &8< C' ((
C#G 2< $< 3 ! 6+ '+' $ ! :< %>%?I \ "< ((
3, - : ' 6 - < < 5 / < "\"< 2 G8< (* -'
R ,'
P*Q CC - - +
$8 + 6 : < < $ % &$
"! !< 4
M< 2C<
(" , = 6
P Q : 4' $ + &< > ?I(\< ("*
PQ : $ % &$ & %
"!
, =< 4
M< 2C< (" %
* +
PQ : < 4 37< = ' 47
$ + < > ?I *\ * < (%
PQ R 2 $ $+ 6 +< ! %
< \ < /8< C< (%%
++,; 1AB
&
PQ 3 $ ) + + < > ?I \ %< ((%
+ P Q 3 $ /
' + + %
< *>?I \%< (((
P"Q C -D$ $ + ' + #' +
: *< >?I * \ (< (""
P%Q C -D$
&
'< ("(
+< %&A'( @) & *! &< ""\% < #
P(Q C -D$ /
+ 6
$
< < C' (%(
P *Q C -D$ # + + (I% \%< (% P Q $ 1
+' 6 +<
* %
< %"\**< /8< C< (% $ ! :<
@ "!
P Q # 6
$ I ' 6 <
< +< : 1'?( @> : 2 <
\ "< 3< 1< ((
P Q # 6 $+ 6 : '< <
< ("\ < $
< 1< ((" 6/ 3 &
P Q - $' ' $ 6 +< AA( - 3 2 < %(\(< ,'< 1< (%%