A Hierarchical Model for Minimum Entropy Data Partitioning 1

 Ý ! " # $% &'
( ))
* * *
)+ % ) , * + %
) )* . /0 1
1) /1 2)
3 )+ ) ) , 45 ) * 6+
1
*-
)+ % )* )
)
* , 7 ) ,8+ * , * , )* )) ,+ * * Æ) , )
* , 6 ) )* )+ % ) 1
, *
*-
+ 9) 1 , * + % 4*5 * . /0 +
* * 3 , :+ , + ; <= , ) - ,, )
2) 1)+ % * ) , - +
% ,) > .0 ( ) )* ), ) * 6+ .% * * , :+ , + ?) 6+0 .0 )* * )* /1
), ) ,) )- )*+ % 7 )* * * *
4
* *5 . 9*+ 0 ) /
), ) + % .
), ) / *0 ) , 1) * * )+
:+ , 3 ) + :+ < 1
* , ) 7 6 + ( ) ) ) :+ @ ) 1
1 , *
* * :+ , +
, * * A .A ), B) 0
+ ) *
, ,, ) .0+ ( .0 ,
.0 C
.0.0
. 0
. 0 ) + % Æ . 0 .0 C ,, * + ( A ,* . 0 . 0 C
.0
( ) * * 6
,+ - ?) )** , :+ , ;=
* ++
.0 C .0 * .0 .0 .<0
. 0 * . 0+ 9 * -
) + % ) . 0+
# 6 . 0 )
* * ) ) C D *, ) . 0 ?) +
;<= ) 6
C .0 .0 C . 0 .@0
. 0 C . 0 * . 0 : . 0 )) + " ) .0 * . 0 1) ) . 0 C * . 0 ) . 0 C + E) 1
* / , B?+ @ 3 4)5 )
1 ?) * ,) ) 6F*+ 1 * 1
) ,+
7 * +
E) ) ,6 )+ % * ) / C
.0 C * . 0 .'0
A > . 0 . 0 C . 0 * , B?+ <+ " * . 0 . 0 4,5 + 6* 6 ) , ) * ?) *+
* )) +
, ) ,, )-
.0 2) 1)
.0 C
. 0. 0 .&0
2) 3 ) * ,
. 0 C
1
. 0
G . 0
. 0 ;.G 0=
.H0
), 2) + % 1) Æ . 0
. 0 C + 9 I 3
* ,
. 0 C
. 0. 0
. 0. 0
.J0
, . 0 . 0 ) , ?)+ .%
G . 0 2) 1) ,
/ , )* B ?) ; =+0
;= ) , )
. 0 2) 1)+ ) ) .0 C
. 0 . 0
.0
1) Æ . 0 ) )+ * B?+ B?+ *
.0 C
.0.0 C
. 0.0 . 0 . 0
9 ?) B?+ & B?+ . 0 C
. 0.0 C . 0
)* I 2) 1) .20
B?+ 1
)3 . 0 3 3 . 0>
.0.0
.0 C
C
.0
C
C
C . 0
.0
. 0.0
. 0
. 0.0
. 0 . 0 . 0
. 0.0
C . 0
C + ( C
; =
. <0
. @0
. 0.0 C
. '0
. 0
9 ) ) , .
0 1
. 0
C
. &0
1
. 0
¼
¼
% * ) B?+ ' ) , +
9 * /1 ), / ) 6
. 0 C
. 0 > . 0 . 0 C C * . 0 . 0 C . 0 C
. 0 * . 0
1
. 0
. 0 1
. 0
¼
¼
. H0
. J0
. 0
"
!
: ) , ** 7
), 3+ )*+
1 , *
+ ( * ,) , 7 + 1* ) ) )* ,+ % * ) B?+ H . C 0 ) , ) -
+ ( ),
), )
* *
) + % / * * , +
( 6 , * C )+ 9 , ), + %
,, ) ) *
, 2) 1) 3 C . 0
1* Æ C . 0 +
% * ,)* ) , >
+ C* D
C* +
+ : +
<+ ,)+
@+ 6 * ) . 0 , ) *+
K
L C * . 0 D
L C
L . 0
L . 0 D L . 0 C L . 0 C L
C L . 0 * L . 0
¼
¼
C C C +
L '+ )
.0
B
K
L
L C > C > L . 0 L . 0 C C L . 0 C
. 0
C . 0 C +
) . L 0 C
) * 1 ) 7 6 .*-
* 0+
( ) 2) * D
9*+ + % 2) 1) * ,
J 2) * +' * *
))D
2) * + *D
2) * +@ * -) )D
2) * + -+
1
) 2) 1) .20
3+ * ) B
?) / 2 ; =+
! ! " # % * :+ +< * C , , ) ) .9*+ 0+
E / . 0 * +
6
5
4
3
2
1
0
−1
−2
−1
0
1
2
3
4
5
6
7
( ) ,
+ % * ) , /*) ) * * ./ *
B?+ '0 * )+ *
) K + (
) , + % * * ) + %) K < ) )>
* ' , + * )
)
* ) )+ E K @ )
, * *
+ % / * / , , ) +
" ) + B ) ), )
+ / , * ?) *+ * ) / / * * ), )
* *+
root
7
6
5
4
(I)
3
2
1
0
−1
−2
−2
0
2
4
6
8
−18
E=1x10
0
1
1.5
7
6.5
1
6
5.5
0.5
(II)
5
0
4.5
4
−0.5
3.5
3
−1
2.5
−1.5
−1.5
−1
−0.5
0
0.5
1
2
1.5
2
3
E=5x10−5
00
01
1.5
4
5
6
7
E=1x10−8
10
1.5
11
5.5
6.5
5
1
1
0.5
0.5
6
4.5
4
(III)
5.5
3.5
5
0
0
−0.5
−0.5
−1
−1
3
2.5
4.5
2
4
1.5
1
3.5
−1.5
−1.5
−1
−0.5
0
E=5x10−2
0.5
1
1.5
−1.5
0.5
−1.5
−1
−0.5
0
0.5
1
1.5
2
2.5
3
3.5
E=1
4
4.5
5
5.5
6
6.5
1
2
3
4
5
6
7
E=1
E=1x10−4
100
101
7
6
6.5
5.5
6
5
(IV)
5.5
4.5
5
4
4.5
3.5
4
3
3.5
2
2.5
3
3.5
4
4.5
5
5.5
6
E=4x10−2
6.5
2
2.5
3
3.5
4
4.5
5
5.5
6
6.5
E=4x10−2
!!" # $ % & '
! (!(( !! !) * $! !!
! % !% + !) !( $ & " , ) $ ( ! -" " ! $ !! !) * ( " # &! '
!! * ! * $ * " .! % $
!! "
/
( * * * )+ % * * 3 , :+ , +
- +
B 1
, /1
3 )+
) ) *+ B
6 ) *+ ( )
) ) ) , 45+ ) * 6+ % ?) ) ,*
7 , * +
9 ,) )*> ) / ), ) + % / * * , / ) 4
* *5 1
+
% * * >
E 3 ) )* * 4
5 )*+ % 1
1 , * * * . /0 ) * + )* )* * 1 / )*+ 41
5 1
) * , / / ,+
E) * * ) Æ+ % ) ,) . 0 ), ), 3 )
), ),) ) +
) , C ) . 0+
$
* , ,) .+*+ ;=0
?) . 0 +
!
; = $+ + + + E1
'+
;= :+ M+ , + B + 63+ 1) *+ <<.'0>J<<NJ< +
;<= :+ M+ , $+ # + + ) B
* )* , M)
3 $ $+ % 2--H , 2)
B** : E1 O
+
" ;<= ) 6 * )
C .0 .0 C . 0 .0 C .0
.0 * .0 .0 .<0
C * D
. 0 C .0 * .0
.@0
: D . 0 )) + -
1
6* ?) 16* ))
. 0 ?) *+ % ) * ) B?+ , ), ) ) 7 6+
$ %#
&'
( ) *+ $ p(x|1)
−a
p(x|3)
p(x|2)
0
a
b
$ - 1
*
, 2) ,) * 2) ,) *D 9*+ <+ %
, .
0 )
.0 C ;. 0 P .0= P .<0 . 0 C ! .0 C
.0 C ! .0 C
.<0 C ! .0 C
.'0
¾
1
.
¾ 0
1
.
¾ 0 1
.
0
.&0
P C " # +
) * ) 7 )* ) C + / *
2) ! ! * 2) ! .# "0 * + ( 4 *5 , * , + .5*
B?)-:6 $)50 / ) ! ! * 7 D ) ! * * 2) ! + % , ) ! 7 ! + 9) / 2) 3 ." 0+
( ) :+ + ) ,, ) * ,
. 0 C $. 0 P .
.0 C .<0
$ 0.0
.H0
9 B?+ .0 C $. 0. 0 P .
$ 0 . 0.0 P .0.<0
.J0
* 1) Æ , Æ B?+ '
*
. 0 C .0 C $ C
.0
2) ) 1
) # *
B?+ <+ 9 ) . 0 .0 + 9 )
# . 0 .0 + %) .0 C .0 P
.0 * .0
.0 * .0 P
* . 0
.<0
# * / 2) 2) 7 + % 1 ?)-6 ) + % -
,, ) * ,
. 0 C . 0
.0 C Æ.0 P .
Æ 0.<0
.< 0
/ 1) Æ 4$ 5 *
. 0 C .0 C P Æ C
P
.<0
, ) 2) )+ 9
) ) .<0 + %)
C
. 0 C C
.0 C ½ ½ ¾ C
¾ ½ ¾ C
9 ) ) # . 0 .0 + %)
. 0 C
. 0
. 0 P .0 P .<0
.0 C
.<<0
. 0 .<@0
% .0 C
."0
C
.0 * .0 ;. 0 P .0= .0 * .0
!
*
! P !
!
! P !
P
.<0 !
! P !
*
!
! P !
.! P ! 0 .<'0
C .0 P
."0 C
.0 * .0
."0 P ;. P 0 * . P 0 P * .0= .<&0
1
. P "0
* . P 1
."00 .<H0
( * 4,5 * 1 ?)-6 )
+ " !. 0 !. 0 C
P * . 0 P
."0 *
% !. 0C
. 0
*
.<J0
P
P
*
.<0
.@0
* )+ ( ! , ! +
% , ! . ."00 .@ 0
, ."0 *
) * ) "+
") * ) 9*+ @+ " , , * 1 ?)6 ) )+ %3 1
" C ' <+
0.15
β0
0.1
0.05
0
0
0.2
0.4
0.6
0.8
1
a
!
" # $
!
" % ¼ & ¼ $ '%