21 Entropy Numbers for Convex Combinations and MLPs

!!! !
" # $
# %&$
'(')' * +,
-
!!,-! !
., %, #
/ 0$ 1 / * 20
3
,,,
!!444,,,! ,!
$
$ $ 4
!!! 4!
! " #!"
! "# $ ! % & 01
2
34 '
5
$
"
$"
' $ ()* + ,(--./ & ! & ,+ (--./
!
,$
(--./ , (--- + (---/ % #
. #
() 0 6& (. $ ()* % ((7
8 ! #
& ! 3 ,(--9/ '
,(-.(/ : ;
2
,(--</ ,(--./ '
4
$ ,0 (--- $ (=9/ ! " #!"
!
% #
( $ )() 5! ! $ )(*
% $ )(= ! ! #
,(---/ $ )(> !
? 0 ! 0 ! Æ ! ( &
@ ) & 0 + Æ !! " #$
6 @ A
5
@ &
! B % 1 & 1@ + !
C % !
% ! " #!"
:
!
! ! + ,#
(--- #
=>/
% ! " $ & '$
#! D
# &
D
"
½
7 Æ
! Æ ½
@ (
! ! % !( ; E ! E 7 &
½
½
E E E E
! '
F ,#
(-.>/ + D
% !) *$"+ 3 Æ D
! ½
( B ¾ + % @ 1@ @ % G!H Ê $ ,6 (--> *)/
" !, $ 3 Æ D
! @ ½
( B ¾ ! " #!"
!
$ 4
)(=
,#
$ (--7/ 4
% !- %$ $ % Æ
1 ½ ¾ 0 % !.
$ Æ @ ½ ¾ @ ½ ¾ % Æ D
:
#
% !/ 6 1 #
1
1@ 3
1@ ! " #!"
"
Æ
1@ 1@ B ¼
¼
¼
¼
% @ B ¼
¼
$ )(. $ )(>
5 "
"
#!
#
#
! @ 1@ 1 Ê E
1
1@ @ Ê
½ I E J
1 Ê
1 Ê @ 1 Ê
½ @ ½ 3 & ! E % !0 & 6 E ! ( '
E 3 E ½
½
¼ Ü
A
¼
! E 7 ½
E E I 5! @ 1 ! " #!"
"
#
$ $
1 &
( D 4
)(< ½ ¾ 5! 4
)(= )(- ½ ¾ % !!1 & I! 1@ &
@ ¾½ ½
IKE E ( B ½
½
¾
½
¾
KE (
½
½
@ @ ) @ ¾ $ %
¾
@ ·¾
2
( ,;
(--< (--./ '
F $
$"
#
0 ,(--</ + 0 ! ! L ,(--*/ 4
)() @ ! $&
@ %
,+ (--./1 $ $ ! " #!"
%
;
+ & $ (*) '
F ((9 $& 1
Ê 5 #
.
'
! ! ! " (9>
1@
(9<
@ ! " " + ! # " # ! & Ü
A! 2
'
,'
(-7-/ # & $"
$ B ( Æ $" !
@ 1 Ê @ Ê ½ I & I I I @
@
! " " @ M M D
M & $" & '
F (9.1
M 1@ ! " ! " 1@
! ! " ! ! ! " #!"
" "
#
M
M
31 % $" 1 % !
! :
% % ,+ (--./ Ü M ! $ )# ! D I $ ! $ I I ! $
J
$ + /
M A
½
/
j ¾
jjjjjj
jjj
ujjjj
1 ¾ @1 M M ¾ 1 Ê
1@ # ! ¾ # )()( D )(( $" ,+ (--./
$" I I !
$" ! " #!"
&
'
$
$ Ê
: ,$ (---/ 1 1@ '
A
! & + 1 M M 1 M M ! ,+ (--./
2 !!! $ 3 %44 *
6 M )()> )(*7 '
& )(). )()-
1 & Æ I
( B I I ( B & #
)(>
& ,+ (--. $ (---/C :
:
% + ,$ (---/
! " #!"
"
#
'
" !! " $ & &$ 3 & )()(
3 & )(). )()- 1 ! ½
½
9# ¾ ¡
¾
0 ! ,+
(--./ & ; ,(---/ !
$" % !!( %" "
3 ! @ % 7 1 @ 0 '
! ! #
$" ,+ (--./ ' ' 0 ! $ Æ + 1
% !!) %" " Ê
@ Ê
Ê
, /( ( 7 1 @ · 0 ,+ (--./ 5 4
)((* ,+ (--./ 4
)((= :
! " #!"
&
J : 1 $" 5 ! :
'
&
% !
!
,$N (---/ A! &
; @ ! @ ) G H
@ (( B ( $ $" !"
+ Æ D
D
½
ܽ
Ü
¾
½
½
¿
¾
¾
¿
¿
$
'
5
6 A &! :
! " #!"
$
()
&
)() ' &
&! I ' I & 1@
' (
½
' @ ( 1@ 4
)(.
+ '
5
'
4
: & )(=) )(=*
% !!, " $ 3 3 ) ) ! & )(*. 1 & )(() 1@ @ M Ê I ½
&
)(-
I) '
& 1@ I
! A )I) 5 L 4
)(. '34
! )(=* +
! " #!"
&
" !!- " #$ *$" %
) '34 )() 1@ '34 )
!
I
:
% 4
)((=
" !!. *3% 5 " "4 '
4
@
Ê
Ê
, /( @ ( 7 ! *+ 1 @ · 4
)((= & & #
)((9 )(== : D '34 # '34 : ¼
# $
+ :
$" & : $& ; ! 4
)((=
4
)((7 ? )(*< % ! 34 34 ! " #!"
%
* &
$" C L GH :
:
% ! +
,+ (--. ; (---/ % & !
! " #!"
&"
% &&' (" )*+ $
J L
! ,! , ( 1@ @ (
@ Ê , @ ) D
& L
% Æ , ( #
& !
- E * .7
. - *
¾
0 ! @ Ü - * )(=<
J
1@ . 7 - *
Æ O 1@ Æ
( O . * O @ , ( & , ( J $
& & Æ
:
? ! ! ! ! :
! & ? ( : !
! ! 0 ! ! ( 0
Æ ½
! " #!"
&
!+ &$
, &&' %
!"
#$ $ ½ D & ½ ½
½ B A! ½
½ B D ¾ / /
½ ¾ ½ ¾
¾
½ ¾ / B %
!"
%$ ¼
6 @ '
0 1@ 1 1 + 0 B 1 @ ! 1 ! 1 0 1 1 1 B @ % !"
&$ &
@ E & E E E
!
¼
¼
¼
¼
¼
¼
! " #! $ %%&' ( )
!! " *!( +
, - !
! $.!/ %%/ + &/ ( '
! " #!"
&%
0 ! 3
$@
7 7 7 7 #
! $ ! 4
)(* ½
½
$ E E E 5 4
)() ½
IE E ½ E # E % !'(
$ A )(>< ¾¾ I¾ /
I
¾ ¾ / r9 O
r
r
r
rrr
¨´
µ rrrr
½ ¨´
µ
r
rrr
rr
r
rr
rrr
/ I
¾ D
1 %
I
¾ ¾ I
¾ ¾ '
I
¾ ¾ @ ½ I
¾ M @ M P )(>. 4
)(9 I
¾¾ I ½ ½ ½ ¾ ½
¾
½ ¾
# 4
)(9
1 #$
½ @ ( $ ½ D
'
F 4
)(=
! " #!"
&
!+ &
%
!"
)$ + Û£ Ü Ü ¼
M M M Ü Ü ½ @ !
¼
¼¼
½
!
) ½
) I ½ ½
¼¼
0 ! ) I ! M M M M @ B )) ¾ D Ü Ü ¾ @ !
¼
½
!
M M )) ¾ )) I ¾ ½
0 ! )) I *
0
#
6; Q R *<-S>(<(-( A
# +
;
5
)<(>7 5
#J3 ) 4
0$ $
;'6 %$ ! " #!"