Best Choices for Regularization Parameters in Learning Theory: On

 £Ý
!" !"
#$ % %
&
'%''
#$ !"# $%% !&# % !'(# )
'
* +
,
- .
%
/ !0# -
!!"#$$%&' ( )
*
* +
"!! ( '
, -. /0 !1( /"2!"'
'
!1/# 2 % 2 )
.
% .
- ' 3 % -
$4 Æ !5 ' Æ
5
$6
$6
' Æ 2 7 3 2
2 ' Æ 2 %
8 9
$6 $6 $4 8 : ; % 2 2 <
4
2
; % $6
%
;
= > ; 2 % ?
$ @ 5 )
4 * '
62 2 2 8 2 $6 2 2 !#
% 1 $$$ !1/#
% .2 %2 $ 2 ,
2
6A,/ ,
, - 2 Æ 2
% ½¾
½ ¾
) $ $ -2 B
2 8 ' @ 2 4 B !# % ; 5 C C %
* '
* (
; 2 $6 % 5 C C !
" $ * ! # $6
$ * !# ! !#
/ & D ? 1 $$$ !1/# 2 !"# >2 2 2 % 2 '
4 -
* * @ . + !1/# 2 4 %
$ ? ; 5 4
2 % 2 $4 0
%
2 ' ! '0
! 5
*
(? !* "
? * * * * @ 2 ' 2 % % 2
5
8
# $ ' * # $
%
%
* %
%
* % #
%
* % ' % # $
#
"
5
/
% !#
2 $ * !# $ * !# ' 9
$6 !# !# !# $6
$6 9
% 2 !# % 2 !# 5 : ? 1 $$$ !1/#2 4 52 ' !
D * !
! 5
' ?
!
D * !
"
?
"
@ : !1/# % ,+
= -
:
= 2 2 !
' D!
?
" ; 2 * * * * E
! 2 2 !
* * * * @ $ 2 $6 2 !# $6 2 & $6 2 & & & ! 5
!# ! # ? ' 0
!
"
62
* * ! ' !
D * ' '
?
"
; ' !# !# 4 ? ?! ' 0"
? * D * ! !'0
&
$ % ? 2 2 ,+
=
-
( %
% ) ' ?
5 ' ?
'
( '
)
"
!
! !
"
1
%
' $ % $ 5 2 ;
=
' ' 5 4 ,+
= -
! 5 '
: '2
$ * '?
!
"
* * '
' %
$ * 2 ,+
=
-
D
! 5
!# !# !#
$ * ? ' 0
!
"
; 8 ( 0 2 '?
% 2
4 2 "
'
*
*"
?
* * !
* % ' 0"
-
2 2
!# * ' !# !# ' !#!#
?!
$ * ! # ! 5
!# $ D2 1 $$$ !1/# *
F
-
-
!# *
!# !# !#
$ * !#
; 8 " E !# $ * !#
!#
?!
! # $ * ! # ! # ?
% $ * '
!
$ %
) ! % $ ' Æ ) $ # # 5 * 5 # # 5
! " ?# ?# 8 # # 2 %
% 2 *# *# *#
5 %
% - % ) 5 + 52 5 5 * *
'5
º
ºººººº
ºº
ºº
ººº
ººº
ººº
º
º
ººº
ººº
ºº
ººº
ººº
º
º
ººº
ººº
ºº
ººº
ººº
º
º
ºº
ºº
ºº
ººº
ººº
º
ºº
ººº
ººº
ºº
ºº
ººº
º
º
ººº
ºº
ººº
ºº
ººº
ººº
ººº
ººº
ººº
º
ºº
ºº
ººº
ººº
ººº
ººº
ººº
ººº
ºººº
ººº
ºººº
º
ººº
º
º
ººº
ººº
ºººº
ºººº
ºººº
ººººº
ººººº
ºººººººº
ººººººººººººººººººººººººººººººººººººººº
º
ºº
ººº
ºº
. !'52 0? %#
4 2 % # # Æ
4= : ?2 ! 2 ' Æ2
0
! '?D * 0
!
(? * "
Æ
Æ
!
(? * 5
'
4 /
E 1 $ !1/# 2 % + ? , ! 2 !
(? * , (? !
* (?
, * ! + !'"# 42 -
* G
%
2 -
' ! '?D * 0
(?
Æ
@
, * ! 5
(? !
* -
% # & # # & 5
&
''
?
# 2 # Æ 2 # , 2 , 4 2
2 '
4 -
? -
& & ## & ## 5
-
% ) 8 & 8 & Æ
2 8 &2
D 0 Æ D, (
& Æ !
(? * & Æ
%
! ' 5 + Æ ' 5 (? * & Æ
' Æ
­
@ ' (2 1 $$ !1/# - 2 '2 2 2 2 5 + . + ' . ''?2
* /
% * !1/# '2 1 $ 2 * /
2
0
/ .
% -
.
* / '?
8
* 6
* * / 2 / 0 2
% B
6 4 ) + ? 5 + . + ' Æ ; 5 * * 5 %
%2 * E0 & Æ
. * 5 . E0 & Æ
* 5
E0.& Æ E0.& Æ
5
"
G
8 &2 - ) 5 B
6
! 5 + Æ '
5
'(
( & Æ
" % 0& Æ 0& Æ
42 -
5 5
E
0 2 8 &2
?
0& Æ ?0& Æ 4 5
;
2 -
E 0 * 0
5 2 Æ
5
5 & Æ 5
2 (2
!
6 2 2 %
H
!(#2
2 7
2 % 2
7
% %
:
%
.
-
2 )
!
# % 7
-
%
/
(2 1 $$ !1/#2 .%
% ) %
/% 2 2 ) + .%
)
%
. 3 % ) '0
I1.
/
% 2 %
;
%
%
2
% % $ 2 ?2 % 2 $ 2 %
% ºº
ººº
ºº
ººº
ºº
ººº
ºº
ººº
ºº
º
ººº
ºº
ººº
ººº
ººº
ºº
ººº
ººº
ºº
ººº
ººº
º
º
º
ººº
ººº
ººº
ºº
ººº
ººº
ººº
ººº
ººººººººººººººººººººº
ºº
ºººº
ººº
ºº
ººº
º
º
º
º
º
ººº
ººº
º
º
ººº
ººº
ººº
ººº
ººº
ººº
ºº
ººº
ººº
ºº
ººº
ºº
ºº
ººº
ººº
ººº
ººº
ººº
ººº
º
º
º
ºººº
º
º
ººº
º
ºººººº ºººººººº
ººº
ººº
ººººººººººº
ºº
ººº
ººº
ººº
ººººººººººººººººº
¯
¯
¯
¯
¯
¯ ¯
¯
¯
¯
¯ ¯
¯
¯
¯ ¯
¯ ¯ ¯
¯ ¯
¯
¯
¯
º
º
ºº
ººº
ºº
º
ººº
ºº
ºº
ºº
ºº
ººº
º
ºº
ºº
º
º
º
ººº
ºº
ºº
º
ººº
ºº
ººº
ºº
º
ººº
ººº
ºº
ºº
º
º
ºº
º
ºº
ººº
ºº
ºº
ºº
ººº
ºº
ººº
ººº
ººº
ººº
º
ººº
ººº
ººº
ºº
ºº
ºººº
ººº
ºººº
ººº
ºººº
º
ººº
º
º
º
º
ºººº
ººº
ººººº
ººººº
ººººººº
ºººººººº
ººººººººº
ººººººººººººººº
ººººººººººººººººººººººººººººººººººººº
ºº
º
ºº
º
ºº
º
º
º
º
º
º
º
º
º
º
º
º
º
º
ºº
º
ºº
º
º
º
º
º
º
ººººººº
ºº
º
º
º
º
º
º
º
ºº
ºº
ºº ºººº ºººº
º
º
ººº ºº ººº
º
ººº
ºººººº ºº
ººººº ººº
ººº
º
ºººº
º ºººº
ºººº ºº
º
ººººººººººººº
ºººº
ººº
º
ººº
ººº
ººº
º
ºº
º
º
ººººººººººº
º
ºº
º
º
ººº
ºº
º
º
º
º
ºº
ººº
ºº
º
ººº ºººº
º
ººººººººººº
º
º
ºº
º
ººººººººº ººº
ººº
ºº
ºº
ºº
ºº
ººº
º
ºº
º ºººººººº ºº
ºººº
º
º
º
ºº ººººº ººººº ººº
ºº
ºº
º
º
ºººº
º
º
ººº
ººº ºººººº ºº
º
º
º
ººº ºº
º
ººººº ºººººº
; .%
!(#2 % !1/#2 !E#2 42 %2 % % 3 -
B 1 : -
2
' 2 $6 4 8 %
!1/# 3 )
- / % J !'0# :
2 !?2 '2 D2 F# !''2 '?# , 1 1 J
2 $42 1 - ) 1 '"
"
!!
" # $%
& ' ( )) !!
*' +
*$ ,
(- &
!!
. * / / 0
+ + $
!! "))"
1 2($
' &
1 &$$ $3
4 / 5
'+
! 6 7 7 ' 8 7 9+
) ")))
7
3 :(
+ !!" !! #
$ %&
+
$ $ $ """" !;!
; 55 <(
(
4+= <
!;6
> 05 # -- ( < , ( !!
66>"6!; !!
! 05 # -- ( << /+ + :
!!
! ( ) ' '$
;
> !!"
/
$:5$ !!"
& 4-$ . 7 0
+ + $
3
+-+
- - !
>>!>" !!6
" & 4-$ . 7 7
3
:
- ! $#! )>) !!!
4 1+
( 5? !;;
/ (
7
%! #%
98 9
*$ ,
(- &
")))
@:A B+ 1+ (
$ $ +- 1 ' !"
"))
1
!1/#
-
% % % B ) $ B 2 %
% !"""
'E