Theory and Experiments with Perceptron Algorithms

! " # $
$% "
&
'
() # *+ $
,--- ./ # $% 0 1 2 '
3 ,--4 $% 5 $
# '
3 ,--4 $% 5 67 8 9
** 8 9
** : # &'( #
! " # 44*; (<9 64; &(
# . # = ! ) (
>
$% 9 ?3 ,--4: ?3 ,--,: ,--, &'( 5 ) 5 2$$ @ @ . # )
A A 0 B C
0 0
B C 5 0 0 D EF " ! 0 . G# 9
H
A 4 )
5
I
A 4 A 4 ) J !
0 ) 0 A A D @
A A D . H @? @& @! @? @&
0 ÆÍÄÄ @? @& @& @? @&
4 4 5 EF 0 EF 0
& A K 0 K I 0 5 5 #
*+: $
,--- 0 .
EF G G #
L $
# . )
Ê G
%
A 4 5 # *+ 4 A A - 9
@
.
# A 4 A
9
.
) # *+: $
,--- Æ 5 @
0 0 M M E
F E
F )
M A 4
A %
M @
5 EF M 0 5 N Ê N A
N N A ¾Ì N A
N N ,
A > N 0 %0 , Æ ! N @
0 $
# >
I 5
9
# *+ 5 !" #
> 0 0 # EF 0 A M & %0 , I
N J
0 0 !
3 I
4 # . I %
5 0 & M 5 H 0 ! "
# $ % & '( !
) * +
, ! ! - . & / 0
% ¾Ì
(
1 2 % % 3 *
4) 0 # @
,4
$
% &
4 E
F
? H
H E
F A A 4 5 %
L "
5 " 4 8 9
** G
6 0 ) * +
, ! ! 4
0 ¾ % *
1
* * 2 % % 3 *
,) . # 0 )
A 4 . ! ! . M M Ê . % N Ê ! M N A M N
¾ M N # M N , )
@
0 ) A A A 4 > ! A !
0 M A
M @
9 %0 4
, N 5 4 # ( ! 5 M " )
$ !
%
%
0 ¾ 4 0+ ! )
Æ '
Æ
Æ - ' !
+ Æ 5 ' ! Æ %
% Æ Æ # 6 )
6 )
Æ
Æ
Æ ! " # ! ! " # Æ
Æ % % Æ
Æ
Æ
' # I I .
# I ! &'( ! I . I
I !
0 O 9 I O 8 9
** 0
2 % # Æ + !
Æ
%
Æ
EF Æ G
' Æ G #
# ,
) 4 , 0 I
# # # I 8 9
**
2
*6
0 N A 4 A ¾ N
M # 0 N A 4 " ,6 5
I
#
# 4 8 9
** )
% & '' ( ) 2 ! 2 Æ
Æ
Æ
67 # 2 ! Æ !
# Æ + !
* +
!
!
$! !
$! !" ! #
5 2!
!" #
) ( 9 P
# $
*= $
*6 5 -G47 # 4*G,4 ,,,L 5 &( # $!" ! #
=) , 83 0 39) 39) (
/ # 46G47 ,4 ,- (<9 # # &( #
(<9 # *+ 3
# 4 # *+ # 5 # E
F Q *6 = # # # # # . # !" #
:
,:
3
+
;
3
+ ;+<
3
;
3
;!==
:' +
;5<
:' ;5>
$ #
:
' $?
3
+
5;
3
+ >=
3
+
3
<+<
:' +
<
:' 5=
8
!
;
;
;++
5++
8
!+
5+
>
!@
!++
5++
L) A 8 3
:' 0
$ + ,
H I
3 - 6 6
G # *+ 3 6 5 ,6 5
>
I 5
9
L # )
3 6
5 $% H 3
) *,+6; *=6=;
# =,7; ,*=; (<9 5 #
3 . $% < (<9 ,7*; =,7; 44*; 5 &( # *=+=;
*=,*; $% 64; 4 ,
8 9
**
&( ( # - ' N H # 5 N A - 9 H # H # A ¾ M N 5 N A N D M M # ')
*
*
2 %
*
2 Æ
% 0
' %0 = Q
N A -
' N A - ' N Æ Q
' N
' N
N Æ
N )
*
*
2 %
% 25* % % * 2 0
M M N M M - N 5 N
N
Æ N
Æ
N Æ
&( ( # - M
Ê MN N Ê A 4 N M A AR M A A 4- M
R -
9
' Æ .
. '. Ê ' A ' A 4 ' A R
A 4 J * * Æ
% %
% %
*
*
% % 2 B
% 2
B
! 2 Æ B
. '
. 5 '
Æ 4 D Æ R Q 4 N M #
R A Æ D R 4 D # Q M MN N
M A 4 3 3
# R # I
R
R R A Æ Æ A D Æ Æ Æ
! E
F , &'( I ! M N (>
/"
#
& ?3 9
S
9 (
&( # "
C ' !;;
C 'D
E 8 E 3
F 4
) 3 )
* 4 : DG 8 5++! 4 H
8 E 1 +
" + & "+& ,-
4 : DG 8 5++5 8 A 3 F H D
)
. 3
1 +
(* ..
4 : 5++5 A 8I
' '0
F C . 3
1 +
(* ..
, J K )
A !;;; E : 4
&
3
1 /
@F5@@I5;>
L D : 9 0
* & & +F!@
M !;;
EG M :
4 3 , 5++! 4
&F 3
(
1 +
*/ ..,
:
4 , D 3 , 5+++ :0
0
1 +
*/ ...
:
: ) C K :
N : !;;
C F 3 * !;
A E :
: 3 !;; 0 4
- C E 1 +
)
(* # 1 *
4 E
!;;
A !;;> 0 1 +
A , !;= 3
F 3
: 1 ) 9N C + 2 > =>I<+= A
" :1 3 !;;=