3. Neural Networks (100 Points).
Given the following Neural Network:
where
w f1 x  w0, f1 1  w1, f1  x1  w2, f1  x2 , w f2 x  w0, f2 1  w1, f2  x1  w2, f2  x2 ,
w y f  w0, y 1  w1, y  f1  w2, y  f 2 , and activation functions f1 , f 2 , and y are step functions
defined as follows:
 w f1 x  0,
f1 w f1 x  
 w f1 x  0,
 w f 2 x  0,
f 2 w f2 x  
 w f 2 x  0,
 w y f  0,
y w y f   
 w y f  0,


1


1

 1 
w f1 x   cos 135  ,sin 135     x1 , x2    0,  
 2 

0
0


 1 
,0
 2 
where w f 2 x  cos  45  ,sin  45    x1 , x2   
1
0


 1 
w y f   cos  45  ,sin  45     f1 , f 2    0,  
 2 

used to create this function:
HINT: It will be very helpful to plot the
x1
x2
y
0
0
0
0
1
1
1
0
1
1
1
0
 x1 , x2 
points, draw the lines
w f1 x  0 and
w f2 x  0 on that plot, and shade each positive region (i.e. where f1  1 and f 2  1 ).
HINT: It will be very helpful to plot the
 f1 , f 2 
and shade the positive region (i.e. where
Example:
w0, f1 may be written as w0f1.
Example:
w1, f2 may be written as w1f2.
Example:
w2, y may be written as w2y.
points, draw the line
w y f  0 on that plot,
y  1 ).
Answer the following questions:
NOTE: To receive partial credit, show your work.

 1 
w f1 x   cos 135  ,sin 135     x1 , x2    0,  
 2 

1

 cos 135  x1  0   sin 135   x2  
2

1


  0 cos 135   sin 135     cos 135   x1   sin 135   x2
2



 2
2 
2
  
   
 x1  
 x2
 4   2 
 2 
w0, f1
w2, f1
w1, f1
  0.353553   0.707107  x1   0.707107  x2
w0, f1
w1, f1
w2, f1
1) What is the value of parameter w0f1?
w0, f1  
2
 0.353553
4
2) What is the value of parameter w1f1?
w1, f1  
2
 0.707107
2
3) What is the value of parameter w2f1?
w2, f1 
2
 0.707107
2

 1 
w f2 x   cos  45  ,sin  45     x1 , x2    , 0  
 2 

1

 cos  45   x1    sin  45  x2  0 
2

 1

   cos  45   0sin  45     cos  45   x1   sin  45   x2
 2



2  2
2
  
  
 x1   
 x2
4
2
2

 



w0, f2
w1, f2
w2, f 2
  0.353553   0.707107  x1   0.707107  x2
w0, f2
w1, f2
w2, f2
4) What is the value of parameter w0f2?
w0, f2  
2
 0.353553
4
5) What is the value of parameter w1f2?
w1, f2 
2
 0.707107
2
6) What is the value of parameter w2f2?
w2, f2  
f1 and f 2 produce the following plot:
2
 0.707107
2

 1 
w y f   cos  45  ,sin  45     f1 , f 2    0,  
 2 

1

 cos  45  f1  0   sin  45   f 2  
2

1


  0 cos  45   sin  45     cos  45   f1   sin  45   f 2
2



 2
2  2
  
  
 f1  
 f 2
4
2
2

 



w1, y
w0, y
w2, y
  0.353553   0.707107  f1   0.707107  f 2
w0, y
w1, y
w2, y
7) What is the value of parameter w0y?
w0, y  
2
 0.353553
4
8) What is the value of parameter w1y?
w1, y 
2
 0.707107
2
9) What is the value of parameter w2y?
w2, y 
y produces the following plot:
2
 0.707107
2
10) For functions f1, f2, and y above, calculate the following tables:
Since
x1
x2
f1
x1
x2
f2
f1
f2
y
0
0
0
0
0
0
0
0
0
0
1
1
0
1
0
1
0
1
1
0
0
1
0
1
0
1
1
1
1
0
1
1
0
f1 , f 2 , and y produce the following plots, respectively: