Q-learning for flexible learning of daily activity plans - TU Berlin

!
" #$ %
&
$
(&
)
&
-./ 01 02. 30014
5 6 -./ 01 02. 3737/
$ ! &
8
8 &&
#
8
2:
'
&
&
$ !9
311;
& 7;;/- 3
8 & - 25 $
*+
$
,
$
# $
3
<
$ &
%=)>'
&
&:
&
& % '
&
&
'
&
&9 & &
:
$
&
:
$
$
&
&
&
9
&
5
&&
&
&
&% $
8
&?
:
$
& &
9&
$
&
$
9
&
8
5
&
$
%
&
& % &&8 &
&
& '
&
&
& 8
&
$
&
5
$
&
'
&
& =)>
$
&
&$
&
&
&
$&
6
&$
&
& &
8
'
=
$
A
8
$
&
8
6
6
&$
$
&
&
&
$
&
&
&
$ & &
& &
&
$
$
&
%
&&8
$
<
$
$
$
&
&@
$ &
9&
&
$
$
:
D
:$
>
$B<)
$B:
,
BC
=
$B
# $
0
!
( &
&
&
&
&
& 5
&
$
&
&
$
&
&
E&
8&
$ 8
&
&:
$&
$
$
& &$
&?
8&
$
&
&%
&%=*D &' %
8
&A
&
&
&8
&
$
=*D &
&
$
% '
& %8'
& 6&
$
@
$
8
&% '
8
&
(
&?
&
&
&$
8&
&% $ %
''
&
&$ &
&
8
$
? & &
&
% ' :
& &
&8 F %8'
8 8
& 8
F:
6 &
&
9 && & 8 ? & &
8
&
&
&
&&
&
&
& &&
7
&
& %
%
"
& &
&
&
&
'
'
@ A
$
&&
&
&
8
&
8 6
$%
0'
8
3'
8
&
&
&
&
&
& &&
&
%
7'
&
%
&8
&
&
$
&
$
&
&
&
<
$
%
$ $ @ &A 6
&
8
& 8 &
;'
G'
#$
$
$
8$
& 8
&
&
8
H
&
88
&8
&
6
%=)>'
8
& &
8 &
& %
&9
&
&,
H ' &&
&
% '
$
& &
&
&
&
& % '&
!
&
&
2&
6
=
&
&
&
8
&
$
8
& &
&?
&
&
&$
8 $ 8
$
8
<
%2'
&
$
$
$ % $ %"'' &
$
6
&
:
8
&
&&8
$
&
$
9&
$ E &
&
&
=)> ( <
9 $
:
&
&
&
$
$
$
&
&
&
# $
&
6
%
<
&
&
5
&&
6
'
&
<
.
<
&(
&
%
&
&
&
%
$
% H'
'
$
H
(
& '
&
$ I1 2I
6
? %3'
#
&
&&
$
&
+
2
#
&
2
8
&
&
&
$
&
&
&
8
8
9 $
%3'
% H H'
H
H &
&
&
9 $ &
88 & %
& 8 9
& $
$
&
(
$
&
&
&
& 9&
'
$
6
&
&
C
@ A
8
&& &
& 9 $
$ &<
& & =)>
&
&
&
&
&
& $
@$
A&
&
(
&
$
&
&
$
&
&
$
9
9 &
& &
$ 8
&
&$ &$
8
&
& % '
% ' (
&
8
J
J
&
2
J
%0'
2
& $
& &
<
&
$
2
J2
&
5
&
$
2
$ &
& 8
&
&
<
$
&
&
$
&
&
&
9
&
9
$
&&
$
&
6
& %
<
$ $
' &
$
(
6
<
&
&
0
$&
&
&&8
*
<
; )
&
&
&
$
%
&
0
%2
' %
&&8
6 &
'
&
&
$
H
%.' 8
&
&
&&8
(
&
3
&$
8
2
%
&
&
&
H
$
%
&
3
.
6
&
&
% '
$
H
$
&
&&
$
&&
<
? %2'
% H' &
6
$
'
%
' &
$
'
'
I % H'
H
<
&
&
$
6
% H H 'K
2
%.'
%
' &
&
&
# $
;
&C 9 &
% $' &
<
$ $
&
&
$ &
&
&&
$
& &
2
& 88 8
&
&
&
(
&
$
8&
&
9 & 8
6
& &
6
&
<
&+
&$
6
$
&
$ & & &
&
8& &
&
+
&
&9
$ 8
&
$
&L
8
&$
6
$
& && &
8&&
+
$&
& &&8
&
8
&
9
& %& B &
8
<
$
C &
B
6
$ &
$
(
&
&
<
6
&
#
%
%
& %&
88
&
&
&&
$
1'
88
& %&
$
? %3'
&
&
&
&
'
2 & %&
$
$
&&
&
& :&&
$
&
&
$ 8
$
(
& & 8& &
&
&&
&&
$
&
6
:&
&&
& &
M
&8
&&
&
&
&
&
8
&&
&
'*!+
#$
%'
#(
)
$
&
<
&
6
&
6
&
& &
&&
6
&&
F
) & & &&
&&
M
&&
$
&
8 9
6
&
8
&
&
&
8
$8
8
& =)>F
& &&
&& $
8
& & 2 'E &
&$
& & 2; 01
71
& > &&8 & &
&
&&8
& $ @
A @C 9A @
A
:
&
$
&
& &
&
(
&?
&& 6
&& 8
8
@& A
@&
AE
& $ &
8
9
&
&
&
&&
&
&
&
$
&
&
:
&
+ $
9 0 8
$
4
&
8 $
9 0 8
$
22
&
&
&&
&
8 &
$
&
$
&
(
& 9 &
8 &
&
& &
$
8
&
&
& &&
8
&
'
$
&
2
&
&
&
&
#
&&
$
&
&
<
&
&
6
& % '
&
6
&
&&
5
# $
+
&
&
&
&
7
&
&
&
&&
$
2
&
&&
<
&
&&
#
&
$ &
:
8
&
8
&
$ &
$ & 8
&
$ &
@
&
&
8
8&
6
&
&&8
& 8
$
&
A
6
3.
&
&
6
& $ &
&
$
&
& 9&
, *$ - $
$
& 8
&
&
(
&
3.
&
(
&
%
'
=)> &
&
&
&5
=)> &
3.
&5
$
6
$
&&
8
<
$ &
6
$ &
8
&
&
5
6
<
&
&
&
&
@
8
&A
&
.$/ + 0#$
,1
5
& $
&B @
8
C
( & &
&&
A @C 9A @
&
$
& 6
&
$
&9 & &$
,
A
@) & AB
$
&
& .
&
8
@
&
&8 $
A
&
&&
& &
8
&
$
&
&
$
8 $ &
&
&&
G
&&
&
$
&
$ &G
&@
A
@) & A 8
&
&
( &
&
&
@
A8
& & 3 &
G
&: &
$
& &&
3 &
G
@C 9AB
& 8 B &&
$
L
$
& & 9 $ 411
$
& &
&
/
&
$
/( & &
& &
&
@C 9A
8 1
C
&$
&8
&
&
(
&
$
&
9
&
&
8
$
( $
$
@C 9A
&
&
&
8
$
$ 8
&
&
$
& 8
&
(
$
&
&
9 $
2;
&
B
B
&
$
&
9&
$ 411
&
8 & & 8 @
A &
&
$
&
&
$
&
8 &
D
&8
8 &
&$
&
$
&
&
6
(
9
8
& &
6
&
&
23
&
$
&
&& ?
& $
6
8
&
& &&
&
23 3. .4 &
8 $
&
# $
5
8
&
G
&
8
?
$
&
&
&
&8
&
8 &
$
& &
&
&
&
&
&
&
&&
$
&
$
8
&
&
8 71
&
8
& 8
:&
&
&
&
&
$
8
&&
&
8
8&
0
&C
L
&
&
$
&
(
&
8
&
&
&
$
&
&
6
&
&
&
*
$ $<
&8 &
&
"
& &
&
&
&
$
&
&
&
$
&
71
&
&
&&
$
&?
&
8 & &
& 1
&
(
&
8
&
2
&
&
&
&@C 9A'
$
&%&
&
&
L
&
$
&
&
&
<
<
&
&
&
&
&
&
:&
&
$
$
& %&
8
6
9
9
5
$
&
& L
1 /7
&
&
8
&
&
&
&
2
8& &
$ &
&+
8
6
&%&
&@
A'
&&&
9&
C
8
& & &
&
$ (
&
&
&
&&
8
%;'
3
2
$
3
3
%7'
2
3
5
&
2
21
3
2
6
2
2 %2
2
'
&8
3
%G'
2
C
2
1 /7
2
71
8
3
3
8 21
&
&
&
&
&
&
2
&
8 &
$ &
&&8
1 1.
%4'
71
&
$
$
3
&
&
8 &
&
$
$
# $
4
<
?
6
&
&
:
<
$ :&&
( $
&
&
$
&
$
9
& &
$
&
$
$
&
&& 6
&
&
&8 &
&
&
&
&
$ &
&
<
&
&
(
<
& 9&
8
$ &
&
&
@ $ A
@ A
&
<
& $
<
&
&
8 8
? %0' <
2
8
$ &
% &
%2
' %
2
8
&
&
%2
'
&
9&
@ $ A
@ A
5
8
&
@ $ A
& &
& $
$ &<
6
& &
&
&
6
&8 &
6
,1"
9
88
& %&
<
&&
&
%
&
' :
$
$
&&
<
&
&
&&
&
<
&&
&
& $
&
&
&
01
&
6
:&
& %&
&
8
1 12
2
8
&
&
&
71
&
$
&
5
@) & A
@
8 2% ' #
& &
&
&
& 8
&
& 1 /4
1 //
&$
A
&
8
C
&
&
8&
&
8 2% ' L
& 8
$
&
&
$
$
&
&&
&
9
&L
&
&(
&& &
&
1 /7 (
& 8& ?
&&
01
2;
& &
? %4'
& @C 9A @
A
&
&
&
$
8
$
<
&
&
&8
&
&&
$
$
( 8 2%8'
&
& & 8
8
8 $
&
&
&
8
21
8 $ &
8
&
88
$
;1N C
&
$
&
&
8 2%
& 8
&
& 8
$
D 8 >
.
3.,
L
$
&
L
$
8
8
$
:&
2%8' & &
&
$ 8
8
&
;1N C
&&
88
&
&
8
&
$
&& (
&
&
'
$
&
& $O
&
$ &
8 &
$
$ 8
$
$
8
&8
&
8
$
& //N
# $
& &F (
$
/
8
&&
&
&
&
5
$
$
8
8
&
&
(
8
&
21
&
8&
&&
8
3
-+
$ $ #
.$/ + 0#$
31
&
8
&$
6
8 $
@
:
@
&&
$
@ &A 6
&
$
&
&
A
&&
A%5 $ 2% ''
&
&
8 $
&
@ &A 6
&6
&$
&
&
=
9
&
$
&
&
&
&
8 &
&5
8
& 6
&
&
&
$
&
&
$
$
%&
$'
&
8 $
$
:
@C 9A %5 $ 2%8'' C 9
& 9 &
&
$
$ & 8 & &
$
21
& &
&
&
&
411
2411 (
& $ $
9
/
&
9C 9 $8
3211
G11
$
&
&
$
:
@
A %5 $ 2% '' C
&
$$ &
&(
$
& &
.;
:
2011
&
@) & A%5 $ 2% '' C
$
&
&
&
&
& &
&
:&
8
:&
&
&
(&
&8 &
9 $
8
C
&C
&8
&&
&
&
&
$
D 6
&
$
&
&
6
( &
&
$
2/ 11
&&
A
$
;01
8
&
9
6
&
$
@
3.11
2/ 11
$
&
% '
8
$
@ &A 6
$
& &
&
& 71 01
2;
&: <
&&
@ &A 6
$ $
& & & & &&8
:&
<
$
&
6 &
&
$
& 8 $
& &
&
&
411
$
9 &
&
8 3% '
&
&
8 &
&
$
&
&
&
6
& 9
& & && &
&
? 9
&
&
$
&
&
8
8
8 3% '
# $
21
$
&
&
6
& %&
1. 13
12
&
31"
2
5&
$
<
&
$
$
&
$&
&
$
8 &
&
8 3%8' 5
&
$
8
&
&&
&&
&
@ &A 6
2;
&
&
& &
8& &
&
$
&
8
88
$
8
8 3% '
&
@ &A 6
$
& &
&&
&
;1N
$
&
8
8 3%'
&
71 01
$
$
& &&$
6
&
& 9 && & &
& &
:& & &
&
8
&
6
&
8& 8
3
&
$
$
&
& &
6
&
&
8
&& & 8 6
& $
&
L
$ &
&
6
$ &
8&&
;
&
@ &A 6
$
&&
&
8 $
(& &
&8
& $
& 8 & 8
6
21N
&$
$
&
&
6
8&
&
8
&$
6
$
&
&
8
& & &
&(&
&
$
?
&
&
88
&
&
8 & &&8 ?
&
$
8
(
$
& $<
& &
6
&
$
& 8
&C
&
9
&
$
B
&
& B
& &
$
.11
$ :&&
$
2;
&
&
&
& &
1G2;
$ &
6
&
@ 9A 5
$
&8 9
&&
:&
6
9
&
$
&
9
) & &&
& &
9 $
2111 :$
9 $
<
&
$
& &
9
4
&% &
/;
&
'
2411
$
6
&@
A#
@
A& &01
&
&
242; &
2G.;
$
& &
01
&&
$
@) & A :
$
6
2/11
$
&&
01
&
&
&
&.
&
.;
&
&
&& $ 01
&5
$
&
12;
$
&&
&
6
&
&
$
$
&& $
$
&
&
(
&
&&
8
$
& $
&
&
$
&
&
&
# $
4
22
!
( &
'!
& $
* +
9
,
&
+
&
,
$
& 8 6
&
(
21N
<
&
&&
%
'
(
&
&
&
* +
&
$
&
6&
&
&
. 3 3. . 23 .
0747.
& 8&
9
9
33/ &
&
&
9
8 9
&
8
$
$ &
$
&
<
& $
&
$
&2;
&
&
<
& 0747. & &
<
&
$
&
&
9
$
$
$
8
& &
$
B
8
& &
& 8
1 // &
8
&&
21N B
&
$
& &33/ & &%
3
&'
$ 1 2 33/
21N
)
8
&
&
&
(
6
9
*
5
*$ 5
&
&
&
6
&
&
P
8
21N
&&
33/
&
& $
$ & & & * +
&
&
<
$
&
(
,
&
21N
0747. 3// 4 7
& &
&
&&
& & $
$ 8
$
&P
&
&&
(
& &&
8
<
& :&
9 $
6
<
&8
$
&(
&&
$
$
&
3
&&
:
&
$
&
8
8 8
&$
&
$
& :& 8
&
8
$
&
&&
<
$ &
&
&
$ &
$
(
&
&&
&&
6
&
&
9
%"'
$
&
&
$ $
&
&
9
6
& &
? &
> $
$
&
8
% ' :
88
&
$
&
&
$
% '
&
$
&&8 & &
$
5
<
$
8 &
8
&
$
8
& 8
%
2;
24.03'
? &
&
$
&
L
&
& &
&5 6
&
$
-
&
% '
$%
'
&
1
&L
1
& -
& 2;
-
%
' -
01
&
6
68
$
%
2;
%
'
&
8 &8 &
2;
&
&
&
?
&
& 8 &
8
&
$
&
(
&
8
$ &
2;
8 &
:&
<
'
$
&
&
&
&
&@
&A
$
# $
6
&
23
$
&
&&8 &
&5
&
6
6
&
&9
'
8
8
$
7 !+ +
C
&
&$
&
&
$
6
&
$
$ &
$
&&8
B
&
B
&
& $
6& &
$
8
&
$ &
&
8
&%
&?
&
C
? &
&
(
<
$ $
$
68
8 &
$
&
6
$
&
&
&
& $
6
& &
$
& &
&
&
3.
&
&
&
&
8
&
& 8
&(&
& 8
&
&
9
8
&&
&&
&
C
@
A
2;
&
&
$
*& $ &
$ && &
$
$
6
.
&
$
9
&
3&
1;&
$
6
$
&8
& @
&
&
8
&
&
&
8&
$
&
&@C 9A @
&C
&
01
&
$
$
9
A @) & A
$
&
&
$
&
&
&
&
A
&
8
&
21
&
# $
$'$ $
20
$
2 " :6
' *
&
0( *
8
3 !/
3( &
0 D + :9
D : 2/4;
. O) +
# (
1/ '0 2
P 8 3110
(
P $
.
*
= )
D +
8&
( 5
6 #
L6
2///
# (
&
; =D >
$
P
7
.
= +
&
OQ ,
:
&
4
'
/
21
O D
&
23 : "
&
20
D
>#
>
C 9 &
:
&
$
$
&
( ""
:9
(
9
8 $
&
.
$ & 2G2B24.
0
8&
&
&P &
8 1;21423%+:./7'
9
:
& '
&
P8 P5*))R= >L=
P
311.
&
(
& :)+: =L
& & >
11 1133
3111
&
:
&
P
&
$
240222.B232 3110
#
2//;
>
&&
(
&
:
;/4B73.
<
$
3110
:
8
D +
:
$
#) D
D ( > &&
$ C & $
(
O
22 > ,
D
DO =
O = &&
(
$
:
6&
5
8&
+
:
$
=&
(
5
&& 311. > M
$ :& &
G
D &
" )
(5
'
'
&
> &
&&
R> L
#
3110
)
4
Q
>
# ( /
)
$ 7
&
88
$
C 9 $
311.
) +
=O 8
D S D
/ 7 96:7.-' 01%0'41/B40G 3111
(
8
43G/B3/3 2//3
$
&
P
P
$
&
&&
R203
P
$
&& =
5
$ $
&
(&
8
&
# $
#
'
2.
#$
:+) 2 L
%8'
&
8
&
%'
@ &A 6
&
88
& 8&
B %' L
@ &A 6
$
$
@ &A 6
B
&$@ $ A
&&
$
;1N
C
2;
:+) 3 L
@D
= & A 6
B %'
&
@
& A 6
&
&
&&
8
&
$
B %8'
L
@
& A 6
B %'
@
& A 6
&$ @ $ A
C
8
&
$
&
88
& 8&
$
;1N B % '
@
& A 6
&$@ A
C
8
&
$
) &
88
& 8&
$
;1N & %& &
6
#
27
' ' %! $
5(,*= 2 >
& A 6
& &
) &
&
=
&
B %'
2;
&
&
$
B %8' C 9
&
B %'
@
B %'
2G
# $
2;
:+) 2L
@ &A 6
8
&
& 8&
88
9
1411B 2G11
=&
71
01
2;
&
2411B 3111
+
&
&
&
B %'L
@ &A 6
$
&&
$
;1N
#
8
@ &A 6
B %8'
C &
&
%'
& $@ $ A
$
&
3211B 3011
%'
(
&
;19
;119
;D
1111B 1G11
=
$
211 &
;.7 &
.4/&
%8'
# $
27
:+) 3 L
@D
= & A 6
6
&
&
&&
8
&
@
& A 6
B% '
6
& $@ $ A
C
&
88
& 8&
@
& A 6
8
&
$
& 8&
$
;1N & %& &
6
B% '
$
8
$
&$ @ A
) &
&
@
B %8' L
@
&
;1N B % '
C
& A
& A
$
88
*
5
2;
C 9
01
.;
2;
2;
01
C 9
) &
) &
71
71
01
01
01
71
71
71
71
&
2/11 B 30 11
11 11 B 1G11
2/11 B 30 01
2401 B 30 .;
11 11 B 1G11
11 2; B 1G2;
% '
=&
71
9
1411 B 2G11
01
2;
1411 B 2G01
1411 B 2G01
=&
71
01
2;
#
+
&
&
&
&
2411 B 2411
%&9
'
2411 B 2401
2G.; B 242;
%8'
8
(
&
;19
;119
3D
=
$
2.0 &
;.; &
2 /4&
% '
=&
71
01
2;
+
&
&
&
& %&
#
8
1.
13
12
219
;19
;119
% '
(
&
=
$
G4 &
22. &
;;/ &
# $
%'
%8'
%'
%'
5(,*= 2 >
6
=
B %'
2G
&
&
2;
&
$
B %8'C 9
&
&
@
&
B %'
B % ') &
& A
&