PDF (Author`s version)

Open Archive TOULOUSE Archive Ouverte (OATAO)
OATAO is an open access repository that collects the work of Toulouse researchers and
makes it freely available over the web where possible.
This is an author-deposited version published in : http://oatao.univ-toulouse.fr/
Eprints ID : 13004
To cite this version : Ooi, Wei-Tsang and Marques, Oge and
Charvillat, Vincent and Carlier, Axel Pushing the Envelope: Solving
Hard Multimedia Problems with Crowdsourcing. (2013) MMTC eletter, vol. 8 (n° 1). pp. 37-40
Any correspondance concerning this service should be sent to the repository
administrator: [email protected]
2$ /#
#4
<
4/# ," 3
G
?
/
#
+
.
.
. -
+
.
*
.
*
:
,
9
.
5*
.
*
.
. )
* .
-
-*
*
.
*
**
-*
5 5 (
7*
*
*
.
5 5 5
.
-*
*
1
*
*
*
*.
. -
*
D .
,
1
.
*
-*
*
*
-
#
*
*
)
*
-*
*
8
.
.
* .
D"
3 # /.%/#
(
-*
#
(
*
#
(
*
-
4
*
J
.
>
(
.
,
.
-5
-
-*
C
(
-*
**
-
*
.
*. -
*
.
-*
)
)
.
,*
-5 -*
= * )
, )* .
*
-5 -*
) *. *
9
(
*
. (
*: )
)
,
-5
.
).
.
* ..
*?
E)
) *.
*,
. J
?
** ) **
=
.
?
E)
) *. * ,
) *.
*
. *
)
(
*
. D
,
* C
.
-*
*
.
N
**
.
) *. * ,
O$PO%P >
)
.
).
*
*
*
.
)
WJ
.
.
-5
* .
+ O
**
. .
.)
#
-*
.
-5
-*
** )
0
,*
E
** )
- ,
.
- - ,
(
*.
.
. .
-5
3
.
/# 0 / # /# "
*
2
#
.
.
-*
29: (
*.
-* ,- . 9 :
*
- ,
.
9 :
( 9 :
*
*
.
.
.
.
(
*
9 :
*
- ,
.
.
9 : .
*
>
(
*
.
*
- )
.
(
, )
,
.
D
)
*
E7
.
D
C
J
9
9 : 9 : . 9 :: .
.
- .9
9 : . 9 ::
.
--* . D
C
- .9
9 :: ) *. -
/3
>
<
*
).
&
*
.
.
.
- .
V.
* ) , V
).
*)
.)
*.
*
.
+
-5 -*
) (
*
)
)
) ,
)
*
)
* .
*
-*
.
@8
)
..
-
3 $ /#
H
-* ,.
. )
-*
)
*
.
) V
- .
-5
/
*
3$ / #
*
.
V
*
- )
( *
*
- .
.
)
3/" 2 6
G * 2
@
/@
+ 2
)
#
$ /
)
.
*;
;
.
** )
;
( *
.
.
.- ,
*
;
.
*
)
( *
*
.
*
H
*
*
)
*, *
.- ,
-*
*
* *
.
-
.
**
*
D"
-*
(
.
.
E.
(
J
*. - -
*
). )
)
-*
>
-5 -*
9 : .
-<
9 : .
- ,
2 9:
#
)
,
-
-*
E>**
*
.
5* , .
)
:
(
M
-*
V
. #
4
)
**
1
** J 9
D - ,
7
?
-*
-5
* .
)
9
-*
-5
*
*.
).
. . **
)
-*
)
*
$ 4(
* - . O
. .
C T, C
9T C
D"
)
,
**
)
)
,
**
).
).
.
)
?
.
=
*
.
) .
-*
.
-<
.
,
)
) 5 *
,
)
* *
98=7I:
= -5- .
*
..
*
*
*
)
*
.
)
* .
: )
- * .
)
*
?
- .
) ** , )
-
. =
-*
*. -
).
/ / # A
*
; .
.
** ..
*
*
) .
*
.
(
-*
.
-5
-*
.9 :
*
2 9:
9 :
-
#
,
"
-*
/#
*
.
**
.
,
.
*
9
. :
.
>
C
*.
)
-5 -*
2 9:
.
9 :
*
)
*
-*
** (
..
.
,
- *
"#
/3
( *
,
* * - *
. *
4
) . )- ,2
) *.
**
.
.
)
*
-*
) *
*
?
* - 5
,
* - *
-<
V
) .
5
i
*
-*
.
)
*
7
(
.
) **
.
)
. (
)
.* - *
** ) *
:)
(
-
*,
-
.
*
*
-< .
.*
.)
5- .
P2 9* :
-<
@
.
- ( ) * T
-, C .T
CR 9
. T. C: ) .
. .*
* )
- ) - *
.
*
*
*
7 ,C
)
$:
V -<
.
.
9
,
-
% /
*. * ,
*
*
*. * *
)
.
9
-
)
*
(
(
9 ::
.
.
T)
-<
H .
) ,
*
.
.
9 :59 ::
).
)
3
#
* -*
V
D
.9 : .
-<
5.
*
.
*
.
-<
-<
..
-*
*
.
.
*
** ) ** .
.
. *
-*
. )
-<
*
-*
?
.
*
*
*
9D
& *
/6/# "# "
. (
*
** )
2
0
+
8
*
**
*
.
.
(
(
**
. )
.
.
*
*
(
O P
-
*
,
)
-*
.
9 :
*
.
)
.
4
* -*
* .
*
) ) ,
-*
=
?
)
*
).
)
- *
*
.
-*
8=7I
7
*
)
*
) **
*
7I
*
* )
7
7
*.
5
- )
.
.
= */ $ / #
3
)
)
*
* .)
.
* ..
**
*
.
-*
*
)
>
(
.
*.
.
).
*
*
-*
.
.
).
).
5
*
*
-5
.
*
M
.
*
*.
.
*.
)
*
#
*
*
*
).
B
. 8
;
9 /
9
*
>
%0$0
.
1
.
L
/
H
*
$!!
.I
**
H , *
1 *
%00$
.
.
M
*
H , *
*
,
5<
.
*
L
7
.
%00% )
I
=
*
.
) , .
C
* .
;
-*
*
>
I
-<
1 ?
7
4
*
7*
.
)
,
*
9 * .
-
.
7 1
.
.
D* .
9D7 :
I
D7
* .
.
).
.
).
)
=
"#
:.
-
*
..
)
*.
4
# $/ #
)
*
.
*
.
=
*
*
* *
*
.
) , O%PO P )
.
*
*
.
)
*
3
.
*;
*
*
*
D
(
*
.
7 ,X
,
*
*
*
*
.
) **
5- .
*
*
3
)
,
5
*
*
*. -
?
3
-<
)
.
.
.
**
3 :
* +
911 X$0: 7 1 L )
G , LG
7 %0$5%$0
O%P 7( *
*
8
M
. B
**
. =
>
%0$$
5
- .
*
.
).
) ;
-*
.
3 :
4P
@ *
* +
911 X$$: 7 1 L ) G , LG
7
5&%
O P 7( *
*
>
1 ?
B
** 2
7 ,X
,2 7 L ) 8
>-<
.
A - *
4 B = ,
= -5 * B
.
* 1 . D*
3 * % !5%&'
+
.
*
**
8
)
0
#
. .
0 .
O$P 7(
*
).
) *. * ,
).
*
*
*
* .
** )
.
*
).
,
*. - .
.
+
+
0 0
+
+
+
0
> ,
).
)
*
.
.
*
.
* 9
(
*
* ,
.
;
* ,
*
7 ,C
,:
)
*.
*
.
** -*
*
- )
9.
: .
.
=
)
.
5 ,
.
:
)
5 ; . - *.
-* , 9
-<
.
:
.
-*
. 5
.
.
.
(5 )
=
. )
).
) (
*
-*
.
) , = *
*
) ,
)
,
).
..
.
-*
-
3444
%00$
.
-
B
.
4
1
*
L
*
*
$!!/
7 * . 1
$!!'
-*
.
D
*I *
.
I
L
*I *
<
.
.
7MB3AA7
.
. 7 * .
4L 443
.
1
3
$!!
.
*
**
*
3M3
* - 4L 443
4
7MB3AA7
. B>M 4Y
4L 443
9B
* >-<
2
4Y
:
.
*
.
*
7( *
*
1
X
%0$$ .
.
) ,
3
* B
M *
*
.
3LI
I
.
B
*
.
4L 443
.
%00' .
**
*
).
)