Web Spam Detection via Commercial Intent Analysis∗
András Benczúr
István Bíró
Károly Csalogány
Tamás Sarlós§
Data Mining and Web Search Research Group, Informatics Laboratory
Computer and Automation
Research Institute of the Hungarian Academy of Sciences
ABSTRACT
! " #!$%
& !' (( ( )* + & !' ! $!' ' $% '
&,!$ ! , # ' $% '#* & - . ! $/
(# & # + & (' %$ 0 * # % + ##
' $% ' ( ! , # + & ( ( &$ % ! 1 %# 2 & & # & ! ! !' " #!$ % + !' . #$ 3 ($# 4!!$ 5. 3 46 ,# $% & ! 7 8 9 $
: $( ! & 3 ! 9 ; ! !$ & !' <' =
: $ &! (#$" ( !$ % $!' ( ($ #
/( ($# + ## !$( & !' (( /
( 1 %# & !' % - !! !' > ? @A2 : /7 B CD D E & ! ! ( !#* ( $# & * 3 !$##
! # - ! & & $ % !' ( & !(!$ #% $!' - . ! $ , !' (# $" ( !$ (( (* !' #$(#* ,$# # > ? @A2 : /
7 B CDD E ! * F G -
@ ' ! ,$!* !' ( ! ! IeC a eZW & #$ )
Ie[ a m a CD a F a CW & ! ! & !(! Y (!
! !' $ ( $ !$ $ IEW 4 !' $ + ( ( ! ! $&!$ * $ % % + $!' #% )*+ & !' ! $!' ' $% ' & ,!$/
! ,# ' $% ' #* & - 2 !$( & * 1 *n %* $ &
1 ($/: #$ IeFW a ! f ! + ! " ($# % $
!' $ (!$,$!$ - 4 ( ! ! ! ,$ ( ! !/ &
! (' &$!$ !$ a ! *a ( $$#$!*
! % !$ % !' ! #!$( ! (' $ % ! & % a
! ' ( !* ! ( ! !' !$( ( !! - ? * !$#$d$% b! # (# $" + # $(' !' ,$# # ! $ $ % & !! & ! $,!$% ! !' ##+ $ % ! & !(/
!$ X
. #$ 3 ($# 4! !$ 5. 3 46 ,# $% & ! • 7 8 9 $ : $( ! & 3 ! 9 ; ! !$ 5@(/
!$ F -e6 -
Categories and Subject Descriptors
H -F -F IJK LM N O P Q RM K ST UQ V O UW X 4 !$ @! % &
8 !$,# Y 4 -Z -[ I\ M ] ^ O V KQ _ P ` Q ^ N VW X ; ( ! #* $
k ' <' = : $ &! (#$" (!$ % $!' • (
($# /( ($# 5@(!$ F -C 6 1 %# 2 & & &,!$ ! )* + & % %!$ • !' $! + ## )* + & ( 5@(!$ F -F 6 -
General Terms
: ! a > b $ ! !$ k ' & $!$ !$ 1 %# 2 & @ & , % • $!
5@(!$ F -g 62 0 $ & (( $ /
Keywords
c * #$!*a c * !$d $#$!*a 3 ($# $!!
1.
INTRODUCTION
4& !$ * $% & ,!$ % $ ($! & !' ! (' ## % $ + (' % $ * IeEW - 2 ## f ('
% $ $ ( ! (' !b! & #$) #* $ #% $!' $! !' $ ) $ % (' a $ '$!$/
(! & !' ! $ #! (!! + ## #$ ) % IegW -
∗ @ ! < ' = h( #!* 8 (' 1 ! a f (!
i B h A / CjD D Cg jC D D [ a i B h A / CD Dg f (! 9 % % : $ @ - $ + + $!' < ' = 8 (' a + ) & + ' $# !
: k2 @ l k2 B 4 -
§k -
Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise, to
republish, to post on servers or to redistribute to lists, requires prior specific
permission and/or a fee.
AIRWeb ’07, May 8, 2007 Banff, Alberta, Canada.
Copyright 2007 ACM 978-1-59593-732-2 ...$5.00.
• ! $ $ % ' $%' ) !' !$(# 0 *a & + (' % $ 5@(!$ F -[ 6 -
!! !' > ? @A2 : /7 B CD D E & ! ! /
(!#* ( $# & * 3 !$## ! # - I[W ! & & $ % !' ( &!(!$ #/
% $!' - k ' #$ & ($$ ! IEW !$#$d$% ( /
!! & ! (' $, h / D -E eD , & ! ! - 4 (# $ + ! $ , !' /
( * F G ! h / D -Eg e - @$ $##*a ! ! !' h / !' ( !! o #$ ) & (#/
$" D -E p Z ! D -Z eE & !' ! () & % '$( # # $ %
(' #! D -E m F ! D -ZF p ' + $ @(!$ F -E -
1.1 Related results
i ! # ! # - IeZW $! & ( (!! &
! $ (# & $ % + & $ % a !$!# a /
(' + ## !' (!$ % & + #
+ & & !' (!$ ! # + & !' ! $ !' % - 3 !$## ! # - IEW b! & !' #!! $& * /
$ % !' #$!* 5 0 (* 6 + & $ $ /' 0 * # % $! & !' & ( ! !' #, -
c * #$!* & !$d $#$!* + # ( !#*
& ! $ , (# )$% & & $(!$ & !(!$ 3 ' ## $## & 3 ' $()$ % IZW $& !'$ (# )$% &!(!$ !' & * $ % !' ! 0 ! + & !' : @i
0* #% & ' $%' ! , % !$ % + & !' : @i & ,!$ ! # % - 2 &$ ! !' & a % ! # ( ## (! ! %! & )*+ & IepW * b ! (!$ % !' ! 0 ! (' + & & Y !'*
!' )* + & &$(!$ & & !(!$ -
2.
DATASET AND FRAMEWORK
##+ !' !' & # %* 3 !$## ! # - IEW - !' > ? @ A2 : /7 B CDD E &! ! I[W !' ! ( $! Z eG
!' ' ! ( #$" & # a C [ G & !' /
$ & g G & ($& & - 2 $ IEW + !' (# $" ( !$ !' ! $! & ( && $!$ # /
& $ & %$, eD G % !' [ E CC # # &
$! - % ! + $!' !' #$(#* ,$# # IEW & !' (#$ * * !' 3 g -[ $ # ! !$ !' ('$ # $ % ! #)$! ) IemW 4 & & $!$ ! !' , (# $" ( !$ + ) IEW
+ # ,# ! " #!$ % * $ % !' ! $ ! ' $! 0 $ , !' H % $ 2 ( & * @($ ( @(' > % $ IeW - k ' (' % $ ! -$&
& )$ % ( $ & + $!' C [ G H !8 ) ( IeDW &
$( & + $% '! 0 * + & + $!' $ 7 8 9 a (' !b ! a
!$!# & & &$!$ # H k : 9 # ! - k ' %$ $! # #() " #!$ % $ ( $! $ & $% & $ $#* !' &/
$ !' ! a $ ,!$ a $ ,$! ##* -
3.
ATTRIBUTES AND CLASSIFICATION RESULTS
3.1 Microsoft OCI
> b ! & $ % ? & + ##/) + ! b * + ('
IgW !' : $( ! & 3 ! 9 ; ! !$ , $# # !
& ! $ !' . /
#$ 3 ($# 4!!$ 5. 3 4 6 7 8 9 - . 3 4 $ &($ &
* !' $#$!$ !' 7 8 9 $% ( ($#/$ !$ # a
( ($#/! (!$ # /( ($ # - k ' $#/
$!$ ! & &$, & * @ : & (# $" 1
!$#$d$ % !' !' !b! # ( !! & !' H k : 9 ! % !' + % IpW - ' , ( ( ##* % !' & !' ,
!$ & . 3 4 $#$!$ !' ' % g m m [ $! a
& $# & ! & !' $ $ % E CZ $! a !#* /
( !'* + & & + ' (##(!$ % !' & ! $ h *
CD D Z - h $% - e & $(! !' & $!$ !$ !' # % $!' ( ($#/$ !$ # ( ! $ & & ' + !' !
% ! & ! ( ($ ##* $! & -
3.2 Yahoo! Mindset
< ' = : $ & ! 5 6
(# $" % $!' ( ($# /( ($ # 4! !$ ! !' ( ($# ! % * , # % $ % 5 ! ( ($#6 !
5 ! $ /
+2
−2
!$ #6 - A % ( &
# ( ( ($# &
0
$ !$ # - k ' ( $% & * #$ @ :
& !b ! (# $" & , # & & ! $ & * < = 8 (' $% & ( ! (' $! $ ! $ $ % & ,#/
!$ # * $ $ % $ # X 0* ! : $ & ! &
3 ! * ! !' : $ & ! h2 c !' (! # $ # ! !$ ! $% $!$, ,# ! ( ($ # % -
&("
!
&""
%("
%""
$("
$""
("
"
#+
#*
#)
#(
#'
#&
#%
#$
"
, R - ^ NV ./
\ RUQN R 0 ^ Q RM K M L Q 1 V 2 M - P N RQ 1 O M L 3 _ J
]M O O VN ]RP 24 RKLM N O P Q RM K P 2 U]M N V P O M K - 2 P 0 V 2 V 5 URQ V U 6
%""
$+"
$)"
$'"
$%"
$""
+"
)"
'"
%"
"
#$7(
!
#$
#"7(
"
"7(
$
$7(
, R - ^ NV 8 / \ RUQN R 0 ^Q RM K M L 9 P 1 M M : ; RK 5 UV Q ] M O O V N 4
] RP 2 RKQ V KQ U] M NV P O M K - 2 P 0 V 2 V 5 URQV U 6
!' b! (! & !' ( ( &$ % ! !' $! ' % $ !' ! & (' %$ #! ' , % & ! $% : $ &! ( ! F eZD ' ! a
!' ! + $!' $$ % !' ( ! <' = @ ('
$ &b : $ & ! $# & ! ( #$ * !' - 4 (( & ( + $!'
h $% - e a h $% - C & ! ! !' ! # % # #$)#*
! ( ($# $ ! & * : $ &! -
3.3 Google AdWords
2 & & $ 1 % # < % ' $ */ /(#$() & ,!$$ % &/
(! 5 = > > 6 - 2 &,!$ $& )*/
+ & & !' $ & &$ #* & & #$) # %/
$& !' % $( (' #! - k ' 2 & & B * + & k #
5 = > > ? = @ A 6 a
!' ! $ # ,$# # !' 2 A 4 ( ## % !B * + &h @$! 56 a
( & )* + & $! $ !' ! # 5B C D
E F GD HC GIID C J G 6 - # ' + !' #!$,
! (' $ % !' ! )* + & 1 % # ( # eK [ & &,!$ ( !$!$ '+ !' #!$,
! & ,!$ $& &$ % !' ! )*+ & !' ( # - 4 & & $!$ a 0 * + & ' a + ( /
! $ !' ##+ $% $ !$ X !$ !& , % ( ! (#$() LM L Y !' GI IGN N C I a !' , % $!$ $ + ' $(' !' & * ' + a b & $ % !+ & #+ , # - ? & !' !$ ! + & " !' C B G HI & ( ! * $ % !' 3 A 3 , # (' 5) + 6 + & ( ( ( $ $! & !' + , % !' % ( ! , (' ' ! - k ' ! & $& & # !
h $% - F & $(! !' &$!$ !$ !' ! & $($ $ !$,
2 & & ! -
3.4 Google AdSense
1 $, $! + $!'
% $ !' !! ! a + ( ! !' h !' ! ( ! $ 1 % # 2 & @ ( /
% p ≤ h
!b ! # &,!$ ! 5 == = > > 6
+ ## !' !! # 1 % # &
, !' $! Y
a
!' $ #!! * !' - k ' + $% !' /
h
! ! (' ' ! X a
5, % 1 % # &
a
a/p
, % (! $ $ % 1 % # & 6 &
5 (!$ % p/h
( ! $ $ % ! # ! & 6 -
3.5 Spammer search engine success
&" ! ! # ( !$!$, 0 $
!' ! &($ !' b!! % ! $f (! !'$
% $! 0 * ! #$! - 4 ( ! ! ! !' eD G % # # & % a + eF G % !' ! eD DD
' $! (' % $ # 0 $ ! ) ( ($# (' % $ # % - ' $ % '$%' #* ( !$/
!$, 1 %# 0 $ a !' $ ,# $ ( ! CD G a ' + $%
!' (( $ ! $ $ % '$% ' ) $ #$ (' % $ + $!' ! " #!$ % 1 $, !' 2 & & ( ! 0$ 5 @ (!$ F -F 6
+ # ! $ ! * $ % ' + + ## % " !
! !' 0 *- @$ ( b ( $, ! &* !' $ # !b !
& )$ % ! $ * & !' ( !' $ a + $ #* ( ! & !' ! eDD D ' $! (' 0* $ % !' !$ & ) $ % (' !' H % $ 2( & *
@($ ( @ (' > % $ IeW - h $! !' ! & !' ! #$! + ( !& #!$ !' ! + ,! ##* &
## HC GII
GG a ' ( #$d$ % $! !' !
' $% ' , # (' 0 $ - ' , , # (' $( ! $ ( ! !' $!$ % $ !' '$! #$! i
0* Y + ! $ & !' ! ! * % $,$% (
1/i2
!' % - . ! $ " ##* & * && $ % !' ,# % ## ( !$!$ [ )*+ & 1/i22 (' !b! $ ' !' $% # ! $ ! ! (! $
#, ( )$% Ie eW & ' ( )* ! %! /
- 2 ! (' !b! ( & ! (#$ * IeZW - H ( + !$(! & !' # ( !$ )* + & (( /
( ! (' #* & !' ( $ % ( & - 4
h $% - F a !! a + % ' !' &$!$ !$ (' + &
+ $!' & ,!$ ( !$!$ ,# [ !' ! ! % $, $! # &" !' C C C FI + $% '! , 0 $ ##+ - h ('
!' eD aD DD ! 0! 0 $ + q
( ! !' ! e aD D D ' $! (' 0 *- % $, !' (/
!$ + $!' $ # # & 5 j 5 o 66 & !' ( ! + $%'!& #!* + $% '! q
(' ' ! $ $##* ! !' !' & ( !$!$, 0 $ -
3.6 Spam classification accuracy
,# ! #! * & &$ % !' + ! !
!' ( !! & & !' ( !! o #$ ) & ! !
, $& & * I[W - ! $ & !! !' ) $ # ! !$ !' 3 g -[ & ($$ ! + $!' !' !!$ % $ IEW - (( (* * !' h / !' &!(!$ h # !' C [ # # & ' $! a + #( & !' $ #* * C [ $ & ! ! ,( & ! !' #% ,$!$ -
&("
!
&""
%("
%""
$("
$""
("
"
$+"
$)"
$7(
%
%7(
&
'
&7(
'7(
(
!
$'"
$%"
$""
+"
)"
'"
%"
"
"
(""
$"""
$(""
%"""
)""
%(""
!
(""
'""
&""
%""
$""
"
#$%
#$"
#+
#)
#'
#%
"
%
'
)
, R - ^ NV / \ RUQN R 0 ^ Q RM K M L M M - 2 V 5 M N 5 U 0 P UV 5
LV P Q ^ N V U P ] NM UU 2 P 0 V 2 V 5 U` P O P K 5 K M K U` P O URQ V U 6
/ PV NP - V P 5 VN QRUVN ]M O ` V QRQ RM K M L Q 1 V URQ V 6
/ Q M QP 2 V UQ RO P QV 5 ^ ` ` VN P 5 ` M URQ RM K M L Q 1 V
URQV 6 / M - P N RQ 1 O M L Q 1 V P 5 VN Q RUV N ]M O ` VQ R 4
Q RM K P 2 ^ V QV N O M ] ] ^ NN V K ] V U RK P K ] 1 M N U QM URQ V 6
! ) - @$( + ( #& ! ( ! ## ! ## ' ! a
+ ( #! ! !' #$ ( ! & !' !
C Cm C ' ! !' ! ' , ## ! + + #& #$) ! ,# ! 4(# $ ## + ! ! !' ( !! & /
! $( !' ( !' &($$ ! * F G
h / D -E eD ! D -E g e - @$ $##*a /
! $ !' h / !' ( !! o #$ ) & (#$" D -E p Z ! D -Z eE a + ' $(' ( & ! E Z -eG ($$ ! ZE -ZG ( ## - k ' $ , ! ! !$!$( ##* $% $ /
$( ! ! /, # em G & e[ G a (!$,#*3 !$## ! # - IEW !$#$d !' ! () & % ' $( # # $ %
h ! !
@(!$
3 , %
3 - $ - 3 -o 9 - $ -
. 34
: $ &!
2 & & A % (!
2 & @ 3 - 0 $ 3 - 0 - $ (' @ # 2 ##
F -e
F -C
F -F
F -F
F -g
F -[
F -[
F -[
F
pmG
[p -E G
m C -[G
eD D G
eD D G
eD D G
eD D G
eD D G
[ C -g G
D -p G
D -m G
e -g G
e -eG
C -D G
D -Z G
D -g G
C -C G
F -eG
DG
e -F G
D -g G
D -F G
D -[ G
D -g G
D -F G
eG
C -m G
4. REFERENCES
IeW 2 - 2 - ? (d a B - 3 # % *a > - h$& a
; - h % a k - @# a : - 7 ' a & > - $ & ' % @ (' $ % ## !$ # & $ #$ $ *
! - 4 M H ! ! ! a CDD F ICW 2 - 2 - ? (d a B - 3 # % *a & k - @ # IFW
P 0 2 V . / _ M O ` P N RUM K M L RO ` NMV O V KQU 0 T LV P Q ^ N V 6
IgW
I[W
"7
IEW
"7+
"7*
"7)
"7(
"7'
"7$
, R - ^ NV
IZW
!!
77 !
"7%
"7&
/ V ] Q
IpW
"7'
"7(
!!
"7)
"7*
"7+
"7
M L UV 2 V ]QV 5 LVP Q ^ NV U M K P ]] ^ N P ]T 6
ImW
IeDW
!' & ! $ ( ! !' $%' ' & & $ !' (# $" ( !$ ( - 2 (( & $ % ! #$ $ * b $ ! a
* $ (# & $ % + ! + $ , !' h / $
!' $ ( * , g G D -E m F ! D -ZF p 4 k # e + #* d !' ( !$ !$ (' ! &" ( , % !' $! + ' $(' !' % $, ! $ ,$# # & $, $& & g F E [ a !' $! + ' $(' !' ( !! & ! IEW ,$# # - > b/
( ! : $ & ! a ## ! (, #% (!$ !' # #& # - k ' !' & " !' ( # #$! !' h /
$ , ! (' $, & * % !$% !' ( !!
& ( !! o #$ ) & ! IEW + $!' % $, ! + ! - k ' ! % ! $ &$,$& # ! : $ &/
! a 2 & @ a & #$!* Y ' + , $!' !' ( (# ! !' ( $ !$ ## ( ( $# ! k ' !' !' . 3 4 ( ($# !$ ! $ & !#*
( #! & + $!' !' : $ &! ( a
a + ' $(' !$ ##*
ρ = 0.54
b #$ !' + ) $ & $, $& # ( !' 9 !#*a + & $(! !' ($$ / ( ## ( , !' %/
! & (# $" $ h $% g - 4 (# $ ! /
! $ , ( $$ ! #+ #,# ( ## ( & !
!' ( !! o #$ ) & (# $" IEW Y + #! ( !$!$,
0$ b # - 4 ( ! ! a : $ &! !
! ' $%' (## & ' ( !' ($$ ( , !' ( $ /
!$ ## ! ! * , !' #$ % ##*-
Ie eW
Conclusion
IC DW
4 !'$ + & ! ! & !' " #!$ % + $ % !' ( ($# $!! % a !' #
!$ % !' ,!$ !' ! ! !' (!$, $!$ ! % ! & " ($# % $ IeFW -
IeCW
IeFW
IegW
Ie[W
IeEW
IeZW
IepW
IemW
9 $ )/ & $ $#$!* (' ! " % '! + - 4
M H "#$ !G % a CD D E 2 - 2 - ? (d a B - 3 # % *a k - @ # a & : - 7 ' @ 8 ) K h ##* ! !$( #$ ) &!(!$ - 4
M H "#$ !G % a CD D [ 2 - l - ? & - 2 ! b * + (' - &# '#$
( a F E 5C 6 XF K eD a CD D C 3 - 3 !$## a ; - ; ! a 9 - ? ((' !!$ a A- ? #& $ a
@ - 9 &$ a : - @ !$ $ a & @ - $% - 2 (
( ##(!$ + - &# '#$ ( a g D 5C 6 a CD DE 3 - 3 !$## a ; - ; ! a 2 - 1 $ $ a - : & () a &
h - @$#,!$ - B + * $%' X & !(!$ $ % !' + ! # %*- ; > 9 4@ k (' $( #
! k 8 /D g [p a CD D E B - 3 ' ## $## & ; - : - 3 ' $()$ % - 4 , $ %
(# ) $ % &!(!$ $% (' 0 * #$!* &
!$d $#$!*- 4 M H "#$ !G % a % eZ K Cg a C DD E H - B - ; $ a 9 - l' a l - i $ a ) -/8 - a 9 - % a &
< - 9 $ - ; !(!$ % #$ ( ($ # $!!$ 5. 3 46 - 4
M H ! ! ! a % p Cm K pF Z a CDD E 4 - ; ! & k - @(' - k '+ !$ % !' $%$! & #! $ X 9 $% ! $& !$ * #$ ) - 4 M H
* L+ , a , # F Z CD ,-"# a % CF F K Cg F a C D D [ i - > $ a B - @ - : ( 3 #*a & ) - 2 - k #$ - 8 )$ %
!' + !$ - 4 M H ! ! ! a % F Dm K F ep a CD Dg 8 - h% $ a 8 - B a B - @ - : ( 3 #*a ) - i ,) a
; - @$,) a ) - 2 - k #$ a & ; - A- $##$ @ (' $ % !' + ) #( + - 4 M H ! ! !a CD DF ; - h!!#*a : - : a & : - i f ) - @ a & a & ! !$!$( K 7 $% ! !$!$( # #* $ !
# ( ! + % - 4 M H !G % . a C D Dg l - 1 *n % * $ & H - 1 ($/: #$ - @ X 4! ! f !
$ b * - #*** LC IG + B / G a
F p 5eD 6 XC p K Fg a C DD [ l - 1 *n % * $ & H - 1 ($/: #$ - ! b *- 4 M H "#$ !G % a CD D [ l - 1 *n % * $ a H - 1 ($/: #$ a & ) - A & 3 !$% + + $!' k !8 ) - 4 M H
0, . a % [ ZE K [p Z a CD Dg : - 8 - H d$ % a 8 - : !+ $ a & 3 - @$#,!$ 3 ' ## % $ + (' % $ - &# '#$ ( a
F E 5C6 XeeK C C a CD D C 2 - i ! # a : - i f ) a : - : a & ; - h!!#*; !(!$ % + % !' % ' ( !! #* $ 4 M H ! ! ! a % p F K m C a CD D E < -/: - % a : - : a < - i $ a & H - 3 ' - @ & #/ # X 3 (!$ % + + $!'
& ,!$ - 4 M H ! ! ! a CD D Z 4 - H - $!! & > - h ) - I + B 1 M HIHF
+ HJ G , GB F N GHJ GD & GH N
GNI - : % B a CD D [ ? - a - 1 # a & ? - ; - ; ,$ - A % !$ % !!
& & $! ! ! & ! + - 4 ! 2 J C + NGF 3 I 3 IJ G !G % a CD D E -