Dale Hunscher
Michigan Institute for Clinical and Health Research
University of Michigan
Ann Arbor, Michigan, USA
Agenda
Role of the Internet in the dissemination of consumer
health information
Smoking cessation as an exemplar
Reachability versus findability
Assessing reachability and findability using network
analysis
Consumer health information seekers rely
on and trust the Internet
Pew Internet & American Life Project:
80% of U.S. Internet users search for health information online.1
The Internet is “…the most trusted media source for consumers[,]
decisively outstripping offline media when they want credible health
information… 42 percent trust or completely trust the information
they find on the Internet, while only 18 percent and 16 percent trust
what they find out through friends/family and offline media,
respectively.” 2
1.
2.
Fox 2006
Editorial, Hospitals & Health Networks 2005
Clinicians view the Internet with
considerable skepticism
Clinicians have noted potentially major problems
with the information found on the Web1:
Overt factual incorrectness
Faulty methods of data collection and analysis,
especially reliance on anecdotal evidence
Potential undisclosed author bias and/or conflict of
interest
1.
Biermann et al. 1999; Cline et al. 2001; Ipser et al. 2007
There is a “gold standard” for online health
information
In the U.S., the National Library of Medicine’s
Medline Plus site is widely considered the best source
of consumer health information on the Internet—the
“gold standard”1
In addition to a medical encyclopedia, drug
compendium, and other general-purpose resources, it
provides targeted portals for most common diseases
and disorders
1.
Stanford et al. 2002
Smoking cessation as an exemplar
Tobacco smoking kills and maims
Huge personal and societal cost
Tobacco is addictive
Cessation methods and aids vary widely in
effectiveness
Findability of the right information at the right
time has significant potential payoff
Reachability versus findability
What are they? How can we assess them?
The MSN Search data set:
What can it tell us
about findability?
Two findability heuristics
Reachability
In a directed graph (digraph), reachability is a binary
quality
A vertex j is reachable from another vertex if and only if
it can be accessed by following outbound arcs from the
starting-point vertex and subsequent vertices.
h
Node h is NOT
reachable from
any other node
Node j is
reachable from
nodes h, k, or m
k
i
j
Node j is NOT
reachable from
node i
m
Reachability in URL networks
A URL network is a digraph generated by traversing Web page
outlinks
Vertices (nodes) are Web pages
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Arcs are outlinks (HTML anchor elements)
All nodes may be connected,
but reachability may vary
<
om?
oo.c
ww.f
://w
p
t
t
h
ef=“
a hr
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
It’s a mad, mad world
>
g=1”
m?p
o.co
o
f
.
ww
://w
http
ef=“
r
h
<a
Mus uni non fidit antro. Dulce et decorum est pro patria mori.
Profundus moribundii. Mus uni non fidit antro. Dulce et decorum
est pro patria mori. Profundus moribundii. Mus uni non fidit antro.
Dulce et decorum est pro patria mori. Profundus moribundii.
Mus uni non fidit antro. Dulce et decorum est pro patria mori.
Profundus moribundii. Mus uni non fidit antro. Dulce et decorum
est pro patria mori. Profundus moribundii. E pluribus unum.
Non sequitur, et tu, Brute?
Mus uni non fidit antro. Dulce et decorum est pro patria mori. Profundus moribundii. Mus uni non fidit
antro. Dulce et decorum est pro patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et
decorum est pro patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et decorum est pro
patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et decorum est pro patria mori.
Profundus moribundii. E pluribus unum. Non sequitur, et tu, Brute?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
>
m?pg=2”
ww.foo.co
http://w
<a href=“
Deus ex machina
4”>
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
.fo
ww
/w
p: /
t
t
h
f=“
hre
<a hre
<a
f=“http
://www
.foo.co
m?pg=
6”>
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
<
://w
ttp
=“h
ref
h
a
o
.fo
ww
.
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
”>
=4
?pg
m
o
c
Deus ex machina
“htt
<a href=
<a href=“http
://www.foo
.com?pg=4”
>
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
>
=5”
?pg
om
o.c
Deus ex machina
Mus uni non fidit antro. Dulce et decorum est pro patria mori. Profundus moribundii. Mus uni non fidit
antro. Dulce et decorum est pro patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et
decorum est pro patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et decorum est pro
patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et decorum est pro patria mori.
Profundus moribundii. E pluribus unum. Non sequitur, et tu, Brute?
Mus uni non fidit antro. Dulce et decorum est pro patria mori. Profundus moribundii. Mus uni non fidit
antro. Dulce et decorum est pro patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et
decorum est pro patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et decorum est pro
patria mori. Profundus moribundii. Mus uni non fidit antro. Dulce et decorum est pro patria mori.
Profundus moribundii. E pluribus unum. Non sequitur, et tu, Brute?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
pg=
<a
7”>
om?pg=
w.foo.c
p://ww
hre
f=“
htt
p :/
/ww
w.f
oo
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
.co
m?
pg=
4”>
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
These nodes are not reachable from any other node in the network
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Findability versus reachability in URL
networks
In a URL network, findability is less
deterministic than reachability
Reachability is necessary
but not sufficient
to ensure findability
Findability on the Web is
affected by many factors
Information “scent” in anchor text1
Hyperlink position on page
1.
Pirolli 1997
The findability of high-quality consumer
health information
We can use a search engine result set to generate a digraph that
will facilitate analysis of reachability and (to some degree)
findability of high-quality consumer health information
If outlinks determine reachability, not findability, then
how can we estimate findability in a generated
URL network based on a search
engine result set?
h
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
>
g=1”
m?p
o.co
o
f
.
ww
://w
http
ef=“
r
h
<a
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
w
/ww
ttp:/
.n
.nlm
edlin
v/m
ih.go
e
sa
gces
okin
/sm
plus
ok
/sm
lus
ep
n
i
dl
in
l
.htm
tion
tio
ssa
gce
t
n.h
ml
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
me
ov/
h.g
i
n
m.
.nl
ww
/w
/
:
p
<a hre
htt
f=“http
://www
.foo.co
m?pg=
6”>
>
m?pg=2”
ww.foo.co
“http://w
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Deus ex machina
<a href=
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Deus ex machina
“htt
<a href=
<a href=“http
://www.foo
.com?pg=4”
>
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
<a
7”>
om?pg=
w.foo.c
p://ww
hre
f=“
htt
p :/
/ww
w.f
oo
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
.co
m?
pg=
4”>
Deus ex machina
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o.
Dulce et decoru m est pro patria mori. Profu ndus m oribun dii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori.
Profundu s moribundii. Mus u ni non fidit an tro. Du lce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m.
Non sequitur, et tu, Bru te?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. Mus uni non fidit antr o. Dulc e et de corum est pro patria mori. Profun dus moribundii.
Mus uni n on fidit antro. Dulce et dec orum e st pro patria mori. Pr ofund us moribundii. Mus u ni non fidit a ntro. D ulce et decoru m
est pro pat ria mori. Profundus moribu ndii. E pluribus unu m. Non sequit ur, et t u, Brut e?
The MSN Search Data Set
Windows Live Labs at Microsoft Research program:
Accelerating Search in Academic Research
Lada Adamic and Suresh Bhavnani of the University of
Michigan School of Information (my Master’s thesis
advisors) were joint awardees
The award included access to a substantial search engine
server log extract data set from May 2006:
14.9M queries, 12.2M clicks on diverse topics
Lesson #1 from the smoking cessation data set:
The most popular smoking cessation queries
916 queries, 898 clicks related to smoking cessation*
*Smoking cessation queries were identified using the “snowball” method, starting from common terms
in several popular smoking cessation sites.
Lesson #2 from the MSN Search data set:
Distribution of click frequencies by position
99.99% of clicks on results 1-
10 (“page one”);83.75% on
results 1-5 (“page one, above
the fold”)
Smoking cessation clicks have
essentially the same
distribution (100% on page
one, 84.15% above the fold)
In fact, the distribution of
clicks by result set position
was very similar for all topics
we investigated, healthrelated and otherwise
Pearson correlation coefficient 0.9718
Leveraging lessons from the MSN Search data set
We can use the MSN Search clicks-by-position
distribution to estimate click probabilities in
dynamically generated search result sets
Two heuristics:
Result click probability: What is the probability a
given outlink from the result set will be traversed?
Findability attenuation: Having an estimated
probability for a given search result, how do we
propagate click probabilities further down in the
directed graph?
Result click probability:
A crude measure of findability
Pc ≈ Pm
For result sets dynamically
generated from the submission of
smoking cessation queries, Pc (the
probability of a click on position
N) is roughly equal to Pm (the
proportion of clicks at that
position in the MSN Search result
set distribution for smoking
cessation queries).
Because distributions didn’t
differ much based on the nature
of the query, the click-byposition distribution for the
entire MSN Search data set
would work equally well for
most purposes.
Findability attenuation
Assumptions:
Analogous to signal strength, findability attenuates over (virtual)
distances
Findability of a given Web page is inversely related to the number of
outlinks that must be evaluated to reach that page
Pc ≈ Pm only estimates probability of accessing a page directly
referenced in a search engine result set, therefore:
The estimated probability of accessing any page accessible from that
directly referenced page must be some fraction of Pc
In other words, the sum of Pc for pages reachable from a given page’s
outlinks is less than or equal to Pc for the given page
A findability attenuation heuristic
For n outlinks on a page,
the probability of a click
on outlink i is estimated
to be its rank in
descending order (i.e.,
the first outlink’s rank is
n, second is n-1, etc.),
divided by the sum of
the integers 1..n, times
the probability of access
to the page containing
the outlink. This
produces a linear
descending-sloped click
probability distribution.
Findability of Medline Plus (MLP) recommended
pages from search engine result sets
Investigating the overlap between 2-neighbor outlink
networks derived from the Medline Plus smoking
cessation portal and dynamically generated search
engine result sets, I found two significant issues:
The Vocabulary Problem
Walled Gardens
The Vocabulary
1
Problem
The three most popular informational queries in the
MSN smoking cessation data set were quit smoking,
stop smoking, and smoking cessation
Although essentially synonymous, these three queries
produced different results—often radically different
both in content and quality
1.
Furnas et al. 1987.
The Vocabulary Problem:
Synonymous queries yield highly variable results
Walled gardens
Virtually all sites reachable via smoking cessation search engine
result sets were rich in internal links, and poor in external links
Exceptions: Medline Plus smoking cessation portal and
Wikipedia
“Walled Gardens” mean that each site considers itself to provide
complete coverage of the topic and the best quality information
Recent research contradicts this assumption; most sites are
lacking at least some information considered essential by
experts1
1.
Bock et al. 2004.
Walled gardens
Summing up
Online search for consumer health information is an
important topic, and one whose importance is likely
to grow over time
Vocabulary problems and walled gardens are
ubiquitous, to the detriment of the lay information
seeker
Network analysis has great potential in visualizing
and analyzing latent problems in online search
Acknowledgements
This work was supported in part by a 2006 grant from
the Microsoft Live Labs “Accelerating Search in
Academic Research” program
I thank Lada Adamic and Suresh Bhavnani for their
insightful guidance on my Master’s thesis work
Contact information
Dale Hunscher, Sr. Business Systems Analyst
Michigan Institute for Clinical and Health Research
University of Michigan
Ann Arbor, Michigan USA
[email protected]
cellular: +1 734.678.5178
References
Batagelj, V., and Mrvar, A., PAJEK--Program for large network analysis, Connections 1998; 21: 47-57.
Biermann, J.S., Golladay, G.J., Greenfield, M.L.V.H. and Baker, L.H. Evaluation of cancer information on the Internet. Cancer 1999; 86
(3): 381-390.
Bock, Beth C., Graham, Amanda L., Sciamanna, Christopher N., Krishnamoorthy, Jenelle, Whiteley, Jessica, Carmona-Barros, Rosa,
Niaura, Raymond S. and Abrams, David B., Smoking cessation treatment on the Internet: Content, quality, and usability, Nicotine
& Tobacco Research 2004; 6(2): 207-219.
Cline, R. and Haynes, K. Consumer health information seeking on the Internet: the state of the art. Health Education Research 2001; 16
(6): 671-692.
Editorial, Web: Internet viewed as trustworthy source of health information. Hospitals & Health Networks 2005; 4:(58).
Fox, S. Online Health Search 2006. Pew Internet & American Life Project, 2006.
Furnas, G. W. , Landauer, T. K., Gomez, L. M., Dumais, S. T., The Vocabulary Problem in Human-System Communication: an Analysis
and a Solution, Communications of the ACM 1987; 30(11): 964-971.
Ipser JC, Dewing S, Stein DJ. A systematic review of the quality of information on the treatment of anxiety disorders on the internet.
Current Psychiatry Reports 2007 Aug; 9(4): 303-9.
Murphy R, Frost S, Webster P, Schmidt U. An evaluation of web-based information. International Journal of Eating Disorders 2004;
35: 145-154.
Pirolli, P. (1997). Computational Models of Information Scent-Following in a Very Large Browsable Text collection. Proceedings of
CHI '97: Human Factors in Computing Systems.
Sabel, M., Strecher, V., Schwartz, J., Wang, T., Karimipour, D., Orringer, J., et al. Patterns of Internet use and impact on patients with
melanoma. Journal of the American Academy of Dermatology 2005; 52(5): 779-785.
Stanford J, Tauber ER, Fogg BJ, Marable L., Experts vs. Online Consumers: A Comparative Credibility Study of Health and Finance Web
Sites. In: Consumer Reports Web Watch 2002.
Wasserman, S., and Faust, K. “Social Network Analysis: Methods and Applications.” Cambridge: Cambridge University Press; 1994.