V Congreso de Metodología de Encuestas
Córdoba, 24-26 de mayo de 2008
SIPIE y IESA-CSIC
Efecto del diseño y efecto del entrevistador:
evidencia empírica a partir de los datos de la
Encuesta Social Europea
Anna Cuxart y Clara Riba
[email protected], [email protected]
Universitat Pompeu Fabra (Barcelona, España)
Investigación financiada por el proyecto SEJ2007-29562-E
La Encuesta Social Europea ESE
•
•
Estudio comparado y longitudinal de las actitudes, valores y
comportamientos de los ciudadanos europeos en los ámbitos
económico, social y político
Premio Descartes de Ciencia de la UE 2005
Objetivos de la ESE
•
•
•
•
Difusión de buenas prácticas y estándares de rigor
Calidad y comparabilidad de los datos
Generación de indicadores sociales ampliamente aceptados
Investigación
http://www.europeansocialsurvey.org
http://ess.nsd.uib.no
http://www.upf.edu/dcpis/grcp/ess
Objetivos de la comunicación
• Discutir el papel que juegan tanto el efecto debido al
diseño como el efecto debido al entrevistador en los
datos finales de la ESE
• Mostrar el procedimiento seguido por el equipo
español para la estimación de ambos efectos y para
la reducción de su impacto en las sucesivas rondas
• Presentar los resultados de una discusión más
amplia realizada por el equipo expertos de la ESS
(Ganninger, Hader and Gabler, 2007)
La 3ª ronda de la ESE en España: muestreo
Muestra estratificada de dos etapas
• Estratos que resultan del cruce de CCAA (18) y 4
tamaños de municipio (más de 100.000 habitantes; entre
50.001 y 100.000; entre 10.001 y 50.000; 10.000 o menos)
En los 66 estratos no vacíos:
• Primera etapa: selección de 504 UPMs (secciones
censales) proporcionalmente a la población
• Segunda etapa: selección aleatoria de 6 o 7
individuos en cada UPM
Consecuencias: Efecto de diseño
Relativa homogeneidad de las respuestas de individuos que
pertenecen a un mismo conglomerado (sección censal, UPM).
Necesidad de considerar el llamado Efecto de diseño
Varc (θˆ)
EDc =
Varmas (θˆ)
(Kish, 1995b)
¿Cuando y cómo deberíamos tener en cuenta la presencia del ED?
• El tamaño efectivo de una muestra
es el tamaño de una muestra
aleatoria simple con la cual se obtendría el mismo grado de precisión:
nefec =
n
EDc
Efecto del diseño y tamaño de la muestra
• Antes de la encuesta: en la determinación del tamaño de la muestra
EDc = 1 + (b − 1) ⋅ ρ = 1 + (3,829 − 1) ⋅ 0,095 = 1,269
siendo b el promedio de respuestas por sección
y ρ el coeficiente de correlación intra
(Kish, 1995a)
– tamaño efectivo: 1.500
– efecto de diseño estimado: 1,269
– tamaño neto = 1.500 — 1,269 = 1.904
– total de casos válidos: 1.904/0,62= 3.070
la tasa de respuesta esperada para la 3ª ola era del 62%
– tamaño bruto = 3.070/0,95 = 3.232
se esperaba un 5% de casos ineligibles
– tamaño bruto final (incluyendo sobrerepresetación
y redondeo):
3.290
Efecto del diseño y precisión
•
Después de la encuesta: en la corrección de los errores
estándar.
Por ejemplo, el cálculo del margen de error máximo en la
estimación de porcentajes globales para una confianza del 95%,
para los datos de la tercera ola en España, sería:
m = 1,96 ⋅
0,5 ⋅ 0,5
= 0,0226 ⇒ 2,26%
1.876
0,226 ⋅ 1,269 = 0,0255 ⇒ 2,55%, con la corrección
estimada inicialmente
0,226 ⋅ 1,126 = 0,0240 ⇒ 2,40%, con la corrección
calculada a partir de los respuestas
Efectos de diseño en promedio por países
País
DFc en la ESE 1
DFc en la ESE 2
Alemania
2,03
2,01
Austria
1,61
1,47
Bélgica
1,22
1,19
Eslovenia
1,33
1,39
España
1,60
1,40
Francia
1,34
1,36
Grecia
1,64
1,36
Holanda
1,00
1,00
Hungría
1,36
2,41
Irlanda
1,92
1,87
Luxemburgo
1,00
1,00
Noruega
1,60
1,00
Polonia
1,83
1,57
Portugal
1,57
1,88
Reino Unido
1,39
1,34
República Checa
1,28
2,60
Suiza
1,27
1,25
Ucrania
1,95
Media
1,47
1,56
Mediana
1,39
1,39
Fuente: QEM1, 2007
¿Cómo estimar el coeficiente ρ?
• Modelización estadística: ANOVA (utilizada por el
CCT de la ESE), modelos multinivel,...
yic = µ + uc + ε ic
σ u2
ρ= 2
σu +σ 2
uc ≈ N (0, σ u2 )
ε ic ≈ N (0, σ 2 )
¿Y el efecto del entrevistador?
Fowler, 1991; Hox, de Leeuw and Kreft, 1991;
Schnell and Kreuter, 2005
Una primera aproximación para los datos de la ESE de España:
yice = µ + ve + uce + ε ice
nivel 1: individuos , i
nivel 2: secciones censales, c
nivel 3: entrevista dores, e
Descomposición de la varianza (tres niveles)
Varianza
Variables
Confianza en el sistema legal
Confianza en los políticos
Satisfacción con la democracia
Años de educación
Número de miembros en el
hogar
Edad
entre
individuos
entre
secciones
entre
entrevistadores
4,902
0,141
0,475
23%
77%
0,188
0,345
35%
65%
0,197
0,226
47%
53%
2,008
1,514
57%
43%
0,001
0,039
2%
98%
0,014
5,439
0%
100%
4,605
3,323
24,332
1,702
351,288
varianza explicada
0,616
13%
0,533
12%
0,423
13%
3,522
14%
0,0397
2%
5,453
2%
Conclusiones y nuevos retos
•
Las mejoras introducidas en el diseño de la muestra de la ESE en
España han permitido reducir el efecto de diseño y, en
consecuencia, aumentar la precisión de las estimaciones en las
sucesivas olas.
•
Sin embargo, el estudio exploratorio llevado a cabo sugiere
asimismo la existencia de un segundo efecto: el debido al
investigador. Como era de esperar, dicho efecto aparece con más
relevancia en preguntas de opinión.
•
El CCT de la ESE, consciente de que esta situación es común a la
mayoría de países participantes en el proyecto:
– Se plantea publicar en el futuro la pertenencia de cada individuo a su
correspondiente UPM, con el objetivo de permitir que los usuarios puedan
corregir los errores estándar para cada variable.
– Insta a estudiar en cada país tanto las magnitudes de los efectos debidos a la
agrupación (EDc) como las de los efectos debidos al entrevistador (EDe).
– Ha requerido la incorporación en el formulario de contacto de la 4ª ronda
de información relativa al entrevistador (edad y sexo, para empezar)
Otros proyectos de la ESE
•
La Encuesta Social Europea está preparando un Libro-guía
sobre la no-respuesta cuyo contenido versará sobre:
– La tasa de respuesta como un elemento de calidad de los datos
– Tasas de respuesta en estudios comparativos y componentes
– Ejemplos prácticos y recomendaciones
•
El reducido número de países participantes en cada ronda de
la ESE limita la aplicación de estudios multinivel. La ESE ha
decidido crear una base de datos contextuales de nivel
nacional y regional que:
– Integrará información procedente de fuentes diversas
– Proporcionará conocimiento de las diferencias estructurales en
Europa (sistemas educativos, electorales,…)
– Permitirá la visualización a través de mapas
Financiación de ambos proyectos: el Premio Descartes 2005
Referencias
•
Biemer, P.P. and Trewin, D. (1997). A Review of Measurement Error Effects on the
Analysis of Survey Data. In Survey Measurement and Process Quality, L.E. Lyberg,
P.P. Biemer, M. Collins , E. DeLeeuw, C. Dippo, N. Shwarz, and D. Trewin (eds),
603-632. New York: John Wiley and Sons.
•
Fowler, F.J.(1991). Reducing Interviewer-related Error through Interviewer Training
Supervision, and Other Means. In Measurement Errors in Surveys (eds P.P. Biemer,
R.M. Groves, L.E. Lyberg, N.A. Mathiowetz and S. Sudman). New York: Wiley.
•
Hox, J.J., de Leeuw, E.D. and Kreft, I.G.G. (1991) The effect of interviewer and
respondent characteristics on the quality of survey data: a multilevel model. In
Measurement Errors in Surveys (eds P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A.
Mathiowetz and S. Sudman). New York: Wiley.
•
•
•
Kish, L. (1995a y 1965). Survey Sampling. New York : Wiley-Interscience.
Kish, L. (1995b). Methods for Design effects. Journal of Official statistics, 11, 55-77.
•
•
Schnell, R. and Kreuter, F. (2005) Separating Interviewer and Sampling Effects.
Journal of Official Statistics, 21, 389-410.
O’Muircheartaigh, C. and Campanelli, P. (1998) The Relative Impact of Interviewer
Effects and Simple Design effects on Survey Precision. Journal of the Royal
Statistical Society, Series A, 161, 63-77.
Wiggins, R.D., Longford, N. And O’Muircheartaigh, C.A. (1992). A variance
components approach to interviewer effects. In Survey and Statistical Computing,
A. Westlake, R.Bancks, C. Payne and T. Orchard (eds), 243-254. Amsterdam:
Elsevier
Precisión y calidad de los datos
•
Design Effects and Interviewer Effects in the European
Social Survey: Where are we now and where do we want to go
tomorrow? ESS Disemination Activities. Quality Enhancement, QEM1,
http://www.europeansocialsurvey.org
•
•
•
British Household Panel Study
(encuesta anual desde 1991, de la
que se dispone de amplios estudios sobre la magnitud e impacto de
ambos efectos, el debido al diseño y el debido al investigador)
http://www.iser.essex.ac.uk/ulsc/bhps ,
Design effect Study,DEFECT,
estudio comparativo de los errores
en diseños complejos en Alemania,
http://www.uni-konstanz.de/FuF/Verwiss/Schnell/defect
Mejorando a partir de la experiencia: la implementación
de la tercera ola de la ESE en España, en Economics and
Business Working Paper 1036,
http://www.econ.upf.edu/en/research/onepaper.php?id=1036
Iniciativas a partir de la ESS
• El proyecto ESS Edu Net
• ESRA (European Survey Research Association)
• Congresos de la ESRA (Barcelona 2005; Praga
2007 y Varsovia 2009)
• La revista SRM (Survey Research Methods)
• Diversas publicaciones (información actualizada en
el boletín de la ESE).
– España: sociedad y política en perspectiva comparada, M. Torcal, L.
Morales, S. Perez-Nievas, (Eds), Tirant lo Blanch, Valencia 2005
–
En proceso de edición un segundo libro del equipo español
Muchas gracias por su atención!!!