L'ENQUESTA SOCIAL EUROPEA (ESS): UN ESFORÇ PER
A MILLORAR LA QUALITAT DE LES ENQUESTES1
Comunicació presentada al Grup de treball de Mètodes i Tècniques del
IV Congrés Català de Sociologia
Reus, 5 i 6 d’abril de 2003
Clara Riba i Anna Cuxart
Departament d’Economia i Empresa
Universitat Pompeu Fabra
[email protected], [email protected]
Resum
Les autores són membres de l’equip espanyol que implementa la realització de la primera
ona de l’Enquesta Social Europea. Aquesta enquesta neix de l’esforç col·lectiu de la
comunitat científica europea (23 països) amb l’objectiu explícit d’establir uns requisits de
qualitat en el disseny mostral i en l’execució del treball de camp que garanteixin la
qualitat de les dades i permetin la comparabilitat entre països. L’objectiu d’aquesta
comunicació és el de donar a conèixer els estàndards de qualitat que s’han fixat en
aquesta enquesta i, al mateix temps, el de reflexionar sobre les dificultats reals trobades
per a satisfer-los.
1
Aquesta comunicació ha estat possible gràcies als ajuts SEC2002-03363 i BFM2000-1064 del MCyT
Introducció
En aquests moments en què ha saltat a l’opinió pública l’escàndol generat per la
manipulació dels resultats de les enquestes encarregades pel Govern de la Generalitat, és
preocupant per als investigadors l’aparent frivolitat amb la que es tracta la informació
procedent d’enquestes. Tal com ja suggeria en Jordi Porta al 1991, parlant de les
enquestes d’opinió, sembla que és oportú “explicar pedagògicament tant als ciutadans
com als mitjans de comunicació, l’abast dels resultats i també les seves limitacions”
(Bonet, Estruch i Porta, 1991, p. 27).
És clar que en els darrers temps s’està fent un gran ús de les enquestes d’opinió. Però no
sempre se’n fa “un bon ús”. Per una banda, determinades empreses les utilitzen
comercialment per tal d’incitar el consum de béns potser innecessaris. Per una altra, els
governants les utilitzen políticament, tant per a justificar les decisions que prenen com
per a copsar quina és l’opinió de la ciutadania abans de decidir tirar-les endavant. Aquest
tipus d’estudis són, doncs, partidistes i proporcionen un coneixement que és d’utilitat per
a qui els encarrega. Es tracta, per tant, d’un ús interessat de les enquestes. Des d’aquesta
perspectiva, es pot entendre perquè, amb tanta freqüència, es cau en abusos i
manipulacions: ocultació de resultats no favorables, “cuina” de resultats sense indicar el
procediment utilitzat, titulars sensacionalistes o enganyosos...
Des del punt de vista científic, les enquestes constitueixen, sens dubte, una eina valuosa
per a l’increment del coneixement de la realitat social i política que ens envolta. Però la
tasca dels investigadors, donant per descomptat que en volen fer un “bon ús”, es veu
entorpida per una sèrie de deficiències en tres aspectes diferents. El primer és l’escassa
qualitat tècnica de la mostra escollida. El segon, la insuficient recollida d’informació. El
tercer és el controvertit aspecte de la validesa de la informació obtinguda.
Sobre l’escassa qualitat tècnica de la mostra, es pot dir que en molts casos aquesta no
representa adequadament a la població que es vol estudiar. Això pot ser degut a manca de
cobertura per no disposar d’un marc de mostreig suficient, als biaixos derivats de taxes
1
elevades de no contacte o/i de no resposta, o a la ignorància dels efectes derivats del
disseny (Voogt i Saris, 2002).
En segon lloc, a part de la informació que s’obté del buidat de les respostes al qüestionari,
hi ha tota una altra informació, també valuosa, que sovint s’ignora. Es tracta de la
informació procedent del treball de camp, tant la informació sistemàtica adreçada al
seguiment i control del treball dels enquestadors, com aquella altra, més creativa, que
aprofundeix, entre d’altres aspectes, en les causes de no resposta i de no contacte (Rubin,
1987). Caldria tenir en compte tota aquesta informació per a complementar l’anàlisi que
es realitza a partir, només, de l’opinió dels individus que han participat efectivament en
l’estudi.
Pel què fa a la tercera de les deficiències, el problema està en les enquestes d’opinió que,
en ocasions, forcen a l’individu a manifestar-se sobre temes que desconeix o sobre els
quals no té una opinió formada. En opinió de destacats investigadors, l’opinió pública no
existeix, sinó que és una construcció que s’obté a partir de l’aplicació de les enquestes.
En aquest sentit és el propi instrument d’observació de la realitat el que acaba configurant
aquesta realitat (Cardús i Estruch, 1984; Kirk i Miller, 1986). Cal, doncs, situar
l’enquesta d’opinió en el seu lloc, com un instrument de coneixement de la realitat que té
unes limitacions i que és millorable. La construcció del qüestionari, el redactat de les
preguntes i les opcions de resposta, són aspectes que clarament influeixen en els resultats
que s’obtenen. Actualment hi ha tècniques que permeten avaluar la fiabilitat i validesa de
determinades preguntes en la mesura d’un concepte (Saris i Van Meurs, 1989; Saris i
Andrews, 1991; Litwin, 1995). Redactar el qüestionari de manera que possibiliti
l’aplicació d’aquestes tècniques significaria ja una millora substancial.
Una altra complicació, que apareix en els estudis comparats d’àmbit internacional, és la
dificultat per a la comparació de resultats (King, Murray, Salomon i Tandon, 2003). Les
dificultats afegides que es presenten en aquest cas són de caire lingüístic i sociocultural
per aconseguir que les formulacions siguin funcionalment equivalents ( problemes de no
equivalència d’allò que es pregunta o existència de reaccions diferenciades a un mateix
2
tema en funció del context) o de caire tècnic (diferents dissenys mostrals o dificultat
d’homogeneïtzació en les classificacions).
En aquesta comunicació, es vol exposar com pretén sortir al pas de totes aquestes
deficiències el projecte de l’Enquesta Social Europea (ESS), iniciat recentment. Els
requisits i protocols establerts per la ESS estan encaminats a garantir uns estàndards
mínims de qualitat.
Cal dir que el treball que es presenta posa l’accent en els aspectes tècnics i metodològics,
sense entrar en el debat sobre el contingut i validesa del qüestionari. La immediatesa
d’aquesta comunicació, just quan s’ha acabat de realitzar el treball de camp, no ha permès
entrar en l’anàlisi del contingut de l’enquesta que, per altra banda, és un aspecte que
sembla més adequat tractar-lo en un altre àmbit.
L’Enquesta Social Europea
La gran diversitat cultural, política i social que hi ha al si d’Europa, converteix aquest
continent en un escenari privilegiat per a l’anàlisi d’actituds, comportaments i creences,
permetent la comparació entre diferents comunitats, així com l’anàlisi de la seva evolució
al llarg del temps.
Les ciències socials a Europa tenen una llarga tradició empírica. Ara bé, la major part de
la recerca que s’ha fet fins ara no es pot considerar totalment comparativa, atès que o bé
falten moltes dades o bé les dades de les que es disposa han estat recollides de forma tant
diferent que, realment, es fa difícil estandarditzar-les i la comparació és escassament útil.
Certament, quasi tots els països a través dels seus instituts d’estadística o d’altres
agències administratives, recullen de manera sistemàtica dades individuals i dades
relatives a les llars. Però, en general, aquestes dades acostumen a ser poc comparables i,
en ocasions, de difícil accés per als investigadors.
3
L’Enquesta Social Europea pretén cobrir aquestes mancances, mitjançant la realització
d’una enquesta bianual que permeti l’estudi comparat i longitudinal de les actituds,
atributs i comportaments dels ciutadans europeus en els àmbits econòmic, social i polític.
També pretén facilitar l’anàlisi de la interacció entre el context i les institucions socials
de cada país amb els patrons de comportament, les actituds i les creences dels seus
ciutadans.
L’ESS té una clara orientació acadèmica i vol convertir-se en un instrument de referència
en la recerca europea en ciències socials. En el seu disseny hi ha intervingut un grup
internacional d’acadèmics de prestigi que han posat a disposició de la ESS la seva
experiència en l’elaboració i tractament de diverses enquestes nacionals i internacionals
de reconeguda solvència. Tant la metodologia com el qüestionari i els resultats seran de
lliure accés per a tota la comunitat científica (www.europeansocialsurvey.com).
L’Enquesta és la culminació d’un treball metodològic de quasi cinc anys promogut per
l’European Science Foundation. Aquesta fundació i la Comissió Europea financien
l’estructura organitzativa del projecte, mentre que cada país participant es fa càrrec de les
despeses d’implementació i del treball de camp en el seu propi país. L’enquesta s’ha
administrat per primera vegada durant la tardor del 2002 de manera conjunta a 23 països.
Aquests són:
Alemanya
Àustria
Bèlgica
Dinamarca
Eslovènia
Espanya
Finlàndia
França
Grècia
Holanda
Hongria
Irlanda
Israel
Itàlia
Luxemburg
Noruega
Polònia
Portugal
Regne Unit
Suècia
Suïssa
Turquia
Txèquia
4
Organització
La coordinació de tot el procés de disseny i d’execució de l’ESS recau en un equip
internacional d’experts dirigit pel professor Roger Jowell del National Centre for Social
Research de Londres. Aquest grup forma el Central Coordinating Team (CCT) que és qui
estableix els criteris, defineix els estàndards de qualitat i marca les directrius per a
l’execució de tot el procés.
El CCT disposa d’una sèrie de grups assessors als quals consultar sobre aspectes
específics de l’Enquesta, com la traducció i el mostreig. Entre ells hi juga un paper
important el Comitè Científic Assessor format per un representant de cada agència
nacional més un representant de l’European Science Foundation i dos de la Comissió
Europea.
A més de l’estructura central de la ESS, hi ha un coordinador nacional i el seu
corresponent equip per a cada un dels països participants. Aquests són els que
s’encarreguen d’aplicar les directrius acordades pel CCT en el seus respectius països.
El Norwegian Social Science Data Services (NSD) és l’organisme encarregat d’arxivar
les sèries de dades de cada país, d’integrar-les en un arxiu comú, així com de divulgar-les
posteriorment.
Característiques
Població. La població objecte d’estudi està formada per tots els residents en domicilis
privats d’edat igual o superior a 15 anys.
Periodicitat. L’Enquesta es realitzarà a tots els països un cop cada dos anys.
5
Qüestionari. L’Enquesta consta de dos qüestionaris: un que s’administra cara a cara, amb
una durada aproximada d’una hora, i un altre que es deixa a casa de l’entrevistat per tal
que aquest el completi personalment i el retorni. La durada d’aquest segons és d’uns set
minuts.
El qüestionari cara a cara consta d’una part fixa, que es replicarà en cada ona i una part
de contingut variable. La part fixa consisteix en una sèrie de preguntes que volen mesurar
el canvi i la persistència en un rang de característiques, actituds i patrons de
comportament socials i demogràfics. En aquesta part s’inclouen preguntes referents a
actituds i atributs individuals, referents a posició social i participació en xarxes i referents
al context social i a l’entorn de l’individu. La part variable consisteix en dos mòduls
específics sobre temes d’actualitat que, a la vegada, permeten experimentar noves
propostes metodològiques. És la pròpia comunitat científica, mitjançant la seva
participació en el concurs públic convocat pel CCT, la que suggereix els temes a incloure
en cada ona. Per a l’ona del 2002, els mòduls específics han estat sobre “Immigració” i
sobre “Capital social i participació”.
El qüestionari autoadministrat també conté dues parts. En la primera hi ha els 21 ítems de
l’Escala de valors Humans de Schwartz i, en la segona, un total de 36 preguntes (de les
quals cada entrevistat només n’ha de respondre sis) orientades a l’avaluació de la validesa
i de la fiabilitat d’un grup seleccionat de preguntes i d’indicadors del primer qüestionari.
Requisits tècnics. La mostra ha de ser seleccionada per mètodes probabilístics en totes les
seves etapes. Per tant, no s’admeten quotes. Tampoc s’admeten substitucions dels casos
de no contacte o no resposta. Cal conèixer i documentar quina és la probabilitat de cada
individu de ser inclòs en la mostra. El nombre d’entrevistes aconseguides ha de ser, com
a mínim de 2.000 i la mida efectiva ha de ser com a mínim de 1.500. S’exigeix una taxa
de resposta del 70% en el primer qüestionari. En el segon qüestionari, la taxa de resposta
mínima ha de ser del 90% del total dels que han respost al primer. El qüestionari, elaborat
originalment en anglès britànic, es tradueix a la llengua oficial de cada país. En aquells
6
països en els que hi ha una llengua minoritària parlada com a primera llengua per un
mínim d’un 5% de la població, es tradueix també el qüestionari a aquesta llengua.
Disseny mostral. Cada país participant elabora el seu propi disseny mostral, que dependrà
de la disponibilitat o no de llistes d’individus o de domicilis que puguin ser usades com a
marc de mostreig. El disseny mostral de cada país ha de ser documentat i enviat abans de
la seva aplicació al CCT, el qual el remet al grup d’experts en mostreig per tal que en
facin la supervisió i hi donin el seu vist i plau.
Treball de camp. El treball de camp s’ha de realitzar en tots els països en el mateix
moment. Ha de tenir una durada mínima d’un mes i màxima de quatre. Els requisits que
s’han especificat són:
•
S’ha de fer un esforç de formació especial dels agents que han de dur a terme el
treball de camp. El coordinador nacional de la ESS ha de participar personalment en
les sessions de formació.
•
Cada entrevistador ha de realitzar com a màxim dos blocs de 24 entrevistes.
•
El primer contacte amb l’entrevistat ha de ser personal. Un cop fet el primer contacte,
es pot concertar l’entrevista per telèfon.
•
L’entrevista sempre ha de ser cara a cara.
•
No es pot considerar un cas com a no contactat fins a haver-ho intentat un mínim de
quatre cops, dels quals un ha de ser fet forçosament en hores vespertines i un altre en
cap de setmana.
•
S’han de realitzar controls de qualitat sobre com s’han efectuat les entrevistes,
contactant amb un 5% del entrevistats, amb un 10% dels que han refusat ser
entrevistats i amb un 10% dels no contactats.
•
L’evolució del treball de camp ha de ser supervisada de prop per l’equip de
coordinació de l’ESS de cada país. S’ha de fer un informe quinzenal que inclogui,
entre altres coses, la taxa de resposta assolida fins al moment i que desglossi les
“negatives clares” de les “negatives suaus” a participar. Les “negatives suaus” han de
ser reasignades a un altre entrevistador que començarà de nou el procés de contacte.
7
•
En finalitzar el treball de camp, l’empresa enquestadora ha d’elaborar un informe
tècnic sobre el desenvolupament del mateix, que inclourà les taxes de resposta
aconseguides.
Recull de dades contextuals. El fitxer de dades individuals s’ha d’acompanyar d’un fitxer
de dades contextuals amb característiques del país i esdeveniments puntuals. Es preveu
que la procedència de la primera part d’aquestes dades sigui l’EUROSTAT, l’OCDE i
d’altres fonts oficials. Aquestes dades aportaran informació sobre l’estructura
institucional, econòmica, política i social de cada país. La segona part de dades haurà
estat expressament recollida pels equips nacionals, que enregistraran els esdeveniments
polítics, culturals i socials que s’hagin produït durant l’any en què s’administri l’enquesta
i que puguin haver afectat les respostes individuals. L’objectiu d’aquest fitxer de dades
nacionals és incorporar l’efecte del context en les anàlisis individuals, facilitant la
realització d’estudis multinivell. Aquest tipus d’estudis, que tenen en compte la interacció
entre les característiques individuals i de context, són especialment adequats per a fer
comparacions entre països.
Justificació de les decisions metodològiques adoptades per la ESS
Resumint, els estàndards que s’ha posat com a objectiu assolir la ESS són
1. Una mida efectiva de la mostra de 1.500. Això vol dir que, sigui quin sigui el
disseny mostral que s’ha aplicat a cada país, i siguin quins siguin l’efecte de
disseny resultant i la taxa de resposta aconseguida, el nombre d’enquestes
realment completades ha de ser suficient per a garantir que l’error d’estimació
sigui el mateix que el que es derivaria d’una mostra aleatòria simple de 1.500
casos. El mostreig totalment aleatori amb una mateixa mida de mostra efectiva és
la garantia de la homogeneïtat en la precisió dels estimadors que es deriven de
cada mostra, fet que possibilita la comparació de resultats.
8
2. Utilització de dos formats d’entrevista: cara a cara i autoadministrat. L’ESS ha
optat per la fórmula de l’entrevista cara a cara per al gruix del qüestionari per
garantir la cobertura de la població en tots els països. Les possibles alternatives
com l’entrevista telefònica o l’enquesta per correu ordinari o correu electrònic
s’han descartat per diferents motius. Entre ells, podem citar la falta de cobertura
de la xarxa telefònica en alguns països, l’excessiva durada de l’entrevista per ser
feta telefònicament, la baixa taxa de resposta i les excessives preguntes no
contestades en el cas dels qüestionaris per correu, o la falta de cobertura i
d’habilitats en l’ús de noves tecnologies en el cas del correu electrònic.
El segon qüestionari ha estat dissenyat bàsicament amb l’objectiu de contrastar la
validesa i fiabilitat d’algunes preguntes. Per què és convenient fer aquest contrast?
En primer lloc perquè moltes de les preguntes són indicadors de conceptes que no
són directament mesurables. En ocasions, aquestes preguntes han estat
repetidament utilitzades en enquestes d’àmbit nacional i es considera que tenen
validesa en el corresponent país. Però no hi cap garantia de què també siguin
vàlides en altres contexts. En segon lloc, perquè un mateix concepte pot ser
mesurat a través de diferents indicadors (preguntes) o diferents instruments
(escales de mesura). En aquestes situacions convé conèixer la capacitat que té
cada un d’ells per a mesurar el concepte (validesa) i, alhora, l’estabilitat dels
resultats que proporciona quan s’aplica repetidament (fiabilitat).
En l’àmbit de les ciències socials, on molts dels conceptes són variables latents,
s’està fent un esforç per a conèixer quina és la validesa i la fiabilitat de les
bateries d’indicadors que s’utilitzen per a mesurar-los. En els darrers anys,
sobretot en països on hi ha una major tradició estadística, comença a ser una
pràctica habitual incloure en la documentació de les enquestes coeficients de
fiabilitat de les escales que es poden construir a partir de determinats indicadors.
En aquest sentit, la ESS proporciona una magnífica oportunitat per a conèixer els
valors d’aquests coeficients en el nostre país.
9
3. La mostra ha de ser totalment probabilística. Això vol dir que no s’admeten
quotes ni altres procediments on no intervingui l’atzar. La mostra pot ser
polietàpica, però no s’admet la pràctica habitual d’aplicar quotes en l’etapa final.
L’aplicació de quotes trenca amb el supòsit probabilístic que és necessari per a
aplicar la teoria de l’estimació i fer inferència a partir d’una mostra.
4. No s’admeten substitucions. La pràctica de substituir els no contactats o no
responents per nous casos obtinguts en una segona (tercera, quarta, o...) selecció
té conseqüències importants. En citarem dues. La primera és que la probabilitat
d’inclusió és molt menor per als casos que han estat seleccionats en la mostra
original que per als que ho ha estat en successives substitucions. La segona és
l’important biaix derivat de l’abandonament dels casos que són difícils de
contactar. La conseqüència és que en la mostra resultant hi ha una
sobrerepresentació de les persones de fàcil accés.
5. S’exigeix una taxa de resposta mínima del 70%. Aquesta taxa es calcula com el
nombre d’entrevistes completades sobre el total de casos vàlids. Idealment,
s’hauria d’aconseguir una taxa de resposta propera al 100% per tal de garantir que
la mostra fos realment representativa de la població. Les persones de difícil accés
o les que refusen ser entrevistades també són part de la població i poden tenir una
opinió diferent de les que són més accessibles o estan més ben predisposades a
respondre. Ara bé, tots sabem la dificultat real que existeix per aconseguir unes
taxes de resposta elevades. Per aquest motiu, el CCT s’ha plantejat una taxa del
70% que creu realista. Si s’ha acordat no admetre substitucions, arribar a aquesta
taxa de resposta requereix un enorme esforç de seguiment de cada un dels casos
inclosos en la mostra. I, d’aquesta manera, es minimitza el biaix derivat d’una
taxa de resposta baixa. Per tant, tots els requisits establerts per a la realització del
treball de camp i la minuciosa documentació del mateix que s’exigeix van
encaminats a la consecució d’una taxa de resposta elevada i a la minimització de
les males pràctiques que, si existeixen, són de conseqüències imprevisibles.
10
La primera ona de la ESS a Espanya
En aquest apartat s’exposa quin ha estat el procés d’implementació de la primera ona de
l’ESS a Espanya, de quines han estat les decisions preses i de quina valoració se’n fa un
cop finalitzat el treball de camp.
Disseny mostral
El treball de camp de l’Enquesta Social Europea a Espanya va ser adjudicat a l’empresa
d’estudis de mercat Demoscopia que, inicialment, també va fer el disseny mostral.
La idea bàsica en deixar en mans de Demoscopia el disseny mostral era que una empresa
experimentada com aquesta, amb una llarga trajectòria de realització d’estudis en l’àmbit
de les ciències socials, alguns d’ells per encàrrec d’organismes oficials (com el pànel de
turisme del Ministeri d’Economia o una enquesta del Banc d’Espanya), era qui millor
coneixia la problemàtica associada a la selecció d’una mostra representativa de la
població espanyola i les limitacions existents en la realització del treball de camp en el
nostre país.
Per tant, seguint els suggeriments de l’empresa enquestadora, es va dissenyar una mostra
estratificada polietàpica. Els estrats eren els que sorgien del creuament de les 17
comunitats autònomes amb la variable mida d’hàbitat en dues categories: rural, que
agrupava la població resident en municipis de menys de 500.000 habitants, y urbana, que
agrupava la població resident en municipis de 500.000 o més habitants. En total, doncs,
es definien 34 estrats.
No cal que entrem aquí a justificar l’estratificació per comunitats autònomes. Sembla clar
que la variabilitat de les característiques socials, polítiques i econòmiques que hi ha entre
elles així ho aconsella i, a més, és la pràctica habitual en quasi tots els estudis socials en
11
el nostre país. Però potser sí que cal justificar la definició dels dos estrats segons mida
d’hàbitat. Segons va informar l’empresa enquestadora, l’experiència mostra que la taxa
de resposta en les grans ciutats, les de 500.000 habitants o més, acostuma a ser un 20%
inferior a la de la resta de municipis. L’estratificació proposada possibilitava la selecció
d’una mostra més àmplia en els estrats urbans, de tal manera que aquests haurien quedat
adequadament representats malgrat tinguessin una taxa de resposta inferior a la dels altres
municipis.
La selecció de la mostra dins de cada estrat constava de tres etapes. Dins de cada estrat es
seleccionava una mostra de seccions censals, dins de cada secció es realitzaven rutes
aleatòries per a seleccionar els domicilis i, dins de cada domicili es seleccionava un
individu usant algun procediment aleatori.
El tema de les rutes aleatòries ha preocupat molt al CCT, atès que és una de les fonts més
clares de discrecionalitat per part dels enquestadors i de difícil control. Per tant, és
possible que s’introdueixin biaixos en aquesta etapa de la mostra. Els experts europeus
suggerien que una manera de resoldre imprevistos en les rutes i, alhora, de possibilitar el
control del treball de camp, era que l’enquestador fes la ruta dues vegades. En la primera
hauria de fer la selecció dels domicilis i, un cop comunicada aquesta a l’oficina i
confirmada pels supervisors, es duria a terme l’entrevista en una segona passada. No
obstant, l’empresa enquestadora argumentà que aquesta proposta augmentava la feina
dels enquestadors i supervisors, sense garanties d’èxit.
Finalment, es varen poder suprimir les rutes aleatòries del disseny, gràcies a la
col·laboració del Ministeri de Ciència i Tecnologia que va intercedir per tal que l’Institut
Nacional d’Estadística (INE) proporcionés a Demoscopia una mostra de domicilis. A
suggeriment de l’INE, l’estratificació segons mida d’hàbitat es va canviar, definint: estrat
urbà, integrat per les capitals de província, i estrat rural, que engloba a la resta de
municipis.
Per tant, el disseny aplicat en aquesta primera ona ha constat de tres etapes:
12
1. En la primera etapa s’han escollit seccions censals en cada estrat amb probabilitat
proporcional al nombre de llars de cada secció. El nombre total de seccions
seleccionades ha estat de 346, 121 en els estrats urbans i 225 en els rurals.
2. En la segona etapa s’ha escollit un nombre fix de llars dins de cada secció, 12 en
cada estrat urbà i 10 en cada estrat rural.
3. En la darrera etapa s’ha escollit un individu en cada llar. La selecció l’ha fet
l’entrevistador utilitzant el mètode del darrer aniversari.
Les probabilitats d’inclusió de les seccions i de les llars les ha proporcionat l’INE i les
probabilitats d’inclusió dels individus s’han de calcular a partir de les dades generades
pel treball de camp.
Per què el CCT ha exigit el càlcul d’aquestes probabilitats? Perquè es vol que tots els
individus de la població tinguin la mateixa probabilitat de ser escollits. Per tant, el més
senzill és assegurar d’antuvi que la mostra sigui equiprobabilística (Silva, 2000). No
obstant, si no és possible garantir l’equiprobabilitat, caldrà corregir les estimacions
ponderant adequadament els casos per tal de compensar els possibles biaixos. I les
probabilitats d’inclusió són la informació necessària per al càlcul de les ponderacions.
Amb el disseny aplicat, com més llars hi ha en una mateixa secció, més probabilitat té
aquesta secció de ser escollida. Però, a la vegada, com més llars hi ha en una secció,
menor és la probabilitat de cada una d’elles de ser escollida. El resultat és que el producte
d’aquestes dues probabilitats es manté constant, assegurant que cada llar té la mateixa
probabilitat de pertànyer a la mostra.
No obstant, donada la composició tan diversa de les llars, no es pot garantir
l’equiprobabilitat en la selecció de l’individu. En les llars unipersonals la probabilitat és 1
mentre que, per exemple, en una llar amb quatre adults la probabilitat és 0,25. El que sí
que es garanteix amb el mètode seguit és que tots els integrants d’una mateixa llar tenen
la mateixa probabilitat de ser escollits. El mètode del darrer aniversari consisteix en
13
preguntar a la persona contactada quin dels membres de la llar ha celebrat l’aniversari
més recentment. Aquesta persona serà l’escollida per a ser inclosa en la mostra.
Ja que la probabilitat d’inclusió no és la mateixa per a tots els individus, cal conèixer
aquesta probabilitat i introduir-la en el fitxer de dades. D’aquesta manera l’investigador
pot aplicar les corresponents ponderacions. Encara que no és una pràctica habitual,
estadísticament és la més correcta. Cal aclarir que els pesos que sovint apareixen en els
fitxers de dades de les enquestes son deguts a què s’ha seleccionat una mostra
estratificada no proporcional. Però aquests pesos només corregeixen una part del biaix, el
degut a que les mostres en cada estrat no són proporcionals al pes de l’estrat en la
població. Però, de fet, sempre que es vulgui seleccionar una mostra d’individus i el
mètode utilitzat per arribar a l’individu sigui a través de la seva llar, caldria corregir el
biaix provocat per les diferents probabilitats d’inclusió.
Efecte de disseny
L’efecte de disseny, EFDIS, és la reducció total en la precisió de la mostra escollida en
comparació amb la precisió d’una mostra aleatòria simple de la mateixa grandària. En el
mostreig aplicat s’hi reconeixen dues fonts d’efecte degut al disseny: les diferents
probabilitats de selecció dels individus i l’existència de conglomerats. EFDIS és, per tant,
el producte dels dos corresponents efectes, el degut a les diferents probabilitats de
selecció, EFDISp, i el degut a l’existència de conglomerats, EFDISc.
L’efecte de disseny degut a les diferents probabilitats d’inclusió individuals s’ha estimat,
seguint el suggeriment de Demoscopia, a partir de les dades de l’enquesta Estudio
General de Medios. No obstant, per a la propera ona, sembla que es podrà comptar amb
una informació més directa sobre la composició de les llars espanyoles que subministrarà
el mateix INE. Per a la primera ona el valor estimat d’aquest efecte ha estat:
EFDISp = 1,16
14
L’ús de conglomerats introdueix una pèrdua d’eficiència degut a què les circumstàncies
que agrupen o conglomeren els individus (en aquest cas, la pertinença a una mateixa
secció) sol fer que aquests individus tinguin, també, característiques (opinions,
comportaments...) similars. Per tant, la informació d’individus que provenen de
conglomerats, sobretot si els conglomerats són pocs, sol ser redundant i menys
informativa que la que s’obtindria a partir d’una mostra amb el mateix nombre
d’individus però dispersa per tota la població. El grau de la conglomeració indueix,
doncs, una pèrdua d’eficiència que s’acostuma a expressar en termes de la variància dels
estimadors i dels errors de mostreig. En el càlcul d’aquest efecte de disseny intervé el
coeficient de correlació intra grups (ρ) que mesura el grau d’homogeneïtat dels grups.
Donat que en el cas espanyol no es disposava d’informació específica que permetés
calcular-lo, es va optar per seguir les recomanacions del CCT i utilitzar el valor de ρ =
0,02, obtenint un valor de:
EFDISc = 1,20
L’efecte de disseny total estimat és el producte dels dos anteriors:
EFDIS = 1,16 · 1,20 = 1,392
Per a la propera ona serà possible solucionar en part el dèficit d’informació referent a la
correlació intra grups de les seccions censals de la població espanyola. En concret, es
pensa utilitzar les dades de la ESS del 2002 per a estimar el coeficient de correlació intra.
No obstant, aquesta estimació no és simple, ja que caldria calcular un coeficient per a
cada variable numèrica. Cal decidir encara quina estratègia s’adoptarà, però la que
sembla més sensata és la de seleccionar unes poques variables rellevants i calcular un cert
promig del coeficient de correlació intra observat en cadascuna d’elles.
Taxa de resposta
Tal com s’ha dit anteriorment, aconseguir una taxa de resposta del 70% era un dels
requisits importants que s’havia plantejat la ESS. Aquest era un repte difícil d’aconseguir
en el cas espanyol. L’experiència dels membres de l’equip local, així com la dels tècnics
15
de l’empresa enquestadora indicava que era pràcticament impossible d’assolir. A
diferència d’altres països participants en la ESS, la cultura dels espanyols té una tradició
de recel i d’escassa participació en aquest tipus de consultes.
En conseqüència, i atès que semblava important garantir un mínim de 2.000 entrevistes
completades i una mida efectiva de la mostra de 1.500, l’equip local va preferir adoptar
una postura conservadora i fer els càlculs de la mida de la mostra comptant amb una
participació esperada d’un 56%, que era la mitjana ponderada de les taxes de resposta
esperada més optimistes dels estrats rural i urbà.
Aquesta estratègia ha resultat encertada ja que, tal com es pot observar en la Taula 1, la
taxa de resposta final ha estat del 55%, gairebé igual que la que s’havia previst. Ara bé,
degut a l’existència d’un nombre considerable d’adreces no vàlides, el nombre final
d’entrevistes completades ha estat de 1.729, per sota de les 2.000 exigides pel CCT.
Mida de la mostra
En el càlcul de la mida de la mostra es va tenir en compte l’efecte de disseny i la taxa de
resposta. Es presumia, erròniament, que, sent l’INE qui subministrava la mostra de
domicilis, el nombre d’adreces no vàlides seria menyspreable.
Per tal d’aconseguir una mida efectiva de 1.500 calia tenir una mida neta (nombre
d’enquestes completades) de 2.088 (producte de 1.500 per l’efecte del disseny). Assumint
una taxa de resposta global del 56%, la mida bruta de la mostra requerida era d’uns 3.700
casos. En distribuir les entrevistes entre els estrats de manera proporcional a la seva mida,
el nombre final de casos es va ajustar a 3.702.
16
Qualitat de la llista de domicilis
La llista de domicilis proporcionada per l’INE ha resultat ser d’una qualitat inferior a la
que s’esperava. Això s’explica perquè el marc del mostreig utilitzat ha estat el procedent
del cens del 1991, atès que el del 2001 encara no estava suficientment explotat.
Taula 1. Percentatges d’adreces no vàlides i distribució de les valides en refús, no
contacte i resposta per comunitat
No vàlides
Vàlides
Refús
No contacte
Resposta
Andalusia
19
28
13
58
Aragó
14
36
16
48
Astúries
15
22
13
66
Balears
12
22
13
64
Canàries
25
39
3
58
Cantàbria
18
33
16
51
Castella-Manxa
22
29
16
56
Castella-Lleó
24
31
9
60
Catalunya
12
34
12
54
València
8
30
7
62
Extremadura
17
27
18
55
Galícia
15
32
9
57
Madrid
7
38
10
51
Múrcia
13
36
15
49
Navarra
11
28
14
58
País Basc
5
49
15
35
Rioja
14
47
0
53
TOTAL
14
33
11
55
17
S’havia considerat una altra alternativa que finalment es va desestimar. Aquesta
alternativa consistia en la utilització d’una mostra marc d’unes 4.000 seccions que l’INE
actualitza regularment i de la qual s’extreuen les mostres per a diferents estudis oficials.
L’INE reconeixia que la sobre explotació d’aquesta mostra marc l’havia desgastada i això
podria donar lloc a elevades taxes de refús a la participació.
Així, doncs, el llistat de domicilis tenia més de deu anys d’antiguitat i ha resultat contenir
moltes adreces no vàlides, al voltant d’un 15%. No obstant, s’observen diferències
importants entre comunitats autònomes, des d’un 5% al País Basc o un 7% a la
Comunitat de Madrid fins a un 24% a Castella-Lleó o un 25% a Canàries (Taula 1).
És d’esperar que en la propera ona de la ESS, a realitzar en el 2004, aquestes taxes es
reduiran substancialment, ja que es podrà treballar amb dades censals més actualitzades.
Valoració de l’estratificació i comparació amb altres estudis
La taxa de resposta global del 55% no es distribueix de manera uniforme per comunitats
autònomes. S’observen tan sols tres comunitats on les taxes de resposta de la ESS són
inferiors al 50%. Entre elles, destaca com a valor extrem el País Basc on quasi la meitat
dels seleccionats ha refusat participar i la taxa de resposta s’ha reduït al 35%. S’observen,
també, quatre comunitats on les taxes són superiors al 60%, sent Astúries, amb un 66% la
que la té més elevada (Taula 1). Aquests resultats s’hauran de tenir en compte en la
propera ona i, probablement, portaran a incrementar el nombre d’adreces seleccionades
en algunes comunitats, especialment en el País Basc.
Pel que fa a l’estratificació segons mida d’hàbitat es va acceptar com a punt de partida
que la taxa de resposta en l’estrat rural és un 20% més elevada que en l’estrat urbà.
S’havia previst un 50% de resposta en l’estrat urbà i un 60% en el rural. Els resultats de
l’enquesta no contradiuen aquesta hipòtesi però semblen indicar que la diferència entre
els dos estrats és menor de la prevista. Sí que es pot dir, però, que s’observen diferències
18
entre comunitats. Així es pot dir que hi ha hagut dificultats (una taxa de resposta baixa)
en l’estrat rural de Cantàbria i en l’estrat urbà d’Astúries, per citar dos casos extrems. A
més, sembla també que és artificial distingir aquests dos estrats en algunes comunitats,
com per exemple, les de Madrid o Múrcia. Queda pendent una anàlisi més detallada dels
resultats per tal de valorar la idoneïtat d’aquesta estratificació.
Malgrat que les taxes de resposta aconseguides puguin semblar allunyades de l’objectiu
marcat, representen una millora important respecte el que és habitual en enquestes
similars a Espanya. Per citar-ne només dues, Familitur, un pànel de turisme del Ministeri
d’Economia, aconsegueix percentatges de resposta del 47% i l’enquesta financera a les
famílies espanyoles del Banco de España aconsegueix percentatges de l’ordre del 35%.
Cal atribuir aquesta millora, entre altres coses al fet que, un cop finalitzat el treball de
camp i després d’una reunió entre l’equip espanyol de la ESS i Demoscopia, es va decidir
no donar-lo per acabat i iniciar una segona fase, per tal d’esgotar totes les possibilitats.
Així, es va fer una segona passada per totes aquelles adreces que o bé, no havien estat
contactades, o bé, l’individu seleccionat era temporalment absent, o bé havia manifestat
una “negativa suau” a participar. Aquesta estratègia va permetre passar d’una taxa de
resposta inicial del 48% a la definitiva del 55%.
En aquesta segona fase del treball de camp, es va assignar la feina a nous entrevistadors,
a fi de sortir al pas de possibles refusos derivats de problemes de comunicació. La
mitjana de visites per domicili s’ha situat en 2,68. Com més ben disposat està l’individu a
expressar la seva opinió, menys visites requereix el completar la seva entrevista. Així la
mitjana de visites per entrevista completada és de 2,14, mentre que en el cas del refús de
l’individu és del 2,61, en el cas del refús per part d’una persona propera és de 3,23 i en el
cas d’absència temporal del 3,45. Menció apart mereixen els casos de no contacte, als
quals s’hi ha dedicat una mitjana de 5,74 visites per adreça. En uns pocs casos (7) s’ha
arribat a fer fins a un total de 10 visites.
19
Treball de camp
Inicialment s’havia previst la utilització de Computer Assisted Personal Interview (CAPI)
en el treball de camp, però aquesta opció es va finalment desestimar per diversos motius.
El principal va ser la manca de temps per a fer l’adaptació del qüestionari de l’enquesta al
programa informàtic, però l’empresa enquestadora va argumentar també que, en general,
els enquestadors estan poc habituats al maneig de CAPI i que prefereixen usar llapis i
paper.
La valoració que se’n fa d’aquesta decisió, a la vista també de les dificultats per a fer un
seguiment en temps real de l’estat del treball de camp (nombre de contactes realitzats,
nombre d’entrevistes completades, nombre de domicilis no vàlids...), és que la utilització
de CAPI, no tan sols evita errors d’enregistrament, sinó que permet un seguiment
actualitzat de tot el procés, facilitant el control i la intervenció dels supervisors. Per tant,
en la segona ona es requerirà a l’empresa enquestadora la utilització de CAPI.
De l’informe tècnic sobre el treball de camp elaborat per Demoscopia cal destacar-ne
alguns aspectes.
1. En total, han intervingut en el treball de camp 168 enquestadors, dels quals 13 (8%)
han superat la càrrega de treball màxima establerta de 48 adreces. Val a dir que tots
aquests eren entrevistadors experts als qual s’havia assignat una àrea urbana al llarg
d’un període perllongat de temps. El nombre mitjà d’adreces per entrevistador ha
estat de 22. En opinió de l’empresa, les condicions laborals dels entrevistadors
(pagament i dificultat del treball, temps de dedicació) han estat francament bones.
2. El mètode del darrer aniversari per a la selecció de l’individu dins de cada llar s’ha
mostrat senzill d’aplicar i ha donat bons resultats.
3. L’aspecte més problemàtic ha estat, sens dubte el formulari de contacte. Demoscopia
opina que és excessivament llarg, complex i poc clar. La seva aplicació ha induït
alguns errors per part dels entrevistadors i ha generat un volum de feina extra en el
20
processament de dades que s’hauria pogut evitar. En aquest sentit, Demoscopia ha fet
alguns suggeriments de millora.
L’opinió de l’equip local de la ESS és que, probablement el formulari de contacte hagi
estat farragós i millorable. Però s’entén que l’obligació de documentar tots i cadascun
dels passos i decisions preses al llarg del treball de camp és una bona pràctica. La
incorporació d’un fitxer amb informació exhaustiva sobre tot el procés és important per
dos aspectes. En primer lloc, perquè permet fer un control de qualitat en temps real i en
finalitzar el treball de camp. Per exemple, els casos a incloure en la segona ronda de
contactes i entrevistes van ser decidits a partir de la informació proporcionada per aquest
fitxer. En segon lloc, perquè permet fer a posteriori un estudi pormenoritzat dels no
contactes, no respostes i altres incidències, proporcionant una informació complementària
sobre la població objecte d’estudi.
L’equip de la ESS a Espanya no va participar directament en el procés de formació dels
entrevistadors i dels supervisors del treball de camp. La transmissió de la filosofia de
l’estudi, dels objectius concrets que s’havien marcat, dels estàndards de qualitat, així com
de les instruccions precises sobre com fer el treball de camp va quedar únicament en
mans de Demoscopia. De fet, el CCT de la ESS indicava la conveniència que el
coordinador local participés en aquest procés de formació, però l’empresa enquestadora
es va mostrar reticent, considerant que aquest punt, per ser un aspecte pràctic, queia
exclusivament dins del seu àmbit d’actuació. A la vista de com s’ha desenvolupat el
treball de camp i dels problemes que han anat sorgint, sembla clar que aquesta decisió
haurà de ser reconsiderada en la segona ona.
La impressió final que l’equip local ha tret de tot el procés del treball de camp és que les
empreses enquestadores no són prou conscients de les repercussions que per a la
representativitat de la mostra tenen algunes de les seves pràctiques habituals. Hi ha molts
aspectes probabilístics i estadístics al darrera de la teoria del mostreig que són
infravalorats pels tècnics d’aquestes empreses.
21
Qüestionari
Sense entrar en valoracions sobre els continguts del qüestionari, sí que es pot dir que, des
del punt de vista tècnic, el qüestionari sembla massa llarg. Potser és massa ambiciós i
pretén abastar massa temes. Una possibilitat a considerar seria reduir la part comú de
preguntes del qüestionari cara a cara, la que s’administrarà en cadascuna de les ones de
l’enquesta, i aprofitar la potencialitat dels mòduls variables per introduir aspectes
d’interès específic.
La traducció del qüestionari, en el cas d’Espanya al català i al castellà, ha estat un dels
aspectes que ha comportat més feina. Valorem positivament el protocol establert pel CCT
consistent en: dos equips de traducció independents, una reunió per contrastar versions i
discutir la millor alternativa, i un àrbitre per decidir la formulació final. En el cas català
un equip era format per filòlegs traductors professionals i l’altre per politòlegs amb un
coneixement adequat de la llengua però no experts traductors. Realment, les dues
versions contenien formulacions no coincidents. Calia conjuminar tres objectius: el que
és lingüísticament correcte, el que és el llenguatge habitual en l’àmbit polític i social, i el
que és comprensible pel ciutadà. L’esforç ha estat enriquidor.
La traducció de la part comú del qüestionari cara a cara així com la del qüestionari
autoadministrat és feina que no caldrà repetir en posteriors ones, tan sols s’introduiran
lleus modificacions fruit de l’experiència de la primera ona.
Dades contextuals
No s’ha pogut dur totalment a la pràctica la idea inicial de disposar d’un únic fitxer de
dades contextuals dels països participants en la ESS que incorporés tant el context
econòmic, polític i social com els esdeveniments puntuals ocorreguts en el període de
l’administració de l’enquesta. La recollida d’informació ja existent en altres fonts oficials
22
de dades no planteja excessius problemes. Es tracta de dedicar-hi els esforços necessaris i
el CCT s’ha compromès a fer-ho. En canvi, presenta molts més problemes (de
codificació, d’homogeneització, etc.) la confecció d’un fitxer de dades que reculli els
esdeveniments. En aquesta primera ona, la informació dels equips nacionals ha estat
recollida i estructurada, però no s’ha materialitzat en un únic fitxer de dades. La feina feta
i l’aprenentage adquirit permetran dur a terme la discussió necessària per tal de decidir
com confeccionar aquest fitxer en la segona ona. Això és important perquè la possibilitat
de disposar d’un fitxer d’esdeveniments seria un suport valuós en la realització d’estudis
comparats. De moment, pel què fa referència a la primera ona, es pot consultar la
informació preparada pels equips nacionals en la pàgina:
http://www.scp.nl/users/stoop/ess_events/events_overview.htm
Resumint, per la primera ona de la ESS es disposarà de dues fonts separades
d’informació contextual: la procedent de registres oficials, organitzada en un fitxer pel
CCT, i la procedent del recull d’esdeveniments de cada país, en format qualitatiu.
S’espera poder disposar d’un únic fitxer contextual integrat a partir de la segona ona.
Valoració global i perspectives per a la propera ona
El coordinador nacional i la resta de membres de l’equip espanyol han hagut de dedicar
moltes hores i esforços per a aconseguir fer arribar l’enquesta a bon port. La constitució
de l’equip nacional, la gestió de la sol·licitud de l’Ajut per a Accions Especials necessari
per a finançar l’enquesta a Espanya i tot el volum de reunions i burocràcia que ha
comportat, ha sigut una prova de foc que el coordinador nacional ha superat amb èxit.
Un cop aconseguit el recolzament institucional, contractada l’empresa enquestadora i
configurat l’equip, va començar el treball pròpiament dit d’implementació del projecte.
En destacaríem tres aspectes que si bé han representat una certa dificultat inicial, a la
vegada, ens han aportat un aprenentatge que valorem molt positivament.
23
•
En un inici es va produir un cert “xoc de cultures professionals” entre el món
acadèmic i el món de les empreses d’estudis de mercat. A través de reunions,
discussions i paciència es va aconseguir generar, poc a poc, una confiança entre els
dos col·lectius. Part d’aquest xoc inicial va ser degut a la inexperiència en l’aplicació
dels requisits de la ESS, molt allunyats de la pràctica habitual al nostre país.
Demoscòpia ha valorat positivament el treball realitzat, considerant que els mètodes i
el disseny de la mostra utilitzats han suposat una millora substantiva respecte d’altres
treballs en què ells han participat.
•
Dins del món acadèmic ha calgut, també, un cert rodatge per a aconseguir definir una
manera eficient de treballar, on cada individu assumís una determinada
responsabilitat en un treball col·lectiu coordinat.
•
El CCT, per la seva banda, ha anat prenent decisions i dictant instruccions que
arribaven quan ja s’havia iniciat el procés i, per tant, amb poc temps per a
implementar-les. Això ha provocat moments de cert estrès que es d’esperar que
s’evitin en la propera ona. Com a exemple podem citar la tardança en concretar el
qüestionari en anglès, que va obligar a treballar a contra rellotge en les traduccions, o
la tardança en subministrar el software de suport al CAPI, que va dissuadir de la seva
utilització.
Pel què fa a les perspectives, l’experiència d’aquest any ha servit per a redactar un plec
de condicions detallades que hauran de satisfer les empreses que vulguin optar a la
realització del treball de camp del 2004. La nostra impressió és que la realització de
l’Enquesta Social Europea exigeix un nivell de professionalitat i una capacitat d’operació
territorial de gran abast que molt poques empreses espanyoles estan en disposició de
poder oferir.
Tal com ja s’ha anat dient, esperem que la bona entesa finalment aconseguida amb els
interlocutors de l’INE permeti ajustar millor la definició dels estrats a la realitat i, també,
disposar de dades més fiables sobre l’estructura de les llars a Espanya. També és
24
d’esperar que es podrà utilitzar les seccions censals del 2001, tenint així un marc de
mostreig més actualitzat. Ara bé, ens preocupa la qualitat del cens del 2001, ja que són
prou coneguts els problemes que va tenir el procés de recollida de dades en algunes
zones.
Un dels objectius de l’equip nacional és conèixer amb més profunditat el perfil de la no
resposta i a Espanya. L’explotació de les dades de la ESS, on s’ha enregistrat algunes
característiques de l’entorn de les persones que refusen participar, permet fer ja una
primera anàlisi de les característiques d’aquests individus. Però també s’està pensant, per
a la propera ona, en passar un qüestionari molt reduït a una submostra de les no respostes,
a fi de saber alguna cosa més d’aquestes persones.
Finalment, cal dir que tot l’esforç realitzat, tant econòmic com personal, haurà valgut la
pena si les dades obtingudes realment ens aporten coneixement. I això no se sabrà fins
que siguin utilitzades pels investigadors socials. De moment el que es pot dir és que ja hi
ha aprovat un projecte de recerca per part del Ministerio de Ciencia y Tecnología, titulat
Ciudadanos y Democracia en Europa: Análisis comparado de los datos de la primera
ola de la Encuesta Social Europea, que, sota la direcció del coordinador nacional,
Mariano Torcal, agrupa a 18 investigadors de centres de recerca de tot el país. Cal
precisar que el nombre d’enquestes a Catalunya no és suficientment gran com per
permetre un estudi aprofundit de la realitat catalana (al voltant de 300). Seria de desitjar
que en un futur, s’apliqués un disseny mostral que possibilités, també, la comparació
entre regions europees. Esperem que el pressupost ho permeti.
25
REFERÈNCIES
Bonet, E.; Estruch, J. i Porta, J. (1991) Les enquestes d’opinió entre la manipulació i la
informació. Barcelona: Fundació Jaume Bofill, Debats de l’Aula Provença 9.
Cardús, S. i Estruch, J. (1984) Les Enquestes a la Joventut de Catalunya. Barcelona:
Departament de Presidència, Generalitat de Catalunya.
King, G.; Murray, C.J.L.; Salomon, J.A. i Tandom, A. (2003) Enahancing the Validity
and Cross-cultural Comparability of Survey Research. Document de treball
publicat a la web: http://gking.harvard.edu/
Kirk, J. i Miller, M.L. (1986) Reliability and Validity in Qualitative Research. Newbury
Park: Sage, Qualitative Research Methods Series 1.
Litwin, M.S. (1995) How to measure survey reliability and validity. Thousand Oaks:
Sage, The Survey Kit 7.
Rubin, D.B. (1987) Multiple ImputationFor Nonresponse In Surveys. New York: Wiley.
Saris, W.E. i Andrews, F.M. (1991) “Evaluation of measurement instruments using a
structural modeling approach” en P. P. Biemer, R. M. Groves, L. E. Lyberg,
N. Mathowetz i S. Sudman (eds.): Measurement errors in surveys. New
York: John Wiley & Sons, 575-599.
Saris, W.E. i Van Meurs A. (eds.) (1989) Evaluation of measurement instruments by
meta-analysis of multitrait multimethod studies. Amsterdam: North-Holland.
Silva, L.C. (2000) Diseño razonado de muestras y captación de datos para la
investigación sanitaria. Madrid: Díaz de Santos.
Voogt, R.J.J. i Saris, W.E. (2003) “To participate or not to participate: the link between
survey participation, electoral participation and political interest”. Political
Analysis, 11.
26