Mér varð hugsað til þess um daginn, að skoðanakannanir eru enn óáreiðanlegri heldur en ég hélt. Ég hef alltaf verið skeptískur á niðurstöður slíkra kannana af þeirri einföldu ástæðu að ef þú tekur þúsund manns af handahófi úr, segjum, 10 þúsund manna hóp, þá er frekar vafasamt að draga ályktanir um hópinn út frá þessum þúsund svörum af eftirfarandi ástæðum:
1. Þegar fólk er spurt um hluti, þá segir það ekki alltaf satt. Fólk er bæði óhreinskilið almennt, og þess utan er helling af grínistum sem svara bara einhvern veginn. Ég veit að ég hef leikið mér að því að gera slíkt -- það hljóta að vera margir aðrir sem á sama hátt svara ekki satt í svona könnunum.
2. Það er mögulegt (þótt það kunni að vera ólíklegt) að handahófskennt úrval af fólk gefi brenglaða sneiðmynd af samfélaginu. T.d. ef það væri verið að athuga fylgi flokkana þá gæti ein könnunin endað uppi með stórt hlutfall af sjálfstæðismönnum í úrtakinu, af einskærri tilviljun. Undir þannig kringumstæðum væru niðurstöðurnar tæpast marktækar. Þ.a.l. getum engar ályktanir dregið nema úrtakið sé meðaldreift, þ.e.a.s. nokkurn veginn hlutfallslegt.
En nú var mér að detta eitt annað í hug. Jafnvel að því gefnu að allir svari satt, og að úrtakið sé fullkomin sneiðmynd, þá eru niðurstöðurnar ennþá mjög brenglaðar, og það af eftirfarandi ástæðu:
3. Hvað með fólkið sem neitar að svara skoðanakönnunum? Ég tel afar líklegt að það sé fylgni (og jafnvel einhvers konar orsakasamband) milli þess að neita að svara skoðanakönnunum, og allskonar öðrum eiginleikum og skoðunum viðkomandi aðila. M.ö.o. þá er sá eiginleiki að neita að svara skoðanakönnunum ekki meðaldreifður, heldur helst hann í hendur við aðra þætti sem gætu komið spurningum skoðanakannana við. Fyrir vikið hljótum við að áætla að allar niðurstöður skoðanakannana séu í eðli sínu afar brenglaðar, þar sem þessi hópur fólks endurspeglast á engan hátt í niðurstöðunum.
Þessi hópur fólks gæti verið mjög stór. Kannski ætti að framkvæma skoðanakönnun sem spyr fólk um hvort það svari skoðanakönnunum?
(Dagur)
Add Comment |
RSS Feed
Satt og rétt. Í öllum (almennilegum) skoðanakönnunum er skekkjumörkum ætlað að leiðrétta fyrir liði 1 og 2 og litið svo á að þeim mun stærra sem úrtakið sé, þeim mun líklegra er að það gefi góða mynd af heildinni - og þar með minnkar líka vægi sprelligosanna (það eru ekki allir svona fyndnir...)
Liður 3 er mun erfiðari viðfangs, ég er ekki alveg með á hreinu hvernig (hvort?) hann er meðhöndlaður, en hann dregur að mínu mati mjög úr trúverðugleika skoðanakannana.
Tekið af heimasíðu Gallup:
því ef við drögum 1100 manna úrtak úr þjóðskrá er ljóst að svör fást frá mun minni hópi. Í fyrsta lagi munum við aðeins ná sambandi við og fá 70% úrtaksins til að svara könnuninni. Þá eru 770 sem taka þátt í henni. Þá má gera ráð fyrir að til dæmis 20% neiti að svara spurningu um hvað verði kosið eða séu óákveðin. Síðan eru kannski 5% til viðbótar sem ekki munu kjósa eða skila auðu. Væri niðurstaðan þessi eru aðeins um 580 sem segja hvaða flokk þeir muni kjósa. Skekkjumörk þarf að reikna út frá þessum 580. Þannig verða skekkjumörk í kringum flokk sem hefur 40% fylgi +/- 4,0 prósentustig þegar svarendahópurinn er 580. Skekkjumörk í kringum flokk sem hefur 10% fylgi í sömu könnun eru á hinn bóginn minni, eða +/- 2,4 prósentustig.
Gallup virðist því gera ráð fyrir því að þeir sem neita að svara skekki ekki sýnið. Rugludallar.
Tölfræði er sniðug.
Mér finnst þriðji punkturinn þinn ansi góð pæling. Ekki það að ég trúi því endilega að hann hitti naglann á höfuðið, en það er aldrei að vita. Annars skil ég ekki af hverju endanleg niðurstaða skoðanakönnunar á fylgi flokka þurfi að vera 100% samanlagt fylgi. Af hverju gefa þeir þeim óákveðnu og þeim sem neita að svara ekki sínar prósentur?
0
▽
Þetta er stórt vandamál, nokkuð sem ég rakst á í criminológíunni. Ef ég man rétt er þetta flokkað sem tegund af selection bias.
--- G. H.