Brexit: Bommer britiske meningsmålinger igjen?

De britiske meningsmålingene fikk sin egen "havarikommisjon" etter å ha bommet kraftig på utfallet av parlamentsvalget i fjor. Går det bedre denne gangen?

Dagen før det britiske par­la­mentsval­get i fjor viste en rekke meningsmålinger at det var svært jevnt mel­lom de kon­ser­v­a­tive og arbei­der­par­ti­et. Men det som skulle bli en thriller av et valg på de britiske øyer i fjor, endte i stedet med en klar seier til de kon­ser­v­a­tive. På ini­tia­tiv fra British Polling Coun­cil ble det oppret­tet en “havarikom­misjon” som fikk i opp­drag å analy­sere hvor­for meningsmålin­gene bom­met så kraftig som de gjorde. 

I dag er det folkeavstem­ming om Storbri­tan­nia skal for­late EU eller bli værende, og også denne gan­gen vis­er målin­gene dødt løp. Sam­tidig vis­er tippe­sel­skapet Bet­fairs odds i skrivende stund 77 pros­ents sannsyn­lighet for at britene blir værende i EU. Kan vi stole på meningsmålin­gene denne gangen?

Det kan­skje mest slående med de unøyak­tige målin­gene i par­la­mentsval­get i fjor var at de alle var omtrent like unøyak­tige: De målte det kon­ser­v­a­tive par­ti­et om lag seks pros­ent­po­eng lavere enn det de fak­tisk fikk på val­gda­gen. Pre­sisjo­nen på unøyak­tighetene var høy, med andre ord. De pub­lis­erte målin­gene lå alle ganske nært hveran­dre, men ingen lå nært val­gre­sul­tatet. Hvor­dan kunne det ha seg?

En mulig fork­lar­ing er at vel­gerne har ombestemt seg fra den ene dagen til den andre. Slikt kan skje, selv om det er uvan­lig med store skifter på så korte tid­srom. Rap­porten vur­der­er et slikt sce­nario, men finner ikke hold­epunk­ter for at det er det som har hendt i dette til­fel­let. En av bidragsyterne til rap­porten var led­eren for sur­veyavdelin­gen i Google UK, Mario Cal­le­garo. Da han pre­sen­terte rap­porten på Stan­ford Uni­ver­si­ty i slut­ten av jan­u­ar pek­te han i stedet på det som på engel­sk kalles herd­ing: For å unngå å pub­lis­ere målinger som avviker veldig fra andre målinger, jus­teres målin­gene etter hva de andre målin­gene vis­er. Og hvis man jus­ter­er mot en måling som er feil, vil den nye målin­gen også være feil. Slik kan måle­feil repro­dusere seg selv og leve videre i nye målinger.

Should I stay or should i go?

Should I stay or should i go?

Det er ikke uvan­lig å etter­be­han­dle rådataene man sam­ler inn i en meningsmåling. Alle som dri­ver i den bran­sjen vet at det er svært vanske­lig å få svar fra et utvalg respon­den­ter som reflek­ter­er vel­ger­massen per­fekt. Unge menn og eldre kvin­ner er gjen­nomgående under­rep­re­sen­tert, og generelt er de som svar­er i slike under­søkelser mer inter­essert i poli­tikk enn den jevne borg­er. En annen prob­lem­still­ing er at det er forskjell på hva man sier man skal gjøre og hva man fak­tisk gjør. Det er lett å si at man skal bruke stem­meretten sin, og det er lett å si at denne gan­gen byt­ter man par­ti, men det er noe annet om man fak­tisk gjør det når det kom­mer til stykket. For å kom­pensere for denne typen skeivheter jus­teres svarene i under­søkelsen, slik at respon­den­tene i størst mulig grad likn­er på den vel­ger­massen de rep­re­sen­ter­er. Det er ikke noe nytt at man vek­ter under­søkelsen etter befolkn­ingssam­menset­nin­gen og etter tidligere val­gre­sul­tater, og selv om det er et nød­vendig onde å etter­be­han­dle under­søkelsene på denne måten har bran­sjen levd gre­it med disse utfor­drin­gene og lev­ert pålitelige målinger. Rap­porten hevder imi­dler­tid at dagens under­søkelser er min­dre rep­re­sen­ta­tive enn de his­torisk har vært, og at det der­for knyttes større usikker­het til rådataene nå enn det gjorde før. Det som også er nytt er tegn på at målin­gene i til­legg skuler til andre byråers pub­lis­erte målinger, kan­skje i man­gel på tillit til egne resultater.

Meningsmålin­gene i det britiske par­la­mentsval­get var på sett og vis offer for all­men­nin­gens tragedie: Hvert enkelt meningsmålings­byrå la seg opp­til de andre målin­gene for å unngå å bomme mer enn de andre, noe som i sin tur gjorde at meningsmålin­gene sam­let sett bom­met mer.

I seg selv er par­timålinger ikke noen lukra­tiv virk­somhet, men meningsmålings­byråene bruk­er dem som et utstill­ingsvin­du til poten­sielle kom­mer­sielle kun­der i andre sek­tor­er. Det er vik­tig å ikke stikke seg ut i en neg­a­tiv ret­ning, da det kan påvirke deres renomme. Det kan der­for være rasjonelt for hvert enkelt meningsmålings­byrå å legge seg opp­til det de andre målin­gene vis­er. Sam­tidig har en slik prak­sis uønskede kon­sekvenser for bran­sjen som hel­het, ved at ingen våger å pub­lis­ere avvikende målinger som kan­skje egentlig har fanget opp et stemn­ingsskifte blant velgerne.

Den ideelle løs­nin­gen slik jeg ser det er åpen­het omkring dataene og vek­t­ing­sprosedyrene: Legg ut råma­te­ri­alet offentlig, slik at alle med inter­esse for det har anled­ning å gjøre sine egne bereg­ninger, og eventuelt etter­prøve resul­tater. I det lange løp tror jeg det vil tjene meningsmåling som metode og bran­sjen som benyt­ter seg av meto­den. Her i Norge gjør gjen­gen bak Poll of Polls et vik­tig stykke arbeid med å doku­mentere og analy­sere norske par­timålinger, og deres (friv­il­lige) arbeid er med å styrke fokuset på kvalitet i meningsmålin­gene. De har imi­dler­tid ikke til­gang til bak­grunnstal­lene som byråene sam­ler inn på veg­ne av sine opp­drags­gi­vere. Det er ingen hold­epunk­ter for at norske byråer dri­ver med herd­ing, men som de selv skriv­er ville til­gang til dette mate­ri­alet ha kun­net bidra til en kunnskaps­basert debatt om vel­geres vandringer.

Nå er det ikke slik at herd­ing er hele fork­larin­gen. Når alt kom­mer til alt blir man i en slik rap­port nødt til å gjøre kval­i­fis­erte gjet­ninger basert på den infor­masjo­nen man har. Et par andre kjente statsvitere som ikke er del av den off­isielle havarikom­misjo­nen anty­der i dette blog­ginn­legget at hov­ed­prob­lemet med målin­gene i 2015 er at folk lyger og sier at de skal stemme, mens de så likev­el unnlater å gjøre det. For dem han­dler det først og fremst om at man må kjenne respon­den­tene sine godt nok, slik at man kan jus­tere rådataene bedre og gjøre respon­den­tene mer rep­re­sen­ta­tive. I denne sam­men­hen­gen er det verdt å nevne at Norsk med­borg­er­pan­el (som jeg selv er tilknyt­tet) i for­rige uke oppret­tet en dok­tor­gradsstill­ing som skal fokusere på rep­re­sen­ta­tivitet, utvel­gelse av respon­den­ter, vek­t­ing, og hvilke inci­ta­menter som fun­ger­er for å få folk til å ønske å svare på sam­funnsviten­skapelige under­søkelser. Med­borg­er­pan­elet er et sam­funnsviten­skapelig sats­ing­som­råde ved Uni­ver­sitetet i Bergen som nylig fikk en stor tildel­ing fra Bergen forskn­ingss­tif­telse. Stipen­di­at­still­in­gen er et ledd i denne satsin­gen, og vi ser fram til arbei­det som skal gjøres i Norge og i samar­beid med inter­nasjonale sur­veymiljøer på dette feltet.

“Havarikom­misjo­nens” rap­port finnes her.

En tidligere ver­sjon av denne posten er pub­lis­ert på Bergens Tiden­des innsiktsblogg.

TEMA

M

eningsm
åling

9 ARTIKLER FRA VOX PUBLICA

FLERE KILDER - FAKTA - KONTEKST

INGEN KOMMENTARER

Kommentarfeltet til denne artikkelen er nå stengt. Ta kontakt med redaksjonen dersom du har synspunkter på artikkelen.

til toppen