Dagen før det britiske parlamentsvalget i fjor viste en rekke meningsmålinger at det var svært jevnt mellom de konservative og arbeiderpartiet. Men det som skulle bli en thriller av et valg på de britiske øyer i fjor, endte i stedet med en klar seier til de konservative. På initiativ fra British Polling Council ble det opprettet en “havarikommisjon” som fikk i oppdrag å analysere hvorfor meningsmålingene bommet så kraftig som de gjorde.
I dag er det folkeavstemming om Storbritannia skal forlate EU eller bli værende, og også denne gangen viser målingene dødt løp. Samtidig viser tippeselskapet Betfairs odds i skrivende stund 77 prosents sannsynlighet for at britene blir værende i EU. Kan vi stole på meningsmålingene denne gangen?
Det kanskje mest slående med de unøyaktige målingene i parlamentsvalget i fjor var at de alle var omtrent like unøyaktige: De målte det konservative partiet om lag seks prosentpoeng lavere enn det de faktisk fikk på valgdagen. Presisjonen på unøyaktighetene var høy, med andre ord. De publiserte målingene lå alle ganske nært hverandre, men ingen lå nært valgresultatet. Hvordan kunne det ha seg?
En mulig forklaring er at velgerne har ombestemt seg fra den ene dagen til den andre. Slikt kan skje, selv om det er uvanlig med store skifter på så korte tidsrom. Rapporten vurderer et slikt scenario, men finner ikke holdepunkter for at det er det som har hendt i dette tilfellet. En av bidragsyterne til rapporten var lederen for surveyavdelingen i Google UK, Mario Callegaro. Da han presenterte rapporten på Stanford University i slutten av januar pekte han i stedet på det som på engelsk kalles herding: For å unngå å publisere målinger som avviker veldig fra andre målinger, justeres målingene etter hva de andre målingene viser. Og hvis man justerer mot en måling som er feil, vil den nye målingen også være feil. Slik kan målefeil reprodusere seg selv og leve videre i nye målinger.
Det er ikke uvanlig å etterbehandle rådataene man samler inn i en meningsmåling. Alle som driver i den bransjen vet at det er svært vanskelig å få svar fra et utvalg respondenter som reflekterer velgermassen perfekt. Unge menn og eldre kvinner er gjennomgående underrepresentert, og generelt er de som svarer i slike undersøkelser mer interessert i politikk enn den jevne borger. En annen problemstilling er at det er forskjell på hva man sier man skal gjøre og hva man faktisk gjør. Det er lett å si at man skal bruke stemmeretten sin, og det er lett å si at denne gangen bytter man parti, men det er noe annet om man faktisk gjør det når det kommer til stykket. For å kompensere for denne typen skeivheter justeres svarene i undersøkelsen, slik at respondentene i størst mulig grad likner på den velgermassen de representerer. Det er ikke noe nytt at man vekter undersøkelsen etter befolkningssammensetningen og etter tidligere valgresultater, og selv om det er et nødvendig onde å etterbehandle undersøkelsene på denne måten har bransjen levd greit med disse utfordringene og levert pålitelige målinger. Rapporten hevder imidlertid at dagens undersøkelser er mindre representative enn de historisk har vært, og at det derfor knyttes større usikkerhet til rådataene nå enn det gjorde før. Det som også er nytt er tegn på at målingene i tillegg skuler til andre byråers publiserte målinger, kanskje i mangel på tillit til egne resultater.
Meningsmålingene i det britiske parlamentsvalget var på sett og vis offer for allmenningens tragedie: Hvert enkelt meningsmålingsbyrå la seg opptil de andre målingene for å unngå å bomme mer enn de andre, noe som i sin tur gjorde at meningsmålingene samlet sett bommet mer.
I seg selv er partimålinger ikke noen lukrativ virksomhet, men meningsmålingsbyråene bruker dem som et utstillingsvindu til potensielle kommersielle kunder i andre sektorer. Det er viktig å ikke stikke seg ut i en negativ retning, da det kan påvirke deres renomme. Det kan derfor være rasjonelt for hvert enkelt meningsmålingsbyrå å legge seg opptil det de andre målingene viser. Samtidig har en slik praksis uønskede konsekvenser for bransjen som helhet, ved at ingen våger å publisere avvikende målinger som kanskje egentlig har fanget opp et stemningsskifte blant velgerne.
Den ideelle løsningen slik jeg ser det er åpenhet omkring dataene og vektingsprosedyrene: Legg ut råmaterialet offentlig, slik at alle med interesse for det har anledning å gjøre sine egne beregninger, og eventuelt etterprøve resultater. I det lange løp tror jeg det vil tjene meningsmåling som metode og bransjen som benytter seg av metoden. Her i Norge gjør gjengen bak Poll of Polls et viktig stykke arbeid med å dokumentere og analysere norske partimålinger, og deres (frivillige) arbeid er med å styrke fokuset på kvalitet i meningsmålingene. De har imidlertid ikke tilgang til bakgrunnstallene som byråene samler inn på vegne av sine oppdragsgivere. Det er ingen holdepunkter for at norske byråer driver med herding, men som de selv skriver ville tilgang til dette materialet ha kunnet bidra til en kunnskapsbasert debatt om velgeres vandringer.
Nå er det ikke slik at herding er hele forklaringen. Når alt kommer til alt blir man i en slik rapport nødt til å gjøre kvalifiserte gjetninger basert på den informasjonen man har. Et par andre kjente statsvitere som ikke er del av den offisielle havarikommisjonen antyder i dette blogginnlegget at hovedproblemet med målingene i 2015 er at folk lyger og sier at de skal stemme, mens de så likevel unnlater å gjøre det. For dem handler det først og fremst om at man må kjenne respondentene sine godt nok, slik at man kan justere rådataene bedre og gjøre respondentene mer representative. I denne sammenhengen er det verdt å nevne at Norsk medborgerpanel (som jeg selv er tilknyttet) i forrige uke opprettet en doktorgradsstilling som skal fokusere på representativitet, utvelgelse av respondenter, vekting, og hvilke incitamenter som fungerer for å få folk til å ønske å svare på samfunnsvitenskapelige undersøkelser. Medborgerpanelet er et samfunnsvitenskapelig satsingsområde ved Universitetet i Bergen som nylig fikk en stor tildeling fra Bergen forskningsstiftelse. Stipendiatstillingen er et ledd i denne satsingen, og vi ser fram til arbeidet som skal gjøres i Norge og i samarbeid med internasjonale surveymiljøer på dette feltet.
“Havarikommisjonens” rapport finnes her.
En tidligere versjon av denne posten er publisert på Bergens Tidendes innsiktsblogg.