Brexit: Bommer britiske meningsmålinger igjen?

De britiske meningsmålingene fikk sin egen "havarikommisjon" etter å ha bommet kraftig på utfallet av parlamentsvalget i fjor. Går det bedre denne gangen?

Dagen før det bri­tis­ke par­la­ments­val­get i fjor vis­te en rek­ke menings­må­lin­ger at det var svært jevnt mel­lom de kon­ser­va­ti­ve og arbei­der­par­ti­et. Men det som skul­le bli en thril­ler av et valg på de bri­tis­ke øyer i fjor, end­te i ste­det med en klar sei­er til de kon­ser­va­ti­ve. På ini­tia­tiv fra Bri­tish Pol­ling Coun­cil ble det opp­ret­tet en «havari­kom­mi­sjon» som fikk i opp­drag å ana­ly­se­re hvor­for menings­må­lin­ge­ne bom­met så kraf­tig som de gjor­de.

I dag er det folke­av­stem­ming om Stor­bri­tan­nia skal for­la­te EU eller bli væren­de, og også den­ne gan­gen viser målin­ge­ne dødt løp. Sam­ti­dig viser tippe­sel­ska­pet Bet­fai­rs odds i skri­ven­de stund 77 pro­sents sann­syn­lig­het for at bri­te­ne blir væren­de i EU. Kan vi sto­le på menings­må­lin­ge­ne den­ne gan­gen?

Det kan­skje mest slå­en­de med de unøy­ak­ti­ge målin­ge­ne i par­la­ments­val­get i fjor var at de alle var omtrent like unøy­ak­ti­ge: De mål­te det kon­ser­va­ti­ve par­ti­et om lag seks pro­sent­po­eng lave­re enn det de fak­tisk fikk på valg­da­gen. Pre­si­sjo­nen på unøy­ak­tig­he­te­ne var høy, med andre ord. De pub­li­ser­te målin­ge­ne lå alle gans­ke nært hver­and­re, men ingen lå nært valg­re­sul­ta­tet. Hvor­dan kun­ne det ha seg?

En mulig for­kla­ring er at vel­ger­ne har ombe­stemt seg fra den ene dagen til den andre. Slikt kan skje, selv om det er uvan­lig med sto­re skif­ter på så kor­te tids­rom. Rap­por­ten vur­de­rer et slikt sce­na­rio, men fin­ner ikke holde­punk­ter for at det er det som har hendt i det­te til­fel­let. En av bidrags­yter­ne til rap­por­ten var lede­ren for sur­vey­av­de­lin­gen i Goog­le UK, Mario Cal­le­garo. Da han pre­sen­ter­te rap­por­ten på Stan­ford Uni­ver­sity i slut­ten av januar pek­te han i ste­det på det som på engel­sk kal­les her­ding: For å unn­gå å pub­li­se­re målin­ger som avvi­ker vel­dig fra andre målin­ger, jus­te­res målin­ge­ne etter hva de andre målin­ge­ne viser. Og hvis man jus­te­rer mot en måling som er feil, vil den nye målin­gen også være feil. Slik kan måle­feil repro­du­se­re seg selv og leve videre i nye målin­ger.

Should I stay or should i go?

Should I stay or should i go?

Det er ikke uvan­lig å etter­be­hand­le råda­ta­ene man sam­ler inn i en menings­må­ling. Alle som dri­ver i den bran­sjen vet at det er svært vans­ke­lig å få svar fra et utvalg respon­den­ter som reflek­te­rer vel­ger­mas­sen per­fekt. Unge menn og eldre kvin­ner er gjen­nom­gå­en­de under­re­pre­sen­tert, og gene­relt er de som sva­rer i sli­ke under­sø­kel­ser mer inter­es­sert i poli­tikk enn den jev­ne bor­ger. En annen pro­blem­stil­ling er at det er for­skjell på hva man sier man skal gjø­re og hva man fak­tisk gjør. Det er lett å si at man skal bru­ke stem­me­ret­ten sin, og det er lett å si at den­ne gan­gen byt­ter man par­ti, men det er noe annet om man fak­tisk gjør det når det kom­mer til styk­ket. For å kom­pen­se­re for den­ne typen skeiv­he­ter jus­te­res sva­re­ne i under­sø­kel­sen, slik at respon­den­te­ne i størst mulig grad lik­ner på den vel­ger­mas­sen de repre­sen­te­rer. Det er ikke noe nytt at man vek­ter under­sø­kel­sen etter befolk­nings­sam­men­set­nin­gen og etter tid­li­ge­re valg­re­sul­ta­ter, og selv om det er et nød­ven­dig onde å etter­be­hand­le under­sø­kel­se­ne på den­ne måten har bran­sjen levd greit med dis­se utford­rin­ge­ne og levert påli­te­li­ge målin­ger. Rap­por­ten hev­der imid­ler­tid at dagens under­sø­kel­ser er mindre repre­sen­ta­ti­ve enn de his­to­risk har vært, og at det der­for knyt­tes stør­re usik­ker­het til råda­ta­ene nå enn det gjor­de før. Det som også er nytt er tegn på at målin­ge­ne i til­legg sku­ler til andre byrå­ers pub­li­ser­te målin­ger, kan­skje i man­gel på til­lit til egne resul­ta­ter.

Menings­må­lin­ge­ne i det bri­tis­ke par­la­ments­val­get var på sett og vis offer for all­men­nin­gens tra­ge­die: Hvert enkelt menings­må­lings­by­rå la seg opp­til de andre målin­ge­ne for å unn­gå å bom­me mer enn de andre, noe som i sin tur gjor­de at menings­må­lin­ge­ne sam­let sett bom­met mer.

I seg selv er parti­må­lin­ger ikke noen lukra­tiv virk­som­het, men menings­må­lings­by­rå­ene bru­ker dem som et utstil­lings­vin­du til poten­si­el­le kom­mer­si­el­le kun­der i andre sek­to­rer. Det er vik­tig å ikke stik­ke seg ut i en neg­a­tiv ret­ning, da det kan påvir­ke deres renom­me. Det kan der­for være rasjo­nelt for hvert enkelt menings­må­lings­by­rå å leg­ge seg opp­til det de andre målin­ge­ne viser. Sam­ti­dig har en slik prak­sis uøns­ke­de kon­se­kven­ser for bran­sjen som hel­het, ved at ingen våger å pub­li­se­re avvi­ken­de målin­ger som kan­skje egent­lig har fan­get opp et stem­nings­skif­te blant vel­ger­ne.

Den ide­el­le løs­nin­gen slik jeg ser det er åpen­het omkring data­ene og vek­tings­pro­se­dy­re­ne: Legg ut råma­te­ria­let offent­lig, slik at alle med inter­es­se for det har anled­ning å gjø­re sine egne bereg­nin­ger, og even­tu­elt etter­prø­ve resul­ta­ter. I det lan­ge løp tror jeg det vil tje­ne menings­må­ling som meto­de og bran­sjen som benyt­ter seg av meto­den. Her i Nor­ge gjør gjen­gen bak Poll of Polls et vik­tig styk­ke arbeid med å doku­men­te­re og ana­ly­se­re nors­ke parti­må­lin­ger, og deres (fri­vil­li­ge) arbeid er med å styr­ke foku­set på kva­li­tet i menings­må­lin­ge­ne. De har imid­ler­tid ikke til­gang til bak­grunns­tal­le­ne som byrå­ene sam­ler inn på veg­ne av sine opp­drags­gi­ve­re. Det er ingen holde­punk­ter for at nors­ke byrå­er dri­ver med her­ding, men som de selv skri­ver vil­le til­gang til det­te mate­ria­let ha kun­net bidra til en kunn­skaps­ba­sert debatt om vel­ge­res vand­rin­ger.

Nå er det ikke slik at her­ding er hele for­kla­rin­gen. Når alt kom­mer til alt blir man i en slik rap­port nødt til å gjø­re kva­li­fi­ser­te gjet­nin­ger basert på den infor­ma­sjo­nen man har. Et par andre kjen­te stats­vi­te­re som ikke er del av den offi­si­el­le havari­kom­mi­sjo­nen anty­der i det­te blogg­inn­leg­get at hoved­pro­ble­met med målin­ge­ne i 2015 er at folk lyger og sier at de skal stem­me, mens de så like­vel unn­la­ter å gjø­re det. For dem hand­ler det først og frem­st om at man må kjen­ne respon­den­te­ne sine godt nok, slik at man kan jus­te­re råda­ta­ene bedre og gjø­re respon­den­te­ne mer repre­sen­ta­ti­ve. I den­ne sam­men­hen­gen er det verdt å nev­ne at Norsk med­bor­ger­pa­nel (som jeg selv er til­knyt­tet) i for­ri­ge uke opp­ret­tet en dok­tor­grads­stil­ling som skal foku­se­re på repre­sen­ta­ti­vi­tet, utvel­gel­se av respon­den­ter, vek­ting, og hvil­ke inci­ta­men­ter som fun­ge­rer for å få folk til å øns­ke å sva­re på sam­funns­vi­ten­ska­pe­li­ge under­sø­kel­ser. Med­bor­ger­pa­ne­let er et sam­funns­vi­ten­ska­pe­lig sat­sings­om­rå­de ved Uni­ver­si­te­tet i Ber­gen som nylig fikk en stor til­de­ling fra Ber­gen forsk­nings­stif­tel­se. Sti­pen­diat­stil­lin­gen er et ledd i den­ne sat­sin­gen, og vi ser fram til arbei­det som skal gjø­res i Nor­ge og i sam­ar­beid med inter­na­sjo­na­le sur­vey­mil­jø­er på det­te fel­tet.

«Havari­kom­mi­sjo­nens» rap­port fin­nes her.

En tid­li­ge­re ver­sjon av den­ne pos­ten er pub­li­sert på Ber­gens Tiden­des inn­sikts­blogg.

TEMA

M

eningsm
åling

6 ARTIKLER FRA VOX PUBLICA

FLERE KILDER - FAKTA - KONTEKST

INGEN KOMMENTARER

KOMMENTÉR

Comments are closed.

til toppen