Hva målingene egentlig sier

Meningsmålingene presenterer velgernes dom med desimalpresisjon, og kommentariatet tolker flittig. Men hvor mye kan vi egentlig stole på meningsmålingene?

Når KrF går til­ba­ke et pro­sent­po­eng fra for­ri­ge måling, skyl­des det at Knut Arild Harei­de har vært lite offen­siv de sis­te uke­ne? Eller er det mer tro­lig at det skyl­des det fak­tum at man spør 1000 per­soner til råds om hva 2,7 mil­lio­ner vel­ge­re kom­mer til å stem­me om et halvt år?

Menings­må­lin­ger kan si mye om hva som rører seg i vel­ger­mas­sen. Men ikke alt, og ikke all­tid med desi­mal­pre­si­sjon. Her er noen av de tin­ge­ne du bør vite for å lese en menings­må­ling – og ikke minst en avis­ar­tik­kel basert på en menings­må­ling – rik­tig:

Feilmargin

Ca. 2,7 mil­lio­ner kom­mer til å stem­me ved nes­te valg. Å tref­fe på en bereg­ning av hva dis­se kom­mer til stem­me basert på en menings­må­ling blant et repre­sen­ta­tivt utvalg på tusen per­soner, er ikke enkelt. Man måler ikke vir­ke­lig­he­ten eksakt, og man ope­re­rer der­for all­tid med en opp­gitt feil­mar­gin. Feil­mar­gi­nen uttryk­ker hvor påli­te­lig og nøy­ak­tig en måling er. Den­ne vil variere med stør­rel­sen på utval­get. Spør man hund­re per­soner, er feil­mar­gi­nen stør­re enn om man spør tusen.

Stør­rel­sen på hvor mye +/- vi må reg­ne med (kon­fi­dens­in­ter­vall) avhen­ger av hvor ofte vi vil aksep­te­re at under­sø­kel­se­ne kan hav­ne uten­for ram­men (kon­fi­dens­gra­den). Den­ne set­ter menings­må­lings­by­rå­ene selv. Den van­ligs­te kon­fi­dens­gra­den er 95 %, noe som vil si at man kan reg­ne med at vir­ke­lig­he­ten fin­nes innen­for kon­fi­dens­in­ter­val­let 19 av 20 gan­ger. Det­te høres gans­ke sik­kert ut, men i løpet av et år blir det gjen­nom­ført man­ge menings­må­lin­ger. Vil man ha en høy­ere kon­fi­dens­grad, må man enten øke antall respon­den­ter eller øke kon­fi­dens­in­ter­val­let. Når man så ope­rer med åtte for­skjel­li­ge svar­al­ter­na­ti­ver, er det bare å begyn­ne å gan­ge opp.

En van­lig feil­mar­gin er 1–3 pro­sent. Størst er den for de størs­te par­ti­ene. Det vil si at om for eksem­pel Høy­re måles til 30 pro­sent, betyr det at de vil måles til mel­lom 27–33 pro­sent i 19 av 20 målin­ger. Det gjør selv­sagt ikke målin­gen uin­ter­es­san­te, men bør ha betyd­ning for hvil­ken fin­ger­s­pit­zengefühl vi skal ana­ly­se­re målin­ge­ne med for ikke å ende opp i paro­di­en.

Hjemmesitterne

En stor andel av de spur­te opp­gir at de ikke kom­mer til å stem­me. Det­te er gjer­ne rundt en fjerde­del av de spur­te, noe som ikke er langt fra den reel­le valg­del­ta­kel­sen. Slik sett er det­te med på å gjø­re målin­ge­ne mer pre­si­se, selv om det gjør over­skrif­ter som «En av tre øns­ker Erna» mind­re pre­si­se.

Men folk har gjer­ne en tendens til å sva­re plikt­opp­fyl­len­de på menings­må­lin­ger, selv om de ikke kom­mer til å stem­me når dagen kom­mer. Hvor man­ge som opp­gir at de ikke kom­mer til å stem­me ved nes­te valg, er der­for rele­vant for å vite hvor nøy­ak­tig målin­gen er.

Vektingen

For å få et så repre­sen­ta­tivt bil­de som mulig, jus­te­rer man tal­le­ne for å veie opp for skjev­he­ter i utval­get. Hvis man for eksem­pel har for få svar fra kvin­ner i for­hold til menn, eller et skjevt alders­for­hold blant de som har svart, vil man jus­te­re det­te for å gi et bil­de som er mer repre­sen­ta­tivt for befol­kin­gen.

Når de vek­ter under­sø­kel­se­ne på den­ne måten, ser byrå­ene også på hvil­ket par­ti vel­ger­ne stem­te på sist. Om Sen­ter­par­ti-vel­ge­re (alt­så de som stem­te Sen­ter­par­ti­et ved for­ri­ge valg) er under­re­pre­sen­tert, vek­tes dis­se opp slik at sva­re­ne fra dis­se tel­ler mer.

I den­ne valg­kam­pen betyr det sær­lig at tal­le­ne for Frp og Høy­re er usik­re. Noen byrå­er vek­ter mot val­get i 2011, som var et svært dår­lig valg for Frp (11,8 pro­sent), mens and­re bru­ker stor­tings­val­get 2009 (22,9 pro­sent). Det­te gir natur­lig nok svært sto­re utslag, både for Frp og de and­re par­ti­ene som dis­se vel­ger­ne er tro­li­ge til å stem­me på. Tal­le­ne er også usik­re for Høy­re, som gjor­de et betrak­te­lig bed­re valg i 2011 (27,6 pro­sent) enn i 2009 (17,2 pro­sent).

Usik­ker­hets­mo­men­tet er hvil­ket av de to val­ge­ne som er mest repre­sen­ta­tivt. Selv om 2011-val­get var his­to­risk dår­lig for Frp, er det det­te resul­ta­tet som har stemt best med råtal­le­ne i under­sø­kel­se­ne det sis­te året. Det­te betyr også at man må blå­se opp dis­se tal­le­ne mer om man vek­ter mot 2009-val­get, noe som i seg selv gjør målin­gen mind­re sik­ker. At 2011-val­get ble opp­fat­tet som et vel­dig dår­lig valg for Frp, der de stup­te fra gode menings­må­lin­ger tid­li­ge­re sam­me år, skyl­des tro­lig også at dis­se målin­ge­ne vur­der­te Frps opp­slut­ning som stør­re enn den i rea­li­te­ten var.

Et annet usik­ker­hets­mo­ment er at man rett og slett ikke kan sto­le på om vel­ger­ne opp­gir rik­tig par­ti når de blir spurt om hva de stem­te ved for­ri­ge valg. Noen har dår­lig hukom­mel­se, and­re har selek­tiv hukom­mel­se og noen føler det er ”feil” å opp­gi at de egent­lig satt hjem­me.

TV 2 og TNS Gallups partibarometer 2005-13 (kilde: TV 2)

TV 2 og TNS Gal­lups parti­baro­me­ter 2005–13. Klikk for stør­re ver­sjon. (kil­de: TV 2)

TV2s sider kan man sam­men­lig­ne de for­skjel­li­ge menings­må­lin­ge­ne. Der ser man enkelt hvor­dan de for­skjel­li­ge byrå­ene sys­te­ma­tisk leve­rer litt uli­ke tall for de for­skjel­li­ge par­ti­ene etter hva de vek­ter med. Respons, som måler for Schib­steds regions­avi­ser, og Infact, som måler for VG, vek­ter mot val­get 2011-val­get, mens Ipsos, som måler for Dag­bla­det, og TNS Gal­lup, som måler for TV2, vek­ter mot 2009-val­get. Tren­den er at de førs­te måler Høy­re fle­re pro­sent­po­eng høy­ere og Frp lave­re enn de sis­te.

Vinklingen

Menings­må­lin­ger er med and­re ord en usik­ker bran­sje, selv om behand­ling av råma­te­ria­let gir oss et mer sann­syn­lig resul­tat. Det er verdt å hus­ke på nes­te gang man hører poli­tis­ke kom­men­ta­to­rer med skrå­sik­ker­het utta­le seg om «form­kur­ven» til parti­le­der­ne eller for­kla­rer end­rin­ger i menings­må­lin­gen med enkelt­hen­del­ser. Over­skrif­ter om «sjokk­må­lin­ger» og «Vel­ger­ne straf­fer …» på bak­grunn av enkelt­må­lin­ger er ofte mer sen­sa­sjons­jour­na­lis­tikk enn det er fag.

Hvor­vidt menings­må­lin­ge­ne påvir­ker vel­ger­nes pre­fe­ran­ser, er usik­kert. Men de har ofte betyd­ning for dek­nin­gen av de for­skjel­li­ge par­ti­ene. Om et par­ti er i «med­vind» eller «mot­vind» kan ha betyd­ning internt i par­ti­et og for opp­merk­som­he­ten de får i medie­ne. Det er hel­ler ikke uvan­lig at medie­ne leg­ger menings­må­lin­ge­ne til grunn for hvem de invi­te­rer til de for­skjel­li­ge debat­ter. Et godt eksem­pel er stats­mi­nis­ter­du­el­le­ne i valg­kam­pen 2009. Om det var Jens vs. Jen­sen eller Jens vs. Erna ble vur­dert ut fra sann­syn­li­ge regje­rings­al­ter­na­ti­ver med grunn­lag i målin­ger.

Vink­lin­gen som medie­ne vel­ger å pre­sen­te­re målin­ge­ne gjen­nom, er selv­sagt ikke en del av selve målin­ge­ne, men de har stor betyd­ning for hvor­dan målin­ge­ne opp­fat­tes og mot­tas. Ikke minst har den betyd­ning for de mind­re par­ti­ene, som i man­ge enkelt­må­lin­ger kan befin­ne seg under sperre­gren­sen. Om vel­ge­re gjen­nom en menings­må­ling får inn­trykk av at deres par­ti lig­ger an til å kom­me under sperre­gren­sen, er det mulig å ten­ke seg at de vil vur­de­re and­re par­ti­er for ikke å kas­te bort sin stem­me. Om resul­ta­tet som pre­sen­te­res er innen­for feil­mar­gi­nen, er det­te en vur­de­ring gjort på feil grunn­lag.

Gjennomsnittet er mer nøyaktig

Siden de enkel­te menings­må­lin­ge­ne har fle­re usik­ker­hets­mo­men­ter ved seg, har fle­re ivri­ge poli­tis­ke ana­ly­ti­ke­re begynt å pos­te gode og grun­di­ge gjen­nom­snitts­må­lin­ger. I mot­set­ning til dags­avi­se­ne bestil­ler ikke dis­se egne målin­ger, og har der­for ingen grunn til å skul­le til­trek­ke med å sen­sa­sjo­na­li­se­re resul­ta­ter.

Siden Poll of polls, dre­vet av Johan Gier­t­sen og Lars Øy i Høy­re, har blitt den kan­skje mest aner­kjen­te nett­si­den som pre­sen­te­rer gjen­nom­snitts­må­lin­ger. Poll of polls er ingen pro­gno­se eller måling, men et antatt valg­re­sul­tat basert på and­re målin­ger. Treff­sik­ker­he­ten til den­ne siden vil der­med avhen­ge av treff­sik­ker­he­ten til dis­se målin­ge­ne. Uan­sett byg­ger siden på et stør­re antall målin­ger enn det som ofte pre­sen­te­res, noe som gjør at det blir mind­re over- og under­vur­de­rin­ger av enkel­te par­ti­er. I til­legg inne­hol­der siden mas­se inter­es­sant infor­ma­sjon om målin­ger og pro­gno­ser, og er vel verdt et besøk. Også and­re valg­kom­men­ta­to­rer pre­sen­te­rer over­sikt­li­ge gjen­nom­snitts­må­lin­ger, som Bernt Aar­dal (pdf), Svein Tore Mart­hin­sen og TV2s nett­si­der. For­hol­der man seg til dis­se, lig­ger man nok nær­me­re et reelt resul­tat ved nes­te valg, selv om utford­rin­ger i for eksem­pel vek­tin­gen av mate­ria­let også vil for­plan­te seg her.

Poli­ti­ker­ne selv har all­tid sva­ret på hva målin­ge­ne betyr. Er de gode, er det for­di fol­ket øns­ker deres løs­nin­ger. Er de dår­li­ge, er det len­ge til val­get. Det kan lyde som unn­vi­ken­de svar, men kon­fron­tert med resul­ta­ter fra enkelt­må­lin­ger er det for­ståe­lig. En pro­sent av tusen er bare ti per­soner, tar man så bort hjem­me­sit­ter­ne og kjø­rer det gjen­nom den viten­ska­pe­li­ge pro­ses­sen av vek­ting og vei­ing, er det få per­soner man støt­ter end­rin­ge­ne på. Når avi­se­ne så slår det opp med et stort arkiv­foto av en bekym­ret Jens Stol­ten­berg eller en amper Siv Jen­sen, er det kan­skje ikke så mye mer å si enn at «vel­ger­ne bestem­mer i sep­tem­ber».

TEMA

J

ournali
stikk

117 ARTIKLER FRA VOX PUBLICA

FLERE KILDER - FAKTA - KONTEKST

2 KOMMENTARER

  1. Hvor­for bru­ker egent­lig byrå­ene gam­le valg­re­sul­ta­ter for å vek­te sva­re­ne fra målin­ge­ne i ste­det for å bru­ke nyere rådata til vek­tin­gen? Ikke at jeg har gjort noen bereg­nin­ger på det­te, men rent intui­tivt vir­ker det bed­re å leg­ge til grunn, la oss si, målin­ger for de sis­te 12 måne­der enn et valg­re­sul­tat for 3 og et halvt år siden.

    • Sveinung says:

      Grun­nen til at de gjør det er nok at det er en for­skjell på hva respon­den­te­ne sva­rer i en menings­må­ling og hva de fak­tisk gjør i valg­lo­ka­let. Ved å ta hen­syn til for­ri­ge valg jus­te­rer de rådata til det de anslår er mer sann­syn­lig at de vil stem­me nes­te gang også.

til toppen