Hva målingene egentlig sier

Meningsmålingene presenterer velgernes dom med desimalpresisjon, og kommentariatet tolker flittig. Men hvor mye kan vi egentlig stole på meningsmålingene?

Når KrF går tilbake et pros­ent­po­eng fra for­rige måling, skyldes det at Knut Arild Harei­de har vært lite offen­siv de siste ukene? Eller er det mer trolig at det skyldes det fak­tum at man spør 1000 per­son­er til råds om hva 2,7 mil­lion­er vel­gere kom­mer til å stemme om et halvt år?

Meningsmålinger kan si mye om hva som rør­er seg i vel­ger­massen. Men ikke alt, og ikke alltid med des­i­mal­pre­sisjon. Her er noen av de tin­gene du bør vite for å lese en meningsmåling – og ikke minst en avis­ar­tikkel basert på en meningsmåling – riktig:

Feilmargin

Ca. 2,7 mil­lion­er kom­mer til å stemme ved neste valg. Å tre­ffe på en bereg­n­ing av hva disse kom­mer til stemme basert på en meningsmåling blant et rep­re­sen­ta­tivt utvalg på tusen per­son­er, er ikke enkelt. Man måler ikke virke­ligheten eksakt, og man oper­erer der­for alltid med en oppgitt feil­mar­gin. Feil­mar­gin­en uttrykker hvor pålitelig og nøyak­tig en måling er. Denne vil variere med stør­relsen på utval­get. Spør man hun­dre per­son­er, er feil­mar­gin­en større enn om man spør tusen.

Stør­relsen på hvor mye +/- vi må reg­ne med (kon­fi­densin­ter­vall) avhenger av hvor ofte vi vil akseptere at under­søkelsene kan havne uten­for ram­men (kon­fi­dens­graden). Denne set­ter meningsmålings­byråene selv. Den van­lig­ste kon­fi­dens­graden er 95 %, noe som vil si at man kan reg­ne med at virke­ligheten finnes innen­for kon­fi­densin­ter­val­let 19 av 20 ganger. Dette høres ganske sikkert ut, men i løpet av et år blir det gjen­nom­ført mange meningsmålinger. Vil man ha en høyere kon­fi­dens­grad, må man enten øke antall respon­den­ter eller øke kon­fi­densin­ter­val­let. Når man så oper­er med åtte forskjel­lige svar­al­ter­na­tiv­er, er det bare å beg­ynne å gange opp.

En van­lig feil­mar­gin er 1–3 pros­ent. Størst er den for de største par­tiene. Det vil si at om for eksem­pel Høyre måles til 30 pros­ent, betyr det at de vil måles til mel­lom 27–33 pros­ent i 19 av 20 målinger. Det gjør selvsagt ikke målin­gen uin­ter­es­sante, men bør ha betyd­ning for hvilken fin­ger­spitzengefühl vi skal analy­sere målin­gene med for ikke å ende opp i par­o­di­en.

Hjemmesitterne

En stor andel av de spurte opp­gir at de ikke kom­mer til å stemme. Dette er gjerne rundt en fjerd­edel av de spurte, noe som ikke er langt fra den reelle val­gdeltakelsen. Slik sett er dette med på å gjøre målin­gene mer pre­sise, selv om det gjør over­skrifter som “En av tre ønsker Erna” min­dre presise.

Men folk har gjerne en ten­dens til å svare plik­topp­fyl­lende på meningsmålinger, selv om de ikke kom­mer til å stemme når dagen kom­mer. Hvor mange som opp­gir at de ikke kom­mer til å stemme ved neste valg, er der­for rel­e­vant for å vite hvor nøyak­tig målin­gen er.

Vektingen

For å få et så rep­re­sen­ta­tivt bilde som mulig, jus­ter­er man tal­lene for å veie opp for skjevheter i utval­get. Hvis man for eksem­pel har for få svar fra kvin­ner i forhold til menn, eller et skjevt alder­s­forhold blant de som har svart, vil man jus­tere dette for å gi et bilde som er mer rep­re­sen­ta­tivt for befolkingen.

Når de vek­ter under­søkelsene på denne måten, ser byråene også på hvilket par­ti vel­gerne stemte på sist. Om Sen­ter­par­ti-vel­gere (alt­så de som stemte Sen­ter­par­ti­et ved for­rige valg) er under­rep­re­sen­tert, vek­tes disse opp slik at svarene fra disse teller mer.

I denne val­gkam­p­en betyr det særlig at tal­lene for Frp og Høyre er usikre. Noen byråer vek­ter mot val­get i 2011, som var et svært dårlig valg for Frp (11,8 pros­ent), mens andre bruk­er stort­ingsval­get 2009 (22,9 pros­ent). Dette gir naturlig nok svært store utslag, både for Frp og de andre par­tiene som disse vel­gerne er trolige til å stemme på. Tal­lene er også usikre for Høyre, som gjorde et betrak­telig bedre valg i 2011 (27,6 pros­ent) enn i 2009 (17,2 prosent).

Usikker­hetsmo­mentet er hvilket av de to val­gene som er mest rep­re­sen­ta­tivt. Selv om 2011-val­get var his­torisk dårlig for Frp, er det dette resul­tatet som har stemt best med råtal­lene i under­søkelsene det siste året. Dette betyr også at man må blåse opp disse tal­lene mer om man vek­ter mot 2009-val­get, noe som i seg selv gjør målin­gen min­dre sikker. At 2011-val­get ble opp­fat­tet som et veldig dårlig valg for Frp, der de stupte fra gode meningsmålinger tidligere samme år, skyldes trolig også at disse målin­gene vur­derte Frps opp­slut­ning som større enn den i realiteten var.

Et annet usikker­hetsmo­ment er at man rett og slett ikke kan stole på om vel­gerne opp­gir rik­tig par­ti når de blir spurt om hva de stemte ved for­rige valg. Noen har dårlig hukom­melse, andre har selek­tiv hukom­melse og noen føler det er ”feil” å opp­gi at de egentlig satt hjemme.

TV 2 og TNS Gallups partibarometer 2005-13 (kilde: TV 2)

TV 2 og TNS Gallups part­ibarom­e­ter 2005–13. Klikk for større ver­sjon. (kilde: TV 2)

TV2s sider kan man sam­men­ligne de forskjel­lige meningsmålin­gene. Der ser man enkelt hvor­dan de forskjel­lige byråene sys­tem­a­tisk lev­er­er litt ulike tall for de forskjel­lige par­tiene etter hva de vek­ter med. Respons, som måler for Schib­st­eds region­savis­er, og Infact, som måler for VG, vek­ter mot val­get 2011-val­get, mens Ipsos, som måler for Dag­bladet, og TNS Gallup, som måler for TV2, vek­ter mot 2009-val­get. Tren­den er at de første måler Høyre flere pros­ent­po­eng høyere og Frp lavere enn de siste.

Vinklingen

Meningsmålinger er med andre ord en usikker bran­sje, selv om behan­dling av råma­te­ri­alet gir oss et mer sannsyn­lig resul­tat. Det er verdt å huske på neste gang man hør­er poli­tiske kom­men­ta­tor­er med skråsikker­het uttale seg om “formkur­ven” til par­tiled­erne eller fork­lar­er endringer i meningsmålin­gen med enkelthen­delser. Over­skrifter om “sjokkmålinger” og “Vel­gerne straf­fer …” på bak­grunn av enkelt­målinger er ofte mer sen­sasjon­sjour­nal­is­tikk enn det er fag.

Hvorvidt meningsmålin­gene påvirk­er vel­gernes prefer­anser, er usikkert. Men de har ofte betyd­ning for deknin­gen av de forskjel­lige par­tiene. Om et par­ti er i “med­vind” eller “motvind” kan ha betyd­ning internt i par­ti­et og for opp­merk­somheten de får i medi­ene. Det er heller ikke uvan­lig at medi­ene leg­ger meningsmålin­gene til grunn for hvem de inviter­er til de forskjel­lige debat­ter. Et godt eksem­pel er statsmin­is­ter­du­el­lene i val­gkam­p­en 2009. Om det var Jens vs. Jensen eller Jens vs. Erna ble vur­dert ut fra sannsyn­lige reg­jer­ingsalter­na­tiv­er med grunnlag i målinger.

Vin­klin­gen som medi­ene vel­ger å pre­sen­tere målin­gene gjen­nom, er selvsagt ikke en del av selve målin­gene, men de har stor betyd­ning for hvor­dan målin­gene opp­fattes og mot­tas. Ikke minst har den betyd­ning for de min­dre par­tiene, som i mange enkelt­målinger kan befinne seg under sper­re­grensen. Om vel­gere gjen­nom en meningsmåling får inntrykk av at deres par­ti lig­ger an til å komme under sper­re­grensen, er det mulig å tenke seg at de vil vur­dere andre parti­er for ikke å kaste bort sin stemme. Om resul­tatet som pre­sen­teres er innen­for feil­mar­gin­en, er dette en vur­der­ing gjort på feil grunnlag.

Gjennomsnittet er mer nøyaktig

Siden de enkelte meningsmålin­gene har flere usikker­hetsmo­menter ved seg, har flere ivrige poli­tiske ana­lytikere beg­y­nt å poste gode og grundi­ge gjen­nom­snittsmålinger. I mot­set­ning til dagsavisene bestiller ikke disse egne målinger, og har der­for ingen grunn til å skulle tiltrekke med å sen­sasjon­alis­ere resultater.

Siden Poll of polls, drevet av Johan Giert­sen og Lars Øy i Høyre, har blitt den kan­skje mest anerk­jente nettsi­den som pre­sen­ter­er gjen­nom­snittsmålinger. Poll of polls er ingen prog­nose eller måling, men et antatt val­gre­sul­tat basert på andre målinger. Tre­ff­sikker­heten til denne siden vil dermed avhenge av tre­ff­sikker­heten til disse målin­gene. Uansett byg­ger siden på et større antall målinger enn det som ofte pre­sen­teres, noe som gjør at det blir min­dre over- og under­vur­deringer av enkelte parti­er. I til­legg innehold­er siden masse inter­es­sant infor­masjon om målinger og prog­noser, og er vel verdt et besøk. Også andre val­gkom­men­ta­tor­er pre­sen­ter­er over­sik­tlige gjen­nom­snittsmålinger, som Bernt Aardal (pdf), Svein Tore Marthin­sen og TV2s nettsider. Forhold­er man seg til disse, lig­ger man nok nærmere et reelt resul­tat ved neste valg, selv om utfor­dringer i for eksem­pel vek­tin­gen av mate­ri­alet også vil for­plante seg her.

Poli­tik­erne selv har alltid svaret på hva målin­gene betyr. Er de gode, er det for­di folket ønsker deres løs­ninger. Er de dårlige, er det lenge til val­get. Det kan lyde som unnvikende svar, men kon­fron­tert med resul­tater fra enkelt­målinger er det forståelig. En pros­ent av tusen er bare ti per­son­er, tar man så bort hjemme­sit­terne og kjør­er det gjen­nom den viten­skapelige pros­essen av vek­t­ing og vei­ing, er det få per­son­er man støt­ter endrin­gene på. Når avisene så slår det opp med et stort arkiv­fo­to av en bekym­ret Jens Stoltenberg eller en amper Siv Jensen, er det kan­skje ikke så mye mer å si enn at “vel­gerne bestem­mer i september”.

TEMA

J

ournali
stikk

136 ARTIKLER FRA VOX PUBLICA

FLERE KILDER - FAKTA - KONTEKST

2 KOMMENTARER

  1. Hvor­for bruk­er egentlig byråene gam­le val­gre­sul­tater for å vek­te svarene fra målin­gene i stedet for å bruke nyere råda­ta til vek­tin­gen? Ikke at jeg har gjort noen bereg­ninger på dette, men rent intu­itivt virk­er det bedre å legge til grunn, la oss si, målinger for de siste 12 måned­er enn et val­gre­sul­tat for 3 og et halvt år siden.

    • Sveinung says:

      Grun­nen til at de gjør det er nok at det er en forskjell på hva respon­den­tene svar­er i en meningsmåling og hva de fak­tisk gjør i val­glokalet. Ved å ta hen­syn til for­rige valg jus­ter­er de råda­ta til det de anslår er mer sannsyn­lig at de vil stemme neste gang også.

til toppen