Når KrF går tilbake et prosentpoeng fra forrige måling, skyldes det at Knut Arild Hareide har vært lite offensiv de siste ukene? Eller er det mer trolig at det skyldes det faktum at man spør 1000 personer til råds om hva 2,7 millioner velgere kommer til å stemme om et halvt år?
Meningsmålinger kan si mye om hva som rører seg i velgermassen. Men ikke alt, og ikke alltid med desimalpresisjon. Her er noen av de tingene du bør vite for å lese en meningsmåling – og ikke minst en avisartikkel basert på en meningsmåling – riktig:
Feilmargin
Ca. 2,7 millioner kommer til å stemme ved neste valg. Å treffe på en beregning av hva disse kommer til stemme basert på en meningsmåling blant et representativt utvalg på tusen personer, er ikke enkelt. Man måler ikke virkeligheten eksakt, og man opererer derfor alltid med en oppgitt feilmargin. Feilmarginen uttrykker hvor pålitelig og nøyaktig en måling er. Denne vil variere med størrelsen på utvalget. Spør man hundre personer, er feilmarginen større enn om man spør tusen.
Størrelsen på hvor mye +/- vi må regne med (konfidensintervall) avhenger av hvor ofte vi vil akseptere at undersøkelsene kan havne utenfor rammen (konfidensgraden). Denne setter meningsmålingsbyråene selv. Den vanligste konfidensgraden er 95 %, noe som vil si at man kan regne med at virkeligheten finnes innenfor konfidensintervallet 19 av 20 ganger. Dette høres ganske sikkert ut, men i løpet av et år blir det gjennomført mange meningsmålinger. Vil man ha en høyere konfidensgrad, må man enten øke antall respondenter eller øke konfidensintervallet. Når man så operer med åtte forskjellige svaralternativer, er det bare å begynne å gange opp.
En vanlig feilmargin er 1–3 prosent. Størst er den for de største partiene. Det vil si at om for eksempel Høyre måles til 30 prosent, betyr det at de vil måles til mellom 27–33 prosent i 19 av 20 målinger. Det gjør selvsagt ikke målingen uinteressante, men bør ha betydning for hvilken fingerspitzengefühl vi skal analysere målingene med for ikke å ende opp i parodien.
Hjemmesitterne
En stor andel av de spurte oppgir at de ikke kommer til å stemme. Dette er gjerne rundt en fjerdedel av de spurte, noe som ikke er langt fra den reelle valgdeltakelsen. Slik sett er dette med på å gjøre målingene mer presise, selv om det gjør overskrifter som “En av tre ønsker Erna” mindre presise.
Men folk har gjerne en tendens til å svare pliktoppfyllende på meningsmålinger, selv om de ikke kommer til å stemme når dagen kommer. Hvor mange som oppgir at de ikke kommer til å stemme ved neste valg, er derfor relevant for å vite hvor nøyaktig målingen er.
Vektingen
For å få et så representativt bilde som mulig, justerer man tallene for å veie opp for skjevheter i utvalget. Hvis man for eksempel har for få svar fra kvinner i forhold til menn, eller et skjevt aldersforhold blant de som har svart, vil man justere dette for å gi et bilde som er mer representativt for befolkingen.
Når de vekter undersøkelsene på denne måten, ser byråene også på hvilket parti velgerne stemte på sist. Om Senterparti-velgere (altså de som stemte Senterpartiet ved forrige valg) er underrepresentert, vektes disse opp slik at svarene fra disse teller mer.
I denne valgkampen betyr det særlig at tallene for Frp og Høyre er usikre. Noen byråer vekter mot valget i 2011, som var et svært dårlig valg for Frp (11,8 prosent), mens andre bruker stortingsvalget 2009 (22,9 prosent). Dette gir naturlig nok svært store utslag, både for Frp og de andre partiene som disse velgerne er trolige til å stemme på. Tallene er også usikre for Høyre, som gjorde et betraktelig bedre valg i 2011 (27,6 prosent) enn i 2009 (17,2 prosent).
Usikkerhetsmomentet er hvilket av de to valgene som er mest representativt. Selv om 2011-valget var historisk dårlig for Frp, er det dette resultatet som har stemt best med råtallene i undersøkelsene det siste året. Dette betyr også at man må blåse opp disse tallene mer om man vekter mot 2009-valget, noe som i seg selv gjør målingen mindre sikker. At 2011-valget ble oppfattet som et veldig dårlig valg for Frp, der de stupte fra gode meningsmålinger tidligere samme år, skyldes trolig også at disse målingene vurderte Frps oppslutning som større enn den i realiteten var.
Et annet usikkerhetsmoment er at man rett og slett ikke kan stole på om velgerne oppgir riktig parti når de blir spurt om hva de stemte ved forrige valg. Noen har dårlig hukommelse, andre har selektiv hukommelse og noen føler det er ”feil” å oppgi at de egentlig satt hjemme.
TV 2 og TNS Gallups partibarometer 2005–13. Klikk for større versjon. (kilde: TV 2)
På TV2s sider kan man sammenligne de forskjellige meningsmålingene. Der ser man enkelt hvordan de forskjellige byråene systematisk leverer litt ulike tall for de forskjellige partiene etter hva de vekter med. Respons, som måler for Schibsteds regionsaviser, og Infact, som måler for VG, vekter mot valget 2011-valget, mens Ipsos, som måler for Dagbladet, og TNS Gallup, som måler for TV2, vekter mot 2009-valget. Trenden er at de første måler Høyre flere prosentpoeng høyere og Frp lavere enn de siste.
Vinklingen
Meningsmålinger er med andre ord en usikker bransje, selv om behandling av råmaterialet gir oss et mer sannsynlig resultat. Det er verdt å huske på neste gang man hører politiske kommentatorer med skråsikkerhet uttale seg om “formkurven” til partilederne eller forklarer endringer i meningsmålingen med enkelthendelser. Overskrifter om “sjokkmålinger” og “Velgerne straffer …” på bakgrunn av enkeltmålinger er ofte mer sensasjonsjournalistikk enn det er fag.
Hvorvidt meningsmålingene påvirker velgernes preferanser, er usikkert. Men de har ofte betydning for dekningen av de forskjellige partiene. Om et parti er i “medvind” eller “motvind” kan ha betydning internt i partiet og for oppmerksomheten de får i mediene. Det er heller ikke uvanlig at mediene legger meningsmålingene til grunn for hvem de inviterer til de forskjellige debatter. Et godt eksempel er statsministerduellene i valgkampen 2009. Om det var Jens vs. Jensen eller Jens vs. Erna ble vurdert ut fra sannsynlige regjeringsalternativer med grunnlag i målinger.
Vinklingen som mediene velger å presentere målingene gjennom, er selvsagt ikke en del av selve målingene, men de har stor betydning for hvordan målingene oppfattes og mottas. Ikke minst har den betydning for de mindre partiene, som i mange enkeltmålinger kan befinne seg under sperregrensen. Om velgere gjennom en meningsmåling får inntrykk av at deres parti ligger an til å komme under sperregrensen, er det mulig å tenke seg at de vil vurdere andre partier for ikke å kaste bort sin stemme. Om resultatet som presenteres er innenfor feilmarginen, er dette en vurdering gjort på feil grunnlag.
Gjennomsnittet er mer nøyaktig
Siden de enkelte meningsmålingene har flere usikkerhetsmomenter ved seg, har flere ivrige politiske analytikere begynt å poste gode og grundige gjennomsnittsmålinger. I motsetning til dagsavisene bestiller ikke disse egne målinger, og har derfor ingen grunn til å skulle tiltrekke med å sensasjonalisere resultater.
Siden Poll of polls, drevet av Johan Giertsen og Lars Øy i Høyre, har blitt den kanskje mest anerkjente nettsiden som presenterer gjennomsnittsmålinger. Poll of polls er ingen prognose eller måling, men et antatt valgresultat basert på andre målinger. Treffsikkerheten til denne siden vil dermed avhenge av treffsikkerheten til disse målingene. Uansett bygger siden på et større antall målinger enn det som ofte presenteres, noe som gjør at det blir mindre over- og undervurderinger av enkelte partier. I tillegg inneholder siden masse interessant informasjon om målinger og prognoser, og er vel verdt et besøk. Også andre valgkommentatorer presenterer oversiktlige gjennomsnittsmålinger, som Bernt Aardal (pdf), Svein Tore Marthinsen og TV2s nettsider. Forholder man seg til disse, ligger man nok nærmere et reelt resultat ved neste valg, selv om utfordringer i for eksempel vektingen av materialet også vil forplante seg her.
Politikerne selv har alltid svaret på hva målingene betyr. Er de gode, er det fordi folket ønsker deres løsninger. Er de dårlige, er det lenge til valget. Det kan lyde som unnvikende svar, men konfrontert med resultater fra enkeltmålinger er det forståelig. En prosent av tusen er bare ti personer, tar man så bort hjemmesitterne og kjører det gjennom den vitenskapelige prosessen av vekting og veiing, er det få personer man støtter endringene på. Når avisene så slår det opp med et stort arkivfoto av en bekymret Jens Stoltenberg eller en amper Siv Jensen, er det kanskje ikke så mye mer å si enn at “velgerne bestemmer i september”.
Hvorfor bruker egentlig byråene gamle valgresultater for å vekte svarene fra målingene i stedet for å bruke nyere rådata til vektingen? Ikke at jeg har gjort noen beregninger på dette, men rent intuitivt virker det bedre å legge til grunn, la oss si, målinger for de siste 12 måneder enn et valgresultat for 3 og et halvt år siden.