Martin Eide skriver i bloggposten om boken Hva er journalistikk at:

Det mangler begrunnete forslag til en journalistisk kanon. Det syvende bud er dette: Du skal velge dine forbilder med omhu. Et godt forbilde er et fyrtårn, ikke en havn.

Innledningsvis er det omrisset av just dette Andersen tegner, caser å strekke seg etter — caser som har strukket journalistikken, ved bruk av teknologi. Slik guides vi trygt og kyndig inn i stoffet med et håp om engang å avdekke og avsløre med hjelp av datajournalistikk.

Espen Andersen — Datastøttet journalistikk

Ingenting i boken står uten kontekst. Når vi lærer om normalisering av databaser og maskinlesbare formater er det fordi vi skal lære hvordan man finner de beste skolene eller branner i verneverdige hus. Casene driver boken framover. Det er ikke bare teknikker og resultater, det er spennende historier og eksempler som viser hvorfor programmering som journalistisk metode har gullalderen foran seg.

Som skoleverk inneholder boken mer enn kun “slik gjør du det”-stoff, men går også gjennom temaer som etikk, offentlighetsloven og problemstillinger rundt tilgang og avslag på innsynsbegjæringer. Journalistikk er både teknisk og sosialt, og prosessen slik den forklares tar høyde for både mennesker og maskiner.

I bokens innledning leser vi at Andersen heller vil gå rett på sak og ikke forenkle, for så å forvente at de som føler for det heller googler seg fram til mer kunnskap underveis. De bitene vi ikke trenger å google er lettfattelig tilgjengelig, og viser de overordnede linjene. Som med datajournalistikkhåndboken spares det på de aller mest tekniske detaljene. Dette har Andersen løst ved å legge til avanserte temaer mot slutten av boken. Der lærer vi om datatyper, å skrive en skjermskraper og å “intervjue” et datasett med SQL. To helt sentrale metoder som kan brukes i utallige prosjekter og fagområder.

Det finnes ingen konkurrenter til denne boken akkurat nå. Både Digital sporhund av de Lange Kofoed & Selmer-Nedrelid og Vagthund i vidensamfundet av Mulvad, Swithun og Svith er utdaterte. Denne typen bøker har kort levetid, men i de kommende årene antar jeg denne vil være å finne i mange skolesekker og pressebagger i Norge. Dette er datajournalistikk i 2013, men nok også noen år inn i framtiden.

Selv om Andersen har mange caser å vise til, og lærer oss noe viktig ved hver eneste én, så er boken plutselig slutt. En teknolog leser denne boken på få timer. Forhåpentligvis vil journalister og studenter kose seg med den lenger og grave dypere i metoder og muligheter – for her blir vi presentert for framtidens gravende journalists levebrød.

Skal du ha noe gjort så må du gjøre det selv, heter det. Som sagt, så gjort — koden som jeg delte i fjor (som kun henter data) ble videreutviklet og automatisert. Mitt mål er å finne ut hvordan et dashbord for journalister bygget på denne typen data bør se ut. Å forske på denne måten heter design science – iterativ design som forskningsmetode – som er vanlig i informasjonsvitenskap, og er en morsom måte å jobbe på. For å få dialogen i gang med stortingsreportere laget jeg noen eksempler på ting vi kan gjøre. Vi kan finne “outliers”, som de som stiller flest eller færrest spørsmål, eller bruker det mest avanserte språket i spørsmålene sine. Vi kan lage nettverk av spørsmål, eller hvor likt representantene stemmer. Ved bruk av kvantitative metoder fra statsvitenskapen kan vi også regne ut hvem som er “lengst til høyre i høyre” eller “venstre i venstre” og visualisere resultatet. Blant annet. Samstemmer.net har mer.

Samstemmer.net er basert på data fra Stor­tin­gets data­tje­neste, som var et hyg­ge­lig bekjent­skap å gjøre i utvik­lings­fa­sen. Å få denne mel­din­gen fra twit­ter var gøy!

Enkelte av tingene jeg gjør er direkte urimelig, som å rangere Stortinget etter lesbarhet (med LIX) og å peke ut representantene som “aldri” dukker opp for å votere. Dette er gjort for å vise fram data fra APIet og å sette i gang diskusjonen med ekspertene — stortingsreporterne. Det er deres kunnskap og erfaring jeg ønsker å forstå for å finne ut hvordan et informasjonssystem som dette bør se ut og oppføre seg for å støttes deres rolle. Men hva er viktig? Hva er nyttig?

Veien videre nå er å analysere intervjuene med norske stortingsreportere og samle kunnskapen derfra. Dette vil bli delt sammen med koden på Github Den som ønsker å hjelpe meg å videreutvikle Samstemmer er hjertelig velkommen. Koden er skrevet i python med hjelp av django, og bruker d3js til de fleste grafer og visualiseringer.

Prototyper på informasjonssystemer laget av studenter pleier normalt ikke å få oppmerksomhet. Det er klassen og sensor, stort sett, som får sett og prøvd dem. I Apps4Norge-konkurransen var det flere skoleoppgaver som deltok, og vi får håpe det blir flere slike nasjonale konkurranser og sørge for at studentmiljøene får dette med seg – det er veldig hyggelig at flere får innsyn i hva vi driver med i universitetsmiljøet.

Vinneren av kategorien apper laget av lag heter Geokultur. Bak den står Tedd Hansen, Ingrid Elisabeth Moen, Erik Chrisander Gustavsen og Oddbjørn Undseth Bakke. Denne appen bruker Norvegiana til å hjelpe brukeren å finne fram til kulturarv i Norge via data fra arkiver, museer m.m. I kategorien Ideer vant Henrik Skogmo med “Snittet”. Her er formålet å hjelpe elever på videregående skole med det vanskelige valget av høyere utdanning.

Et krav til deltakerne var at datasett fra offentlig sektor skulle inngå i appen eller ideen. Blant bidragene finnes bl.a. trafikkdata, værdata, helsedata. Jeg har umiddelbart sans for vinneren av andrepremien for enkeltpersoner, som har det strålende navnet “Ætteforsker”. Martin Havnøy har her klekket ut en mobilapp (for Iphone) som bruker data fra folketellingen i 1910, stedsnavndata, Open Street Map og Digitalt Museum. Målet er å hjelpe deg til å drive detektivarbeid i egen (eller andres?) slekt, godt forklart i følgende video:

Det skal bli spennende å se hvilke av prosjektene som blir videreutviklet, og om noen av dem blir en slager enten for avgrensede eller bredere grupper av brukere.

Dette burde være nyttige data for mange — ikke minst de som måtte sysle med ideer om å delta i Apps4Norge-konkurransen.

• NVE: Detaljert oversikt vindkraft, status 29. januar 2013 (xlsx)
• NVE: Vindkraft — konsesjonsdatabase
• NVE: Karttjeneste (WMS)
• Datakilder.no: Samling av viktige kilder om klima og energi.

Blogginnlegget er publisert i samarbeid med nettmagasinet Energi og Klima.

• Information is Beautiful: CO2 Megasheet
• Information is Beautiful/Guardian: Visualisering av klimadata
• Datakilder.no: Samling av viktige kilder om klima og energi.

Blogginnlegget er publisert i samarbeid med nettmagasinet Energi og Klima.

Råstoffet utviklere trenger for å lage nyttige applikasjoner er selvfølgelig data. Arrangørene lover at nye datasett blir gjort tilgjengelig i forbindelse med konkurransen, og det er helt nødvendig. Farten i åpningen av offentlig sektors data har vært lavere enn mange av oss hadde håp om for noen år siden.

Data bør også tilrettelegges, skal konkurransen lykkes. Datakildene bør være lette å finne fram til og finnes i formater utviklere foretrekker (API-er der det er relevant). Mitt inntrykk er i hvert fall at mange utviklere helst vil bruke tid på det kreative arbeidet med å lage apps og interaktive visualiseringer, ikke på å grave fram datagrunnlaget.

Så hvordan finne datakildene? Her er noen lenker og tips:

• Data.norge.no: Datakildeportal og datahotell drevet av Difi, der offentlige virksomheter oppfordres til å registrere og legge ut sine data. I det siste har det dukket opp interessante data der om bl.a. samferdsel.
• Datakilder.no (CKAN): Uavhengig datakildeportal tilrettelagt av Open Knowledge Foundation. Drøyt 200 datasett er registrert der.
• Oppsøk dataeier: Hvis du vet hvilken offentlig etat/virksomhet som forvalter dataene du er interessert i, sjekk nettstedet deres. Det kan godt være at datakilder er tilgjengelig der uten at de er registrert i noen av datakildeportalene. SSB er kanskje det beste eksemplet.
• Krev innsyn: Hvis du vet om data som ikke er tilgjengelig, men burde være det, ta kontakt med dataeier og krev innsyn. Det kan være lurt å finne medsammensvorne for å presse dataeier litt ekstra. Twitter: #offdata og #Apps4Norge.

Det går altså an å gjøre noe selv. Et eksempel: Energi og klima er en sektor der det finnes mange interessante datakilder og store muligheter for utviklere. Som ledd i jobben jeg gjør for nettmagasinet Energi og Klima har jeg begynt på en samling av viktige datakilder på feltet. Denne vil jeg utvide i tiden som kommer. Tips gjerne om datakilder som burde være med i en slik samling.

Prosjekt «åpne data ved UiB» er nylig startet opp, og det er foreløpig ganske begrenset hvilke data som er lagt ut. Her er noen eksempler på data som etter hvert kan bli gjort tilgjengelig:

• Kalender — oversikt over åpne foredrag og hendelser i regi av UiB (koblet mot kartdata for campus)
• Nye publikasjoner fra de vitenskapelige tilsatte
• Timeplan, forelesninger for studentene (koblet mot kartdata for campus)
• Alle emner som det foreleses i ved UiB

Vi følger med på Difis prosjekt data.norge.no og de retningslinjer og lisenser som Difi har utarbeidet for åpne data.

Utvikling av «apper» for bærbare enheter (smarttelefoner og nettbrett) har tatt av og vi ser store muligheter ved å la både studenter, ansatte og andre utenfor UiB utvikle applikasjoner på UiBs «åpne data». UiB vil nå i første omgang legge vekt på å etablere en infrastruktur for «åpne data» som er sikker og som vil skalere. Vi vil legge vekt på at data som gjøres tilgjengelig er korrekte. Vi må selv også utvikle egen kompetanse på hva åpne data betyr.

Prosjekt «åpne data ved UiB» er ett nytt prosjekt og det vil ta tid for oss å utvikle. Det er mange «eiere av data» ved UiB, og gjennom dialog med disse vil vi over tid legge ut nye data.

Også i fjor gjorde Norge det svakt med en 27. plass, som jeg skrev om da. Hovedgrunnen til begge de to labre plasseringene er Utenriksdepartementet og Norads nøling med å følge opp IATI, en internasjonal standard for publisering av bistandsdata. Norge sluttet seg til standarden ved starten i 2008, men mistet så tilsynelatende interessen. I mellomtiden er publiseringen av data under IATI i full sving.

Men nå skjer det noe. Utenriksdepartementet ga nylig Norad grønt lys til å begynne arbeidet med å tilpasse datasystemer slik at direktoratet for utviklingssamarbeid kan begynne å publisere data under IATI-standarden i løpet av 2013. Det skulle gi Norge et dytt på neste års åpenhetsindeks — en tidsplan etterfulgt av publisering er nettopp anbefalingen fra Publish What You Fund.

Det har aldri vært lett å få noen god forklaring på UD/Norads nøling. Utslagsgivende for den nye given skal ha vært at IATI-standarden skal kombineres med standarder (kalt DAC) som brukes i rapporteringen av bistandsdata til OECD, organisasjonen for økonomisk samarbeid og utvikling.

Norad begrenser seg i første omgang til å rapportere data som allerede finnes i direktoratets eksisterende datamodeller, går det fram av et brev til UD (pdf). En viktig endring er at dagens årlige rapportering endres til løpende data-rapportering, i første omgang hvert kvartal. Blant dataene som vil bli rapportert er planlagte utbetalinger fire år fram i tid:

Planlagte utbetalinger skal rapporteres både for enkeltavtaler og som aggregerte tall for de største mottakerorganisasjonene (internasjonale NGOer og multilaterale organisasjoner som definert av OECD/DAC) og for alle mottakerland (hvert land rapportert for seg). Sistnevnte rapportering på mottakerland vil også etter hvert inkluderes i den årlige rapporteringen til DAC. I tillegg skal det rapporteres om tildelte budsjett for departementet og dets underliggende virksomheter.

Det er mange typer data som Norad anbefaler å utelate i begynnelsen. Blant disse er “prosjektdokumenter som avtaler, beslutningsdokumenter, søknader og framdrifts– og sluttrapportering.” Listen i sin helhet kan ses i Norads orientering til UD.

vi vil lære og vi er nysgjerrige, men hva må vi kunne nå som vi ikke måtte før?

Det spørsmålet fikk ikke den oppmerksomheten det fortjener, for det er et godt spørsmål (og jeg fikk ikke svare på det), så her forsøker jeg å gi et svar.

Råmateriale til fakta er data. For å komme fra data til informasjon må data tolkes. Fakta er dokumentert informasjon, informasjon med sannhetsgehalt. Så langt er ingenting nytt under solen. Ingenting her trenger å være digitalt.

Men så viser det seg at data i dagens samfunn ofte er digitale. Årsaken til dette er mange, men ofte fordi noen egenskaper ved digitale medier er svært fordelaktige for å effektivisere, måle og avhjelpe (saksbehandlings-)prosesser. En del prosesser i digitale medier kan automatiseres ved hjelp av dataprogrammer, og å ha “rett informasjon til rett tid” kan bli lettere. At vi går fra et analogt til et digitalt informasjonssamfunn kalles digitalisering, og betyr at databaselogikk og automatiserbare prosesser favoriseres. Alt materiale kan søkes i og publiseres på nett, det er fint. Resultatet er at dataene som skapes i samfunnet er digitale, med noen iboende digitale egenskaper*. Å kunne utnytte dette er digital kompetanse.

Noe er nytt, mye er det samme. Dataene er nesten utelukkende digitale.

I informasjonsvitenskapen snakker vi om “sense-making”, prosessen å gi mening til erfaringer. Lettere sagt; det å gjøre noe forståelig. Det er også en av hovedfunksjonene til journalistikken – å gi oss relevant informasjon om omverden i et format vi kan forstå. Fra mitt perspektiv er pressen (++) den sentrale aktøren i informasjonsbransjen, og en av journalistikkens hovedfunksjoner er å bekjempe informasjonsasymmetri. Dette sikrer harde nyheter, ’nyheter som noen ikke vil at du skal publisere’ (Arthur McEwen) eller ’som vil ha materiell innflytelse på folks liv’ (Franklin et al). Ikke all journalistikk oppnår dette, men at en passe andel journalistikk gjør det sikrer medieinstitusjonenes plass og dominans i informasjonsbransjen. Vi vet hvem vi kan gå til for å få den typen informasjon. Sense-making og informasjonsasymmetri fantes før datamaskinene, og tilhører i teorien verken det digitale eller analoge.

I praksis sitter vi med digitale data om verden, og vi skal tolke dette til informasjon og formidle det videre til et forestilt publikum av “vanlige folk”. Den prosessen, gitt digitale data, kan utnytte egenskapene ved digitale medier. Sammenlikninger, rangeringer, grupperinger, målinger av ulike slag kan gjøres i større skala, raskere, med datamaskiner. Analyser (nettverksanalyse, regresjonsanalyse, innholdsanalyse, frekvensanalyse, osv) kan gå raskere med hjelp av digitale verktøy (bare å tegne en graf over noen få hundre noder er nesten uoverkommelig på papir, men en smal sak med riktige digitale verktøy**). Ved å forstå teoriene bak slike analyseverktøy er det lettere å finne riktig verktøy til riktig data og story.

Disse analysene jeg betegner her likner på forskning. Det betyr ikke at jeg mener at journalistikk og forskning er det samme. Forskningen har de samme store mulighetene med datastøttede metoder, men det stilles helt andre krav til disse to gruppene. For forskningens del handler det om å utforske ny grunn, benytte større datasett og å kvalitetssikre metoder ved å kunne repetere og justere dem oftere. For journalistikken handler det om å gjøre seg mindre avhengige av “eksperter”. Eksperter er både en velsignelse og en forbannelse for journalistikken, men ved å ha gjort noen små analyser på kontoret før et intervju kan journalisten stille bedre spørsmål og kreve bedre forklaringer av eksperter eller andre maktpersoner. Det er fint å leve i et samfunn der vi kan ta hverandre på ordet, men det er også fint at noen faktasjekker. Slike små analyser er faktasjekking eller rett og slett produksjon av fakta, som kan kommenteres eller bestrides av eksperter og ansvarlige.

Eksempel: Hva med å slå sammen noen kommuner, dere?

Vi har 429 kommuner i Norge etter at Inderøy og Mosvik i Nord-Trøndelag slo seg sammen. Hvorvidt det er en god idé å ha færre kommuner er et politisk tema som splitter partiene, tidvis også innad i partiene. Dette er med andre ord et godt tema for pressen å diskutere. Tidligere i år gjorde analysefirmaet NyAnalyse sammen med Geodata en analyse av kjøreavstand mellom kommunesentre (rådhus), for å se hvor tett administrasjonene for alle disse kommunene ligger. Metoden finner du her på Helge Astads blogg.

- Kunne en journalist ha gjort dette? Er dette en for tidkrevende og teknisk oppgave til å være journalistikk?
Første gang, kanskje. Ikke?

Men nå vet vi hvordan det ble gjort for rådhus, hva med avstanden mellom fengsler og barnehager, eller avfallsstasjoner og ball-løkker, høyspentmaster og turistattraksjoner? Når vi vet hvordan en slik analyse gjøres, og svakhetene med en slik analyse (Astad fra Geodata kommenterer forbilledlig dette) – så kan dette gjøres raskere og raskere for hver gang. Verktøyene og prosessene blir raskere og bedre og journalisten får spørsmål som kan lede til gode saker.

Analysen over gir et argument for hvilke kommuner som kanskje kan diskutere sammenslåing (uansett om man mener det er en god idé eller ikke). Analysen hadde vært mulig å gjøre før datamaskinen, men det hadde involvert mye bilkjøring, tidtaking, beregninger, administrasjon og tålmodighet. At dataene er digitale tillater datastøttede analyser, som går mye fortere enn en pre-digital analyse. At VG kjørte saken på forsiden av papirutgaven bør være et tegn på at dette er bra stoff.

Ting en må kunne

Kommunesammenslåing er en case der en datastøttet analyse ble brukt. Jeg mener dette er underutnyttet i norsk presse, og det journalister bør kunne i dag som de ikke trengte før, er hvordan datastøtte kan gjøre denne typen mindre analyser så små og raske at de fortsatt kan levere på deadline. Digital kompetanse i denne sammenhengen handler altså om å la digitale verktøy senke terskelen for å ta i bruk metoder som kan hjelpe oss å konvertere data til samfunnsnyttig informasjon. Metodene er ofte “vanskelige”. De må læres. Hvis overnevnte Astad ikke visste hva han drev med, så kunne dette gått veldig galt. Men når metoden er forstått kan dataverktøy senke tidskravet til slike analyser og da snakker vi om å utnytte noen av egenskapene ved digitale data. Vi kaller det “Computational thinking” – å forstå hva som kan beregnes i en datamaskin og utnytte dette i problemløsning.

PS: Til journaliststudenten som stilte spørsmålet. Godt spørsmål. Jeg stilte det samme spørsmålet du kom med, dog indirekte, i en intervjustudie som ikke er publisert ennå. De mest teknisk avanserte journalistene (de som lager bl.a. nyhetsapplikasjoner) svarer blant annet:

• Lær excel,
• databaseteori (å kunne hente ut data fra en database i SQL er gull verdt for disse),
• Scripting (å kunne loope gjennom millioner av ulykker fra Vegvesenet, dokumenter fra Wikileaks eller skattebetalere i skattelistene for å lage statistikk åpner for spennende journalistikk). Eksempler på språk er python, php, ruby eller c++. (Jeg anbefaler python hvis du er ny, det er lett å lære og finnes på nesten alle datamaskiner).

Jeg vil legge til to egenskaper etter eget verdensbilde, og et verktøy:

• Samarbeid på tvers av spesialområde. Å forstå hvordan designere, programmerere, økonomi-journalister, programledere, statistikere, osv. jobber er et fortrinn. Å forstå hva som er viktig for de ulike nisjene kan du utnytte til å bli en bra samarbeidspartner, og alle liker gode samarbeidspartnere. Finn venner også utenfor egen avdeling.
• Bli en primus motor. Hvis du kan levere et arbeide uten at noen (les: sjefen) trenger å bekymre seg for hvordan det går, men vet at du ikke stanger hodet i veggen aleine i et kott, så er du en — slik jeg blir fortalt — redaktørene ønsker seg.

Dette er ikke digital kompetanse, men menneske-kompetanse. Den bør aldri undervurderes. Så et verktøy: lær Google refine. Det er Excel på steroider, og på tross av at jeg argumenterer for at verktøy kommer og går mens metodene består, så er dette mitt beste forslag til et verktøy som både er tilgjengelig, nyttig og har potensial til å gi stories i hopetall. Å lære framtidens variant av slike verktøy blir lettere hvis du kan noe liknende i dag.

* Se for eksempel Lev Manovichs fem prinsipper for digitale medier i The language of new media.
** Vi har fått et nytt fag på instituttet som ser på de teoretiske aspektene av bl.a. slike grafer: info207. Kan vi bruke slik teori til å finne inhabile parter, maktsentre eller korrupsjon? Helt klart.

Først må jeg få lenke til den finlandssvenske ildsjelen Jens Finnäs, som i kjølvannet av nettpubliseringen sin framstår som en riktig enmanns-armé. På datajournalistik.se har han samlet et knippe teknikker, ressurser og verktøy, og samlingen er imponerende. Dette er snacks for den lærevillige så vel som for den som bare vil ha eksempler på hva som kan gjøres. Et eksempel fra Finnäs’ spalte for “inspirasjon” er denne crowdsource-appen fra SvD Næringsliv, det svenske rente-kartet, som viser hva våre brødre mot øst betaler for sine lån. Slett ikke irrelevant for dagens norske boligrente-problematikk. Muligens også et forhandlingskort for svenske låntagere?

Finnäs har også en blogg på engelsk med tittelen dataist, som både viser eksempler på hvordan andre gjør det, men særlig hvordan Finnäs selv løser praktiske problemer i sin datajournalistikk. Eksempler fra bloggen er en post om datavask i refine (det har vi også skrevet om før), erfaringer om hvordan han brukte “musklene” i d3.js og kombinerte det med Raphaël.js noe bedre nettleser-støtte (her) og instruksjoner om hvordan du “pimper” Google maps i ny fargedrakt. Imponerende arbeid.

SVT “Pejl” — eksempel til etterfølgelse

Å si at databasredaktör Helena Bengtssons datajournalistikk-prosjekt “SVT Pejl” er en blåkopi av the Guardians Datablog er urettferdig. Hun har bare lånt ideen, og lokalisert den til SVTs omgivelser. De har laget en video der prosjektet introduseres:

Flere detaljer kan du lese her, hvor det svenske begrepet databasejournalistikk også diskuteres og brukes som et synonym til computer-assisted reporting (CAR). Helena Bengtsson får tydelig vist at SVT henger med i svingene.

Et eksempel fra SVT Pejl er denne grafen over skoleresultater, som understreker at barnas skoleresultater har en hel del å gjøre med hvem de er barn av. Unikt er dette ikke (den likner f.eks. litt på denne fra NYT i kjent Amanda Cox-stil, arbeidsledighet blant folk som deg), men det er lokalisert, aktuelt og reelle data. SVT ser videre ut til å følge opp med stilen der metoder diskuteres grundigere enn i tradisjonell journalistikk, et fenomen som som både nye prosjekter og gamle travere tidvis glimter til med. At svenskene leder dette an i Skandinavia, lover godt. (Se f.eks. metodeforklaring bak skole-prosjektet skolpejl her).

Videre har SVT Pejl hevet seg over både politiets data “Brottspejl”, skoler “Skolpejl” og tilbyr angrepsvinkler via geografisk område i disse dataene. For en nasjonal rikskringkaster virker dette fornuftig. I tillegg inneholder bloggen prosjekter som de løpende arbeider med internt i SVT-systemet.

Ser vi for oss at NRK følger i SVTs fotspor, mon tro?