Byrået supplerer datakildene med oppdaterte vurderinger av framgangen på nøkkelområder. Data fra Norge er inkludert i mange av indikatorene.

Som en bonus til utviklerne der ute har EEA gjort et API — programmeringsgrensesnitt — tilgjengelig, for effektiv tilgang til dataene. Data kan gjenbrukes i henhold til en åpen lisens, Creative Commons navngivelse. Kommersiell bruk er altså eksplisitt tillatt.

Blogginnlegget er publisert i samarbeid med nettmagasinet Energi og Klima.

Data Journalism Handbook - 1.0 BETA

Nå kan du lese det som kanskje er verdens første bok om datajournalistikk. Boken er ute i beta (som muligens kan høres pussig ut for en ord-journalist, men som høres helt riktig ut for en data-journalist) og er en imponerende samling kunnskap om datajournalistikkfaget. Boken er skrevet av durkdrevne datajournalister fra redaksjoner verden over, og passer godt både for de som allerede kan mye om dette og for de som anser dette som nytt territorium.

Først som sist, her er adressen: datajournalismhandbook.org. Bak prosjektet står European Journalism Centre og Open Knowledge Foundation.

En kort gjennomgang

Boken består av syv deler. Den første omhandler selve boken, etterfulgt av en samling korte, men mer teoretiske beskrivelser av hva datajournalistikk er (eller kan være). Kapittel tre omhandler hvordan dette ser ut i praksis i ulike redaksjoner. Her er store aktører som BBC, Zeit, the Guardian og Chicago Tribune sentrale, men våre venner i Danmark i Kaas & Mulvad får også plass. Neste del (case studies) beskriver konkrete eksempler, og likner en del i stil på det vi kjenner fra SKUPs metoderapporter. Disse er tydeligvis tenkt til å vare over tid, så detaljer om kode og teknologi omtales kun overfladisk. Her skulle jeg gjerne ha sett mer nerdete detaljer, men jeg innser at dette både kan skremme den ikke-tekniske leser så vel som forkorte levetiden på denne boken dramatisk.

Kapittelet om tilgang på data tar for seg både tekniske og sosiale metoder for å få hendene på de datasettene du drømmer om. Søketips for journalister finner du i en langt mer oppdatert utgave enn hva som er å lese i tradisjonelle lærebøker og er av det bedre jeg har sett i “lærebok-format” for sånt stoff. Når det kommer til tilgang på data i forhold til offentlighetsloven, så har ikke jeg erfaring nok til å avgjøre om dette er just likt i Norge som i EU/USA, men for meg later det til som om også disse avsnittene er høyst aktuelle (og riktige) også her på berget. Videre får vi erfaringer med å skaffe data med enkle metoder, både tekniske (masse-nedlasting, scraping, o.l.) og menneskelige framgangsmåter (sånn gjør du for å få tilgang til data som i utgangspunktet er offentlige, men som du likevel ikke får på første forsøk).

“Forstå data” (Understanding data) omhandler egentlig statistikk og informasjonsvisualisering, men er polstret i myke ord som ikke bør skremme den tall-redde (den aritmofobe?). I anekdotiske beretninger påvises feil, slurv og tilhørende årsaker. Dette er et morsomt kapittel, og bør være til nytte for deg som vil lage journalistikk av tall, men ikke har så mye erfaring. Et fint sted å starte, men andre ord. Kapittelet avsluttes med en like myk introduksjon til informasjonsvisualiseringsteori, før siste kapittel om historiefortelling i datajournalistikk begynner.

Og det som begynner er egentlig en gjennomgang av nyhetsapplikasjoner der fortellergrep og formidlingsmåter kommenteres. Her finner vi også et norsk bidrag fra John Bones i Verdens Gang som viser hvordan VG gjør det, kommentert med hvilke verktøy som ble brukt og tanker om hva som utgjør en god visualisering.

Alt i alt

Denne boken er nyttig, lettlest, godt illustrert med eksempler og ikke minst lenker. Som en bok foreløpig kun i html (den kommer også på papir) har den for mange gode lenker til å ta med alle her, dermed valgte jeg å ikke ta med noen. Det er verdt å gå gjennom boken bare for å leite etter gode lenker, både til verktøy, data og eksempler på hvordan data blir journalistikk. At boken er skrevet av mange ulike mennesker gjør at stilen varierer litt, men redaktørene har gjort en flott jobb med å strukturere stoffet på en slik måte at alt henger logisk sammen. De ulike stemmene forteller “slik gjør vi det her hos oss”, og etter en del eksempler er det tydelig at det er mye av det samme som går igjen. Folk sliter med de samme problemene, og deler her sine erfaringer med å løse dem. Det er behagelig, da det konsentrerer de egenskapene og metodene dagens datajournalister selv setter høyest. Det gir neste generasjon datajournalister et langt bedre utgangspunkt enn det dagens datajournalister hadde.

Boken er fin som en innføring eller grunnbok. Den bør leses av deg som ser at det blir stadig mer fristende data å jobbe med, og slett ikke så mange datajournalister til å trylle fram historiene de skjuler. Aller helst leses boken akkompagnert av en noe mer teknisk lektyre, som en bok om programmering/databaser/visualisering og et saftig datasett klart til å bli førstesidestoff (og da mener jeg selvsagt forside-på-nettavisen-stoff).

En av sakene går gjennom status på feltet og knytter utviklingen til foreslåtte endringer i reglene for offentlig sektors data. En annen sak tar spesielt for seg erfaringene det berømte Rijksmuseum i Amsterdam har høstet etter at de ved årsskiftet la om til en åpenhetslinje. Rådgiver Lizzy Jongma fortalte meg i et epost-intervju hvordan museet tenker om åpne data og tilgjengeliggjøring av digitaliserte verk. Nedenfor er intervjuet i sin helhet.

"Melkepiken" av Jan Vermeer. (foto: Rijksmuseum)

It has helped us tremendously in promoting our (online) collection. We want everybody to know (parts of) our collection and use our digital collection for any/your own purposes: if you want to do a powerpoint about Vermeer or Rembrandt, then please use our images and information instead of the ugly and bad images that are on the internet (that is what we mean with the Yellow Milkmaid anecdote. If you use Google images to find this painting of Vermeer, then you will find very ugly images that don’t do any justice to the beautiful, fresh original painting). We are a public institution and it is our mission and goal to share our collection and knowledge with everyone. We have seen an increase in visitors to our online collection. And we also benefit from that: we get e-mails every day from experts in all sorts of fields that help us annotate our collection or correct us if we’re wrong.

Since we put an API online (for developers and programmers so that they can integrate our collection in their own applications or website) we’ve had over a dozen new (free) apps built with our collection. Some are nice and some are really useful and innovative. On www.rijksmuseum.nl/api you can find a list with apps. Arkyves built a great app: an iconographic browser to search our collection thematically. The browser is available in English, Italian and French. Our collection metadata is in Dutch and this is the first international entry to our collection!

AB_C Media built a “faces of the Rijksmuseum” app: using face recognition software they were able to isolate all the faces on our paintings. This can help us in creating more specific, more detailed descriptions of our paintings (for instance pinpointing everyone on the Nightwatch).

Our Open Data was also harvested by national and international platforms and portals: Artstor, the Dutch museums collection website, Kennisnet (the national infrastructure for e-learning in schools in the Netherlands). We are now partnering with the VU University (an Amsterdam Based University with which we have been partnering for years in developing semantic tools) to develop crowdsourcing and semantic annotation tools based on our Open Data and so on. In short: we’ve had a lot of attention and concrete results that help us promote and further annotate our collection.”

Are there now fewer bad copies around on the web? Do more people find the high-res image on your website and is it being republished on other sites?
“No: the bad copies aren’t gone. Unfortunately. We’ve only had our Open Data online for three months, and unfortunately most bad things stay on the internet forever. We do see an increase in the usage of our online collection and images. By giving Wikipedia, Europeana and Kennisnet access to our metadata and images we hope that kids and teachers and so on will get to know the good (high res, colour balanced, not photoshopped) images. We’ve also done a lot of work in optimizing our online collection for search engines like Google and we hope that our collection will end at the top of Google searches over the next year, but decreasing the amount of poor images is a long term strategy.”

In general, what is the Rijksmuseum’s policy regarding publishing metadata and making public domain works available? How will making more data and content available help your work?
“The Rijksmuseum policy is (as said) about sharing our collections and knowledge with everyone (if possible: we do have to stay within copyright boundaries). We now have 100.000 objects in our Open data collection (all with images) and 250.000 objects (not all with images) in our online collection and we will continue to digitize our collections as part of our daily work. Sharing helps us to promote our collections. The public wants to see our collection, create new products, build new applications (showcase applications with our collection) and share knowledge with us about the collection. Open Data didn’t change our work (we were already digitizing and annotating our collections) and it helps us fulfilling our mission and goals.

We now advice other Dutch museums (together with Kennisland, the CC representative in The Netherlands) in implementing Open Data and Copyright issues concerning open data. We also entered our API in different Hack Battles and will present our project at Museums and the Web.”

Datadrivenjournalism.net skriver jevnlig om dette. Nylig skreiv de om datawrapper, laget av abzv.

Datawrapper

Datawrapper er et lite program som hjelper deg å lage grafer. Så langt er det relativt enkle grafer som stolpediagram, kakediagram og linjediagram som er tilgjengelige. Dette er ting som også lett kan lages i for eksempel Excel, men datawrapper gjør dette til en klipp-og-lim prosess, der resultatet er laget i html5 som er nyttig for nettutgaver, leseplater og mobile enheter. Typisk har slike grafer litt ekstra funksjonalitet, som et statisk bilde fra Excel ikke har. Essensen av datawrapper er å knytte dine data sammen med javascriptbibliotek som highcharts, flotr2 og d3, uten at du trenger å vite mer enn at du har data og vil ha graf. Som et open source-prosjekt er det mulig å utvide datawrapper med flere visualiseringsbibliotek og visualiseringstyper etter hvert. Koden er skrevet i PHP og er lett å følge for de som vil.

Programmerende journalist Dan Nguyen har skrevet en introduksjon til programmering i nyhetsredaksjoner med tittelen Code, Don’t Tell: Programming as an Essential Journalism Skill. I et avsnitt om “practical roadmap for non-programmers” anbefaler han å opprette konto hos Twitter, Dropbox og Google. Sistnevntes tjeneste Google docs har jeg sett er særlig populært også i norske redaksjoner, da muligheten for å dele data, samarbeide og å publisere data fra Google spreadsheet (for eksempel som json) kan korte ned antall skritt i en felles arbeidsflyt. NB: sensitive data bør ikke legges ut på internett. Da kan heller en lokal installasjon av Panda kanskje være en idé?

Panda – pandaproject.net

Panda er et prosjekt med støtte fra Knight Foundation som søker å lage “A Newsroom Data Appliance” — en felles lagringsplass for data i en nyhetsredaksjon. Panda er i hurtig utvikling, så selv om ikke alt man kunne ønske seg finnes ennå, så er det gode muligheter for mye kommer etter hvert. Utviklerne, Christopher Groskopf og Brian Boyer (begge tilknyttet Chicago Tribune) diskuterer til stadighet utviklingen på github og Twitter. Panda ble nylig presentert på en NICAR-konferanse, og mottagelsen beskrives som svært god. Panda er ment å kjøres lokalt for hver redaksjon, eller i “skyen”. Det er lagring og søk som så langt er hovedfokuset til dette prosjektet, hvilke skritt som tas videre og hvordan dette blir brukt blir spennende å se. For en demo, se demo.pandaproject.net. Med APIer og utvidelser i stadig utvikling må det for eksempel være lov å drømme om tett integrasjon med Google refine.

Google refine

Jeg har tidligere blogget om refine, men på tross av at jeg ikke bruker programmet jevnlig selv, blir jeg stadig overrasket hver gang jeg tar det fram. Google refine er ikke bare et glimrende verktøy for å vaske og restrukturere data, det er også er imponerende kraftig verktøy for å gjøre analyser og å grave i data. Google refine er ikke det mest intuitive verktøyet i verden, og i blant er det nyttig å kunne (eller kunne google) litt regexp eller å kunne tilegne seg kunnskap om ting som GREL (Google Refine Expression Language). Heldigvis likner dette mye på Python, så om du skulle lære deg noe om dette, så lærer du samtidig små biter om programmering. Hvis jeg var ansatt som datajournalist i en nyhetsorganisasjon, med press om å levere analyser og datasett jevnlig, så ville jeg ha satt pengene mine på Google refine (dvs, du trenger ikke sette noen penger noe sted, Google refine er gratis).

GIS, geografiske informasjonssystemer

Et annet spennende område der det skjer nye ting er GIS, geografiske informasjonssystemer. QGIS er et rimelig sted å starte for de av oss som ikke har en bakgrunn fra relevante fagområder, da QGIS er gratis og finnes til alle plattformer. En fin introduksjon finner du på multimedia.journalism.berkeley.edu.

Et annet spennende prosjekt er TileMill, et verktøy for å lage egne kart. Med både en hostet løsning (noen andre driver serveren for deg, mapbox), og muligheten til å lage tiles (de små rektangulære bildene som utgjør et kart i for eksempel Google maps, du har helt sikkert sett dem når du laster kart på en treg linje eller på mobile plattformer) som du kan publisere selv, så har du her et imponerende verktøy for å fortelle historier på kartet. For inspirasjon til hva du kan lage er Chicago Tribunes blogg et fint sted å lete, både for tekniske ting (som her) og vakre (og kanskje noe kontroversielle her i Norge?) ting (som geografisk fordeling av barn under 5 år kodet etter etnisitet) se denne for mer info om hvordan dette kan gjøres.

Mer, mer

Nye verktøy evalueres jevnlig på reviews.reporterslab.org der Sarah Cohen (som snakket på Nordiske mediedager i fjor) er direktør. Et verktøy som er utviklet hos reporterslab er timeflow, for gravende journalister som vil holde orden på kronologien i en story. Et tidslinjeverktøy. Du finner en tutorial på github.

På konferansen nevnt over NICAR12 ble et hopetall verktøy, prosjekter og arbeidsmåter presentert, mye av dette ligger også på nett slik at du kan se gjennom presentasjoner og få tips om verktøy og prosjekter.

En fin lenkesamling finner du også her hos Computerworld (via datadrivenjournalism). Et eksempel er MITs exhibit, som har mange visualiseringsformer godt tilpasset formidling som journalistikk. Exhibit krever at du eller en rundt deg kan litt html/javascript.

Bøker

Det er ingen tvil om at jeg kaster ut en hel masse informasjon her, og lite, om i det hele tatt noe, står på pensum på journalisthøyskolene. Det betyr ikke at journalisthøyskolene er utdatert, vert imot, men at det er mye å lære som ligger utenfor opptråkkede stier. For deg som vil jobbe med datajournalistikk, i alle fall. Det finnes i det hele tatt lite fagstoff på dette området, men slik vil det ikke være lenge.

Fra mennesker med førstehånds innsikt på dette område kommer en crowdsourcet bok, the Data Journalism Handbook. Dette prosjektet er godt i gang, mye er ferdig og du kan se innholdsfortegnelse og boken på ide-stadiet på Google docs. Se videoen for en introduksjon til prosjektet.

Facts are Sacred – the Power of Data ebook fra The Guardian er alt ute. Den kan kjøpes på diverse digitale plattformer, og gir innsikt i hvordan Guardian forholder seg til dette feltet. Boken inneholder mye info og eksempler fra Guardian, men er ikke en “slik gjør du det”-bok. Det er en “dette har vi gjort og lært”-bok.

I fysiske bokhyller finnes det også ting som er verdt å se på. Jeg mener at Philip Meyers “Precision Journalism” er minst like relevant i dag som da den først kom på 70-tallet. Mye av Meyers tankegods på metodesiden kan skrives om til kode – verktøy – og metode er essensen av algoritmer. På visualiseringsfronten er og blir Edward Tufte kongen, og bokens hans “The visual display of quantitative information” inneholder et avsnitt som forklarer at boken startet etter å ha undervist journalistikkstudenter i statistisk metode. Dette er en bok enhver journalist burde ha i prydutgave, den er like vakker som den er nyttig, klar og full av instruksjon.

For å holde deg oppdatert på denne fronten vil jeg anbefale RSS-feeden fra Edward Boraskys scoop.it og datadrivenjournalism.net.

Det mest spennende med dette området synes jeg er at det er så mye prøving og feiling på gang. Vi vet ikke helt hvordan dette skal gjøres, og fra redaksjon til redaksjon og prosjekt til prosjekt prøves ulike metoder og verktøy, med varierende resultat. Etter hvert kan vi håpe at det danner seg mønstre i alt kaoset, slik at metoder og verktøy får en naturlig plass i en fornuftig og effektiv arbeidsflyt. At jeg ikke har snakket om Excel som kongen av datajournalistikk er ikke fordi dette ikke er sant (en pågående studie på området kan tyde på at Excel er norske redaksjoners absolutt viktigste verktøy for databehandling), men fordi Excel allerede finnes i de fleste redaksjoner, det holdes kurs i dette og kompetansen på området finnes over alt. Excel er et flott verktøy, som kanskje bare bør brukes mer?

Hvilke verktøy bruker du til behandling, graving og presentasjon av data? Bruk kommentarfeltet, så lager vi en liste sammen!

Arrangørene definerer datajournalistikk vidt. Her er eksempler på formater som godtas:

• visualisering og mashups
• et nyt eller sammensat datasæt
• en web- eller mobil-applikation
• datadreven journalistik i hvilken som helst form

Materialet må være nytt, det vil si laget etter april 2011. Frist for innsending: 20. april.

Data Journalism Awards

En annen og større konkurranse arrangeres av European Journalism Centre. International Data Journalism Awards utlyses for første gang, med innsendingsfrist 10. april. Det konkurreres i tre kategorier: Data-driven investigative journalism, Data visualisation & storytelling og Data-driven applications (mobile or web).

Førstepremien i hver kategori er på 7500 euro og deles ut i Paris 31. mai. Juryen ledes av redaktøren for ProPublica. Les mer på Open Knowledge Foundations blogg.

Finsk app-konkurranse

Helsingin Sanomat har også akkurat utlyst en egen konkurranse. Det originale konseptet her går ut på å produsere det de kaller “artikkel-apps”:

By article apps we mean applications that can be embedded into any web site in 560×400 pixel Iframe. An article app should visualize some interesting data, with the possibility of user interaction or of displaying data inputted by the users.

Også denne konkurransen er åpen for internasjonal deltakelse, og det er premier på 3000 euro.

Klimadata er også et stort satsingsområde. I en egen kunnskapsportal om klimaendringer samler Verdensbanken mange av de viktigste datakildene på feltet. Dataene kan visualiseres i kart og grafikk, og de er også tilgjengelig for nedlasting og viderebruk i tråd med prinsippene for åpne data. Verdensbanken ønsker å gjøre portalen til et komplett samling av data, verktøy og kunnskap om klima. Blant kommende tilbud er visualisering i høy oppløsning av klimaendringer og -konsekvenser, basert på en rekke ulike klimamodeller.

For utviklere og datajournalister tilbyr Verdensbanken API-er. De arrangerer også konkurranser med rause premier. Akkurat nå pågår Apps for Climate, der innleveringsfristen er 16. mars. Førstepremien er på 15.000 dollar.

I fjor var utvikling temaet for en apps-konkurranse. Blant vinnerne av Apps for development var visualiseringsverktøy, spillbaserte interaktive løsninger og en mobilapplikasjon med helseopplysninger beregnet på gravide.

Blogginnlegget er publisert i samarbeid med nettmagasinet Energi og Klima.

Basert på et datamateriale fra Heritage Foundation har Karl Sluis laget en fin interaktiv visualisering av det globale nærværet av amerikanske soldater i perioden 1950-2005. Visualiseringen fungerer best på visualizing.org, så klikk deg dit. Jeg likte bruken av piltaster for å bevege seg fra år til år, det gjør det lett å studere utviklingen i ro og mak. Merk omfanget av soldater i Europa under hele den kalde krigen.

Fordi dataene ikke er oppdatert etter 2005, får man ikke med den nylige uttrekningen av tropper fra Irak.

Datasettet kan lastes ned fra Heritage Foundations sider.

• Videreutvikle script som konverterer rådata fra stortingets voteringssystem til XML koblet mot unik ID på hver stortingsrepresentat og saks-ID hos Stortinget.
• Lage script som genererer RSS-kilde med daglige endringer fra Stortingets nye datatjeneste.
• Lage/forbedre/tilpasse websystem for publisering av stemmedata (se http://people.skolelinux.org/pere/stortingsinnsyn/prototype.cgi for prototype)
• Forsøkte å sette opp norsk utgave av http://www.nosdeputes.fr eller http://sejmometr.pl/, gjerne med inspirasjon fra http://www.publicwhip.org.uk/ og http://www.theyworkforyou.com/

Jeg håper også medier og journalister biter seg merke i dette initiativet — og bidrar til det. Datajournalister bør gå på dugnaden, men like viktig: Redaksjoner må begynne å tenke på hvordan de selv kan bruke dataene til å styrke den politiske journalistikken.

Også i lokaldemokratiet har publisering og intelligent presentasjon av voteringsdata stort potensial, men i mange kommuner finnes rett og slett ikke dataene. Smart bruk av dataene fra Stortinget kan i neste runde forhåpentlig føre til at også kommunene og lokalmediene innser betydningen.

Bak prosjektet står forskere fra Carnegie Institution for Science og norske Cicero.

The Supply Chain of CO2 emissions:

• Se og last ned data
• Lag grafikk
• Les om forskningen bak

Blogginnlegget ble først publisert i nettmagasinet Energi og Klima.

En sentral del av den nye strategien er en revidering av direktivet om viderebruk av offentlig sektors informasjon (PSI). Direktivet er implementert i Norge, og endringene som nå foreslås vil også gjelde her.

En endring med potensielt store konsekvenser er at offentlige myndigheter bare skal kunne ta betaling tilsvarende marginalkostnaden for å levere ut data. I praksis vil dette si at tilgang til offentlige data i de fleste tilfeller blir gratis. Det er vanskelig å si nå om denne nye regelen vil føre til at Statens kartverk må frigi sine data — den evige konfliktsaken i norsk sammenheng. Direktivforslaget har et unntak for “eksepsjonelle tilfeller”, særlig der hvor myndighetsorganer genererer en “substansiell del” av sine driftsinntekter ved utnytting av opphavsrett.

Andre forslag til endringer i direktivet:

• Making it a general rule that all documents made accessible by public sector bodies can be re-used for any purpose, commercial or non-commercial, unless protected by third party copyright;
• Making it compulsory to provide data in commonly-used, machine-readable formats, to ensure data can be effectively re-used.
• Massively expanding the reach of the Directive to include libraries, museums and archives for the first time; the existing 2003 rules will apply to data from such institutions.

Alt dette er tiltak de som arbeider for bedre tilgang til offentlige data har bedt om lenge, så Kommisjonens forslag vil antakelig bli godt mottatt. Implementert fullt ut, vil disse reglene forenkle tilgangen til datakilder betydelig (se vurderinger fra Jonathan Gray på Guardians Datablog).

Forslaget til endringer i direktivet går nå til Rådet og Parlamentet i EU. Dersom forslaget overlever denne prosessen, skal det så implementeres i medlemslandene (og EØS-landene).

I tillegg ønsker Kommisjonen å gå foran med et godt eksempel. Den vil i løpet av våren 2012 åpne tilgang til sine egne data. En egen portal for dette er under utvikling. En paneuropeisk portal der man kan finne data fra de europeiske landene på ett sted skal komme på plass våren 2013. Videre loves det 100 millioner euro til forskning på teknologi for datahåndtering. Åpne data skal også prioriteres i de kommende EU-programmene for forskning.

Dokumenter (alle i pdf):

• Kommisjonens strategi for åpne data
• Forslaget til endringer i PSI-direktivet
• Forslaget til åpning av Kommisjonens egne data og dokumenter