Sherlocks første lov om åpne data

Dataenes pålite­lighet og gyldighet skal kunne etter­prøves. Det er noe av det første stu­den­ter lær­er på uni­ver­sitetenes metodekurs. Men hvor ofte skjer det egentlig at forskn­ingsre­sul­tater etter­prøves med den nød­vendi­ge nid­kjærheten? Tidligere i år kom det et eksem­pel som bør bli et lærestykke for enhver forsker: Dok­tor­gradsstu­den­ten Thomas Hern­dons granskn­ing av økonom-stjernene Car­men Rein­hart og Ken­neth Rogoff.

Rein­hart og Rogoff la i 2010 fram en studie av forhold­et mel­lom stats­g­jeld og økonomisk vekst, “Growth in a Time of Debt”. De fant en sam­men­heng: Når et lands gjeld over­skrid­er 90 pros­ent av BNP, stop­per økonomien å vokse. Resul­tatet fikk mye mer opp­merk­somhet enn van­lig er for forskn­ingsar­bei­der. Poli­tik­erne som forsøk­te å få grep på stats­g­jeld­skrisen i Europa hadde endelig et autori­ta­tivt tall å klam­re seg til. 90 pros­ent — en van­ntett faglig begrun­nelse for spare­poli­tikken, fra to av ver­dens frem­ste økonomer!

Som­meren og høsten 2012 str­ev­er Thomas Hern­don med Rein­hart og Rogoffs analyse. Han har lastet ned dataene, et reg­n­eark for­fat­terne fort­jen­st­fullt nok har gjort tilgjen­gelig. Hern­don vil skrive om artikke­len i en sem­i­naropp­gave, men klar­er ikke å repro­dusere 90 pros­ent-terske­len. I feb­ru­ar i år skriv­er han en e‑post til Rein­hart og Rogoff og ber om å få se utreg­nin­gene deres også. Han får mate­ri­alet, og oppdager kjapt flere enkle feil. Han reg­n­er og reg­n­er. 90 pros­ent-terske­len forsvin­ner. Resten er, som det het­er, his­to­rie.

Sher­lock-skulp­tur i Meirin­gen, Sveits (foto: David Jones, CC:by)

Hva dette har med Sher­lock Holmes å gjøre? Flere sted­er i Conan Doyles his­to­ri­er advar­er mes­ter­de­tek­tiv­en mot å trekke slut­ninger før alle data er vur­dert. I “A Study in Scar­let”, for eksem­pel. Dr. Wat­son, jeg-fortelleren, er mis­fornøyd med fram­driften i etter­forsknin­gen. Holmes prater i vei om fioliner:

“You don’t seem to give much thought to the mat­ter in hand,” I said at last, inter­rupt­ing Holmes’ musi­cal disquisition.
“No data yet,” he answered. “It is a cap­i­tal mis­take to the­o­rize before you have all the evi­dence. It bias­es the judgment.” 

Sannheten om Rein­hart og Rogoffs reg­ne­feil kom for en dag først da alle dataene var på plass i Hern­dons data­maskin. I mel­lomti­den hadde det foregått mye “teo­re­tis­er­ing uten alt bevis­ma­te­ri­ale”. Det er all grunn til å tro at det er mange andre forskn­ingsre­sul­tater som burde lidt samme skjeb­ne som 90 pros­ent-tesen. Rein­hart og Rogoff hadde jo til og med gjort data tilgjen­gelig, om enn ikke kom­plett. Hva så med data som man ikke en gang får tak i for­di de lig­ger på forskerens PC eller i en skuff?

Forsker­miljøer str­ev­er ennå med data-åpn­ing. Løs­nin­gen er snublende nær — pub­lis­er­ing av data må gjøres til en betingelse for finan­sier­ing av et forskn­ing­spros­jekt. I til­legg trengs det for­nuftige regler for hånd­ter­ing og en god infra­struk­tur for opp­be­var­ing av dataene. Tenk også på sam­fun­net uten­for forskerver­de­nen: Til­gang til data bak forsknin­gen bør ikke være for­be­holdt forskere (med de nød­vendi­ge for­be­hold for å sikre per­son­ver­net der­som dataene innehold­er personopplysninger).

En opp­muntring til slutt: Den som offentlig­gjør data, får også større gjen­nom­slag i forsker­sam­fun­net, det vil si flere siteringer. Det vis­er en studie (på fagfel­tet genetikk) som sam­men­lign­er forskn­ingsar­tik­ler der data er gjort tilgjen­gelig med tilsvarende artik­ler uten åpent datamateriale.