Tilastojen lukutaitoa etsimässä

Tänä keväänä koronatilastojen seuraaminen on usein herättänyt kysymyksen, voiko niihin luottaa? Vanha vitsi vale, emävale ja tilasto on aiheellinen, mutta aika usein tilastot ovat myös oikeaan osuneita. Tilastoja lukiessa onkin hyvä olla kriittinen, mutta kriittisyys vaatii tilastojen lukutaitoa.

Emävale-vitsi liittyy osin siihen, että tilastoja voidaan esittää harhaanjohtavasti, tässä Ylen jutussa on hyvin kuvattu esimerkkitapauksia.

Tilastojen alkuperä on tärkeää tuntea. Koronan maailmanlaajuisten lukujen vertailussa se pakosti jää hämäräksi. Tilastojen keruu on jossain kehittyneempää ja jossain vajavaista. Maailmanlaajuisia tilastoja on seurattu esimerkiksi Worldometer-palvelusta

Hesarin juttu hyvin avasi palvelun taustoja ja luotettavuutta. Palvelussa olevat tiedot lienevät oikeansuuntaisia, mutta paljon on myös ongelmia.

On hyvä muistaa, ettei Suomessakaan koronatilastot ole aina pysyneet ajan tasalla, vaikka Suomi on tilastojen keruunkin suhteen hyvin järjestäytynyt yhteiskunta ja meillä on korona-tapauksia ollut kohtalaisen vähän.

Kriittisyys tilastojen alkuperää kohtaan on tärkeää aina. Hyvin tehdyissä kyselytutkimuksissa alkuperä tunnetaan ja varsinkin tunnetaan datan keruuseen liittyvät rajoitukset. Ns. itsevalikoituvien nettikyselyiden suhteen on oltava tarkkana. Vastaajia voi olla paljon, mutta otoksen edustavuudesta ei ole mitään takeita.

Tilastojen luotettavuuden kannalta on kiinnostava psykologissa, sosiaalipsykologiassa ja biolääketieteessä laajaa keskustelua herättänyt toistettavuuskriisi. Uusimmassa Psykologia-lehdessä on asiasta hyvä katsaus (valitettavasti vain tilaajille).

Kyse on siitä, että klassisten psykologian kokeiden tuloksia ei ole onnistuttu toistamaan. Syitä tähän on monia: liian pieniä ja epäedustavia otoksia, vain onnistunut osa tuloksista raportoitu, aineistoa on käsitelty eri tavoin, jotta tulokset ovat parempia. Taustalla on myös tutkimusmaailman kova kilpailu ja julkaisupaine.

Kyse ei ole pelkästään tilastotieteellisistä ongelmista, mutta usein taustalla on tutkimusasetelmaan ja tilastolliseen testaukseen liittyviä ongelmia ja joskus suoranaisia virheitä – harvemmin onneksi huijauksia. Hätkähdyttävin lienee hollantilaisen Diederik Stapelin vilppi, kun hän oli sepittänyt aineistoja, joista saatuja tuloksia oli raportoitu arvovaltaisissa julkaisuissa.

Toistettavuuskriisi ei suinkaan tarkoita, että kaikki tutkimustulokset tulisi hylätä. Aika usein tulokset ovat oikeita tai ainakin oikean suuntaisia. Tilastollisen lukutaidon kannalta opetus on, ettei yksittäisen tutkimuksen tuloksiin ylipäätään pitäisi liikaa nojata, vaan laajempaan tutkimusten joukkoon.

Tilastojen lukutaito vaatii kriittisyyden lisäksi tilastotieteen tuntemusta. Esimerkiksi uutisissa mainittu virhemarginaali ymmärretään usein väärin. Virhemarginaali ±3 prosenttia ei tarkoita, että todellinen tulos on mitä tahansa tuon kuuden prosentin sisällä. Se tarkoittaa sitä, että todellinen tulos on sovitun 95 % todennäköisyydellä tämän kuuden prosentin sisällä ja kaikkein todennäköisemmin se on keskellä ja epätodennäköisimmin laidoilla.

Sama esimerkin kera. Jos jonkun puolueen kannatus on 20 % ja virhemarginaali ±3, niin kannatus on kaikkein todennäköisimmin tuon 20 % ja todennäköisyys sille, että se olisi 17 % tai 23 % on melko pieni ja vain 5 % todennäköisyys sille, että todellinen kannatus on 17-23 % ulkopuolella.

Tilastojen lukeminen vaatii siis lukutaitoa. Tilastojen taustalla ei yleensä ole mitään hämärää, eikä niillä yritetä huijata, mutta erilaisia rajoituksia niihin liittyy. Näiden rajoitusten ymmärtäminen vaatii syvällisempää paneutumista ja tilastotieteen ymmärtämistä.

Loppuun vielä täsmennys kirjoittajasta: en edes yritä olla tilastotieteilijä, vaan haluan herätellä tilastojen lukutaitoa, jota tarvitaan esimerkiksi uutisten seuraamiseen ja varsinkin tekemiseen!

Keitä ne on ne tutkijat?

Tällä viikolla on suomalaisessa mediassa uutisoitu, kun kansainvälinen tutkijaverkosto luokitteli maat voittajiin ja häviäjiin koronaan suhteen.

Luokittelu herätti kummastusta, Suomi oli hoitanut sen mukaan huonosti koronaa. Luokittelu ei perustunut mihinkään pätevään tutkimukseen, mutta mediassa se meni melko kritiikittä läpi. Onneksi Hesarin mielipideosastolla oli tutkijaverkoston luokittelusta kriittinen kirjoitus.

Tästä herää kysymys kuka on tutkija? Kyseessä olevaa tutkijaverkostoa johtaa fysiikan tohtori, joka tituleeraa itseään professoriksi ja työskentelee itsenäisessä akateemisessa tutkimus- ja koulutusinstituutissa, mikä se sitten onkaan. Ehkä konsulttitoimisto?

Mutta missä sitten menee tutkijan raja? Pitääkö työskennellä yliopistossa tai tutkimuslaitoksessa vai riittääkö tutkijan koulutus eli käytännössä tohtorin tutkinto?

Joillain aloilla saattaa maallikollakin olla alan hyvä tuntemus, joten voisiko hän pitää itseään tutkijana? Ainakaan hänen näkemyksiään ei pidä sivuuttaa sen vuoksi, ettei hänellä ole tutkijan virallista asemaa tai titteliä.

Ero tutkijaan syntyy ainakin kahdessa asiassa. Maallikko ei tunne alaa yhtä syvällisesti, kyse on usein sirpaleisemmasta tiedosta. Toiseksi ero syntyy tutkimusmenetelmien ja metodologian tuntemuksesta. Alaan syvästi perehtynyt tutkija pystyy analysoimaan aineistoihin ja menetelmiin liittyvät rajoitukset ja haasteet, joita on kaikissa tutkimuksissa.

Oma haasteensa on se, mitä alaa tutkija edustaa ja mitä aiheita hän voi tutkijana kommentoida? Tutkijan on tunnustettava asiantuntemuksensa rajat – monet tutkijat tekevät tämän tosin vähän turhankin tunnollisesti. Esimerkiksi itse en tutkijana koronaan voi sanoa mitään, sen sijaan siihen liittyvään viestintään kyllä. Ja tietysti kansalaisena minulla on täysi sananvapaus.

Omassa asiantuntemuksessa pysymiseen törmään usein, kun toimittaja kysyy kommenttia johonkin someen liittyvään asiaan. En todellakaan ole kaikkea tutkinut, enkä tunne kaikkea tutkimusta. Mutta sanon toimittajalle, että voin esittää tutkimukseen perustuvia näkökulmia. Ehkä taustalla on tiedostamaton halu olla esillä. Ylevämpi ajatukseni kuitenkin on, että kun joku julkisen tilan kuitenkin ottaa, niin tutkijan se on hyvä ottaa.

Monet esiintyvät julkisuudessa mielellään tutkijana. Varsinkin ulkomaisten titteleiden tai instituuttien tasosta on välillä vaikea ottaa selvää. Toimittajien ja median kuluttajien pitää olla tarkkana: Minkä alan tutkija hän on? Mihin sanottava perustuu? Onko professorin titteli aito? Mikä verkosto tai instituutti oikeastaan on?

Rajaa tutkijan ja ei-tutkija välille voi olla mahdotonta vetää, mutta aika usein kummankin kyllä erottaa aika hyvin. Median kuluttajan on hyvä tiedostaa, että tiedemaailma perustuu debattiin ja tutkimustulokset voivat kumota, vahvistaa tai täydentää edellisiä tuloksia. Tämän vuoksi tutkijoilla on aina uusia ja kummallisia tuloksia ja silti kaikki ovat ihan oikeita tutkijoita.