Selvitys tutkimuksen vaatteissa

Maailmassa tehdään kyselyitä enemmän kuin koskaan. Netti on mahdollistanut kyselyiden helpon tekemisen. Samalla kuitenkin kyselyiden ja tutkimusten pätevyyden arviointi on entistä tärkeämpää ja vaikeampaa.

Ensimmäinen ongelma on otos: miten vastaajat on valittu tai miten he ovat valikoituneet? Ongelma on, että otokset ovat usein epäedustavia. Viimeksi keskustelua herätti Ylen Prisma-tiedeohjelman nettikysely, jonka mukaan suomalaisten nukkuminen on vähentynyt nopeasti. Kyselyn ongelma on sattumanvarainen otos. Vaikka vastaajia on paljon, saattaa olla, että vastaajille nukkumisen ongelmat ovat läheisiä, minkä vuoksi he kiinnostuivat kyselystä.

Nettikyselyissä vastaajamäärät saattavat olla valtavia. Eräässä italialaistutkimuksessa 50 000 vastaajan voimin todettiin, että some heikentää hyvinvointia. Ei tutkimus huono ole, mutta vastaajien sattumanvaraisuus voi tehdä myös tuloksista sattumanvaraisia.

Tuore kotimainen esimerkki verkkokyselystä on Some ja nuoret 2016 -tutkimus , johon ”osallistui yhteensä 5520 vastaajaa eri puolilta Suomea”. Vastaajamäärä on eittämättä suuri ja antanee hyvän kuvan nuorten somen käytöstä. Vastaajien valikoitumista ei kuitenkaan ole mitenkään selostettu. On täysin mahdollista, että tutkimukseen ovat valikoituneet esimerkiksi hyvin aktiivisesti somea käyttävät nuoret.

Toinen haaste kyselyissä on niiden analysoiminen. Usein esitetään suorat prosenttijakaumat ja varsinaista analyysia ei itse asiassa tehdä lainkaan. Eivät suorat jakaumat tietenkään virheellisiä ole, mutta kovin yksinkertaisia. Aineisto hyödyntäminen jää puolitiehen.

Analyysin tarpeellisuudesta kertoo omalle kohdalleni sattunut kimurantti tilanne jokunen vuosi sitten. Suomalaisia hyvin edustava aineisto osoitti, että eläkeläiset ovat aktiivisia somen käyttäjiä. Oma intuitioni ja yleinen käsitys oli toisenlainen. Ihmettelin tulosta. Pohdinnan jälkeen ristiintaulukoin eläkeläiset iän kanssa ja tulos valkeni: eläkeläisiä oli 30-vuotiaista eteenpäin. Tulos oli siis aivan oikein, mutta käsitykseni eläkeläisistä väärä. Olisin saattanut kertoa tutkimustuloksen, että eläkeläiset ovat aktiivisia somen käyttäjiä tarkoittaen eläkeläisillä yli 60-vuotiaita ihmisiä. Jos näin olisin tehnyt, olisin välittänyt väärää tietoa.

Kyselyiden suuri määrä edellyttää siis entistä parempaa tutkimusten lukutaitoa. Pitäisi ymmärtää tutkimuksen kokonaisuus, otosten edustavuus ja analyysin pätevyys. Kenenkään ei tietenkään ole mahdollista arvioida eri alojen tutkimuksia, joten haaste on kova.

Toimittajien kohdalla tutkimusten lukutaito on erityisen tärkeää, koska monet tutkimukset kantautuvat ihmisten tietoon uutismedian kautta. Tutkimuksia ei tarvitsisi uutisjutuissa pelkästään referoida, vaan myös kriittisiä näkökulmia voisi uutisoinnissa esittää.

En kritisoi kyselyiden ja selvitysten tekemistä, mutta niiden tuloksia ei pitäisi käsitellä samanarvoisina oikeiden tutkimusten kanssa. Hyvin tehdyissä kyselytutkimuksissa on aina varauksia vastaajien ja otoksen suhteen. Nämä varaukset pitää myös tuoda esille. Tieteelliset tutkimukset käyvät läpi julkaisemiseen liittyvän arviointiprosessin, toisin kuin selvitykset. Selvitysten tuloksia voidaan levittää siitä riippumatta, onko niiden pätevyyttä arvioitu.

Yksi ulottuvuus tutkimusten lukutaidossa on ”tutkimusten” tekeminen markkinoinnin tai päätöksenteon tarpeisiin. Tutkimuksella voidaan todeta jokin tarve, johon sitten tarjotaan omia tuotteita tai palveluita. Kunnan tai valtion kohdalla jokin poliittinen päätös voidaan hyvin perustella ”tutkimuksella” tai selvityksellä, joka on itse asiassa tehty tukemaan jo ennalta tehtyä päätöstä.

Kyselyistä tuleva tieto ei siis ole puhdasta faktaa, vaan aina tuotettua tietoa. Nämä tuottamisen tavat – tutkimuksen taustat, otos, kyselylomake ja analyysitavat – tulisi esitellä, jotta tulosten pätevyyttä voidaan arvioida. Mikäli näitä ei esitellä, kyse ei ole tutkimuksesta.

Mainokset

Jätä kommentti

Kategoria(t): Helmikuu 2017

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s