22.3.2007
Aulis Tenkanen, tekn.toht.; kirjoittaja on mittaus- ja arviointitekniikan asiantuntija
Suppeampaan aineistoon perustuva versio julkaistu Maanmittaustieteiden Seuran aikakauskirjassa Maanmittaus nro 1-2/2002.

 


MIELIPIDEMITTAUKSISTA MAANMITTARIN NÄKÖKULMASTA
OPINION SURVEYS FROM A LAND SURVEYOR´S VIEWPOINT

Kirjoituksen alussa tarkastellaan mielipidemittausten luonnetta verrattuna maanmittausalan lähinnä vastaaviin tehtäviin. Keskeisin osa artikkelista analysoi mielipidemittausten uutisointia Yleisradion ja MTV:n nettisivuilla sekä Helsingin Sanomissa pääasiassa 1.6.2002 lähtien 23.3.2003 saakka. Lähes 60 %:ssa uutistiedotteista otsikot arvioitiin vähintään yksipuolisiksi, kyseenalaisiksi tai lievästi harhaanjohtaviksi. Osaksi tilanne johtuu siitä, että tutkimuksen luotettavuutta ja yleistettävyyttä koskevia tietoja kuten virhemarginaaleja ei ollut otsikkoa laadittaessa hyödynnetty, ei edes silloin, kun ne oli mainittu tiedotteen varsinaisessa tekstissä. Kahden otantamittauksen erotuksen virhemarginaalia ei ollut mainittu yhdessäkään uutisessa. Selvästi harhaanjohtavia otsikoita havaittiin 4 %:ssa tiedotteista. Uutistiedotteet tarjosivat yleensä heikonlaiset eväät mielipidetutkimusten itsenäiseen tulkintaan. Jos mielipidemittaukseen jää todennäköisesti huomionarvoista systemaattista virhettä, mutta sen suuruus ei ole arvioitavissa, suositellaan tulosten raportointia mieluummin haarukkana kuin pistemäisinä arvoina. Milloin uutisessa kuitenkin viitataan virhemarginaaliin, olisi sen merkitys syytä samalla lyhyesti selittää.

Avainsanat: mielipidemittaus, gallup-uutiset, virhemarginaali

Abstract
The article is introduced by describing the nature of opinion surveys compared to similar tasks in geodetic surveys and valuation of real estate. The key part of the acticle is focused to the news culture in the main Finnish media mainly from 1 June 2002 until 23 March 2003. In nearly 60 % of the net newsbulletins or newspaper articles the headlines were considered at least one-sided, questionable or slightly misleading. This results partly from disregarding the information on the reliability of the surveys, e.g. margins of error, even if mentioned in the ordinary bulletin text. When comparing two measurements with random errors, the margin was never mentioned. Clearly misleading headlines were found in 4% of the bulletins. Most bulletins have not properly briefed the citizens for an independant interpretation of the surveys. If some noteworthy bias remains likely in the survey, but cannot be estimated by quantity, it is recommended that the results be reported as interval rather than point estimates. As the concept of error margin is obscure to most of the citizens, it should be briefly explained in the news whenever mentioned.

Keywords: Opinion survey, gallup news, statistical margin of error

Mielipidemittausten luonteesta
Mielipidemittauksista kuulemme uutisia vähän väliä, paljon useammin kuin maanmittauksesta. Mutta ovatko mielipidemittaukset todella mittausta, eivätkö ne ole pikemminkin arviointia?

Mielipidemittaukset ovat otantaan perustuvia kyselytutkimuksia; mielipidemittausten eli "galluppien" kotimaassa opinion survey tai opinion poll. Survey ei sanatarkasti ottaen tarkoita mittausta (measurement) vaan pikemminkin katselmusta tai selvitystä. Mutta maanmittareita kyllä kutsutaan nimellä (land) surveyor, ja ruotsinkieleen on vakiintunut termi opinionsmätning (mielipidemittaus).

Väestön mielipiteiden mittaus on taitolaji, mutta tarkkuutensa puolesta sitä voidaan verrata painon mittaukseen sellaisella tavanomaista huonommalla lattiavaa´alla, jonka keskivirheeksi 100 kg:n painolle on ilmoitettu esim. 1 kg (1 %). Asteikosta voi lukea myös puolikaskilot, vieläpä arvioida sadat grammat, vaikkei ainakaan viimeksi mainittuja voi ottaa vakavasti. Keskimäärin oikean tuloksen saaminen edellyttäisi lisäksi, että asteikko ei ole siirtynyt oikealta paikaltaan, mutta ikävä kyllä aivan oikeaa paikkaa ei tahdo löytyä. Vaa´assa ei saa olla minkäänlaista muistia; siksi jokaisella punnituskerralla saadaan yleensä sattumanvaraisesti hieman eri tulos, vaikka paino pysyisi samana. Vaihtelu pysyy vakiopainolla kuitenkin 95:ssä tapauksessa sadasta 4 kg:n haarukassa eli enintään 2 kg ("2 %:n virhemarginaali") keskiarvosta ylöspäin ja saman verran alaspäin.

Mielipidemittauksessa kohteena ei kuitenkaan ole yleensä henkilön paino, vaan esim. hänen suosionsa poliittisena johtajana tai puolueen kannatus. Sellaisen suureen mittauksessa ei päästä samanlaiseen tarkkuuteen kuin esim. painon tai pituuden mittauksessa. Itse puhuisin kyllä mieluummin arvioinnista, tilastotieteeseen ja usein osaksi myös harkinnanvaraisiin olettamuksiin perustuvasta. Kiinteistöarvioinnissa esiintyy samanlaisia piirteitä.

Jos mielipidemittaus perustetaan satunnaisotokseen tutkittavasta väestöstä eikä systemaattisia tai karkeita virheitä ole, sen tarkkuus voidaan luotettavasti arvioida, koska otantavirheet noudattavat verrattain hyvin Gaussin virhelakia eli normaalijakaumaa. Samaan jakaumaan perustuu myös geodeettisissa mittauksissa muodostuvien satunnaisten virheiden tasoitus suurimman todennäköisyyden menetelmällä.

Geodesiassa virheiden eliminoinnissa ja tasoituksessa ovat avainasemassa geometriset yhtälöt ja ylimääräiset mittaushavainnot. Mielipidemittauksessa vastaavia ehtoyhtälöitä ei yleensä ole ja luokitellun mielipiteen ilmaisseen vastaajien joukon prosenttiosuutta kaikista haastatelluista voidaan pitää vain yhtenä havaintona. Tästä syystä virheiden eliminointi on vaikeampaa. Lisäksi mielipidemittauksissa voi olla validiteettiongelma, joka ilmenee etenkin arkaluontoisissa aiheissa vastausten "kaunisteluna" tms. Sen vaikutusta on vaikea tarkoin suodattaa. Validiteettiongelma tosin ei ole aivan tuntematon kiinteistöarvioinnissakaan, mutta se on yleensä eliminoitavissa normaalien havaintojen avulla.

Usein mielipidemittauksissa kysytään tietyn hyödykkeen kulutusarviota aivan kuin kiinteistömarkkinoilla voidaan selvittää tietynlaisten kiinteistöjen hintapyyntöjä. Aineistosta voidaan määrittää esim. tilastollisia tunnuslukuja kuten frekvenssijakaumia ja keskilukuja. Havaintoja voidaan yrittää selittää tietyillä tekijöillä; selittämättä jäävää osuutta, jäännöspoikkeamia, voidaan myös analysoida. Jäännöspoikkeamat saattavat verrattain hyvin noudattaa normaalijakaumaa tai lognormaalijakaumaa, joille voidaan määrittää tunnusluvut; mahdolliset karkeat virheet voidaan ehkä tässä vaiheessa tunnistaa ja eliminoida.

Tärkeän erityisongelman muodostaa mielipidemittauksissa se tosiasia, että satunnaisotos on usein ellei suorastaan mahdoton niin ainakin kohtuuttoman kallis toteuttaa täydellisenä. Läheskään kaikkia satunnaisotokseen poimittuja ei tavoiteta ja suuri osa saattaa kieltäytyä haastattelusta kokonaan tai arkaluontoiseksi kokemaltaan osin. Jos näin syntynyt vastauskato paikataan ns. imputaation avulla (sijaisvastaajilla tai muilla järkevillä arvauksilla, ks. Allison 2001), vaikkapa samat avainominaisuudet (ikäluokka, sukupuoli, asuinpaikkakunta) täyttävien, mutta helpommin tavoitettavien henkilöiden vastauksilla, korvaavat henkilöt eivät välttämättä ole tutkimuksen kaikissa kysymyksissä samaa mieltä kuin alun perin haastatteluun tarkoitetut. Näistä syistä tuloksiin voi jäädä systemaattista virhettä eli harhaa; virheillä voi olla myös yhteisiä lähteitä. Harhaa voivat aiheuttaa myös johdattelevat kysymykset.

Poliittisissa kannatusmittauksissa voidaan käyttää erilaisia kannatusindikaattoreita. Esimerkiksi yksi tutkija voi pyrkiä selvittämään lähinnä puoluesympatioita ottamatta kantaa siihen, ovatko vastaukset kaunisteltuja ja riittävätkö sympatiat vaalilippuun asti. Tuloksille voidaan laskea virhemarginaaleja normaalein perustein. Näin saadut tulokset voivat olla kiinnostavia puolueen tavoiteasettelun kannalta, mutta soveltua huonosti vaalituloksen ennustamiseen.

Toinen tutkija taas voi pyrkiä ennustamaan äänimääriä hypoteettisissa vaaleissa. Ennustetta laadittaessa on pakko tehdä tulevaisuutta koskevia olettamuksia harkinnan pohjalta. Ennusteiden virhemarginaaleille ei tällöin löydy tavanomaisia tilastotieteellisiä perusteita; jos sellaisia esitetään, ne perustuvat (toivottavasti oikeaan osuvaan) harkintaan. Esim. äänestysajan sää voi vaikuttaa siihen, että puoluekohtaiset arviot äänestysvilkkaudesta ja sen myötä niiden ääniosuuksien arviot menevät pieleen.

Mielipidemittausten uutisoinnista
Ruotsalaiset professorit Olof Petersson ja Sören Holmberg päätyivät vuonna 1998 julkaisemassaan kirjassa väittämään, että mielipidemittauksista on Ruotsissa tullut tehokas, mutta väärinkäytetty voimakeino. "Joukkotiedotusvälineet käyttävät mielipidemittauksia sekä mielipiteiden kartoitukseen että muokkaamiseen".

Kun en löytänyt Suomesta vastaavaa ajankohtaista tietoa, olen analysoinut 1.6.02 lähtien Yleisradion ja MTV:n nettisivuilla sekä Helsingin Sanomissa (myös verkkoliitteessä) julkaissut uutiset kotimaisista mielipidemittauksista. Yksi esimerkki on otettu vertailun vuoksi viime presidentinvaalia koskevasta mittauksesta. Aineisto käsitti kaikkiaan 133 tutkimusta ja 227 uutistiedotetta. Tutkimusten aiheista valtaosa liittyi läheisesti valtakunnan- tai kunnallispolitiikkaan. Vajaa 20 % kyselyistä palveli lähinnä markkinatutkimusta, loput sekalaisia aiheita. Tutkimusten aiheet ja tilaajat ilmenevät liitteestä.

Tutkimuksen tilaajina esiintyivät valtakunnan- tai kunnallispolitiikkaan liittyvissä aiheissa

- Media 77 tutkimuksessa, joista YLE 12:ssä, MTV 14:ssa, Neloskanava 1:ssä, STT 10:ssa sekä Helsingin Sanomat ja samaan yhtymään kuuluva Taloussanomat 18:ssä ja muut lehdet 25 tutkimuksessa (erityisesti Väli-Suomen sanomalehdet ja Iltalehti).
- Ammattiliitto 2 tutkimuksessa (työmarkkinailmasto ym.)
- Euroopan Unioni 2 tutkimuksessa (eurobarometri)
- Kansanedustaja Esko Seppänen (suhtautuminen Naton joukkoihin Suomessa)
- Kunnallisalan kehittämissäätiö (alan ilmapuntari)
- Maanpuolustustiedotuksen suunnittelukunta (Suomen jäsenyys Natossa)
- Ministeriöt 2 tutkimuksessa (euron käyttöönotto ja kehitysapu)
- Nuorisoasiain neuvottelukunta 1 tutkimuksessa (nuorisobarometri)
- Sairaanhoitajaliitto (terveydenhoitokysely)
- Sodexho Oy 1 tutkimuksessa (kouluruokailu ja sen rahoitus)
- Stadion-Säätiö 1 tutkimuksessa (Helsingin olympiastadionin kattaminen)
- Suomen Akatemia 1 tutkimuksessa (kouluvastaisuuden alueelliset erot Helsingissä)
- Suomen ammattiin opiskelevien keskusliitto (SAKKI) 1 tutkimuksessa (jäsenten haastattelu)
- Suomen Kuntaliitto (kuntalaisten vaikuttaminen) 1 tutkimuksessa
- STAKES ja Kuntaliitto (terveyskeskusten asiakastyytyväisyys)
- STTK (tulevan hallituksen tehtävät)
- Väestöliitto 1 tutkimuksessa (perheiden lapsilukutavoite ym.)

Tutkijana on ollut melkein kaikissa aiheissa kotimainen markkinatutkimusyritys; tutkimusten mahdollisesta julkistamisesta päättää tilaaja. Motiiveja kyselyn tilaamiseen voidaan arvailla tilaajan nimestä. Jos tarkoituksena on poliittisissa aiheissa ollut vaikuttaa aiheen käsittelyyn päättävissä elimissä, niin menestystä on syytä epäillä, koska mielipidemittauksissa vastaukset kiperiinkin kysymyksiin on annettava suoralta kädeltä, ilman minkäänlaista valmistelua. Sen sijaan presidentinvaaliin mielipidetutkimuksetkin näyttävät kyllä vaikuttaneen (Suhonen 2000a).

Uutistiedotteiden ominaisuuksien analyysin keskeiset tulokset ilmenevät seuraavasta taulukosta:

Uutistiedotteen ominaisuuksia

YLE
kpl/kpl

MTV
kpl/kpl

HeSa
kpl/kpl

Kaikkiaan
%

Tutkimuksen tilaaja mainittu tai ilmeinen asiayhteydestä

69/76

73/80

62/71

90

Tutkimuksen suorittaja mainittu

71/76

74/80

66/71

93

Haastatteluajankohta mainittu tai ilmeinen asiayhteydestä

54/76

55/80

52/71

71

Perusjoukko kuvattu tai ilmeinen asiayhteydestä

39/76

47/80

36/71

54

Haastateltujen tai vastausten lukumäärä ilmoitettu

58/76

58/80

55/71

75

Vastauskato ilmoitettu

7/76

5/80

13/71

11

Haastateltujen valintatapa ilmoitettu

1/76

4/80

2/71

3

Tiedonhankintatekniikka mainittu tai ilmeinen haastattelujaksosta

38/76

38/80

39/71

51

Virhemarginaalit mainittu

36/76

35/80

38/71

48

Otsikoiden asiallisuus

61/76

57/80

58/71

78

Uutisotsikon asiallisuutta olen arvioinut seuraavalla asteikolla mm. sen suhteen, miten tutkijan ilmoittama virhemarginaali on otettu siinä huomioon:

- 1. laatuluokka; hyväksyttävä, paino 0,71-1,0
- 2. laatuluokka; kyseenalainen tai lievästi harhaanjohtava, paino 0,36-0,70
- 3. laatuluokka; selvästi harhaanjohtava, paino 0-0,35

Huomiota olen kiinnittänyt myös siihen, ovatko esitetyt avaintiedot niin vaillinaisia, että on syytä epäillä vastauksista saatujen tulosten yleistettävyyttä; samoin siihen, miten osuvasti otsikko kuvaa tavallisimpia mielipiteitä. Otsikoiden sijoittuminen eri luokkiin ilmenee liitteestä. Koska satunnaisotoksen virhemarginaalit eivät sovellu vaaliennusteiden virhemarginaaleiksi muuta kuin sattumalta, sellaisten virhemarginaalien esittäminen on katsottu yleisöä selvästi harhaanjohtavaksi.

Gallup-uutisten otsikoiden asiallisuusindikaattorien keskiarvo on ollut heikoin MTV:ssä (asiallisuusindikaattori 57/80 = 71 %).

Esimerkki 1

YLE-STT uutisoi 14.7.02:

Rikosvastuullisuuden ikärajan poistaminen ei saa tukea
Selvä enemmistö suomalaisista vastustaa 15 vuoden ikärajan poistamista. Satakunnan Kansan ja Etelä-Suomen Sanomien teettämän kyselyn mukaan 58 % vastusti ja 38 % kannatti rikosvastuullisuuden alaikärajan poistamista. Ajatus alle 15-vuotiaiden tuomioista vankeuteen sai tukea 43 prosentilta ja sitä vastusti 51 prosenttia. Kyselyyn vastasi 499 ihmistä.

Tiedote ei kerro, millaista väkeä haastatellut olivat ja miten heidät oli valittu. Ei myöskään sitä, mitkä ovat tulosten virhemarginaalit, joiden perusteella lukija voisi päätellä, millaiseen haarukkaan kannatuslukemat asettuisivat, jos tuloksia halutaan yleistää sellaiseen perusjoukkoon, jota haastatellut edustivat. Valistuneella lukijalla on aihetta epäillä, että vastaukset eivät ole normaalilla tavalla yleistettävissä. Ilman lisätietoa koko uutinen vaikuttaa epäilyttävältä, siksi otsikolle laatuluokka II.

Helsingin Sanomat väitti puolestaan 7.9.02:

Yli puolet kansalaisista laittaisi alle 15-vuotiaat rikosvastuuseen
Yli puolet kansasta alentaisi rikosvastuun nykyisestä 15 vuodesta. Kuusi prosenttia poistaisi rajan kokonaan, ja 48 prosenttia laskisi sitä kahdella kolmella vuodella. Kyselyn mukaan 43 prosentin mielestä nykyinen ikäraja on sopiva.
Haastatteluja tehtiin kaikkiaan 1 000. Tutkimus toteutettiin puhelinhaastatteluina. Tutkimuksen tulos edustaa maan äänestysikäistä väestöä pois lukien Ahvenanmaa. Virhemarginaali on kolme prosenttia.

Kun virhemarginaalikin on ilmoitettu, tämä toisen markkinatutkimusyrityksen tutkimus näyttää perustuvan satunnaisotokseen, ja leipäteksti vaikuttaa alkuun uskottavalta. Rikosvastuun ikärajan poistaminen ei todellakaan saa mainittavaa tukea, vaikka edellisessä tutkimuksessa sitä kannatti sentään 38 % vastanneista.. Mutta otsikko ei käsittele aihetta.

Vastauksista päätellen 6 + 48= 54 % haastatelluista olisi valmis alentamaan ikärajaa 2-3 vuodella: Tulosta yleistettäessä on kuitenkin muistettava virhemarginaali, jolloin ikärajaa alentaisi 51...57 % äänestysikäisestä väestöstä, alimmillaan siis vain äärimmäisen niukka enemmistö. Uutisotsikko ei tätä taustaa vasten enää vaikutakaan aivan uskottavalta. Jos vielä pannaan arvoa edelliselle tutkimukselle, jonka mukaan ikärajan alentamista seuraamuksineen näytti tukeneen vain 43 % vastaajista, ja otetaan se huomioon painolla 0,36, saadaan ikärajan alentamista tukeneille painollisena keskiarvona 51 %:n osuus. Molemmat tutkimukset huomioon ottaen siis mielipiteet rikosvastuun ikärajan alentamisesta saattavatkin jakaa äänestysikäisen väestön kahteen lähes yhtä suureen osaan. Uutisotsikkoa voidaankin tällöin pitää kyseenalaisena, mistä laatuluokka II.

YLE uutisoi tutkimuksen samaan sävyyn, mutta lyhyemmin; otsikolle laatuluokka II. MTV jätti virhemarginaalin mainitsematta, mutta otsikoi neutraalisti: Rikosvastuuikä jakaa mielipiteet. Otsikolle laatuluokka I.

Lakialoite ei lopulta saanut eduskunnassa riittävää kannatusta.

Esimerkki 2

MTV-STT väitti tiedotteessaan 4.9.02:

Kysely: SDP niukasti suurin
Sosiaalidemokraatit ovat säilyttäneet niukasti asemansa suurimpana puolueena YLE:n teettämässä mielipidemittauksessa. SDP:tä kannatti elokuussa 23,7 prosenttia kyselyyn osallistuneista, kun keskustaa kannatti 22,9 prosenttia vastaajista. Mielipidemittaukseen osallistui noin 1900 suomalaista. Helsingin Sanomien toisella markkinatutkimusyrityksellä teettämä mittaus antoi keskustan kannatukseksi 24 prosenttia ja SDP:n kannatukseksi 23,9. Mittauksen virhemarginaali oli kaksi prosenttiyksikköä.

Jos mittausten virhemarginaali oli todella 2 prosenttiyksikköä kumpaan suuntaan tahansa, SDP:n kannatus olisi siis koko äänestysikäisessä väestössä voinut olla YLE:n teettämässä tutkimuksessa 21,7...25,7 prosenttia ja keskustan 20,9...24,9 prosenttia. Keskustan kannatus olisi siis ylimmillään voinut olla 24,9 prosenttia, SDP:n kannatus alimmillaan 21,7 prosenttia. Kahden otantamittauksen erotuksen satunnaisvirheiden keskihajonta olisi toisistaan riippumattomien havaintojen tapauksessa 1,4 %-yksikköä, jos mittausvirheet ovat toisistaan riippumattomia. Ollakseen 5 %:n riskillä tilastollisesti merkitsevä erotuksen tulisi kuitenkin olla vähintään kaksinkertainen. Siksi otsikko on virhemarginaalin valossa vähintään kyseenalainen. Helsingin Sanomien teettämässä tutkimuksessa saadut kannatuslukemat ovat mainituissa haarukoissa, joten ero johtunee pääasiassa siitä, millaisia henkilöitä sattui tulemaan haastateltaviksi.

Sosiaalidemokraattien ja keskustan kannatuslukemat ovat jo pitkään olleet lähellä toisiaan. Viime kunnallisvaalien jälkeen suoritetuissa 13:ssä Helsingin Sanomien tilaamassa mittauksessa keskustan kannatus on ollut suurempi yhdeksän kertaa ja SDP:n kannatus kolme kertaa, yhden kerran mittaustulokset menivät tasan. Keskustan kannatus näyttäisi saman markkinatutkimuslaitosten suorittamien kyselyjen perusteella olleen äänestysikäisten keskuudessa hieman korkeammalla tasolla alle 1 %:n erehtymisriskillä (Siegel s. 75-83). Testi ei kuitenkaan paljasta sitä systemaattista virhettä, joka voi muodostua muunnettaessa kyselystä saatuja vastauksia todennäköisiksi ääniksi oletetuissa vaaleissa.

Puolueen suuruuden kriteereihin kuuluvia tekijöitä ovat muutkin seikat kuin kannatus mielipidemittauksissa, esim. edustajien määrä valtion- ja kunnallishallinnon päättävissä elimissä ja jäsenmäärä, joten otsikko on siltäkin kannalta vähintään kyseenalainen.

Eduskuntavaaleissa keskusta sai 24,7 % ja sdp 24,5 % äänistä. Kansanedustajia edellinen sai 55, jälkimmäinen 53.

Esimerkki 3

Helsingin Sanomat otsikoi 27.9.02:

Lipponen ja Jäätteenmäki pääministerisuosikkeja
Väli-Suomen sanomalehtien teettämässä mielipidemittauksessa 38 prosenttia vastaajista toivoi Lipposen jatkavan pääministerinä kolmannelle kaudelle, 35 prosentin mielestä taas oppositiojohtaja Jäätteenmäestä tulisi paras pääministeri. Mielipidekyselyyn vastasi tuhat yli 15-vuotiasta suomalaista. Suosikkeja tiedusteltiin kansalaisilta 16.-20. syyskuuta. Tulosten luottamusväli on kolme prosenttiyksikköä.

Pääministeriä ei tunnetusti valita suoraan kansanjoukkojen sympatioiden perusteella, mutta eduskuntavaaleissa eniten kansanedustajia saaneen puolueen nimeämää ehdokasta voidaan pitää vakavana suosikkina pääministeriksi. Kyselytutkimuksessa voidaan nähdä yritys vaikuttaa eduskuntavaaleihin kiinnittämällä huomio pikemminkin todennäköisten pääministeriehdokkaiden persoonaan kuin tulevaan hallituspolitiikkaan.

Tulosten luottamusvälistä eli virhemarginaalista seuraa, että vastaajista määritettyä suosiota yleistettäessä tuloshaarukaksi saadaan Lipposen osalta 35...41 % ja Jäätteenmäen osalta 32...38 %. Mittaus on siis sen verran epätarkka, että jälkimmäisen suosio voi olla ylimmillään jopa 38 %, edellisen vastaavasti alimmillaan vain 35 %. Tämän tarkempaa tietoa kilpailuasemasta ei haastatteluajalta ole. Helsingin Sanomat on tällä kertaa otsikoinut uutisen neutraalisti, laatuluokka I. Sen sijaan saman päivän pääkirjoituksessa annettiin ymmärtää, että haastateltujen (1000 henkilöä) mielipidejakauma olisi ainakin likimain sama myös kaikkien äänestysikäisten joukossa (3,9 miljoonaa). Ottaen huomioon satunnaisotoksen toteuttamiseen liittyvät vaikeudet se tuskin on todennäköistä.
Heinäkuussa tehdyissä kahdessa kyselyssä Lipponen ja Jäätteenmäki saivat ensimmäisessä yhtä suuren kannatuksen pääministeriehdokkaaksi, toisessa Lipposella oli selvästi suurempi kannatus.

MTV:n uutistiedotteen otsikkona oli edellisenä päivänä Lipponen yhä pääministerisuosikki ja YLE:n Lipponen suosituin pääministeriehdokas.. Virhemarginaalit huomioon ottaen otsikot arvioitiin laatuluokkaan II.

Marraskuussa tehdyssä vastaavassa kyselyssä Lipposen ja Jäätteenmäen kannatuslukemat olivat 39 ja 33 % virhemarginaalin ollessa ± 3 %-yksikköä, joten tulokset mahtuvat syyskuun tuloshaarukkaan. Se ei siis merkitse välttämättä minkäänlaista kannatuksen muutosta, mutta osoittaa, että Lipposen suosio äänestysikäisten keskuudessa saattoi todellisuudessakin olla hiukan suurempi kuin Jäätteenmäen. Mediaotsikkoihin virhemarginaalit eivät kuitenkaan vaikuttaneet millään tavoin. MTV otsikoi: Kysely:Lipposen etumatka pääministerikilvassa kasvaa. Mittauksen yhteydessä kansalaisten arviota kannatuksen kehityksestä ei tosiasiassa kuitenkaan edes kysytty, joten otsikkoa voidaan pitää selvästi harhaajohtavana.

Helsingin Sanomat oli edellisenä päivänä julkistanut saman markkinatutkimusyrityksen Uutispäivä Demarille tehdyn kyselyn tulokset, kannatuslukemien erot olivat selvät: Lipposen arvioi sopivan hyvin pääministeriksi 28 %, Jäätteenmäen 19 % vastaajista. Virhemarginaaleja ei kuitenkaan mainittu. Tulokset poikkeavat siinä määrin edellisessä kappaleessa mainituista, että erot eivät selity otantasattumalla. Riippuikohan kysymyksenasettelu tutkimuksen tilaajasta?

Tammikuussa 2003 toimitetussa kyselyssä Lipposen ja Jäätteenmäen kannatuslukemat olivat 42 ja 34 % virhemarginaalin ollessa ± 3 prosenttiyksikköä. Lukemat eivät riitä tilastotieteelliseksi näytöksi Lipposen kannatuksen kasvusta edellisestä mittauksesta, mutta tällä kertaa lukemien ero on tilastollisesti merkitsevä eikä selity pelkästään otantasattumalla. Täysin vaille julkista huomiota on jäänyt se, että haastateltavien joukossa on ollut myös alle 18-vuotiaita, joilla ei ole eduskuntavaaleissa äänioikeutta.

Helmikuun kyselyiden tulokset eivät eronneet tammikuun tuloksista tilastollisesti merkitsevällä tavalla.

Maaliskuun eduskuntavaaleissa Jäätteenmäen johtama keskusta sai 55 kansanedustajaa, Lipposen johtama sdp 53. Eduskunta valitsi pääministeriksi Jäätteenmäen hallitukseen, jonka muodostivat keskusta, sdp ja rkp. Samalla Jäätteenmäestä tuli Suomen ensimmäinen naispuolinen pääministeri.

Esimerkki 4

Helsingin Sanomien verkkotiedote 23.11.02:

Suomalaiset tiukasti Natoon liittymistä vastaan

Yli 60 prosenttia suomalaisista vastustaa Suomen liittymistä sotilasliitto Natoon. Vain 18 prosenttia on liittoutumisen kannalla. Ilman kantaa on vajaa viidennes suomalaisista. Natoon liittymisen kannatus on hienoisesti laskenut edellisestä tutkimuksesta. Kesäkuun kyselyssä 20 prosenttia suomalaista kannatti Nato-jäsenyttä. Myös vastustajien osuus on pienentynyt kesäkuusta. Kesällä vastustajien osuus oli 66 prosenttia, nyt 62.

70 prosenttia vastaajista uskoo, että Nato-jäsenyys on kuitenkin poliittisten päättäjien suunnitelmissa ja että Suomi päättää lähivuosina hakea sotilasliiton jäsenyyttä.

Suuri enemmistö eli neljä viidestä suomalaisesta tahtoo, että Nato-jäsenyydestä järjestetään kansanäänestys, jos liittyminen tulee vakavaan harkintaan.

Mielipidettä kysyttiin viime viikolla tuhannelta henkilöltä. Tulosten virhemarginaali on kolme prosenttiyksikköä suuntaan tai toiseen.

Tiedotteesta ei ilmene, miten vastaajat oli valittu, mutta kun mittauksen suorittajana oli tunnettu alan yritys ja tiedotteen julkaisijana pääkaupunkiseudulla laadukkaana pidetty sanomalehti, voitaneen olettaa, että otos edusti tässä tapauksessa likimäärin äänestysikäisiä kansalaisia eri puolilla maata. Tällä varauksella otsikkoa voidaan pitää hyväksyttävänä. Sen sijaan leipätekstissä on toivomisen varaa, kun siinä on väitetty, että Natoon liittymiseen kannatus olisi kansalaisten keskuudessa hienoisesti laskenut edellisestä tutkimuksesta. Katsotaanpa aihetta lähemmin.

Kesäkuun kyselyssä Natoon liittymistä kannatti 20 prosenttia vastanneista ja virhemarginaali huomioon ottaen kyselyn koko perusjoukosta 17...23 %., oikeata arvoa ei sen sijaan kukaan tiedä. Marraskuun kyselyssä kannattajia oli 18 prosenttia vastanneista ja virhemarginaali huomioon ottaen kyselyn koko perusjoukosta 15...21 %. Oikea arvo koko perusjoukossa saattoi siis hyvinkin olla molempina ajankohtina vaikkapa 20 %.. Vastanneista laskettujen kannatuslukemien ero on niin pieni, ettei sillä ole tilastollista merkitsevyyttä. Voidaan hyvin väittää, että haastateltujen valintatapa suosi kesäkuussa hieman enemmän Natoon liittymisen kannattajia. Uutistiedotteissa esiintyy toistuvasti se valitettava virhe, että vastanneista saadut mielipidejakautumat yleistetään sellaisenaan, virhemarginaaleja huomioon ottamatta.

Vertailun vuoksi mainittakoon, että esim. Savon Sanomat julkaisi kyselyn tulokset monipuolisemmin mainiten mm., että haastatellut edustivat Suomen yli 15-vuotiasta väestöä Ahvenanmaa poislukien. Lisäksi se julkaisi myös kysymykset:

- Läntiseen puolustusliittoon Natoon kuuluu tällä hetkellä 19 maata, joista 11 on Euroopan unionin jäsenmaita. Nato on lähitulevaisuudessa laajenemassa maihin, joista useimmat ovat EU:n jäsenmaita. Mitä mieltä olette, pitäisikö Suomen liittyä Naton jäseneksi vai ei?
- Entä jos Nato-jäsenyyttä Suomessa harkitaan vakavasti, niin pitäisikö jäsenyydestä järjestää kansanäänestys vai ei?
- Uskotteko, että poliittiset päättäjät tekevät lähivuosina päätöksen, että Suomi hakee Nato-jäsenyyttä?

MTV ja Helsingin Sanomat (verkkolehti) julkaisivat 18.12.02 uutisen Maanpuolustustiedotuksen suunnittelukunnan loka-marraskuussa tekemästä kyselytutkimuksesta, jossa haastateltiin noin 1 000 henkilöä. Tiedotteen mukaan jäsenyyttä kannatti vain 24 %.

Helsingin Sanomat julkaisi 15.1.03 aiheesta 7-10.1.03 toimittamansa puhelinkyselyn tulokset väittäen alaotsikossaan, että kokoomuksen kannattajista enemmistö tukee nyt jäsenyyttä. Kun kannatuslukema oli vain 51 % ja virhemarginaalia ± 3 prosenttiyksikköä, todellinen kannatuslukema perusjoukossa voi kuitenkin jäädä alle 50 %:n. Pääotsikko oli kuitenkin asiallinen.

25. helmikuuta 2003 julkistetussa uudessa kyselyssä Nato-jäsenyys sai vain 15 prosentin suuruisen kannatuksen.

Esimerkki 5

YLE-STT raportoi 25.1.03:

Työttömyyden alentaminen tulevan hallituksen ykköstehtävä

Työttömyyden alentaminen on suomalaisten mielestä seuraavan hallituksen tärkein tehtävä. Kyselyssä 92 prosenttia pitää työttömyyden nujertamista tulevan hallituksen ykköstehtävänä.

Enemmistö vastanneista on sitä mieltä, että ulkomaista työvoimaa tarvitaan lisää viimeistään suurten ikäluokkien jäädessä eläkkeelle. Valtaosan mielestä töitä tulisi kuitekin ensisijaisesti tarjoja suomalaisille.

Tärkeänä kyselyssä pidettiin myös julkisia palveluja, sosiaalista turvallisuutta ja rikollisuuden torjuntaa.

Tuloerojen tasoittamista piti tärkeimpänä tehtävänä 66 prosenttia ja verotuksen alentamista 59 prosenttia kyselyyn vastanneista.

Vain 14 prosenttia piti tulevan hallituksen tärkeimpänä tehtävänä Suomen viemistä Natoon.

Markkinatutkimuslaitos haastatteli kyselyä varten tuhatta suomalaista.

Eduskuntavaalien edellä kaikki puolueet ovat ilmoittaneet työttömyyden reippaan alentamisen olevan niiden tavoitteena. Siihen olisi kuitenkin tarvittu sellaisia keinoja, joista hallitukset eivät ole päässeet yksimielisyyteen, puhumattakaan yhteisymmärryksestä ammattiyhdistysten kanssa. Korkeasuhdanteen myötä valtiovallalla on hallituksesta toiseen ollut varaa sietää suurtyöttömyyttä. Suhdanteiden käännyttyä tilanne on kuitenkin vaikeutumassa.

Uutisotsikko on pantu lainausmerkkeihin, virkkeen on katsottu edustavan kaikkia suomalaisia. Tosin tiedotteesta ei ilmene, millaisia suomalaisia ne tuhat suomalaista olivat, joita oli haastateltu. Mutta kun 92 prosenttia vastanneista oli tätä mieltä, niin tuskin haastateltujen otos oli niin pahasti vääristynyt, etteikö otsikkoa voitaisi pitää oikeutettuna. Todellisena uutisena sitä ei kuitenkaan voida pitää. Miksi sitten kysely on tilattu ja julkistettu? Sitä voi itsekukin arvailla, kun tilaajana on ammattiyhdistys, joka on ollut osavastuussa työmarkkinoiden toimivuudesta, mutta ei työttömyyden aiheuttamiin kustannuksiin osallistuvana.

MTV ja Helsingin Sanomat otsikoivat uutisstiedotteensa samaan tapaan. Tiedotteet olivat kuitenkin laajempia ja yksityiskohtaisempia. Vastausten virhemarginaalitkin mainittiin, mutta niitä ei hyödynnetty johtopäätöksissä.

Esimerkki 6

Helsingin Sanomat otsikoi 31.1.03:

Kansa ei halua Suomen tukevan sotaa Irakissa
Vain viiden prosentin mielestä Suomen pitäisi tukea sotatoimia

Kyselyn on toteuttanut markkinatutkimusyritys osana laajempaa kansainvälistä kyselyä. Kun tilaajaa ei mainita, herää kysymys, liittyykö siihen jotain arkaluontoista? Toisaalta avainkysymykset oli julkaistu, mikä on ollut poikkeuksellista etenkin YLE:n ja MTV:n uutisissa. Haastateltujen joukko edusti uutisen mukaan 15-79-vuotisia suomalaisia. Kun samassa yhteydessä mainittiin, että tutkimusyrityksellä on päätteitä tai selaimia 1300 kotitaloudessa, herää myös kysymys, oliko vastaajien joukko todella sattumanvarainen otos. Ellei ollut, uutisessa ilmoitettu virhemarginaali, ± 3,5 prosenttiyksikköä, antaa liioitellun kuvan tulosten luotettavuudesta. Tuskin kuitenkaan niin virheellisen, että lehden pääotsikkoa olisi tarkistettava.

YLE:n ja erityisesti MTV:n uutisointi aiheesta oli niukempaa. Mm. virhemarginaalit oli jätetty pois. Pääotsikot olivat kuitenkin samoilla linjoilla Helsingin Sanomien kanssa.

Eduskuntavaalien kynnyksellä tiedotusvälineet kertoivat, että Suomen lähetystön edustaja oli noudattanut kutsua Yhdysvaltain 28.2.2003 järjestämään briefing- eli tiedotus- ja ohjeistustilaisuuteen sellaisten valtioiden edustajille, jotka olivat olivat antaneet Yhdysvalloille lupauksia avusta ja yhteistyöstä mahdollisessa Irakin sodassa tai sen jälkeen,, muttei esim. Ruotsia, Saksaa ja Ranskaa. Tämän jälkeen valtioneuvoston ulko- ja turvallisuuspoliittinen valiokunta, jonka puheenjohtana toimii tasavallan presidentti, täsmensi 7.3.2003 suhtautumistaan Yhdysvaltain aikomuksiin toimia Irakin kysymyksessä ilman YK:n suostumusta; viesti näyttää ymmärretyn myös Yhdysvalloissa. MTV:n 12.3.03 julkaiseman kyselyn mukaan, jonka tilaajaa sen enempää kuin tutkijaakaan ei tosin mainittu, 22 % haastatelluista noin 500 henkilöstä piti Suomen yhteistyötä humanitaarisen avun antamisessa Yhdysvaltain kanssa liian läheisenä, mutta noin puolet sopivana.

Esimerkki 7

Helsingin Sanomat uutisoi nettisivuillaan 8.3.03:

STT:n kysely: Itälä paraskäytöksinen

Kokoomuksen Ville Itälä saa kolmesta pääministeriehdokkaasta parhaan arvosanan käytöksestä vaaliaistelun aikana. Sdp:n Paavo Lipponen hallitsee puolestaan asiat parhaiten. Itälä saa kansalaisilta kouluarvosanan 7,8. Toiseksi parhaan arvosanan saa keskustan Anne Jäätteenmäki (7,5). Peränpitäjäksi jää Lipponen, joka saa käytöksestä kansalaisilta arvosanan 7,3.

Asioiden hallinnassa Lipponen päihittää sekä Jäätteenmäen että Itälän, tosin niukasti. Lipponen saa arvosanakseen asioiden hallinnasta 7,3 kun Jäätteenmäen ja Itälän vastaava arvosana oli 7,1.

Vaalitaistelun aikaisesta käytöksestä 21 prosenttia kansalaisista antaa Itälälle kiitettävän arvosanan. Jäätteenmäki yltää Itälän tasolle 20 prosentillaan, mutta Lipposen kiitettävät arvosanat jäävät 12 prosenttiin.

Nettisivuilta ilmeni myös, että arviointiasteikko oli perinteisten kouluarvosanojen tapaan neljästä kymmeneen. Haastattelujen kokonaismääräksi mainittiin 1000 ja niiden kerrottiin edustaneen maan 15 vuotta täyttänyttä väestöä Ahvenanmaa pois lukien. Tulosten virhemarginaaliksi ilmoitettiin ± 3,0 prosenttiyksikköä. Tämä koskee kuitenkin vain otoksessa väistämätöntä satunnaisvirhettä, ei arvosanojen keskiarvoja; niitä koskevia virherajoja ei tiedotteessa mainittu. Kun käytöksestä arvosanan 10 antoi Itälälle 21 % haastatteluista, virhemarginaali huomioon ottaen koko 15 vuotta täyttäneessä väestössä sellaisia olisi siis 18...24 %, ellei muita virhelähteitä ole. Jäätteenmäen kohdalla vastaava haarukka olisi 17...23 %, mutta Lipposen kohdalla 9...12 % . Lipposta koskeva haarukka on niin kaukana muita koskevasta haarukasta, ettei se selity pelkästään otosvirheellä. Se olikin ainoa tilastollisesti merkitsevä uutinen koko tiedotteessa, joten otsikko olisi pitänyt tehdä siitä.

YLE ja MTV kertoivat aiheesta samantapaisella otsikolla, mutta leipäteksti oli suppeampi ja etenkin MTV:n tiedotteessa uutisointi selvästi harhaanjohtavaa.

Uutistiedotteiden painotetut/painottamat kappalemäärät ilmenevät medioittain ao. riviltä ja sarakkeelta. Alimman rivin luvut ovat mekaanisia summaindikaattoreita, jotka eivät merkitse kannanottoa siihen, missä määrin eri osatekijöiden julkaisemiseen uutistiedotteessa olisi perusteltua tarvetta. On ilmeistä, että tarpeessa on tutkimuskohtaisia eroja.

Kyselytutkimuksen suorittaja on mainittu lähes kaikissa uutistiedotteissa ja tilaajakin tavallisesti. Haastattelujen ajankohta on mainittu noin 70 %:ssa tiedotteista, erityisesti puoluekannatuskyselyissä. Haastateltujen tai vastausten lukumäärä on mainittu noin 75 %:ssa, tutkijan ilmoittamat virhemarginaalit noin puolessa tiedotteista. Tiedonhankintamenetelmä on mainittu melko harvoin, mutta useimmissa tapauksissa lyhyt haastattelujen suoritusjakso kielii puhelintekniikasta.

Uutisotsikoiden asiallisuustaso on ollut keskimäärin hyväksyttävissä, silti lähes 60 %:ssa tiedotteista otsikko on ollut vähintään yksipuolinen, kyseenalainen tai lievästi harhaanjohtava. Etenkin puoluekannatusmittauksissa sellaiset otsikot näyttävät johtuvan siitä, että jättämällä huomioon ottamatta virhemarginaalien vaikutus saadaan uutiseen iskevyyttä, tosin totuuden kustannuksella. Otsikko ei silloin annakaan luotettavaa tietoiskua uutisen pääsisällöstä; se on mainoslause, jolla houkutellaan yleisöä lukemaan, kuuntelemaan tai katsomaan uutista (ks. Suhonen 2000b). Uutisotsikon ollessa ristiriidassa virhemarginaalien kanssa toimittaja saattaa mieluummin "unohtaa" virhemarginaalit kuin muokata otsikon niitä vastaaviksi, jos sen seurauksena olisi tiedotteen jääminen uutiskynnyksen alapuolelle.

Neljässä prosentissa tiedotteista otsikko oli selvästi harhaanjohtava. Sellaiseksi katsottiin esim. uutistoimittajan itsensä muodostama ennuste, kun sellaista ei edes kysytty haastatelluilta.

Leipätekstit ovat olleet yleensä otsikoita objektiivisempia, mutta kuinkahan moni lukija mahtaa tutkia niitä? Sanomalehtien lukemista koskevien tutkimusten mukaan otsikko ja sen sanoma huomataan, vaikka uutinen jätettäisiinkin lukematta (Miettinen 1980, s. 257-260). Haastateltujen perus- eli kohdejoukko on kerrottu tai asiayhteydestä ilmeinen noin puolessa tiedotteista. Vastauskato on ilmoitettu hyvin harvoin, samoin kysymysten muotoilu ja niiden mahdollinen johdattelu. Haastateltujen valintatapa vaikuttaa tutkimusten arimmalta kohdalta, siitä riippuu ratkaisevasti vastausten yleistettävyys. Valintatavasta löysin vain seuraavat maininnat:

Vain poikkeustapauksessa on kerrottu kysymysten asettelusta ja tiedonhankintatekniikasta.

Kaiken kaikkiaan tarkastellut mediat tarjosivat yleensä heikonlaiset eväät mielipidetutkimusten tulosten itsenäiseen tulkintaan, jota valistunut yleisö varmaan arvostaisi. MTV:n vaalipiireittäin suoritetun puoluekannatustutkimuksen uutisoinnin yhteydessä syys-lokakuussa 2002 ilmoitettiin, mistä sanomalehdistä mielipidemittauksesta oli saatavissa yksityiskohtaisempia tietoja ja median nettisivulle ilmestyi osatutkimuksista tutkijan laatima yhdistelmä, joka sisälsi tavanomaista yksityiskohtaisemman kuvauksen tutkimuksen suoritustavasta. Mutta vastauskadosta ja sen käsittelytavasta sekään ei kertonut mitään.

Otsikoista löydetyillä yksipuolisilla, kyseenalaisilla tai virheellisillä tulkinnoilla tuskin oli sanottavaa merkitystä. Mutta jos samantapaiset tulkintaperiaatteet pääsevät juurtumaan mediaan, niillä kyllä voi olla merkitystä tärkeiden vaalien kynnyksellä osan ns. liikkuvista äänestäjistä siirtyessä uskottavan voittajaehdokkaan "kelkkaan" (ns. bandwagon-ilmiö, ks. Borg 1994).

Vuoden 2006 presidentinvaaleissa julkaistiin vain pari päivää ennen lopullista äänestystä YLE:n tilaama mielipidetutkimus, jota uutisoitaessa syntyi varmaan monissa sellainen käsitys, että laskusuunnassa ollut istuvan presidentin kannatus olisi kääntynyt vahvaan nousuun.  YLE:n tilaama tutkimus ei tosiasiassa ollut vertailukelpoinen pari päivää aikaisemmin julkaistun, mutta itse asiassa tuoreemman, Helsingin Sanomien tilaaman tutkimuksen kanssa. Syynä oli myös se, että YLE:n tilaamassa tutkimuksessa oli  tutkimusjohtajalta saamani tiedon mukaan jätetty huomioon ottamatta vastaajien äänestysaktiivisuus, vaikka sitäkin koskeva kysymys oli  haastattelussa esitetty. Muodostuikohan YLE:n  toimittama ja STT::n edelleen  välittämä uutistiedote, jossa vaiettiin tutkimusten systemaattisista eroavaisuuksista, ratkaisevaksi tasaväkisessä kamppailussa? Epäilen näin käyneen eikä pelkästään sattumalta.

Mielipidemittausten uutisoinnin kehittämiskeinoja
Kun edellä on havaittu uutisointikulttuurissa huomionarvoisia epäkohtia, mutta politiikkaankin liittyvät kyselytutkimukset ovat yleensä salaisia, on syytä harkita keinoja tilanteen parantamiseksi.

Tarvitaanko siis yleisen edun nimissä joitakin peräti sitovia säännöksiä, esim. poliittisten mielipidekyselyjen julkisuudesta?

Mielipidemittausten tekemistä tai raportointia on jotenkin rajoitettu lainsäädännöllä noin 30 maassa (Esomar 1997). Rajoitukset ovat tavallisimmin koskeneet mielipidemittausten julkaisemista liian lähellä vaalipäivää, mutta kokemukset eivät vaikuta rohkaisevilta. Ainakin Ranskassa ja Espanjassa on myös velvoitettu poliittisia mielipidemittauksia suorittavat laitokset toimittamaan erityisviranomaiselle yksityiskohtaisia tietoja mm. haastateltujen valintamenetelmästä, kysymyksenasettelusta ja vastauskadosta.

Kun ylivoimaisesti yleisin haastateltavien valintamenetelmä on markkinatutkimusyrityksissä tiettävästi kiintiöpoiminta, sen suoritustavan vaihtelu vaikeuttaa tutkimusten yleistettävyyden arviointia. Menetelmää ei ole kuitenkaan syytä kokonaan teilata; tietyin edellytyksin sen käyttöön ei ole huomauttamista (ks. Deville 1991, Doherty 1994). Meillä johtavat markkinatutkimusyritykset ovat kertoneet toteuttaneensa otokset poliittisissa kannatusmittauksissa ”monivaiheisena ositettuna otantana”. Sellainen otantatekniikka on tietyin edellytyksin tulkittu ositetun satunnaisotannan (stratified random sampling) likimääräiseksi versioksi (Alho - Pahkinen - Salo 2000). Tilastotieteen termein kyseessä lienee ns. ositettu moniasteinen otanta; ensin on suoritettu ositus ja sitten edetty ositteiden sisällä hierarkkisesti alaspäin (Laaksonen 2006). Asukkaita on yritetty tavoittaa haastateltaviksi sattumanvaraisesti, kuitenkin kohderyhmää vastaavien sukupuoli- ja ikäkiintiöiden puitteissa.

Kiireellisissä mielipidemittauksissa ei teoreettisesti moitteettomiakaan otantamenetelmiä käytettäessä voida välttyä sijaisvastaajien runsaalta käytöltä. Näin syntyneitä yleensä enemmän tai vähemmän harhaisia mielipidejakaumia on yritetty täsmätä perusjoukon avainominaisuuksiin erilaisin painokertoimin (ks. Vuoristo 2006).  Menettelyä voidaan perustella sillä, että kansalaisten mielipiteiden ja erinäisten heitä koskevien attribuuttien (esim. vaalipiiri, sukupuoli, ikäluokka) välillä on havaittu tiettyä tilastollista riippuvuutta. Painokertoimia on käytetty myös vaaliennusteiden yhteydessä arvioitaessa äänestysaktiivisuuden vaikutusta.

Voisikohan poliittisten kyselytutkimusten uutisointiin saada enemmän objektiivisuutta kotimaisen laatustandardin avulla? Jos poliittiset kyselytutkimukset suoritettaisiin julkisen standardin mukaisesti, tulosten raportointi, uutisointi ja arviointi varmaan helpottuisivat.

Suomen Sanomalehtien Liitto julkaisi 1983 amerikkalaisen esikuvan pohjalta oppaan tarkistuslistoineen niistä keskeisistä seikoista, joista tutkijoiden olisi raportoitava tutkimuksen tilaajille (Liimatainen & Sinkko). Esimerkiksi vuoden 1997 maaliskuun tutkimusaineiston perusteella näytti kuitenkin siltä, että suomalainen uutisjournalismi ei juuri piittaa suosituksista (Suhonen 2000b).

Joka tapauksessa totuudesta kiinnostuneiden uutistoimittajien ja yleisön olisi kyselytutkimusten uutisten yhteydessä syytä kiinnittää huomiota ainakin seuraaviin seikkoihin:

- Onko tutkimuksen tilaajalla tai medialla sellaisia intressejä, että on syytä epäillä tulosten luotettavuutta?
- Kuinka suuri ja millaista väkeä on haastateltujen joukko ja miten heidät on valittu? Kuinka moni haastatelluista jätti vastaamatta tiettyyn kysymykseen?
- Miten kyselyn tiedot on hankittu?
- Jos kyseessä on puolueiden tai  ehdokkaiden kannatusmittaus, onko vastaajien äänestysaktiivisuus otettu huomioon?
- Kuinka suuri on tuloksia yleistettäessä tutkijan ilmoittamat virhemarginaalit huomioon ottaen tuloshaarukka? Jos haarukkaa ei ole ilmoitettu, mikä on ollut
  käytäntönä pienpuolueiden kohdalla, on syytä vahvasti epäillä kyselyn antaman tuloksen luotettavuutta.
- Miten muut kuin haastatellut on virhemarginaalien avulla otettu huomioon uutisotsikossa ja muutenkin tulosten tulkinnassa?
- Mistä voi tarpeen mukaan saada lisätietoja kyselystä, esim. kysymysasettelusta, vastauskadon käsittelystä ja systemaattisten virhelähteiden vaikutuksesta? Yhteystiedolla voidaan korjata se ymmärrettävä epäkohta, ettei tavanomaisessa uutistiedotteessa voida kertoa läheskään kaikista mielipidekyselyn tulkintaan vaikuttavista seikoista.

Kyselytutkimuksen tulostaulukon rakenne voisi olla tutkijan raportissa seuraavantapainen:

Puolue

Vastauksista laskettu
kannatusprosentti

Arvioitu kannatusprosentti koko perusjoukossa (äänestysikäiset)
ja virhemarginaalin peruste

A

26,3

24,0-28,5

otoksen satunnaisvirhemarginaali ± 2,3%-yksikköä ± pyöristys

 

B

24,7

22,5-27,0

otoksen satunnaisvirhemarginaali ± 2,3 %-yksikköä ± pyöristys

 

C

23,2

21,0-25,5

otoksen satunnaisvirhemarginaali ± 2,3 %-yksikköä ± pyöristys

 

D

10,2

8,5-12,0

otoksen satunnaisvirhemarginaali ± 1,7 %-yksikköä ± pyöristys

 

jne

 

 

 

 

Tutkimuksessa haastateltiin puhelimitse 2300 henkilöä, jotka muodostavat likimain satunnaisotoksen. Heistä 1300 henkilöä
suostui kertomaan puoluekantansa. Haastattelut toimitettiin elo-syyskuussa 1998. Haastateltavilta kysyttiin, minkä puolueen
ehdokasta he äänestäisivät, jos eduskuntavaalit olisivat nyt. Lisätietoja osoitteessa www....

 

Puolueet A-H ovat kuviteltuja, mutta vastauksista lasketut kannatusprosentit puolueiden A-C osalta ovat itse asiassa kolmen suurimman puolueemme muokkaamattomia kannatuslukuja elo-syyskuulta 1998, markkinatutkimusyrityksen mittauksen mukaan (Suhonen 1999). Satunnaisvirhemarginaalit on ilmoitettu täydellisen satunnaisotoksen mukaan. Otantakehikko (esim. väestörekisteri) on tässä oletettu virheettömäksi, mutta aivan virheetön se ei ole ja tilapäisesti muualla asuvien kohdalla osoitteisto on varsin puutteellinen, mikä haittaa haastateltavien tavoittamista. Luvuissa ei ole otettu kantaa siihen, millaiseksi vaalitulos kunkin puolueen kohdalla todella muodostuisi, joten se ei ole tarkoitettu ennusteeksi hypoteettisille vaaleille.

Huomionarvoista on se, että kannatusprosentit koko perusjoukossa on ilmoitettu haarukkana, koska puoluepoliittisissa tutkimuksissa yleensä väistämättömien systemaattisten virheiden vuoksi todennäköisintä arvoa ei todellakaan tiedetä ja näiden suodattamisyritykset ovat epävarmalla pohjalla; piilevään systemaattiseen virheeseen viittaa tässä tapauksessa myös suuri vastauskato. Tulosten yleistämistä ensisijaisesti haarukka-arvoina voidaan suositella muihinkin vastaaviin tapauksiin.

Taulukosta nähdään yhdellä silmäyksellä, ettei minkään puolueen johtoasema ole pelkästään tämän kyselyn perusteella varma. Eduskuntavaaleissa puoli vuotta myöhemmin järjestys oli aivan toinen: C 22,9, A 22,4 ja B 21,0 %. A:n kannatusarvio oli 1,6 %-yksikköä suurempi kuin tuloshaarukan alaraja eikä selity pelkästään otantasattumalla, vaan ehkä vastauskadon kohdistumisella keskimääräistä vähemmän kyseisen puolueen kannattajiin -- tai kannatuksen laskulla kyselyn ja vaalien välisenä aikana.

Jos kuitenkaan tuloksia ei haluta ilmoittaa haarukka-arvoina vaan yksikäsitteisinä numeroarvoina ja virhemarginaaleina, joiden merkitys näkyy olevan hämärä monelle toimittajallekin, niin parempi olisi välttää kansanomaisessa tiedotteessa koko vierasperäistä sanaa. Jos sitä kuitenkin käytetään, olisi syytä samalla mainita, että kyselystä saatuja kannatuslukemia tms. mielipideosuuksia yleistettäessä tulokset voivat olla virhemarginaalinkin verran suurempia tai pienempiä. Kahden kannatusarvion eron luotettavuuteen vaikuttaa, ovatko virheet toisistaan riippumattomia vai keskenään korreloivia. Verrattaessa kahden peräkkäisen gallupin tuloksia keskenään erot eivät yleensä ole olleet tilastollisesti merkitseviä. Yksinkertaisin selitys eroille on yleensä ollut se, että haastateltujen valinnassa ei voi välttyä otantavirheeltä.

Jos esimerkiksi vaaliennustetta laadittaessa on puoluekohtaisesti muokattu vastauksista laskettuja kannatusprosentteja systemaattisen virheen eliminoimiseksi, mikä on ollut varsin tavallista, taulukko paljastaa sen ja vaatii sen vuoksi selittävää tekstiä. Vaaliennusteen virhemarginaalin perusteeksi on syytä kirjata harkinta, kokemusperäinen arvio tms., koska teoreettiset edellytykset satunnaisotoksen virhemarginaalin käyttämiseen puuttuvat. Samoin, jos mielipidemittaus perustuu sellaiseen kiintiöpoimintaan, jonka ei voida katsoa edes likimain vastaavan  satunnaisotantaa.

Tuloshaarukasta ei tiedetä, onko kannatus perusjoukossa sen sisällä tarkalleen 5 %:n erehtymisriskillä, vaikka siihen on pyritty. Eivät mielipidemittaukset, varsinkaan puoluekannatusta koskevat, ole lainkaan niin tarkkoja kuin julkisuudessa on annettu ymmärtää esim. kertomalla jonkin puolueen muka hienoisesta johtoasemasta alle prosenttiyksikön erolla. Ainahan tietysti voi veikata tulosta vaikka desimaalin tarkkuudella, mutta desimaalit ovat täysin sattuman satoa, puolikasprosenttien esittämisen vielä ymmärtää pyöristysvirheiden hallinnan helpottamiseksi, ainakin pienpuolueiden kohdalla.

Mielipidemittauksia voidaan todellakin käyttää myös mielipiteiden muokkaukseen, siihen viittaa mielipidetutkimusten nykyinen uutisointikäytäntö myös meillä. Totuutta tavoiteltaessa on kuitenkin tärkeätä, että uutisointi ei ole harhaanjohtavaa. Tässä on haastetta ja uusia mahdollisuuksia etenkin tutkimusten tilaajien tiedottajille ja uutistoimittajille, mutta jossain määrin myös mielipidemittausten raportinlaatijoille, jotta valistunut uutisasiakas voisi itsenäisestikin tulkita tuloksia. Parhaiten nykytilannetta voitaneen parantaa koulutuksellisin keinoin. Mielipidemittausten keskeinen asema demokratiassa asettaa vaatimuksia niitä julkistaville viestimille. Vaatimuksista vähin olisi se, että journalisteilla olisi realistinen käsitys tulosten luotettavuudesta ja virhemahdollisuuksista. Näin vältyttäisiin liioittelevilta otsikoilta ja harhaanjohtavilta yleistyksiltä. On myös vaadittu, että median itsensä pitäisi opettaa yleisölle kyselyiden kriittistä lukutaitoa (Suhonen 2003).

Mutta uutisointikulttuurin muutoksella on myös itsepintaisia vastustajia. Gallup-uutiset ovat usein puolitotuuksia tai näennäisuutisia: ilman liioittelevia otsikoita ne jäisivät usein uutiskynnyksen alapuolelle (ks. Hakkarainen 1998, Kostiainen 1998). Niissä käytetään tilastotiedettä tavalla, joka on usein vastoin tiedeyhteisössä vakiintunutta tulkintatapaa. Siksi uutisasiakkaan tietoisuus mielipidemittausten merkittävistä virhelähteistä ja varovaisuus johtopäätöksissä on aina paikallaan.

Lähteet
Alho, Juha - Pahkinen, Erkki - Salo, Mikko A. 2000: Gallupeista, virhemarginaaleista ja vaalitavasta. Yhteiskuntapolitiikka nro 4, s. 368-371
Allison, Paul David 2001: Missing Data. Sage University Papers Series. Quantitative Applications in the Social Sciences, 136.
Borg, Sami 1994: Kannatusmittaustutkimus I. Yhteiskuntatieteellinen tietoarkisto.
Deville, Jean C 1991: A Theory of Quota Surveys. Survey Methodology 17:163-181.
Doherty, M. 1994: Probability versus Non-Probability Sampling in Sampling Surveys. The New Zealand Statistics Review, March 1994 issue, pp. 21-28.
Esomar 1997: The Freedom to Public Opinion Polls. Report on a Worldwide Study. European Society for Opinion and Marketing Research.
Amsterdam.
Hakkarainen, Pirkko 1998: Yleisen mielipiteen paradoksi. Yleisön, toimittajien ja tutkijoiden käsityksiä mielipidemittauksista. Tampereen Yliopisto, Tiedotusopin laitos.
Kostiainen, Riikka 1998: Mielipidemittausten käyttö journalismissa. Toimittajien näkemyksiä gallup-journalismista ja mielipidemittausten sekundaarikäytön analyysi. Tiedotusopin Pro gradu-tutkielma. Tampereen yliopisto.
Laaksonen, Seppo 2006: Kyselyiden ongelma on niiden laadussa. Helsingin Sanomat 1.2.2006.
Liimatainen, Eila & Sinkko, Risto 1983: Mielipidetutkimukset ja sanomalehti. Sanomalehtien Liitto.
Miettinen, Jorma 1980: Sanomalehtien lukeminen. Weilin&Göös.
Petersson, Olof- Holmberg, Sören 1998: Opinionsmätningarna och demokratin, 192 s. SNS Förlag, Stockholm, ISBN:91-7150-706-X.
Siegel, Sidney: Nonparametric Statistics for the Behavioral Sciences. McGraw-Hill Kogakusha Ltd. ISBN 0-07-085689-3.
Suhonen, Pertti 1999: Onko puolueiden kannatusmittauksiin uskomista? Yhteiskuntapolitiikka nro 1/1999, s. 62-68.
Suhonen, Pertti 2000a: Mielipidetutkimusten rooli presidentinvaaleissa. SoPhi 52. Jyväskylän Yliopisto.
Suhonen, Pertti 2000b: Gallupjournalismi kansaa edustamassa. Yhteiskuntapolitiikka nro 1/2000.
Suhonen, Pertti 2003: Mielipidemittauksilla on keskeinen osa demokratiassa. Helsingin Sanomat 5.3.2003.
Vuoristo, Pekka 2006: Sattuma on aina sotkemassa, kun mielipidetutkimuksia tehdään. Helsingin Sanomat 2.2.2006.

Kuluttajansuojaa gallup-uutisiin?

Galluppien kärkiparista ja maaliskuun 2003 eduskuntavaaliennusteista

 

LIITE

ERÄITÄ TIETOJA KIRJOITUKSEN POHJANA OLLEISTA KYSELYTUTKIMUKSISTA

Uutistiedotteen otsikon laatuluokka arvioitu asiallisuuden kannalta pääasiassa siinä tai uutislähetyksessä esitettyjen tietojen pohjalta.

Aihepiiri

Tilaaja

Uutisotsikoiden
laatuluokka

Presidentinvaalit

Helsingin Sanomat

I

Hallituksen suosio ja oppositiopolitiikka

Helsingin Sanomat

I

Puolueiden kannatus, tiedotteet 5.6.02

Helsingin Sanomat

I, II

Puolueiden kannatus, tiedote 6.6.02

MTV

II

Puolueiden kannatus, tiedote 29.6.02

Sunnuntaisuomalainen

II

Puolueiden kannatus, tiedotteet 8.-9.7.02

YLE

I, II

Puolueiden kannatus, tiedotteet 3.9.02

Helsingin Sanomat

I, II

Puolueiden kannatus, tiedotteet 4.9.02

YLE

II

Puolueiden kannatus,osa-alueita, tiedote 16.9.02

MTV

I

Puolueiden kannatus, osa-alueita, tiedote 20.9.02

MTV

II

Puolueiden kannatus, osa-alueita, tiedote 25.9.02

MTV

I

Puolueiden kannatus, osa-alueita, tiedote 27.9.02

MTV

I

Puolueiden kannatus, osa-alueita, seitsemän uutiset 2.10.02

MTV

I

Puolueiden kannatus, tiedotteet 4.10.02

YLE

I

Puolueiden kannatus, osa-alueita, tiedote 4.10.02

MTV

I

Puolueiden kannatus vaalipiireittäin painotettuna, tiedote 16.10.02

MTV

II

Puolueiden kannatus, tiedote 23.10.02

Helsingin Sanomat

I, II

Puolueiden kannatus, tiedotteet 8.11.02

YLE

II

Puolueiden kannatus, tiedotteet 5.-6.12.02

YLE

I, II

Puolueiden kannatus, tiedotteet 8.12.02

MTV

II

Puolueiden kannatus, tiedotteet 18.12.02

Helsingin Sanomat

I, II

Puolueiden kannatus, tiedotteet 10.1.03

YLE

I, II

Puolueiden kannatus ja äänestysaikomukset edusk.vaaleissa, tiedotteet 27.1.03

Helsingin Sanomat

I,II

Puolueiden kannatus, tiedotteet 5.2.03

YLE

II, III

Puolueiden kannatus, tiedotteet 21.2.03

MTV

II

Naisten rahankäyttö, tiedotteet 9.-10.6.02

Ålandsbanken

II, III

Puolueen puheenjohtajan vaali

Ei mainittu

I

Presidentin suosio, tiedote 14.6.02

Helsingin Sanomat

I

Presidentin suosio, tiedote 5.7.02

Suomen Kuvalehti

II

Presidentin suosio, tiedotteet 24.12.02

Helsingin Sanomat

II, III

Presidentin suosio, tiedotteet 29.-30.12.02

Sunnuntaisuomalainen

I

Suosituin urheilija

Ei mainittu

II

Verkkokauppa

Ei mainittu

II

Siirtyminen euroon

Valtiovarainministeriö

II

Euron suosio

STT

II

Ammattiliittoon kuulumisen motiivit

Kunta-alan ammattiliitto

I

Kuva ammattiliitoista

SAK

I

Huumepolitiikan keinot

STT

I

Huumepolitiikan keinot

Helsingin Sanomat

I

Hallitusvaihtoehdot

STT

I

Pormestarien tarve

Sanomalehti Kaleva

II

Pääministeriehdokkaiden suosio, tiedote 9.7.02

Iltalehti

I

Pääministeriehdokkaiden suosio, tiedotteet 12.7.02

Iltalehti

I, II

Pääministeriehdokkaiden suosio, tiedotteet 26.-27. 9.02

Sunnuntaisuomalainen

I, II

Kehitysavun tarve

UM ja KEPA

I

Rikosvastuun ikärajan tarkistustarve,
tiedotteet 14.7.02

Satakunnan Kansa ja
Etelä-Suomen Sanomat

I, II

Rikosvastuun ikärajan tarkistustarve,
tiedotteet 7.9.02

Helsingin Sanomat

I, II

Palkankorotus vai veronalennus?

Taloussanomat

III

Stadionin kattaminen

Stadion-Säätiö

I

Piimän markkinatutkimus

Finfood-Suomen Ruokatieto

I

Kouluruokailu ja sen rahoitus

Sodexho Oy

II

Muoti

Ei mainittu

I

Kansalaisten ajankäyttö mediaan

Ei mainittu

I, II

Sonera Oy:n umts-kauppojen vastuut

MTV

II

Sonera Oy:n umts-kauppojen vastuut

Neloskanava

I

Politiikan ja poliitikkojen imago

MTV

II

Lasten rahankäyttö

Nordea Pankki Oyj

I

Puoluesihteerien tunnettuus

Sanomalehti Kaleva

I, II

Naispappien vaikutus

Pappisliitto

II

Kuntalaisten vaikutus

Suomen Kuntaliitto

II

Sunnuntaikauppa

Päivittäistavarayhdistys

II

Kouluvastaisuuden alueelliset erot Helsingissä

Suomen Akatemia

II

Käytettyjen autojen tuonti

Helsingin Sanomat

II

Venäläiset turistit

Ei mainittu

II

Perhebarometri, tiedotteet 24.-25.9.02

Väestöliitto

II

Terveydenhoitokysely

Valitut Palat

II

Kansallinen mediatutkimus

Levikintarkastus

I

Pakolaispolitiikka, tiedotteet 29.9.02

Sunnuntaisuomalainen

II

Nuorisobarometri, tiedotteet 3.10.02

Nuorisoasiain neuvottelukunta

I

Työmarkkinasopimukset, tiedotteet 6.-7.10.02

SAK

I, II

Aluemediatutkimus

Ei mainittu

II

Poliittisten instituutioiden ja järjestöjen valtasuhteet

Ei mainittu

II

Palkankorotustarpeet terveydenhoitoalalla

TEHY

II

Internetin käyttö

Tilastokeskus

I

Eurobarometri, tiedote 21.10.02

Euroopan Unioni

II

Lasten Internet-käyttö

Ei mainittu

I

Suojelupoliisin imago

Sunnuntaisuomalainen

I

Lehtien lukijatutkimus

Sanomalehtien Liitto

I

Pääkaupunkiseutulaisten muuttohalukkuus muualle Suomeen

Sunnuntaisuomalainen

II

Tulevien eduskuntavaalien äänestysvilkkaus

YLE

II

Työmarkkinasopimukset

MTV

I

Terveyskeskusten asiakastyytyväisyys, tiedotteet 11.11.02

Stakes ja Kuntaliitto

II

Pääministeriehdokkaiden kannatus, tiedote 11.11.02

Uutispäivä Demari

II

Pääministeriehdokkaiden kannatus, tiedotteet 12.11.02

Väli-Suomen sanomalehdet

II, III

Radion ja äänilevyjen kuuntelu, ennakkotiedote 12.11.02

Ääni- ja kuvatallennetuottajat

I

Koulukuri, tiedotteet 9.11.02

Sanomalehti Kaleva

I

Eurobarometri, tiedote 15.11.02

Euroopan Unioini

I

Kunnallisalan ilmapuntari

Kunnallisalan kehittämissäätiö

I

Presidentin suosio

Sanomalehti Kaleva

I

Tyytyväisyys hallitukseen

Sanomalehti Kaleva

II

Suomen liittyminen Natoon, tiedotteet 23.11.02

Väli-Suomen sanomalehdet

I

Piraattituotteiden tuonti

TTVK

III

Turistikohteiden suosio

Ei mainita

I, II

Nettideittailu

Sonera

II

Seksikauppa

Aamulehti

II

Suhtautuminen Naton joukkoihin Suomessa

Kansanedustaja Esko Seppänen

I

Lihan kysyntä

Ei mainittu

I

Suomen jäsenyys Natossa, tiedotteet 18.12.02

Maanpuolustustiedotuksen suunnittelukunta

I

EU:n laajeneminen

Helsingin Sanomat

I, II

Hallituksen ja opposition suosio, tiedotteet 23.12.02

Helsingin Sanomat

I, II

Seksikauppa, tiedotteet 12.1.03

Väli-Suomen sanomalehdet

II

Suomen jäsenyys Natossa, tiedotteet 15.1.03

Helsingin Sanomat

I

Pääministeriehdokkaiden suosio, tiedotteet 16.1.03

Väli-Suomen sanomalehdet

I

Ammattiin opiskelevien nuorten haastattelututkimus

SAKKI

I

Tulevan hallituksen tehtävät

STTK

I

Suhtautuminen mahdolliseen sotaan Irakissa

Ei mainita

I

Eduskuntavaalien teemojen tärkeysjärjestys

Helsingin Sanomat

I

Äänestysaktiivisuus, tiedote 10.2.03

YLE

I

Luomutuotanto

Ei mainittu

I

Julkkisehdokkaat eduskuntavaaleissa

MTV

II

Eduskuntavaaliennuste Helsingin kaupungille

Seura

III

Pääministeriehdokkaiden kannatus, tiedotteet 22.-23.2.03

Väli-Suomen sanomalehdet

I

Nato-jäsenyyden kannatus, tiedotteet 25.2.03

STT

I

Aikakauslehtien levikintutkimus, tiedote 25.2.03

Levikintarkastus Oy

I

Sanomalehtien levikintutkimus, tiedote 25.2.03

Levikintarkastus Oy

II

Kehitysapu, tiedote 28.2.03

STT

I

Ruotsinkielen asema, tiedotteet 28.2.03

STT

II

Äänestysaktiivisuus eduskuntavaaleissa, tiedote 28.2.03

YLE

I

Puolueiden kannatus eduskuntavaalien kynnyksellä, tiedotteet 1.3.03

Helsingin Sanomat

I

Työmarkkinailmasto, tiedotteet 3.-4.3.03

SAK

I, II

Puoluekannatus, tiedotteet 3.3.03

YLE

II

Nato-jäsenyyden kannatus, tiedote 6.3.03

STT

I

Pääministeri ja hallituspohja

STT

I

Puoluekannatusmittaus, tiedotteet 6.3.03

MTV

I, II

Pääministeriehdokkaiden arvosanat, tiedotteet 8.3.03

STT

II, III

Vaalikampanjan vaikuttavuus, tiedote 8.3.03

Väli-Suomen sanomalehdet

II

Suomen Irak-politiikka, tiedote 12.3.03

Ei mainita

II

Puoluekannatus, tiedotteet 13.3.03

Helsingin Sanomat

I

Eduskuntavaaliennuste, tiedotteet 13.-14.030

YLE/TV

II

Terveydenhoitokysely

Sairaanhoitajaliitto

I

Hallituspohjavaihtoehdot, tiedote 22.3.03

Iltalehti

I

USA:n hyökkäys Irakiin, tiedotteet 23.3.03

Helsingin Sanomat

I, II