22.3.2007
Aulis Tenkanen, tekn.toht.; kirjoittaja on mittaus- ja arviointitekniikan
asiantuntija
Suppeampaan aineistoon perustuva versio julkaistu Maanmittaustieteiden Seuran
aikakauskirjassa Maanmittaus nro 1-2/2002.
MIELIPIDEMITTAUKSISTA MAANMITTARIN NÄKÖKULMASTA
OPINION SURVEYS FROM A LAND
SURVEYOR´S VIEWPOINT
Kirjoituksen alussa tarkastellaan
mielipidemittausten luonnetta verrattuna maanmittausalan lähinnä vastaaviin
tehtäviin. Keskeisin osa artikkelista analysoi mielipidemittausten uutisointia
Yleisradion ja MTV:n nettisivuilla sekä Helsingin Sanomissa pääasiassa 1.6.2002
lähtien 23.3.2003 saakka. Lähes 60 %:ssa uutistiedotteista otsikot arvioitiin
vähintään yksipuolisiksi, kyseenalaisiksi tai lievästi harhaanjohtaviksi.
Osaksi tilanne johtuu siitä, että tutkimuksen luotettavuutta ja
yleistettävyyttä koskevia tietoja kuten virhemarginaaleja ei ollut otsikkoa
laadittaessa hyödynnetty, ei edes silloin, kun ne oli mainittu tiedotteen
varsinaisessa tekstissä. Kahden otantamittauksen erotuksen virhemarginaalia ei
ollut mainittu yhdessäkään uutisessa. Selvästi harhaanjohtavia otsikoita
havaittiin 4 %:ssa tiedotteista. Uutistiedotteet tarjosivat yleensä
heikonlaiset eväät mielipidetutkimusten itsenäiseen tulkintaan. Jos mielipidemittaukseen
jää todennäköisesti huomionarvoista systemaattista virhettä, mutta sen suuruus
ei ole arvioitavissa, suositellaan tulosten raportointia mieluummin haarukkana
kuin pistemäisinä arvoina. Milloin uutisessa kuitenkin viitataan virhemarginaaliin,
olisi sen merkitys syytä samalla lyhyesti selittää.
Avainsanat:
mielipidemittaus, gallup-uutiset, virhemarginaali
Abstract
The article
is introduced by describing the nature of opinion surveys compared to similar
tasks in geodetic surveys and valuation of real estate. The key part of the acticle is
focused to the news culture in the main Finnish media mainly from 1 June 2002
until 23 March
Keywords: Opinion survey, gallup news, statistical margin of error
Mielipidemittausten luonteesta
Mielipidemittauksista kuulemme uutisia vähän väliä, paljon useammin kuin
maanmittauksesta. Mutta ovatko mielipidemittaukset todella mittausta,
eivätkö ne ole pikemminkin arviointia?
Mielipidemittaukset ovat otantaan perustuvia kyselytutkimuksia; mielipidemittausten eli "galluppien" kotimaassa opinion survey tai opinion poll. Survey ei sanatarkasti ottaen tarkoita mittausta (measurement) vaan pikemminkin katselmusta tai selvitystä. Mutta maanmittareita kyllä kutsutaan nimellä (land) surveyor, ja ruotsinkieleen on vakiintunut termi opinionsmätning (mielipidemittaus).
Väestön mielipiteiden mittaus on taitolaji, mutta tarkkuutensa puolesta sitä
voidaan verrata painon mittaukseen sellaisella tavanomaista huonommalla
lattiavaa´alla, jonka keskivirheeksi 100 kg:n painolle on ilmoitettu esim.
Mielipidemittauksessa kohteena ei kuitenkaan ole yleensä henkilön paino, vaan esim. hänen suosionsa poliittisena johtajana tai puolueen kannatus. Sellaisen suureen mittauksessa ei päästä samanlaiseen tarkkuuteen kuin esim. painon tai pituuden mittauksessa. Itse puhuisin kyllä mieluummin arvioinnista, tilastotieteeseen ja usein osaksi myös harkinnanvaraisiin olettamuksiin perustuvasta. Kiinteistöarvioinnissa esiintyy samanlaisia piirteitä.
Jos mielipidemittaus perustetaan satunnaisotokseen tutkittavasta väestöstä eikä systemaattisia tai karkeita virheitä ole, sen tarkkuus voidaan luotettavasti arvioida, koska otantavirheet noudattavat verrattain hyvin Gaussin virhelakia eli normaalijakaumaa. Samaan jakaumaan perustuu myös geodeettisissa mittauksissa muodostuvien satunnaisten virheiden tasoitus suurimman todennäköisyyden menetelmällä.
Geodesiassa virheiden eliminoinnissa ja tasoituksessa ovat avainasemassa geometriset yhtälöt ja ylimääräiset mittaushavainnot. Mielipidemittauksessa vastaavia ehtoyhtälöitä ei yleensä ole ja luokitellun mielipiteen ilmaisseen vastaajien joukon prosenttiosuutta kaikista haastatelluista voidaan pitää vain yhtenä havaintona. Tästä syystä virheiden eliminointi on vaikeampaa. Lisäksi mielipidemittauksissa voi olla validiteettiongelma, joka ilmenee etenkin arkaluontoisissa aiheissa vastausten "kaunisteluna" tms. Sen vaikutusta on vaikea tarkoin suodattaa. Validiteettiongelma tosin ei ole aivan tuntematon kiinteistöarvioinnissakaan, mutta se on yleensä eliminoitavissa normaalien havaintojen avulla.
Usein mielipidemittauksissa kysytään tietyn hyödykkeen kulutusarviota aivan kuin kiinteistömarkkinoilla voidaan selvittää tietynlaisten kiinteistöjen hintapyyntöjä. Aineistosta voidaan määrittää esim. tilastollisia tunnuslukuja kuten frekvenssijakaumia ja keskilukuja. Havaintoja voidaan yrittää selittää tietyillä tekijöillä; selittämättä jäävää osuutta, jäännöspoikkeamia, voidaan myös analysoida. Jäännöspoikkeamat saattavat verrattain hyvin noudattaa normaalijakaumaa tai lognormaalijakaumaa, joille voidaan määrittää tunnusluvut; mahdolliset karkeat virheet voidaan ehkä tässä vaiheessa tunnistaa ja eliminoida.
Tärkeän erityisongelman muodostaa mielipidemittauksissa se tosiasia, että satunnaisotos on usein ellei suorastaan mahdoton niin ainakin kohtuuttoman kallis toteuttaa täydellisenä. Läheskään kaikkia satunnaisotokseen poimittuja ei tavoiteta ja suuri osa saattaa kieltäytyä haastattelusta kokonaan tai arkaluontoiseksi kokemaltaan osin. Jos näin syntynyt vastauskato paikataan ns. imputaation avulla (sijaisvastaajilla tai muilla järkevillä arvauksilla, ks. Allison 2001), vaikkapa samat avainominaisuudet (ikäluokka, sukupuoli, asuinpaikkakunta) täyttävien, mutta helpommin tavoitettavien henkilöiden vastauksilla, korvaavat henkilöt eivät välttämättä ole tutkimuksen kaikissa kysymyksissä samaa mieltä kuin alun perin haastatteluun tarkoitetut. Näistä syistä tuloksiin voi jäädä systemaattista virhettä eli harhaa; virheillä voi olla myös yhteisiä lähteitä. Harhaa voivat aiheuttaa myös johdattelevat kysymykset.
Poliittisissa kannatusmittauksissa voidaan käyttää erilaisia kannatusindikaattoreita. Esimerkiksi yksi tutkija voi pyrkiä selvittämään lähinnä puoluesympatioita ottamatta kantaa siihen, ovatko vastaukset kaunisteltuja ja riittävätkö sympatiat vaalilippuun asti. Tuloksille voidaan laskea virhemarginaaleja normaalein perustein. Näin saadut tulokset voivat olla kiinnostavia puolueen tavoiteasettelun kannalta, mutta soveltua huonosti vaalituloksen ennustamiseen.
Toinen tutkija taas voi pyrkiä ennustamaan äänimääriä hypoteettisissa vaaleissa. Ennustetta laadittaessa on pakko tehdä tulevaisuutta koskevia olettamuksia harkinnan pohjalta. Ennusteiden virhemarginaaleille ei tällöin löydy tavanomaisia tilastotieteellisiä perusteita; jos sellaisia esitetään, ne perustuvat (toivottavasti oikeaan osuvaan) harkintaan. Esim. äänestysajan sää voi vaikuttaa siihen, että puoluekohtaiset arviot äänestysvilkkaudesta ja sen myötä niiden ääniosuuksien arviot menevät pieleen.
Mielipidemittausten uutisoinnista
Ruotsalaiset professorit Olof Petersson ja Sören Holmberg päätyivät
vuonna 1998 julkaisemassaan kirjassa väittämään, että mielipidemittauksista on
Ruotsissa tullut tehokas, mutta väärinkäytetty voimakeino. "Joukkotiedotusvälineet
käyttävät mielipidemittauksia sekä mielipiteiden kartoitukseen että
muokkaamiseen".
Kun en löytänyt Suomesta vastaavaa ajankohtaista tietoa, olen analysoinut 1.6.02 lähtien Yleisradion ja MTV:n nettisivuilla sekä Helsingin Sanomissa (myös verkkoliitteessä) julkaissut uutiset kotimaisista mielipidemittauksista. Yksi esimerkki on otettu vertailun vuoksi viime presidentinvaalia koskevasta mittauksesta. Aineisto käsitti kaikkiaan 133 tutkimusta ja 227 uutistiedotetta. Tutkimusten aiheista valtaosa liittyi läheisesti valtakunnan- tai kunnallispolitiikkaan. Vajaa 20 % kyselyistä palveli lähinnä markkinatutkimusta, loput sekalaisia aiheita. Tutkimusten aiheet ja tilaajat ilmenevät liitteestä.
Tutkimuksen tilaajina esiintyivät valtakunnan- tai kunnallispolitiikkaan liittyvissä aiheissa
- Media 77 tutkimuksessa, joista YLE 12:ssä, MTV 14:ssa, Neloskanava 1:ssä,
STT 10:ssa sekä Helsingin Sanomat ja samaan yhtymään kuuluva Taloussanomat
18:ssä ja muut lehdet 25 tutkimuksessa (erityisesti Väli-Suomen sanomalehdet ja
Iltalehti).
- Ammattiliitto 2 tutkimuksessa (työmarkkinailmasto ym.)
- Euroopan Unioni 2 tutkimuksessa (eurobarometri)
- Kansanedustaja Esko Seppänen (suhtautuminen Naton joukkoihin Suomessa)
- Kunnallisalan kehittämissäätiö (alan ilmapuntari)
- Maanpuolustustiedotuksen suunnittelukunta (Suomen jäsenyys Natossa)
- Ministeriöt 2 tutkimuksessa (euron käyttöönotto ja kehitysapu)
- Nuorisoasiain neuvottelukunta 1 tutkimuksessa (nuorisobarometri)
- Sairaanhoitajaliitto (terveydenhoitokysely)
- Sodexho Oy 1 tutkimuksessa (kouluruokailu ja sen rahoitus)
- Stadion-Säätiö 1 tutkimuksessa (Helsingin olympiastadionin kattaminen)
- Suomen Akatemia 1 tutkimuksessa (kouluvastaisuuden alueelliset erot
Helsingissä)
- Suomen ammattiin opiskelevien keskusliitto (SAKKI) 1 tutkimuksessa (jäsenten
haastattelu)
- Suomen Kuntaliitto (kuntalaisten vaikuttaminen) 1 tutkimuksessa
- STAKES ja Kuntaliitto (terveyskeskusten asiakastyytyväisyys)
- STTK (tulevan hallituksen tehtävät)
- Väestöliitto 1 tutkimuksessa (perheiden lapsilukutavoite ym.)
Tutkijana on ollut melkein kaikissa aiheissa kotimainen markkinatutkimusyritys; tutkimusten mahdollisesta julkistamisesta päättää tilaaja. Motiiveja kyselyn tilaamiseen voidaan arvailla tilaajan nimestä. Jos tarkoituksena on poliittisissa aiheissa ollut vaikuttaa aiheen käsittelyyn päättävissä elimissä, niin menestystä on syytä epäillä, koska mielipidemittauksissa vastaukset kiperiinkin kysymyksiin on annettava suoralta kädeltä, ilman minkäänlaista valmistelua. Sen sijaan presidentinvaaliin mielipidetutkimuksetkin näyttävät kyllä vaikuttaneen (Suhonen 2000a).
Uutistiedotteiden ominaisuuksien analyysin keskeiset tulokset ilmenevät seuraavasta taulukosta:
|
Uutistiedotteen ominaisuuksia |
YLE |
MTV |
HeSa |
Kaikkiaan |
|
Tutkimuksen tilaaja mainittu tai ilmeinen asiayhteydestä |
69/76 |
73/80 |
62/71 |
90 |
|
Tutkimuksen suorittaja mainittu |
71/76 |
74/80 |
66/71 |
93 |
|
Haastatteluajankohta mainittu tai ilmeinen asiayhteydestä |
54/76 |
55/80 |
52/71 |
71 |
|
Perusjoukko kuvattu tai ilmeinen asiayhteydestä |
39/76 |
47/80 |
36/71 |
54 |
|
Haastateltujen tai vastausten lukumäärä ilmoitettu |
58/76 |
58/80 |
55/71 |
75 |
|
Vastauskato ilmoitettu |
7/76 |
5/80 |
13/71 |
11 |
|
Haastateltujen valintatapa ilmoitettu |
1/76 |
4/80 |
2/71 |
3 |
|
Tiedonhankintatekniikka mainittu tai ilmeinen haastattelujaksosta |
38/76 |
38/80 |
39/71 |
51 |
|
Virhemarginaalit mainittu |
36/76 |
35/80 |
38/71 |
48 |
|
Otsikoiden asiallisuus |
61/76 |
57/80 |
58/71 |
78 |
Uutisotsikon asiallisuutta olen arvioinut seuraavalla asteikolla mm. sen suhteen, miten tutkijan ilmoittama virhemarginaali on otettu siinä huomioon:
- 1. laatuluokka; hyväksyttävä, paino 0,71-1,0
- 2. laatuluokka; kyseenalainen tai lievästi harhaanjohtava, paino 0,36-0,70
- 3. laatuluokka; selvästi harhaanjohtava, paino 0-0,35
Huomiota olen kiinnittänyt myös siihen, ovatko esitetyt avaintiedot niin vaillinaisia, että on syytä epäillä vastauksista saatujen tulosten yleistettävyyttä; samoin siihen, miten osuvasti otsikko kuvaa tavallisimpia mielipiteitä. Otsikoiden sijoittuminen eri luokkiin ilmenee liitteestä. Koska satunnaisotoksen virhemarginaalit eivät sovellu vaaliennusteiden virhemarginaaleiksi muuta kuin sattumalta, sellaisten virhemarginaalien esittäminen on katsottu yleisöä selvästi harhaanjohtavaksi.
Gallup-uutisten otsikoiden asiallisuusindikaattorien keskiarvo on ollut heikoin MTV:ssä (asiallisuusindikaattori 57/80 = 71 %).
Esimerkki 1
YLE-STT uutisoi 14.7.02:
Rikosvastuullisuuden ikärajan poistaminen ei saa tukea
Selvä enemmistö suomalaisista vastustaa 15 vuoden ikärajan poistamista. Satakunnan Kansan ja Etelä-Suomen Sanomien teettämän kyselyn mukaan 58 % vastusti ja 38 % kannatti rikosvastuullisuuden alaikärajan poistamista. Ajatus alle 15-vuotiaiden tuomioista vankeuteen sai tukea 43 prosentilta ja sitä vastusti 51 prosenttia. Kyselyyn vastasi 499 ihmistä.Tiedote ei kerro, millaista väkeä haastatellut olivat ja miten heidät oli valittu. Ei myöskään sitä, mitkä ovat tulosten virhemarginaalit, joiden perusteella lukija voisi päätellä, millaiseen haarukkaan kannatuslukemat asettuisivat, jos tuloksia halutaan yleistää sellaiseen perusjoukkoon, jota haastatellut edustivat. Valistuneella lukijalla on aihetta epäillä, että vastaukset eivät ole normaalilla tavalla yleistettävissä. Ilman lisätietoa koko uutinen vaikuttaa epäilyttävältä, siksi otsikolle laatuluokka II.
Helsingin Sanomat väitti puolestaan 7.9.02:
Yli puolet kansalaisista laittaisi alle 15-vuotiaat rikosvastuuseen
Yli puolet kansasta alentaisi rikosvastuun nykyisestä 15 vuodesta. Kuusi prosenttia poistaisi rajan kokonaan, ja 48 prosenttia laskisi sitä kahdella kolmella vuodella. Kyselyn mukaan 43 prosentin mielestä nykyinen ikäraja on sopiva.
Haastatteluja tehtiin kaikkiaan 1 000. Tutkimus toteutettiin puhelinhaastatteluina. Tutkimuksen tulos edustaa maan äänestysikäistä väestöä pois lukien Ahvenanmaa. Virhemarginaali on kolme prosenttia.Kun virhemarginaalikin on ilmoitettu, tämä toisen markkinatutkimusyrityksen tutkimus näyttää perustuvan satunnaisotokseen, ja leipäteksti vaikuttaa alkuun uskottavalta. Rikosvastuun ikärajan poistaminen ei todellakaan saa mainittavaa tukea, vaikka edellisessä tutkimuksessa sitä kannatti sentään 38 % vastanneista.. Mutta otsikko ei käsittele aihetta.
Vastauksista päätellen 6 + 48= 54 % haastatelluista olisi valmis alentamaan ikärajaa 2-3 vuodella: Tulosta yleistettäessä on kuitenkin muistettava virhemarginaali, jolloin ikärajaa alentaisi 51...57 % äänestysikäisestä väestöstä, alimmillaan siis vain äärimmäisen niukka enemmistö. Uutisotsikko ei tätä taustaa vasten enää vaikutakaan aivan uskottavalta. Jos vielä pannaan arvoa edelliselle tutkimukselle, jonka mukaan ikärajan alentamista seuraamuksineen näytti tukeneen vain 43 % vastaajista, ja otetaan se huomioon painolla 0,36, saadaan ikärajan alentamista tukeneille painollisena keskiarvona 51 %:n osuus. Molemmat tutkimukset huomioon ottaen siis mielipiteet rikosvastuun ikärajan alentamisesta saattavatkin jakaa äänestysikäisen väestön kahteen lähes yhtä suureen osaan. Uutisotsikkoa voidaankin tällöin pitää kyseenalaisena, mistä laatuluokka II.
YLE uutisoi tutkimuksen samaan sävyyn, mutta lyhyemmin; otsikolle laatuluokka II. MTV jätti virhemarginaalin mainitsematta, mutta otsikoi neutraalisti: Rikosvastuuikä jakaa mielipiteet. Otsikolle laatuluokka I.
Lakialoite ei lopulta saanut eduskunnassa riittävää kannatusta.
Esimerkki 2
MTV-STT väitti tiedotteessaan 4.9.02:
Kysely: SDP niukasti suurin
Sosiaalidemokraatit ovat säilyttäneet niukasti asemansa suurimpana puolueena YLE:n teettämässä mielipidemittauksessa. SDP:tä kannatti elokuussa 23,7 prosenttia kyselyyn osallistuneista, kun keskustaa kannatti 22,9 prosenttia vastaajista. Mielipidemittaukseen osallistui noin 1900 suomalaista. Helsingin Sanomien toisella markkinatutkimusyrityksellä teettämä mittaus antoi keskustan kannatukseksi 24 prosenttia ja SDP:n kannatukseksi 23,9. Mittauksen virhemarginaali oli kaksi prosenttiyksikköä.Jos mittausten virhemarginaali oli todella 2 prosenttiyksikköä kumpaan suuntaan tahansa, SDP:n kannatus olisi siis koko äänestysikäisessä väestössä voinut olla YLE:n teettämässä tutkimuksessa 21,7...25,7 prosenttia ja keskustan 20,9...24,9 prosenttia. Keskustan kannatus olisi siis ylimmillään voinut olla 24,9 prosenttia, SDP:n kannatus alimmillaan 21,7 prosenttia. Kahden otantamittauksen erotuksen satunnaisvirheiden keskihajonta olisi toisistaan riippumattomien havaintojen tapauksessa 1,4 %-yksikköä, jos mittausvirheet ovat toisistaan riippumattomia. Ollakseen 5 %:n riskillä tilastollisesti merkitsevä erotuksen tulisi kuitenkin olla vähintään kaksinkertainen. Siksi otsikko on virhemarginaalin valossa vähintään kyseenalainen. Helsingin Sanomien teettämässä tutkimuksessa saadut kannatuslukemat ovat mainituissa haarukoissa, joten ero johtunee pääasiassa siitä, millaisia henkilöitä sattui tulemaan haastateltaviksi.
Sosiaalidemokraattien ja keskustan kannatuslukemat ovat jo pitkään olleet lähellä toisiaan. Viime kunnallisvaalien jälkeen suoritetuissa 13:ssä Helsingin Sanomien tilaamassa mittauksessa keskustan kannatus on ollut suurempi yhdeksän kertaa ja SDP:n kannatus kolme kertaa, yhden kerran mittaustulokset menivät tasan. Keskustan kannatus näyttäisi saman markkinatutkimuslaitosten suorittamien kyselyjen perusteella olleen äänestysikäisten keskuudessa hieman korkeammalla tasolla alle 1 %:n erehtymisriskillä (Siegel s. 75-83). Testi ei kuitenkaan paljasta sitä systemaattista virhettä, joka voi muodostua muunnettaessa kyselystä saatuja vastauksia todennäköisiksi ääniksi oletetuissa vaaleissa.
Puolueen suuruuden kriteereihin kuuluvia tekijöitä ovat muutkin seikat kuin kannatus mielipidemittauksissa, esim. edustajien määrä valtion- ja kunnallishallinnon päättävissä elimissä ja jäsenmäärä, joten otsikko on siltäkin kannalta vähintään kyseenalainen.
Eduskuntavaaleissa keskusta sai 24,7 % ja sdp 24,5 % äänistä. Kansanedustajia edellinen sai 55, jälkimmäinen 53.
Esimerkki 3
Helsingin Sanomat otsikoi 27.9.02:
Lipponen ja Jäätteenmäki pääministerisuosikkeja
Väli-Suomen sanomalehtien teettämässä mielipidemittauksessa 38 prosenttia vastaajista toivoi Lipposen jatkavan pääministerinä kolmannelle kaudelle, 35 prosentin mielestä taas oppositiojohtaja Jäätteenmäestä tulisi paras pääministeri. Mielipidekyselyyn vastasi tuhat yli 15-vuotiasta suomalaista. Suosikkeja tiedusteltiin kansalaisilta 16.-20. syyskuuta. Tulosten luottamusväli on kolme prosenttiyksikköä.Pääministeriä ei tunnetusti valita suoraan kansanjoukkojen sympatioiden perusteella, mutta eduskuntavaaleissa eniten kansanedustajia saaneen puolueen nimeämää ehdokasta voidaan pitää vakavana suosikkina pääministeriksi. Kyselytutkimuksessa voidaan nähdä yritys vaikuttaa eduskuntavaaleihin kiinnittämällä huomio pikemminkin todennäköisten pääministeriehdokkaiden persoonaan kuin tulevaan hallituspolitiikkaan.
Tulosten luottamusvälistä eli virhemarginaalista seuraa, että vastaajista määritettyä suosiota yleistettäessä tuloshaarukaksi saadaan Lipposen osalta 35...41 % ja Jäätteenmäen osalta 32...38 %. Mittaus on siis sen verran epätarkka, että jälkimmäisen suosio voi olla ylimmillään jopa 38 %, edellisen vastaavasti alimmillaan vain 35 %. Tämän tarkempaa tietoa kilpailuasemasta ei haastatteluajalta ole. Helsingin Sanomat on tällä kertaa otsikoinut uutisen neutraalisti, laatuluokka I. Sen sijaan saman päivän pääkirjoituksessa annettiin ymmärtää, että haastateltujen (1000 henkilöä) mielipidejakauma olisi ainakin likimain sama myös kaikkien äänestysikäisten joukossa (3,9 miljoonaa). Ottaen huomioon satunnaisotoksen toteuttamiseen liittyvät vaikeudet se tuskin on todennäköistä.
Heinäkuussa tehdyissä kahdessa kyselyssä Lipponen ja Jäätteenmäki saivat ensimmäisessä yhtä suuren kannatuksen pääministeriehdokkaaksi, toisessa Lipposella oli selvästi suurempi kannatus.MTV:n uutistiedotteen otsikkona oli edellisenä päivänä Lipponen yhä pääministerisuosikki ja YLE:n Lipponen suosituin pääministeriehdokas.. Virhemarginaalit huomioon ottaen otsikot arvioitiin laatuluokkaan II.
Marraskuussa tehdyssä vastaavassa kyselyssä Lipposen ja Jäätteenmäen kannatuslukemat olivat 39 ja 33 % virhemarginaalin ollessa ± 3 %-yksikköä, joten tulokset mahtuvat syyskuun tuloshaarukkaan. Se ei siis merkitse välttämättä minkäänlaista kannatuksen muutosta, mutta osoittaa, että Lipposen suosio äänestysikäisten keskuudessa saattoi todellisuudessakin olla hiukan suurempi kuin Jäätteenmäen. Mediaotsikkoihin virhemarginaalit eivät kuitenkaan vaikuttaneet millään tavoin. MTV otsikoi: Kysely:Lipposen etumatka pääministerikilvassa kasvaa. Mittauksen yhteydessä kansalaisten arviota kannatuksen kehityksestä ei tosiasiassa kuitenkaan edes kysytty, joten otsikkoa voidaan pitää selvästi harhaajohtavana.
Helsingin Sanomat oli edellisenä päivänä julkistanut saman markkinatutkimusyrityksen Uutispäivä Demarille tehdyn kyselyn tulokset, kannatuslukemien erot olivat selvät: Lipposen arvioi sopivan hyvin pääministeriksi 28 %, Jäätteenmäen 19 % vastaajista. Virhemarginaaleja ei kuitenkaan mainittu. Tulokset poikkeavat siinä määrin edellisessä kappaleessa mainituista, että erot eivät selity otantasattumalla. Riippuikohan kysymyksenasettelu tutkimuksen tilaajasta?
Tammikuussa 2003 toimitetussa kyselyssä Lipposen ja Jäätteenmäen kannatuslukemat olivat 42 ja 34 % virhemarginaalin ollessa ± 3 prosenttiyksikköä. Lukemat eivät riitä tilastotieteelliseksi näytöksi Lipposen kannatuksen kasvusta edellisestä mittauksesta, mutta tällä kertaa lukemien ero on tilastollisesti merkitsevä eikä selity pelkästään otantasattumalla. Täysin vaille julkista huomiota on jäänyt se, että haastateltavien joukossa on ollut myös alle 18-vuotiaita, joilla ei ole eduskuntavaaleissa äänioikeutta.
Helmikuun kyselyiden tulokset eivät eronneet tammikuun tuloksista tilastollisesti merkitsevällä tavalla.
Maaliskuun eduskuntavaaleissa Jäätteenmäen johtama keskusta sai 55 kansanedustajaa, Lipposen johtama sdp 53. Eduskunta valitsi pääministeriksi Jäätteenmäen hallitukseen, jonka muodostivat keskusta, sdp ja rkp. Samalla Jäätteenmäestä tuli Suomen ensimmäinen naispuolinen pääministeri.
Esimerkki 4
Helsingin Sanomien verkkotiedote 23.11.02:
Suomalaiset tiukasti Natoon liittymistä vastaan
Yli 60 prosenttia suomalaisista vastustaa Suomen liittymistä sotilasliitto Natoon. Vain 18 prosenttia on liittoutumisen kannalla. Ilman kantaa on vajaa viidennes suomalaisista. Natoon liittymisen kannatus on hienoisesti laskenut edellisestä tutkimuksesta. Kesäkuun kyselyssä 20 prosenttia suomalaista kannatti Nato-jäsenyttä. Myös vastustajien osuus on pienentynyt kesäkuusta. Kesällä vastustajien osuus oli 66 prosenttia, nyt 62.
70 prosenttia vastaajista uskoo, että Nato-jäsenyys on kuitenkin poliittisten päättäjien suunnitelmissa ja että Suomi päättää lähivuosina hakea sotilasliiton jäsenyyttä.
Suuri enemmistö eli neljä viidestä suomalaisesta tahtoo, että Nato-jäsenyydestä järjestetään kansanäänestys, jos liittyminen tulee vakavaan harkintaan.
Mielipidettä kysyttiin viime viikolla tuhannelta henkilöltä. Tulosten virhemarginaali on kolme prosenttiyksikköä suuntaan tai toiseen.
Tiedotteesta ei ilmene, miten vastaajat oli valittu, mutta kun mittauksen suorittajana oli tunnettu alan yritys ja tiedotteen julkaisijana pääkaupunkiseudulla laadukkaana pidetty sanomalehti, voitaneen olettaa, että otos edusti tässä tapauksessa likimäärin äänestysikäisiä kansalaisia eri puolilla maata. Tällä varauksella otsikkoa voidaan pitää hyväksyttävänä. Sen sijaan leipätekstissä on toivomisen varaa, kun siinä on väitetty, että Natoon liittymiseen kannatus olisi kansalaisten keskuudessa hienoisesti laskenut edellisestä tutkimuksesta. Katsotaanpa aihetta lähemmin.
Kesäkuun kyselyssä Natoon liittymistä kannatti 20 prosenttia vastanneista ja virhemarginaali huomioon ottaen kyselyn koko perusjoukosta 17...23 %., oikeata arvoa ei sen sijaan kukaan tiedä. Marraskuun kyselyssä kannattajia oli 18 prosenttia vastanneista ja virhemarginaali huomioon ottaen kyselyn koko perusjoukosta 15...21 %. Oikea arvo koko perusjoukossa saattoi siis hyvinkin olla molempina ajankohtina vaikkapa 20 %.. Vastanneista laskettujen kannatuslukemien ero on niin pieni, ettei sillä ole tilastollista merkitsevyyttä. Voidaan hyvin väittää, että haastateltujen valintatapa suosi kesäkuussa hieman enemmän Natoon liittymisen kannattajia. Uutistiedotteissa esiintyy toistuvasti se valitettava virhe, että vastanneista saadut mielipidejakautumat yleistetään sellaisenaan, virhemarginaaleja huomioon ottamatta.
Vertailun vuoksi mainittakoon, että esim. Savon Sanomat julkaisi kyselyn tulokset monipuolisemmin mainiten mm., että haastatellut edustivat Suomen yli 15-vuotiasta väestöä Ahvenanmaa poislukien. Lisäksi se julkaisi myös kysymykset:
- Läntiseen puolustusliittoon Natoon kuuluu tällä hetkellä 19 maata, joista 11 on Euroopan unionin jäsenmaita. Nato on lähitulevaisuudessa laajenemassa maihin, joista useimmat ovat EU:n jäsenmaita. Mitä mieltä olette, pitäisikö Suomen liittyä Naton jäseneksi vai ei?
- Entä jos Nato-jäsenyyttä Suomessa harkitaan vakavasti, niin pitäisikö jäsenyydestä järjestää kansanäänestys vai ei?
- Uskotteko, että poliittiset päättäjät tekevät lähivuosina päätöksen, että Suomi hakee Nato-jäsenyyttä?MTV ja Helsingin Sanomat (verkkolehti) julkaisivat 18.12.02 uutisen Maanpuolustustiedotuksen suunnittelukunnan loka-marraskuussa tekemästä kyselytutkimuksesta, jossa haastateltiin noin 1 000 henkilöä. Tiedotteen mukaan jäsenyyttä kannatti vain 24 %.
Helsingin Sanomat julkaisi 15.1.03 aiheesta 7-10.1.03 toimittamansa puhelinkyselyn tulokset väittäen alaotsikossaan, että kokoomuksen kannattajista enemmistö tukee nyt jäsenyyttä. Kun kannatuslukema oli vain 51 % ja virhemarginaalia ± 3 prosenttiyksikköä, todellinen kannatuslukema perusjoukossa voi kuitenkin jäädä alle 50 %:n. Pääotsikko oli kuitenkin asiallinen.
25. helmikuuta 2003 julkistetussa uudessa kyselyssä Nato-jäsenyys sai vain 15 prosentin suuruisen kannatuksen.
Esimerkki 5
YLE-STT raportoi 25.1.03:
Työttömyyden alentaminen tulevan hallituksen ykköstehtävä
Työttömyyden alentaminen on suomalaisten mielestä seuraavan hallituksen tärkein tehtävä. Kyselyssä 92 prosenttia pitää työttömyyden nujertamista tulevan hallituksen ykköstehtävänä.
Enemmistö vastanneista on sitä mieltä, että ulkomaista työvoimaa tarvitaan lisää viimeistään suurten ikäluokkien jäädessä eläkkeelle. Valtaosan mielestä töitä tulisi kuitekin ensisijaisesti tarjoja suomalaisille.
Tärkeänä kyselyssä pidettiin myös julkisia palveluja, sosiaalista turvallisuutta ja rikollisuuden torjuntaa.
Tuloerojen tasoittamista piti tärkeimpänä tehtävänä 66 prosenttia ja verotuksen alentamista 59 prosenttia kyselyyn vastanneista.
Vain 14 prosenttia piti tulevan hallituksen tärkeimpänä tehtävänä Suomen viemistä Natoon.
Markkinatutkimuslaitos haastatteli kyselyä varten tuhatta suomalaista.
Eduskuntavaalien edellä kaikki puolueet ovat ilmoittaneet työttömyyden reippaan alentamisen olevan niiden tavoitteena. Siihen olisi kuitenkin tarvittu sellaisia keinoja, joista hallitukset eivät ole päässeet yksimielisyyteen, puhumattakaan yhteisymmärryksestä ammattiyhdistysten kanssa. Korkeasuhdanteen myötä valtiovallalla on hallituksesta toiseen ollut varaa sietää suurtyöttömyyttä. Suhdanteiden käännyttyä tilanne on kuitenkin vaikeutumassa.
Uutisotsikko on pantu lainausmerkkeihin, virkkeen on katsottu edustavan kaikkia suomalaisia. Tosin tiedotteesta ei ilmene, millaisia suomalaisia ne tuhat suomalaista olivat, joita oli haastateltu. Mutta kun 92 prosenttia vastanneista oli tätä mieltä, niin tuskin haastateltujen otos oli niin pahasti vääristynyt, etteikö otsikkoa voitaisi pitää oikeutettuna. Todellisena uutisena sitä ei kuitenkaan voida pitää. Miksi sitten kysely on tilattu ja julkistettu? Sitä voi itsekukin arvailla, kun tilaajana on ammattiyhdistys, joka on ollut osavastuussa työmarkkinoiden toimivuudesta, mutta ei työttömyyden aiheuttamiin kustannuksiin osallistuvana.
MTV ja Helsingin Sanomat otsikoivat uutisstiedotteensa samaan tapaan. Tiedotteet olivat kuitenkin laajempia ja yksityiskohtaisempia. Vastausten virhemarginaalitkin mainittiin, mutta niitä ei hyödynnetty johtopäätöksissä.
Esimerkki 6
Helsingin Sanomat otsikoi 31.1.03:
Kansa ei halua Suomen tukevan sotaa Irakissa
Vain viiden prosentin mielestä Suomen pitäisi tukea sotatoimia
Kyselyn on toteuttanut markkinatutkimusyritys osana laajempaa kansainvälistä kyselyä. Kun tilaajaa ei mainita, herää kysymys, liittyykö siihen jotain arkaluontoista? Toisaalta avainkysymykset oli julkaistu, mikä on ollut poikkeuksellista etenkin YLE:n ja MTV:n uutisissa. Haastateltujen joukko edusti uutisen mukaan 15-79-vuotisia suomalaisia. Kun samassa yhteydessä mainittiin, että tutkimusyrityksellä on päätteitä tai selaimia 1300 kotitaloudessa, herää myös kysymys, oliko vastaajien joukko todella sattumanvarainen otos. Ellei ollut, uutisessa ilmoitettu virhemarginaali, ± 3,5 prosenttiyksikköä, antaa liioitellun kuvan tulosten luotettavuudesta. Tuskin kuitenkaan niin virheellisen, että lehden pääotsikkoa olisi tarkistettava.YLE:n ja erityisesti MTV:n uutisointi aiheesta oli niukempaa. Mm. virhemarginaalit oli jätetty pois. Pääotsikot olivat kuitenkin samoilla linjoilla Helsingin Sanomien kanssa.
Eduskuntavaalien kynnyksellä tiedotusvälineet kertoivat, että Suomen lähetystön edustaja oli noudattanut kutsua Yhdysvaltain 28.2.2003 järjestämään briefing- eli tiedotus- ja ohjeistustilaisuuteen sellaisten valtioiden edustajille, jotka olivat olivat antaneet Yhdysvalloille lupauksia avusta ja yhteistyöstä mahdollisessa Irakin sodassa tai sen jälkeen,, muttei esim. Ruotsia, Saksaa ja Ranskaa. Tämän jälkeen valtioneuvoston ulko- ja turvallisuuspoliittinen valiokunta, jonka puheenjohtana toimii tasavallan presidentti, täsmensi 7.3.2003 suhtautumistaan Yhdysvaltain aikomuksiin toimia Irakin kysymyksessä ilman YK:n suostumusta; viesti näyttää ymmärretyn myös Yhdysvalloissa. MTV:n 12.3.03 julkaiseman kyselyn mukaan, jonka tilaajaa sen enempää kuin tutkijaakaan ei tosin mainittu, 22 % haastatelluista noin 500 henkilöstä piti Suomen yhteistyötä humanitaarisen avun antamisessa Yhdysvaltain kanssa liian läheisenä, mutta noin puolet sopivana.
Esimerkki 7
Helsingin Sanomat uutisoi nettisivuillaan 8.3.03:
STT:n kysely: Itälä paraskäytöksinen
Kokoomuksen Ville Itälä saa kolmesta pääministeriehdokkaasta parhaan arvosanan käytöksestä vaaliaistelun aikana. Sdp:n Paavo Lipponen hallitsee puolestaan asiat parhaiten. Itälä saa kansalaisilta kouluarvosanan 7,8. Toiseksi parhaan arvosanan saa keskustan Anne Jäätteenmäki (7,5). Peränpitäjäksi jää Lipponen, joka saa käytöksestä kansalaisilta arvosanan 7,3.
Asioiden hallinnassa Lipponen päihittää sekä Jäätteenmäen että Itälän, tosin niukasti. Lipponen saa arvosanakseen asioiden hallinnasta 7,3 kun Jäätteenmäen ja Itälän vastaava arvosana oli 7,1.
Vaalitaistelun aikaisesta käytöksestä 21 prosenttia kansalaisista antaa Itälälle kiitettävän arvosanan. Jäätteenmäki yltää Itälän tasolle 20 prosentillaan, mutta Lipposen kiitettävät arvosanat jäävät 12 prosenttiin.
Nettisivuilta ilmeni myös, että arviointiasteikko oli perinteisten kouluarvosanojen tapaan neljästä kymmeneen. Haastattelujen kokonaismääräksi mainittiin 1000 ja niiden kerrottiin edustaneen maan 15 vuotta täyttänyttä väestöä Ahvenanmaa pois lukien. Tulosten virhemarginaaliksi ilmoitettiin ± 3,0 prosenttiyksikköä. Tämä koskee kuitenkin vain otoksessa väistämätöntä satunnaisvirhettä, ei arvosanojen keskiarvoja; niitä koskevia virherajoja ei tiedotteessa mainittu. Kun käytöksestä arvosanan 10 antoi Itälälle 21 % haastatteluista, virhemarginaali huomioon ottaen koko 15 vuotta täyttäneessä väestössä sellaisia olisi siis 18...24 %, ellei muita virhelähteitä ole. Jäätteenmäen kohdalla vastaava haarukka olisi 17...23 %, mutta Lipposen kohdalla 9...12 % . Lipposta koskeva haarukka on niin kaukana muita koskevasta haarukasta, ettei se selity pelkästään otosvirheellä. Se olikin ainoa tilastollisesti merkitsevä uutinen koko tiedotteessa, joten otsikko olisi pitänyt tehdä siitä.
YLE ja MTV kertoivat aiheesta samantapaisella otsikolla, mutta leipäteksti oli suppeampi ja etenkin MTV:n tiedotteessa uutisointi selvästi harhaanjohtavaa.
Uutistiedotteiden painotetut/painottamat kappalemäärät ilmenevät medioittain ao. riviltä ja sarakkeelta. Alimman rivin luvut ovat mekaanisia summaindikaattoreita, jotka eivät merkitse kannanottoa siihen, missä määrin eri osatekijöiden julkaisemiseen uutistiedotteessa olisi perusteltua tarvetta. On ilmeistä, että tarpeessa on tutkimuskohtaisia eroja.
Kyselytutkimuksen suorittaja on mainittu lähes kaikissa uutistiedotteissa ja tilaajakin tavallisesti. Haastattelujen ajankohta on mainittu noin 70 %:ssa tiedotteista, erityisesti puoluekannatuskyselyissä. Haastateltujen tai vastausten lukumäärä on mainittu noin 75 %:ssa, tutkijan ilmoittamat virhemarginaalit noin puolessa tiedotteista. Tiedonhankintamenetelmä on mainittu melko harvoin, mutta useimmissa tapauksissa lyhyt haastattelujen suoritusjakso kielii puhelintekniikasta.
Uutisotsikoiden asiallisuustaso on ollut keskimäärin hyväksyttävissä, silti lähes 60 %:ssa tiedotteista otsikko on ollut vähintään yksipuolinen, kyseenalainen tai lievästi harhaanjohtava. Etenkin puoluekannatusmittauksissa sellaiset otsikot näyttävät johtuvan siitä, että jättämällä huomioon ottamatta virhemarginaalien vaikutus saadaan uutiseen iskevyyttä, tosin totuuden kustannuksella. Otsikko ei silloin annakaan luotettavaa tietoiskua uutisen pääsisällöstä; se on mainoslause, jolla houkutellaan yleisöä lukemaan, kuuntelemaan tai katsomaan uutista (ks. Suhonen 2000b). Uutisotsikon ollessa ristiriidassa virhemarginaalien kanssa toimittaja saattaa mieluummin "unohtaa" virhemarginaalit kuin muokata otsikon niitä vastaaviksi, jos sen seurauksena olisi tiedotteen jääminen uutiskynnyksen alapuolelle.
Neljässä prosentissa tiedotteista otsikko oli selvästi harhaanjohtava. Sellaiseksi katsottiin esim. uutistoimittajan itsensä muodostama ennuste, kun sellaista ei edes kysytty haastatelluilta.
Leipätekstit ovat olleet yleensä otsikoita objektiivisempia, mutta kuinkahan moni lukija mahtaa tutkia niitä? Sanomalehtien lukemista koskevien tutkimusten mukaan otsikko ja sen sanoma huomataan, vaikka uutinen jätettäisiinkin lukematta (Miettinen 1980, s. 257-260). Haastateltujen perus- eli kohdejoukko on kerrottu tai asiayhteydestä ilmeinen noin puolessa tiedotteista. Vastauskato on ilmoitettu hyvin harvoin, samoin kysymysten muotoilu ja niiden mahdollinen johdattelu. Haastateltujen valintatapa vaikuttaa tutkimusten arimmalta kohdalta, siitä riippuu ratkaisevasti vastausten yleistettävyys. Valintatavasta löysin vain seuraavat maininnat:
Vain poikkeustapauksessa on kerrottu kysymysten asettelusta ja tiedonhankintatekniikasta.
Kaiken kaikkiaan tarkastellut mediat tarjosivat yleensä heikonlaiset eväät mielipidetutkimusten tulosten itsenäiseen tulkintaan, jota valistunut yleisö varmaan arvostaisi. MTV:n vaalipiireittäin suoritetun puoluekannatustutkimuksen uutisoinnin yhteydessä syys-lokakuussa 2002 ilmoitettiin, mistä sanomalehdistä mielipidemittauksesta oli saatavissa yksityiskohtaisempia tietoja ja median nettisivulle ilmestyi osatutkimuksista tutkijan laatima yhdistelmä, joka sisälsi tavanomaista yksityiskohtaisemman kuvauksen tutkimuksen suoritustavasta. Mutta vastauskadosta ja sen käsittelytavasta sekään ei kertonut mitään.
Otsikoista löydetyillä yksipuolisilla, kyseenalaisilla tai virheellisillä
tulkinnoilla tuskin oli sanottavaa merkitystä. Mutta jos samantapaiset
tulkintaperiaatteet pääsevät juurtumaan mediaan, niillä kyllä voi olla
merkitystä tärkeiden vaalien kynnyksellä osan ns. liikkuvista äänestäjistä
siirtyessä uskottavan voittajaehdokkaan "kelkkaan" (ns.
bandwagon-ilmiö, ks. Borg 1994).
Vuoden 2006 presidentinvaaleissa julkaistiin vain pari päivää ennen lopullista äänestystä YLE:n tilaama mielipidetutkimus, jota uutisoitaessa syntyi varmaan monissa sellainen käsitys, että laskusuunnassa ollut istuvan presidentin kannatus olisi kääntynyt vahvaan nousuun. YLE:n tilaama tutkimus ei tosiasiassa ollut vertailukelpoinen pari päivää aikaisemmin julkaistun, mutta itse asiassa tuoreemman, Helsingin Sanomien tilaaman tutkimuksen kanssa. Syynä oli myös se, että YLE:n tilaamassa tutkimuksessa oli tutkimusjohtajalta saamani tiedon mukaan jätetty huomioon ottamatta vastaajien äänestysaktiivisuus, vaikka sitäkin koskeva kysymys oli haastattelussa esitetty. Muodostuikohan YLE:n toimittama ja STT::n edelleen välittämä uutistiedote, jossa vaiettiin tutkimusten systemaattisista eroavaisuuksista, ratkaisevaksi tasaväkisessä kamppailussa? Epäilen näin käyneen eikä pelkästään sattumalta.
Mielipidemittausten uutisoinnin kehittämiskeinoja
Kun edellä on havaittu uutisointikulttuurissa huomionarvoisia epäkohtia,
mutta politiikkaankin liittyvät kyselytutkimukset ovat yleensä salaisia, on
syytä harkita keinoja tilanteen parantamiseksi.
Tarvitaanko siis yleisen edun nimissä joitakin peräti sitovia säännöksiä, esim. poliittisten mielipidekyselyjen julkisuudesta?
Mielipidemittausten tekemistä tai raportointia on jotenkin rajoitettu lainsäädännöllä noin 30 maassa (Esomar 1997). Rajoitukset ovat tavallisimmin koskeneet mielipidemittausten julkaisemista liian lähellä vaalipäivää, mutta kokemukset eivät vaikuta rohkaisevilta. Ainakin Ranskassa ja Espanjassa on myös velvoitettu poliittisia mielipidemittauksia suorittavat laitokset toimittamaan erityisviranomaiselle yksityiskohtaisia tietoja mm. haastateltujen valintamenetelmästä, kysymyksenasettelusta ja vastauskadosta.
Kun ylivoimaisesti yleisin haastateltavien valintamenetelmä on
markkinatutkimusyrityksissä tiettävästi kiintiöpoiminta, sen
suoritustavan vaihtelu vaikeuttaa tutkimusten yleistettävyyden arviointia.
Menetelmää ei ole kuitenkaan syytä kokonaan teilata; tietyin edellytyksin sen
käyttöön ei ole huomauttamista (ks. Deville 1991, Doherty 1994).
Meillä johtavat markkinatutkimusyritykset ovat kertoneet toteuttaneensa otokset
poliittisissa kannatusmittauksissa ”monivaiheisena ositettuna otantana”.
Sellainen otantatekniikka on tietyin edellytyksin tulkittu ositetun
satunnaisotannan (stratified random sampling) likimääräiseksi
versioksi (Alho - Pahkinen - Salo 2000). Tilastotieteen termein kyseessä lienee ns. ositettu
moniasteinen otanta; ensin on suoritettu ositus ja sitten edetty ositteiden sisällä
hierarkkisesti alaspäin (Laaksonen 2006). Asukkaita on yritetty
tavoittaa haastateltaviksi sattumanvaraisesti, kuitenkin kohderyhmää vastaavien
sukupuoli- ja ikäkiintiöiden puitteissa.
Kiireellisissä mielipidemittauksissa ei teoreettisesti moitteettomiakaan otantamenetelmiä käytettäessä voida välttyä sijaisvastaajien runsaalta käytöltä. Näin syntyneitä yleensä enemmän tai vähemmän harhaisia mielipidejakaumia on yritetty täsmätä perusjoukon avainominaisuuksiin erilaisin painokertoimin (ks. Vuoristo 2006). Menettelyä voidaan perustella sillä, että kansalaisten mielipiteiden ja erinäisten heitä koskevien attribuuttien (esim. vaalipiiri, sukupuoli, ikäluokka) välillä on havaittu tiettyä tilastollista riippuvuutta. Painokertoimia on käytetty myös vaaliennusteiden yhteydessä arvioitaessa äänestysaktiivisuuden vaikutusta.
Voisikohan poliittisten kyselytutkimusten uutisointiin saada enemmän objektiivisuutta kotimaisen laatustandardin avulla? Jos poliittiset kyselytutkimukset suoritettaisiin julkisen standardin mukaisesti, tulosten raportointi, uutisointi ja arviointi varmaan helpottuisivat.
Suomen Sanomalehtien Liitto julkaisi 1983 amerikkalaisen esikuvan pohjalta
oppaan tarkistuslistoineen niistä keskeisistä seikoista, joista tutkijoiden
olisi raportoitava tutkimuksen tilaajille (Liimatainen & Sinkko).
Esimerkiksi vuoden 1997 maaliskuun tutkimusaineiston perusteella näytti
kuitenkin siltä, että suomalainen uutisjournalismi ei juuri piittaa
suosituksista (Suhonen 2000b).
Joka tapauksessa totuudesta kiinnostuneiden uutistoimittajien ja yleisön olisi kyselytutkimusten uutisten yhteydessä syytä kiinnittää huomiota ainakin seuraaviin seikkoihin:
- Onko tutkimuksen tilaajalla tai medialla sellaisia
intressejä, että on syytä epäillä tulosten luotettavuutta?
- Kuinka suuri ja millaista väkeä on haastateltujen joukko ja miten
heidät on valittu? Kuinka moni haastatelluista jätti vastaamatta
tiettyyn kysymykseen?
- Miten kyselyn tiedot on hankittu?
- Jos kyseessä on puolueiden tai
ehdokkaiden kannatusmittaus, onko vastaajien äänestysaktiivisuus otettu huomioon?
- Kuinka suuri on tuloksia yleistettäessä tutkijan ilmoittamat virhemarginaalit
huomioon ottaen tuloshaarukka? Jos haarukkaa ei ole ilmoitettu, mikä
on ollut
käytäntönä pienpuolueiden kohdalla, on
syytä vahvasti epäillä kyselyn antaman tuloksen luotettavuutta.
- Miten muut kuin haastatellut on
virhemarginaalien avulla otettu huomioon uutisotsikossa ja muutenkin tulosten
tulkinnassa?
- Mistä voi tarpeen mukaan saada lisätietoja
kyselystä, esim. kysymysasettelusta, vastauskadon käsittelystä ja
systemaattisten virhelähteiden vaikutuksesta? Yhteystiedolla voidaan korjata se
ymmärrettävä epäkohta, ettei tavanomaisessa uutistiedotteessa voida kertoa
läheskään kaikista mielipidekyselyn tulkintaan vaikuttavista seikoista.
Kyselytutkimuksen tulostaulukon rakenne voisi olla tutkijan raportissa seuraavantapainen:
|
Puolue |
Vastauksista laskettu |
Arvioitu kannatusprosentti koko perusjoukossa
(äänestysikäiset) |
||
|
A |
26,3 |
24,0-28,5 |
otoksen satunnaisvirhemarginaali ± 2,3%-yksikköä ± pyöristys |
|
|
B |
24,7 |
22,5-27,0 |
otoksen satunnaisvirhemarginaali ± 2,3 %-yksikköä ± pyöristys |
|
|
C |
23,2 |
21,0-25,5 |
otoksen satunnaisvirhemarginaali ± 2,3 %-yksikköä ± pyöristys |
|
|
D |
10,2 |
8,5-12,0 |
otoksen satunnaisvirhemarginaali ± 1,7 %-yksikköä ± pyöristys |
|
|
jne |
|
|
|
|
|
Tutkimuksessa haastateltiin
puhelimitse 2300 henkilöä, jotka muodostavat likimain satunnaisotoksen.
Heistä 1300 henkilöä |
|
|||
Puolueet A-H ovat kuviteltuja, mutta vastauksista lasketut kannatusprosentit puolueiden A-C osalta ovat itse asiassa kolmen suurimman puolueemme muokkaamattomia kannatuslukuja elo-syyskuulta 1998, markkinatutkimusyrityksen mittauksen mukaan (Suhonen 1999). Satunnaisvirhemarginaalit on ilmoitettu täydellisen satunnaisotoksen mukaan. Otantakehikko (esim. väestörekisteri) on tässä oletettu virheettömäksi, mutta aivan virheetön se ei ole ja tilapäisesti muualla asuvien kohdalla osoitteisto on varsin puutteellinen, mikä haittaa haastateltavien tavoittamista. Luvuissa ei ole otettu kantaa siihen, millaiseksi vaalitulos kunkin puolueen kohdalla todella muodostuisi, joten se ei ole tarkoitettu ennusteeksi hypoteettisille vaaleille.
Huomionarvoista on se, että kannatusprosentit koko perusjoukossa on ilmoitettu haarukkana, koska puoluepoliittisissa tutkimuksissa yleensä väistämättömien systemaattisten virheiden vuoksi todennäköisintä arvoa ei todellakaan tiedetä ja näiden suodattamisyritykset ovat epävarmalla pohjalla; piilevään systemaattiseen virheeseen viittaa tässä tapauksessa myös suuri vastauskato. Tulosten yleistämistä ensisijaisesti haarukka-arvoina voidaan suositella muihinkin vastaaviin tapauksiin.
Taulukosta nähdään yhdellä silmäyksellä, ettei minkään puolueen johtoasema ole pelkästään tämän kyselyn perusteella varma. Eduskuntavaaleissa puoli vuotta myöhemmin järjestys oli aivan toinen: C 22,9, A 22,4 ja B 21,0 %. A:n kannatusarvio oli 1,6 %-yksikköä suurempi kuin tuloshaarukan alaraja eikä selity pelkästään otantasattumalla, vaan ehkä vastauskadon kohdistumisella keskimääräistä vähemmän kyseisen puolueen kannattajiin -- tai kannatuksen laskulla kyselyn ja vaalien välisenä aikana.
Jos kuitenkaan tuloksia ei haluta ilmoittaa haarukka-arvoina vaan yksikäsitteisinä numeroarvoina ja virhemarginaaleina, joiden merkitys näkyy olevan hämärä monelle toimittajallekin, niin parempi olisi välttää kansanomaisessa tiedotteessa koko vierasperäistä sanaa. Jos sitä kuitenkin käytetään, olisi syytä samalla mainita, että kyselystä saatuja kannatuslukemia tms. mielipideosuuksia yleistettäessä tulokset voivat olla virhemarginaalinkin verran suurempia tai pienempiä. Kahden kannatusarvion eron luotettavuuteen vaikuttaa, ovatko virheet toisistaan riippumattomia vai keskenään korreloivia. Verrattaessa kahden peräkkäisen gallupin tuloksia keskenään erot eivät yleensä ole olleet tilastollisesti merkitseviä. Yksinkertaisin selitys eroille on yleensä ollut se, että haastateltujen valinnassa ei voi välttyä otantavirheeltä.
Jos esimerkiksi vaaliennustetta laadittaessa on puoluekohtaisesti muokattu vastauksista laskettuja kannatusprosentteja systemaattisen virheen eliminoimiseksi, mikä on ollut varsin tavallista, taulukko paljastaa sen ja vaatii sen vuoksi selittävää tekstiä. Vaaliennusteen virhemarginaalin perusteeksi on syytä kirjata harkinta, kokemusperäinen arvio tms., koska teoreettiset edellytykset satunnaisotoksen virhemarginaalin käyttämiseen puuttuvat. Samoin, jos mielipidemittaus perustuu sellaiseen kiintiöpoimintaan, jonka ei voida katsoa edes likimain vastaavan satunnaisotantaa.
Tuloshaarukasta ei tiedetä, onko kannatus perusjoukossa sen sisällä tarkalleen 5 %:n erehtymisriskillä, vaikka siihen on pyritty. Eivät mielipidemittaukset, varsinkaan puoluekannatusta koskevat, ole lainkaan niin tarkkoja kuin julkisuudessa on annettu ymmärtää esim. kertomalla jonkin puolueen muka hienoisesta johtoasemasta alle prosenttiyksikön erolla. Ainahan tietysti voi veikata tulosta vaikka desimaalin tarkkuudella, mutta desimaalit ovat täysin sattuman satoa, puolikasprosenttien esittämisen vielä ymmärtää pyöristysvirheiden hallinnan helpottamiseksi, ainakin pienpuolueiden kohdalla.
Mielipidemittauksia voidaan todellakin käyttää myös mielipiteiden muokkaukseen, siihen viittaa mielipidetutkimusten nykyinen uutisointikäytäntö myös meillä. Totuutta tavoiteltaessa on kuitenkin tärkeätä, että uutisointi ei ole harhaanjohtavaa. Tässä on haastetta ja uusia mahdollisuuksia etenkin tutkimusten tilaajien tiedottajille ja uutistoimittajille, mutta jossain määrin myös mielipidemittausten raportinlaatijoille, jotta valistunut uutisasiakas voisi itsenäisestikin tulkita tuloksia. Parhaiten nykytilannetta voitaneen parantaa koulutuksellisin keinoin. Mielipidemittausten keskeinen asema demokratiassa asettaa vaatimuksia niitä julkistaville viestimille. Vaatimuksista vähin olisi se, että journalisteilla olisi realistinen käsitys tulosten luotettavuudesta ja virhemahdollisuuksista. Näin vältyttäisiin liioittelevilta otsikoilta ja harhaanjohtavilta yleistyksiltä. On myös vaadittu, että median itsensä pitäisi opettaa yleisölle kyselyiden kriittistä lukutaitoa (Suhonen 2003).
Mutta uutisointikulttuurin muutoksella on myös itsepintaisia vastustajia. Gallup-uutiset ovat usein puolitotuuksia tai näennäisuutisia: ilman liioittelevia otsikoita ne jäisivät usein uutiskynnyksen alapuolelle (ks. Hakkarainen 1998, Kostiainen 1998). Niissä käytetään tilastotiedettä tavalla, joka on usein vastoin tiedeyhteisössä vakiintunutta tulkintatapaa. Siksi uutisasiakkaan tietoisuus mielipidemittausten merkittävistä virhelähteistä ja varovaisuus johtopäätöksissä on aina paikallaan.
Lähteet
Alho, Juha - Pahkinen, Erkki - Salo, Mikko A. 2000: Gallupeista,
virhemarginaaleista ja vaalitavasta. Yhteiskuntapolitiikka nro 4, s. 368-371
Allison, Paul David 2001: Missing Data. Sage University Papers Series.
Quantitative Applications in the Social Sciences, 136.
Borg, Sami 1994:
Kannatusmittaustutkimus I. Yhteiskuntatieteellinen tietoarkisto.
Deville, Jean C 1991: A Theory of Quota Surveys. Survey Methodology 17:163-181.
Doherty, M. 1994: Probability versus Non-Probability Sampling in
Sampling Surveys. The New Zealand Statistics Review, March 1994 issue, pp.
21-28.
Esomar 1997: The Freedom to Public Opinion Polls. Report on a
Worldwide Study. European Society for Opinion and Marketing Research. Amsterdam.
Hakkarainen, Pirkko 1998: Yleisen mielipiteen paradoksi. Yleisön,
toimittajien ja tutkijoiden käsityksiä mielipidemittauksista. Tampereen
Yliopisto, Tiedotusopin laitos.
Kostiainen, Riikka 1998: Mielipidemittausten käyttö journalismissa.
Toimittajien näkemyksiä gallup-journalismista ja mielipidemittausten sekundaarikäytön
analyysi. Tiedotusopin Pro gradu-tutkielma. Tampereen yliopisto.
Laaksonen, Seppo 2006: Kyselyiden
ongelma on niiden laadussa. Helsingin Sanomat 1.2.2006.
Liimatainen, Eila & Sinkko, Risto 1983: Mielipidetutkimukset ja
sanomalehti. Sanomalehtien Liitto.
Miettinen, Jorma 1980: Sanomalehtien lukeminen. Weilin&Göös.
Petersson, Olof- Holmberg, Sören 1998: Opinionsmätningarna och
demokratin, 192 s. SNS Förlag, Stockholm, ISBN:91-7150-706-X.
Siegel, Sidney: Nonparametric Statistics for the
Behavioral Sciences. McGraw-Hill Kogakusha Ltd. ISBN 0-07-085689-3.
Suhonen, Pertti 1999: Onko puolueiden kannatusmittauksiin uskomista?
Yhteiskuntapolitiikka nro 1/1999, s. 62-68.
Suhonen, Pertti 2000a: Mielipidetutkimusten rooli
presidentinvaaleissa. SoPhi 52. Jyväskylän Yliopisto.
Suhonen, Pertti 2000b: Gallupjournalismi kansaa edustamassa.
Yhteiskuntapolitiikka nro 1/2000.
Suhonen, Pertti 2003: Mielipidemittauksilla on keskeinen osa
demokratiassa. Helsingin Sanomat 5.3.2003.
Vuoristo, Pekka 2006: Sattuma on aina
sotkemassa, kun mielipidetutkimuksia tehdään. Helsingin Sanomat 2.2.2006.
Kuluttajansuojaa
gallup-uutisiin?
Galluppien kärkiparista ja maaliskuun 2003
eduskuntavaaliennusteista
LIITE
ERÄITÄ TIETOJA KIRJOITUKSEN POHJANA OLLEISTA KYSELYTUTKIMUKSISTA
Uutistiedotteen otsikon laatuluokka arvioitu asiallisuuden kannalta pääasiassa siinä tai uutislähetyksessä esitettyjen tietojen pohjalta.
|
Aihepiiri |
Tilaaja |
Uutisotsikoiden |
|
Presidentinvaalit |
Helsingin Sanomat |
I |
|
Hallituksen suosio ja oppositiopolitiikka |
Helsingin Sanomat |
I |
|
Puolueiden kannatus, tiedotteet 5.6.02 |
Helsingin Sanomat |
I, II |
|
Puolueiden kannatus, tiedote 6.6.02 |
MTV |
II |
|
Puolueiden kannatus, tiedote 29.6.02 |
Sunnuntaisuomalainen |
II |
|
Puolueiden kannatus, tiedotteet 8.-9.7.02 |
YLE |
I, II |
|
Puolueiden kannatus, tiedotteet 3.9.02 |
Helsingin Sanomat |
I, II |
|
Puolueiden kannatus, tiedotteet 4.9.02 |
YLE |
II |
|
Puolueiden kannatus,osa-alueita, tiedote 16.9.02 |
MTV |
I |
|
Puolueiden kannatus, osa-alueita, tiedote 20.9.02 |
MTV |
II |
|
Puolueiden kannatus, osa-alueita, tiedote 25.9.02 |
MTV |
I |
|
Puolueiden kannatus, osa-alueita, tiedote 27.9.02 |
MTV |
I |
|
Puolueiden kannatus, osa-alueita, seitsemän uutiset 2.10.02 |
MTV |
I |
|
Puolueiden kannatus, tiedotteet 4.10.02 |
YLE |
I |
|
Puolueiden kannatus, osa-alueita, tiedote 4.10.02 |
MTV |
I |
|
Puolueiden kannatus vaalipiireittäin painotettuna, tiedote 16.10.02 |
MTV |
II |
|
Puolueiden kannatus, tiedote 23.10.02 |
Helsingin Sanomat |
I, II |
|
Puolueiden kannatus, tiedotteet 8.11.02 |
YLE |
II |
|
Puolueiden kannatus, tiedotteet 5.-6.12.02 |
YLE |
I, II |
|
Puolueiden kannatus, tiedotteet 8.12.02 |
MTV |
II |
|
Puolueiden kannatus, tiedotteet 18.12.02 |
Helsingin Sanomat |
I, II |
|
Puolueiden kannatus, tiedotteet 10.1.03 |
YLE |
I, II |
|
Puolueiden kannatus ja äänestysaikomukset edusk.vaaleissa, tiedotteet 27.1.03 |
Helsingin Sanomat |
I,II |
|
Puolueiden kannatus, tiedotteet 5.2.03 |
YLE |
II, III |
|
Puolueiden kannatus, tiedotteet 21.2.03 |
MTV |
II |
|
Naisten rahankäyttö, tiedotteet 9.-10.6.02 |
Ålandsbanken |
II, III |
|
Puolueen puheenjohtajan vaali |
Ei mainittu |
I |
|
Presidentin suosio, tiedote 14.6.02 |
Helsingin Sanomat |
I |
|
Presidentin suosio, tiedote 5.7.02 |
Suomen Kuvalehti |
II |
|
Presidentin suosio, tiedotteet 24.12.02 |
Helsingin Sanomat |
II, III |
|
Presidentin suosio, tiedotteet 29.-30.12.02 |
Sunnuntaisuomalainen |
I |
|
Suosituin urheilija |
Ei mainittu |
II |
|
Verkkokauppa |
Ei mainittu |
II |
|
Siirtyminen euroon |
Valtiovarainministeriö |
II |
|
Euron suosio |
STT |
II |
|
Ammattiliittoon kuulumisen motiivit |
Kunta-alan ammattiliitto |
I |
|
Kuva ammattiliitoista |
SAK |
I |
|
Huumepolitiikan keinot |
STT |
I |
|
Huumepolitiikan keinot |
Helsingin Sanomat |
I |
|
Hallitusvaihtoehdot |
STT |
I |
|
Pormestarien tarve |
Sanomalehti Kaleva |
II |
|
Pääministeriehdokkaiden suosio, tiedote 9.7.02 |
Iltalehti |
I |
|
Pääministeriehdokkaiden suosio, tiedotteet 12.7.02 |
Iltalehti |
I, II |
|
Pääministeriehdokkaiden suosio, tiedotteet 26.-27. 9.02 |
Sunnuntaisuomalainen |
I, II |
|
Kehitysavun tarve |
UM ja KEPA |
I |
|
Rikosvastuun ikärajan tarkistustarve, |
Satakunnan Kansa ja |
I, II |
|
Rikosvastuun ikärajan tarkistustarve, |
Helsingin Sanomat |
I, II |
|
Palkankorotus vai veronalennus? |
Taloussanomat |
III |
|
Stadionin kattaminen |
Stadion-Säätiö |
I |
|
Piimän markkinatutkimus |
Finfood-Suomen Ruokatieto |
I |
|
Kouluruokailu ja sen rahoitus |
Sodexho Oy |
II |
|
Muoti |
Ei mainittu |
I |
|
Kansalaisten ajankäyttö mediaan |
Ei mainittu |
I, II |
|
Sonera Oy:n umts-kauppojen vastuut |
MTV |
II |
|
Sonera Oy:n umts-kauppojen vastuut |
Neloskanava |
I |
|
Politiikan ja poliitikkojen imago |
MTV |
II |
|
Lasten rahankäyttö |
Nordea Pankki Oyj |
I |
|
Puoluesihteerien tunnettuus |
Sanomalehti Kaleva |
I, II |
|
Naispappien vaikutus |
Pappisliitto |
II |
|
Kuntalaisten vaikutus |
Suomen Kuntaliitto |
II |
|
Sunnuntaikauppa |
Päivittäistavarayhdistys |
II |
|
Kouluvastaisuuden alueelliset erot Helsingissä |
Suomen Akatemia |
II |
|
Käytettyjen autojen tuonti |
Helsingin Sanomat |
II |
|
Venäläiset turistit |
Ei mainittu |
II |
|
Perhebarometri, tiedotteet 24.-25.9.02 |
Väestöliitto |
II |
|
Terveydenhoitokysely |
Valitut Palat |
II |
|
Kansallinen mediatutkimus |
Levikintarkastus |
I |
|
Pakolaispolitiikka, tiedotteet 29.9.02 |
Sunnuntaisuomalainen |
II |
|
Nuorisobarometri, tiedotteet 3.10.02 |
Nuorisoasiain neuvottelukunta |
I |
|
Työmarkkinasopimukset, tiedotteet 6.-7.10.02 |
SAK |
I, II |
|
Aluemediatutkimus |
Ei mainittu |
II |
|
Poliittisten instituutioiden ja järjestöjen valtasuhteet |
Ei mainittu |
II |
|
Palkankorotustarpeet terveydenhoitoalalla |
TEHY |
II |
|
Internetin käyttö |
Tilastokeskus |
I |
|
Eurobarometri, tiedote 21.10.02 |
Euroopan Unioni |
II |
|
Lasten Internet-käyttö |
Ei mainittu |
I |
|
Suojelupoliisin imago |
Sunnuntaisuomalainen |
I |
|
Lehtien lukijatutkimus |
Sanomalehtien Liitto |
I |
|
Pääkaupunkiseutulaisten muuttohalukkuus muualle Suomeen |
Sunnuntaisuomalainen |
II |
|
Tulevien eduskuntavaalien äänestysvilkkaus |
YLE |
II |
|
Työmarkkinasopimukset |
MTV |
I |
|
Terveyskeskusten asiakastyytyväisyys, tiedotteet 11.11.02 |
Stakes ja Kuntaliitto |
II |
|
Pääministeriehdokkaiden kannatus, tiedote 11.11.02 |
Uutispäivä Demari |
II |
|
Pääministeriehdokkaiden kannatus, tiedotteet 12.11.02 |
Väli-Suomen sanomalehdet |
II, III |
|
Radion ja äänilevyjen kuuntelu, ennakkotiedote 12.11.02 |
Ääni- ja kuvatallennetuottajat |
I |
|
Koulukuri, tiedotteet 9.11.02 |
Sanomalehti Kaleva |
I |
|
Eurobarometri, tiedote 15.11.02 |
Euroopan Unioini |
I |
|
Kunnallisalan ilmapuntari |
Kunnallisalan kehittämissäätiö |
I |
|
Presidentin suosio |
Sanomalehti Kaleva |
I |
|
Tyytyväisyys hallitukseen |
Sanomalehti Kaleva |
II |
|
Suomen liittyminen Natoon, tiedotteet 23.11.02 |
Väli-Suomen sanomalehdet |
I |
|
Piraattituotteiden tuonti |
TTVK |
III |
|
Turistikohteiden suosio |
Ei mainita |
I, II |
|
Nettideittailu |
Sonera |
II |
|
Seksikauppa |
Aamulehti |
II |
|
Suhtautuminen Naton joukkoihin Suomessa |
Kansanedustaja Esko Seppänen |
I |
|
Lihan kysyntä |
Ei mainittu |
I |
|
Suomen jäsenyys Natossa, tiedotteet 18.12.02 |
Maanpuolustustiedotuksen suunnittelukunta |
I |
|
EU:n laajeneminen |
Helsingin Sanomat |
I, II |
|
Hallituksen ja opposition suosio, tiedotteet 23.12.02 |
Helsingin Sanomat |
I, II |
|
Seksikauppa, tiedotteet 12.1.03 |
Väli-Suomen sanomalehdet |
II |
|
Suomen jäsenyys Natossa, tiedotteet 15.1.03 |
Helsingin Sanomat |
I |
|
Pääministeriehdokkaiden suosio, tiedotteet 16.1.03 |
Väli-Suomen sanomalehdet |
I |
|
Ammattiin opiskelevien nuorten haastattelututkimus |
SAKKI |
I |
|
Tulevan hallituksen tehtävät |
STTK |
I |
|
Suhtautuminen mahdolliseen sotaan Irakissa |
Ei mainita |
I |
|
Eduskuntavaalien teemojen tärkeysjärjestys |
Helsingin Sanomat |
I |
|
Äänestysaktiivisuus, tiedote 10.2.03 |
YLE |
I |
|
Luomutuotanto |
Ei mainittu |
I |
|
Julkkisehdokkaat eduskuntavaaleissa |
MTV |
II |
|
Eduskuntavaaliennuste Helsingin kaupungille |
Seura |
III |
|
Pääministeriehdokkaiden kannatus, tiedotteet 22.-23.2.03 |
Väli-Suomen sanomalehdet |
I |
|
Nato-jäsenyyden kannatus, tiedotteet 25.2.03 |
STT |
I |
|
Aikakauslehtien levikintutkimus, tiedote 25.2.03 |
Levikintarkastus Oy |
I |
|
Sanomalehtien levikintutkimus, tiedote 25.2.03 |
Levikintarkastus Oy |
II |
|
Kehitysapu, tiedote 28.2.03 |
STT |
I |
|
Ruotsinkielen asema, tiedotteet 28.2.03 |
STT |
II |
|
Äänestysaktiivisuus eduskuntavaaleissa, tiedote 28.2.03 |
YLE |
I |
|
Puolueiden kannatus eduskuntavaalien kynnyksellä, tiedotteet 1.3.03 |
Helsingin Sanomat |
I |
|
Työmarkkinailmasto, tiedotteet 3.-4.3.03 |
SAK |
I, II |
|
Puoluekannatus, tiedotteet 3.3.03 |
YLE |
II |
|
Nato-jäsenyyden kannatus, tiedote 6.3.03 |
STT |
I |
|
Pääministeri ja hallituspohja |
STT |
I |
|
Puoluekannatusmittaus, tiedotteet 6.3.03 |
MTV |
I, II |
|
Pääministeriehdokkaiden arvosanat, tiedotteet 8.3.03 |
STT |
II, III |
|
Vaalikampanjan vaikuttavuus, tiedote 8.3.03 |
Väli-Suomen sanomalehdet |
II |
|
Suomen Irak-politiikka, tiedote 12.3.03 |
Ei mainita |
II |
|
Puoluekannatus, tiedotteet 13.3.03 |
Helsingin Sanomat |
I |
|
Eduskuntavaaliennuste, tiedotteet 13.-14.030 |
YLE/TV |
II |
|
Terveydenhoitokysely |
Sairaanhoitajaliitto |
I |
|
Hallituspohjavaihtoehdot, tiedote 22.3.03 |
Iltalehti |
I |
|
USA:n hyökkäys Irakiin, tiedotteet 23.3.03 |
Helsingin Sanomat |
I, II |