Jos pyydät tekoälyä selittämään kaaviota mutta kuvailet kaavion vain muistisi varassa, osa tiedosta katoaa jo ennen kuin työ alkaa. Jos taas haluat korjata yhden virkkeen ja lähetät siitä epätarkan kuvakaappauksen, valitset tehtävään hankalamman aineistomuodon kuin tarvitset.
Tämän tunnin ajatus on yksinkertainen: valitse aineistomuoto sen perusteella, mitä tekoälyn pitää havaita. Kuva ei ole aina tekstiä parempi. Ääni ei ole aina kuvaa rikkaampi. Useampi aineisto ei automaattisesti paranna vastausta. Hyvä käyttäjä tunnistaa, mikä tieto on tehtävän kannalta olennaista ja missä muodossa se säilyy parhaiten.
Tunnin ydinkysymys: Mitä mallin pitää nähdä, kuulla tai lukea, jotta se voi auttaa — ja mitä aineistosta ei pidä lähettää lainkaan?
Modaliteetti tarkoittaa tietomuotoa, kuten tekstiä, kuvaa tai ääntä. Multimodaalinen malli pystyy käsittelemään useampaa kuin yhtä tietomuotoa. Se voi esimerkiksi lukea käyttäjän kysymyksen ja tarkastella siihen liitettyä valokuvaa.
Käytännössä useimmat tunnetut keskustelupalvelut ovat nykyään multimodaalisia: ChatGPT, Claude, Microsoft Copilot ja Google Gemini pystyvät kaikki käsittelemään sekä tekstiä että kuvaa, ja osa myös ääntä. Se ei tarkoita, että ne olisivat yhtä hyviä kaikissa muodoissa — ja juuri sitä tämän tunnin vertailukoe selvittää.
Eri muodot säilyttävät eri asioita:
| Aineistomuoto | Mitä se säilyttää hyvin? | Mitä siitä voi kadota? |
|---|---|---|
| Teksti | Tarkka sanamuoto, nimet, luvut ja muokattavuus | Ulkoasu, sijainti ja visuaaliset suhteet |
| Kuva | Sommittelu, sijainti, muodot, värit ja näkyvä kokonaisuus | Pienen tekstin tarkkuus ja kuvan ulkopuolinen tapahtuma |
| Taulukko | Rivien, sarakkeiden ja lukujen rakenne | Alkuperäisen tilanteen tai mittauksen tausta |
| Ääni | Puhe, tauot, ääntämys ja keskustelun ajallinen kulku | Puhujan tarkoitus ei selviä varmasti pelkästä äänensävystä |
| Dokumentti | Pitkä rakenne, otsikot, kappaleet ja lähdeyhteys | Skannatun tai huonosti jäsennetyn tiedoston sisältö voi tulkkiutua väärin |
Valinta alkaa kysymyksestä, ei tiedostosta. Jos haluat mallin arvioivan painikkeiden sijoittelua, kuva on olennainen. Jos haluat muokata painikkeen tekstiä, kopioitu teksti on tarkempi. Jos haluat tarkastella myynnin kehitystä, alkuperäinen taulukko on usein parempi kuin kuva pylväsdiagrammista.
Käytä tekstiä, kun sanamuodon, lukujen tai rakenteen pitää säilyä täsmällisenä. Tekstiä voi lainata, hakea, vertailla ja muokata suoraan.
Ajattele vaikka viestiä, jonka sävyä haluat muuttaa, tai ohjetta, josta tarvitset selkokielisen version. Kun annat alkuperäisen tekstin mallille tekstinä, jokainen sana säilyy tarkasteltavana. Sama koskee laskennassa tarvittavia taulukkoarvoja, virheilmoituksen täsmällistä sanamuotoa sekä koodia, jota pitää muokata rivi riviltä. Kuvakaappaus voi näyttää nämä asiat, mutta se lisää turhaan yhden tulkintavaiheen: mallin pitää ensin lukea kuvassa oleva teksti oikein.
Pelkkä aineisto ei kuitenkaan kerro tavoitetta. Lisää aina lyhyt tehtävänanto: mitä aineistosta tarkastellaan, kenelle tulos tehdään ja missä muodossa vastaus tarvitaan.
Kuva on hyödyllinen silloin, kun ongelma sijaitsee asioiden välisissä suhteissa: mikä on minkä vieressä, mikä puuttuu, miten kokonaisuus on jäsennelty tai mitä ympäristössä näkyy. Sovelluksen päällekkäiset painikkeet tai kaavion epäselvä selite on helpompi havaita kuvasta kuin pitkästä kuvauksesta. Samoin laitteen merkkivalot, pakkauksen kuvan ja tekstin yhteys tai käsin kirjoitetun muistiinpanon rakenne voivat olla juuri sitä tietoa, joka katoaisi pelkäksi tekstiksi muutettuna.
Hyvä kuvapyyntö kertoo kolme asiaa:
Esimerkiksi: ”Tämä on kuvakaappaus ilmoittautumissivusta puhelimella. Tarkastele vain lomakkeen rakennetta. Mitkä kaksi kohtaa vaikeuttavat käyttäjän etenemistä? Älä päättele kuvasta henkilön ominaisuuksia.”
Kaavio näyttää kehityksen nopeasti, mutta alkuperäinen taulukko kertoo arvot tarkemmin. Jos tehtävä vaatii laskemista, poikkeamien etsimistä tai rivien vertailua, anna taulukko mieluiten rakenteisessa muodossa.
Jos tehtävässä tarvitaan sekä yleiskuvaa että täsmällisiä lukuja, muodot voi yhdistää tarkoituksellisesti. Kaavion kuva näyttää esitystavan ja kehityssuunnan, alkuperäinen taulukko antaa tarkat arvot ja lyhyt teksti kertoo, mitä päätöstä varten analyysi tehdään. Tämä ei tarkoita, että mukaan lisätään kaikki mahdollinen aineisto. Jokaisella liitteellä pitää olla nimetty tehtävä.
Ääntä kannattaa käyttää, kun kiinnostuksen kohde on puheessa tai tapahtumien järjestyksessä. Esimerkiksi ääntämisen harjoittelu, kokouksen puheenvuorojen jäsentäminen tai haastattelun litterointi perustuvat tietoon, jota pelkkä jälkikäteen kirjoitettu yhteenveto ei säilytä.
Ääni ei kuitenkaan ole varma ikkuna ihmisen tunteisiin tai tarkoituksiin. Malli voi tulkita tauon, painotuksen tai puhujan asenteen väärin. Siksi turvallinen tehtävä kohdistuu havaittavaan asiaan. Voit pyytää mallia kirjoittamaan puheen tekstiksi ja merkitsemään epäselvät kohdat, tunnistamaan aiheen vaihtumisen tai vertaamaan ääntämystä annettuun malliin.
Vältä perusteettomia päätelmiä puhujan terveydestä, luonteesta, rehellisyydestä tai tunnetilasta.
Tämän tunnin tehtävässä annat saman ongelman kahdessa eri aineistomuodossa. Kokeen tarkoitus ei ole todistaa, että toinen muoto voittaa. Tarkoitus on tunnistaa, mitä uutta havaittavaa tietoa aineistomuodon vaihtaminen toi.
Jotta vertailu kertoisi aineistomuodon vaikutuksesta, pidä mahdollisimman samoina:
Muuten et tiedä, johtuiko ero aineistosta vai jostakin muusta muutoksesta.
Vertaa vastauksia nimetyillä kriteereillä. Löysikö toinen muoto sellaisen suhteen, jota toinen ei sisältänyt? Lukiko malli pienen tekstin väärin tai hävisikö litteroinnissa jotakin olennaista? Keskittyikö se epäolennaiseen yksityiskohtaan? Hyvä johtopäätös voi olla myös se, että yksinkertaisempi aineistomuoto riitti paremmin.
Ylimääräinen aineisto voi lisätä kohinaa, kuluttaa konteksti-ikkunaa ja ohjata huomion pois olennaisesta. Valitse siksi pienin aineistokokonaisuus, joka säilyttää tehtävässä tarvittavan tiedon.
Kysy jokaisesta liitteestä:
Kuva voi sisältää nimiä, kasvoja, osoitteita, ilmoituksia ja avoimia välilehtiä. Äänite voi sisältää sivullisten puhetta. Dokumentin metatiedoissa tai taulukon piilotetuissa sarakkeissa voi olla tietoa, jota et huomaa ensisilmäyksellä.
Ennen lähettämistä:
Pelkkä peittäminen ei aina riitä, jos alkuperäinen tieto jää tiedostoon palautettavaksi. Tee jaettavaan käyttöön erillinen kopio ja tarkista se ennen lähettämistä.
Multimodaalinen malli voi lukea tekstin väärin, sekoittaa kaavion sarjat, jättää osan kuvasta huomiotta tai litteroida nimen virheellisesti. Siksi vastaus ei ole todiste aineistosta.
Tarkista tärkeä havainto alkuperäisestä materiaalista. Pyydä mallia tarvittaessa osoittamaan, mihin kuvan kohtaan, taulukon riviin tai äänitteen aikaleimaan havainto perustuu. Jos perustetta ei löydy, älä käytä väitettä päätöksen pohjana.
Valitse aineistomuoto sen mukaan, mitä tehtävässä pitää havaita:
Yhdistä muotoja vain silloin, kun jokainen tuo tehtävään oman tarpeellisen havaintonsa. Rajaa aineisto, suojaa tiedot ja tarkista mallin tulkinta alkuperäisestä lähteestä. Näin multimodaalisuus ei tarkoita mahdollisimman monen liitteen lähettämistä, vaan harkittua tapaa antaa mallille juuri se tieto, jota työ vaatii.
Lopuksi pohdittavaksi: Minkä tiedon menetät, jos muutat aineiston toiseen muotoon — ja onko juuri se tieto tehtäväsi kannalta olennainen?
Tarkistettu 20.7.2026.
Tehtävät harjoittavat yhtä päätöstä: mitä tekoälyn pitää havaita, missä muodossa tieto säilyy ja miten tulkinta tarkistetaan.
| Käsite | Selitys |
|---|---|
| Modaliteetti | Aineistomuoto, kuten teksti, kuva, taulukko tai ääni. |
| Multimodaalinen malli | Malli, joka pystyy käsittelemään samassa tehtävässä useampaa kuin yhtä aineistomuotoa. |
| Rakenteinen aineisto | Tieto, jonka osat ja niiden suhteet on esitetty selkeästi, esimerkiksi taulukon riveinä ja sarakkeina. |
| Litterointi | Puheen muuttaminen kirjoitetuksi tekstiksi. Epäselvät nimet ja sanamuodot pitää tarkistaa alkuperäisestä äänitteestä. |
| Pienin riittävä aineisto | Tehtävään rajattu aineisto, joka sisältää tarvittavan tiedon mutta ei tarpeetonta tai liian arkaluontoista sisältöä. |
| Kohina | Tehtävän kannalta tarpeeton aineisto, joka voi ohjata mallin huomion pois olennaisesta. |
| Lähetysportti | Ennen lähettämistä tehtävä päätös siitä, onko aineiston käyttö sallittu, turvallinen ja tarpeellinen. |
| Jäljitettävyys | Mahdollisuus palauttaa mallin väite alkuperäisen aineiston kohtaan, kuten taulukon riviin tai äänitteen aikaleimaan. |