Miten kone kirjoittaa? — generatiivisen tekoälyn mekaniikka

Johdanto

Kun käytät ChatGPT:tä, Copilotia tai muuta kielimalliin perustuvaa tekoälyä, vastaus voi näyttää hyvin älykkäältä. Mutta mitä taustalla oikeasti tapahtuu? Taustalla ei ole ajattelua tai ymmärtämistä ihmisen tavoin, vaan matemaattista ennustamista.

Kielimalli on opetettu valtavalla määrällä tekstiä. Se ei ajattele kuten ihminen, vaan ennustaa, mikä sana, sanan osa tai ilmaus sopii seuraavaksi parhaiten. Kun ymmärrät tämän, ymmärrät paremmin sekä mallin vahvuudet että sen rajat.

Tämän tunnin jälkeen ymmärrät, että vaikka tekoäly näyttää älykkäältä, sen perusta on mekaaninen. Se ei ajattele ihmisen tavoin, vaan ennustaa.

Tokenit — sanat jaetaan pieniksi palasiksi

Kun ChatGPT tai muu kielimalli lukee tekstiä, se ei käsittele sitä varsinaisesti kokonaisina sanoina, vaan tokeneina eli pieninä tekstin palasina.

Joskus yksi sana vastaa yhtä tokenia. Näin voi olla esimerkiksi sanoissa ”tekoäly” tai ”koulu”. Pidemmät tai harvinaisemmat sanat voivat kuitenkin jakautua useaan tokeniin. Esimerkiksi sana ”kielentutkimusopiskelijat” voi pilkkoutua useiksi osiksi. Tämä riippuu siitä, miten mallin käyttämä tokenisaattori on suunniteltu ja opetettu.

Miksi näin tehdään? Mallia opetettaessa se oppii, mitkä kirjain-, sana- ja sananosayhdistelmät ovat hyödyllisiä. Yleiset sanat tai sananosat voivat muodostaa yhden tokenin. Harvinaisemmat sanat jaetaan pienempiin osiin, jotta malli pystyy käsittelemään myös sanoja, joita se ei ole nähnyt usein.

Pysähdy hetkeksi: Miksi pienempi tokenisarja voisi olla kielimallille parempi kuin pitkien sanojen käsittely kokonaisina?

ChatGPT:n kaltaiselle mallille ”tekoäly” voi olla noin 1–2 tokenia. Sana ”kielentutkimusopiskelijat” voi puolestaan olla useita tokeneita. Malli siis ”näkee” tekstin tokeneina, ei samalla tavalla kuin ihminen näkee sanat ja lauseet.

Parametrit — miljardeja opittuja numeroita

Kielimallissa on parametreja eli numeroarvoja, jotka se on oppinut koulutuksen aikana. Esimerkiksi GPT-3-mallissa oli noin 175 miljardia parametria. Uudemmissa suurissa kielimalleissa parametrimäärät ja tarkat rakenteet voivat olla erilaisia, eikä niitä aina julkaista avoimesti.

Parametrien lukumäärä on niin valtava, että sitä on vaikea hahmottaa. Onneksi perusidea on yksinkertainen: parametrit ovat matemaattisia painoja, jotka ohjaavat mallin toimintaa. Ne vaikuttavat siihen, millaisia yhteyksiä malli tunnistaa tekstissä ja millaisia vastauksia se todennäköisimmin tuottaa.

Voit ajatella parametreja mallin eräänlaisina ”säätiminä”. Ne eivät ole ihmisaivojen kaltaisia ajatuksia tai muistoja, vaan numeroita, joiden avulla malli käsittelee tekstiä. Koulutuksen aikana malli säätää näitä numeroita vähitellen, jotta sen ennusteet paranevat.

Käytännössä malli käy läpi valtavan määrän tekstiesimerkkejä ja yrittää ennustaa, mikä tokeni tulee seuraavaksi. Kun ennuste menee väärin, mallin parametreja säädetään hieman. Kun tätä toistetaan valtavan monta kertaa, malli oppii yhä paremmin, millaiset tokenit sopivat toistensa yhteyteen.

Seuraavan tokenin ennustaminen — sana kerrallaan

Kielimallin perusmekanismia kutsutaan usein englanniksi nimellä next-token prediction. Suomeksi se tarkoittaa seuraavan tokenin ennustamista.

Kun annat ChatGPT:lle kysymyksen ”Mikä on Suomen pääkaupunki?”, malli näkee tekstin tokeneina. Yksinkertaistettuna se voi käsitellä sen esimerkiksi näin:

• tokeni: ”Mikä”
• tokeni: ”on”
• tokeni: ”Suomen”
• tokeni: ”pääkaupunki”

Tämän jälkeen malli arvioi parametrien ja koulutusdatan perusteella, mikä tokeni sopii seuraavaksi. Tässä tapauksessa todennäköinen jatko on ”Helsinki”. Malli valitsee sen ja lisää sen vastaukseen.

Sitten malli jatkaa samalla tavalla. Se katsoo aiempaa tekstiä, johon kuuluu nyt myös sen oma tuottama sana, ja ennustaa taas seuraavan tokenin. Tätä jatkuu, kunnes vastaus on valmis tai kunnes pituusraja tulee vastaan.

Tässä on avainasia: malli ei kirjoita vastausta samalla tavalla kuin ihminen suunnittelee esseen tai perustelun. Se valitsee seuraavaa tokenia yksi kerrallaan parametrien ja koulutuksessa näkemänsä datan perusteella. Se näyttää älykkäältä, koska koulutusdata sisälsi valtavasti ihmisten kirjoittamaa älykästä tekstiä. Mutta malli ei ajattele ihmisen tavoin. Se ennustaa.

Pysähdy hetkeksi: Jos malli vain ennustaa seuraavaa tokenia todennäköisyyksien perusteella, miten se voi silti antaa oikeita vastauksia monimutkaisiin kysymyksiin?

Koulutusdata — se, mistä malli oppii

Parametrit opitaan koulutusdatasta. Nykyiset kielimallit on koulutettu valtavilla tekstimäärillä, joita on kerätty esimerkiksi kirjoista, artikkeleista, verkkosivuilta, koodista ja internetin keskusteluista. Nykyiset suuret kielimallit opetetaan biljoonilla tokeneilla. Tässä yhteydessä biljoona tarkoittaa miljoonaa miljoonaa.

Mitä malli oppii tästä aineistosta? Se oppii tilastollisia yhteyksiä ja toistuvia kuvioita. Se voi esimerkiksi oppia, että sanat ”koodaus” ja ”Python” esiintyvät usein yhdessä, että merkkijonon ”2 + 2” jälkeen tulee usein ”= 4” tai että kysymyksen jälkeen seuraa yleensä vastaus.

Tärkeää on kuitenkin ymmärtää, ettei malli ymmärrä asioita samalla tavalla kuin ihminen. Se ei tiedä, miksi 2 + 2 = 4 on totta. Se on oppinut, että tämä yhdistelmä esiintyy aineistossa hyvin usein ja on siksi todennäköinen.

Tästä seuraa myös rajoituksia. Jos koulutusdata sisältää virheitä tai vinoumia, malli voi oppia niitäkin. Jos taas jokin aihe puuttuu datasta kokonaan tai esiintyy siinä vain vähän, malli ei pysty hallitsemaan sitä hyvin.

Ennustamisesta seuraa myös rajoja

Seuraavan tokenin ennustaminen selittää, miksi kielimalli voi tuottaa sekä sujuvaa että virheellistä tekstiä. Uskottava jatko ei ole sama asia kuin tarkistettu fakta. Tällaista vakuuttavalta kuulostavaa mutta virheellistä tuotosta kutsutaan hallusinaatioksi.

Mallin tuotokseen voi liittyä myös vaihtelua: järjestelmä voi valita useista mahdollisista jatkoista eri vaihtoehdon eri kerroilla. Joissakin ympäristöissä vaihteluun vaikuttavia asetuksia voidaan säätää, mutta samaa vastausta ei silti pidä luvata pelkän yhden asetuksen perusteella. Hallusinaatioiden, vaihtelun ja tulosten tarkistamisen käsittelet perusteellisesti Luotettavuus ja virhetyypit -tunnilla.

Kuva-, musiikki- ja videomallit

Kaikki generatiiviset mallit eivät toimi kielimallin tavoin seuraavaa yksikköä ennustamalla. Menetelmä riippuu aineistosta ja mallin rakenteesta.

• Autoregressiivinen malli tuottaa seuraavan osan aiempien osien perusteella. Tätä tapaa käytetään tekstissä ja myös joissakin musiikki-, kuva- ja videomalleissa, kun aineisto esitetään peräkkäisinä yksikköinä.
• Diffuusiomalli aloittaa kohinaisesta lähtötilasta ja poistaa kohinaa useassa vaiheessa, kunnes kuva tai video vastaa annettua kuvausta.
• Äänimalli voi käsitellä esimerkiksi äänen aaltomuotoa, spektrogrammia tai äänitokeneita. Tuottaminen voi perustua seuraavan yksikön ennustamiseen, diffuusioon tai niiden yhdistelmään.

Yhteistä on se, että malli oppii koulutusdatasta rakenteita ja tuottaa niiden pohjalta uuden tuotoksen. Tarkka mekanismi ei kuitenkaan ole kaikissa aineistomuodoissa sama. Siksi kielimallin next-token-periaatetta ei pidä käyttää kaikkien generatiivisten mallien yleispätevänä selityksenä.

Yhteenveto

Kielimalli ei ajattele tai ymmärrä ihmisen tavoin. Se toimii yksinkertaistettuna näin:

• Se pilkkoo tekstin tokeneiksi.
• Se käyttää koulutuksessa opittuja parametreja.
• Se ennustaa seuraavan tokenin todennäköisyyksien perusteella.
• Se jatkaa tätä, kunnes vastaus on valmis.
• Uskottava jatko ei vielä ole tarkistettu fakta.

Siksi kielimallin lopputulos voi näyttää älykkäältä, vaikka taustalla on ennen kaikkea matemaattinen ennustaminen. Mallin vahvuus tulee siitä, että se on oppinut valtavasta määrästä ihmisten tuottamaa aineistoa. Vastuulliselle käyttäjälle tämän ymmärtäminen on tärkeää, koska juuri silloin hahmottaa sekä kielimallin hyödyt että sen rajoitukset.

Seuraavalla tunnilla opit ymmärtämään, että vastaus riippuu suuresti siitä, mitä ja miten kysyt: konteksti ratkaisee kaiken.

Lähteet ja tarkistuspäivä

• Vaswani ym.: Attention Is All You Need
• Ho ym.: Denoising Diffusion Probabilistic Models
• NIST: Generative AI Profile, NIST AI 600-1

Tarkistettu 15.7.2026.