Tunnin jälkeen opiskelija osaa erottaa hallusinaation luokitteluvirheestä. Hän tunnistaa väärän positiivisen ja väärän negatiivisen sekä tulkitsee petosesimerkissä kokonaistarkkuutta, osumatarkkuutta ja kattavuutta. Hän osaa perustella tarkistuksen tarpeen virheen seurauksilla.
Esittele petostilanne: tuhannesta maksusta kymmenen on petoksia. Malli löytää kahdeksan petosta ja pysäyttää 42 tavallista maksua. Pyydä opiskelijoita arvioimaan järjestelmää ennen mittareiden nimiä. Kerää taululle seurauksia asiakkaalle, pankille ja petoksen uhrille.
Näytä yksi täsmällinen tekoälyväite. Tarkistakaa se yhdessä virallisesta lähteestä. Korosta, että lämpötila ja vastauksen itsevarmuus eivät takaa oikeellisuutta. Tunnin 3 mekanismia vain kerrataan lyhyesti; tämän tunnin uusi painotus on näyttöön perustuva arvio.
Piirrä taululle nelikenttä: todellinen petos tai tavallinen maksu sekä mallin petoshälytys tai tavallinen tulos. Sijoittakaa siihen oikea positiivinen, väärä positiivinen, oikea negatiivinen ja väärä negatiivinen. Varmista, etteivät opiskelijat tulkitse sanoja positiivinen ja negatiivinen moraalisiksi arvioiksi.
Laskekaa osumatarkkuus 8/50 ja kattavuus 8/10. Näytä sitten, miksi kaikki tavalliseksi luokitteleva malli saa 99 prosentin kokonaistarkkuuden mutta ei löydä yhtään petosta. Kaavoja tärkeämpää on kysymyksen muoto: kuinka moni hälytys osui, ja kuinka moni todellinen petos löytyi?
Opiskelijat tarkistavat yhden kielimalliväitteen ja aloittavat tarkistuskäytäntönsä. Kiertäessäsi kysy: mikä lähde on riippumaton, mikä virhe on vakava, kuka tarkistaa ja milloin käyttö keskeytetään?
Poistumislappu: opiskelija kirjoittaa yhden tilanteen, jossa osumatarkkuus on tärkeä, ja yhden, jossa kattavuus on tärkeä. Vastauksessa pitää näkyä seuraus.
Pidä esimerkit arjessa ja työelämässä. Ohjelmointia ei tarvita. Jos prosenttilasku kuormittaa, anna valmiit jakolaskut ja keskity tulkintaan. Hyvä vastaus ei nimeä vain mittaria, vaan kertoo, mitä kysymystä mittari ratkaisee ja mitä se jättää kertomatta.
”99 prosentin kokonaistarkkuus on aina erinomainen.” Harvinainen etsittävä luokka voi jäädä kokonaan löytymättä.
”Väärä positiivinen on myönteinen virhe.” Positiivinen tarkoittaa vain sitä, että malli ilmoitti etsityn tapauksen löytyneen.
”Matala lämpötila poistaa hallusinaatiot.” Se voi vähentää vaihtelua, mutta ei tarkista faktoja.
”Yksi mittari kertoo, onko malli turvallinen.” Turvallisuus riippuu myös käyttötilanteesta, ryhmistä, seurauksista ja ihmisen valvonnasta.
Jaa opiskelijat neljän hengen ryhmiin. Anna jokaiselle ryhmälle neljä korttia: todellinen petos löydettiin, tavallinen maksu pysäytettiin, petos pääsi läpi ja tavallinen maksu hyväksyttiin. Ryhmä sijoittaa kortit taulukkoon, jossa riveillä on todellinen tila ja sarakkeissa mallin tulos.
Purussa nimeä tapaukset vasta opiskelijoiden oman kuvauksen jälkeen. Kysy jokaisesta virheestä: kehen se vaikuttaa, miten se havaitaan ja kuka voi korjata tilanteen?
Käytä tunnin petosesimerkkiä. Ryhmä saa kolme väitettä:
Opiskelijat yhdistävät väitteet kokonaistarkkuuteen, osumatarkkuuteen ja kattavuuteen. Pyydä sitten kutakin ryhmää kirjoittamaan yksi päätös, jota pelkkä kyseinen luku ei oikeuta tekemään.
Valitse oman alan väite, jonka voi tarkistaa nopeasti virallisesta ohjeesta. Näytä ensin tekoälyn vastaus ilman lähdettä. Opiskelijat kirjaavat, mikä siinä vaatii tarkistamista ja mistä lähteestä he aloittaisivat. Avatkaa lähde yhdessä ja verratkaa.
Jos vastaus osoittautuu oikeaksi, harjoitus onnistui silti: verifiointi ei ole virheen metsästystä vaan luotettavan tiedon hankkimista.
Hyvä opiskelijavastaus erottaa kielimallin väitteen tarkistamisen luokittelumallin tilastollisesta arvioinnista. Se käyttää virhetyyppejä oikein ja perustelee valitun mittarin seurauksella. Korjattava vastaus nimeää mittarin mutta ei selitä, mitä se mittaa, tai käsittelee ihmisen tarkistusta pelkkänä muodollisuutena.