Oppija kuratoi oman bottinsa tietopohjan ja kirjoittaa testit ennen botin rakentamista. Tunnilla ei siis vielä tavoitella toimivaa bottia. Työn arvo on siinä, että oppija päättää etukäteen, mihin vastaukset saavat perustua ja millainen toiminta myöhemmin hyväksytään. Testit ajetaan ensimmäisen kerran tunnilla 17, minkä jälkeen tulokset dokumentoidaan ja korjattu toteutus testataan uudelleen tunnilla 18.
Oppija:
Tietopohja ei tee botista automaattisesti luotettavaa. Luotettavuus alkaa siitä, että oppija tuntee aineiston alkuperän, tehtävän ja rajat. Kun tietopohjan aukko on nimetty ja sen varalle on kirjoitettu testi, puuttuva tieto ei jää epämääräiseksi riskiksi vaan muuttuu havaittavaksi osaksi suunnitelmaa.
Pidä tunnilla erillään kolme asiaa. Tietopohja on hallittu aineisto. RAG on mahdollinen toteutustapa, jossa järjestelmä hakee aineistosta katkelmia kielimallille. Käyttöoikeusrajaus puolestaan ratkaisee jo ennen hakua, mitä aineistoa kyseinen käyttäjä saa saada mallin kontekstiin. Näiden sekoittaminen johtaa helposti siihen, että tietopohjan laatua pidetään todisteena sekä haun että vastauksen luotettavuudesta.
Tallennettava tuotos on rakennuspalikka 3: kuratoitu tietopohjataulukko, kattavuusarvio ja kolmen testin suunnitelma. Tunnin rytmi kannattaa pitää rauhallisena: lähteiden etsimiseen on helppo käyttää kaikki aika, vaikka varsinainen oppimistavoite on valintojen perusteleminen ja testattavien odotusten kirjoittaminen.
| Aika | Vaihe | Opettajan tehtävä |
|---|---|---|
| 0–10 min | Silta määrittelyyn | Näytä, miten yksi käyttötapaus muuttuu tietotarpeiksi. |
| 10–25 min | Lähteiden arviointi | Mallinna hyvä, puutteellinen ja tehtävään tarpeeton lähde. |
| 25–55 min | Kuratointi | Oppijat valitsevat 2–4 lähdettä ja täyttävät perustelutaulukon. |
| 55–70 min | Aukot | Oppijat kirjoittavat, mitä tietopohja kattaa, mitä ei ja miten botin pitää toimia tiedon puuttuessa. |
| 70–85 min | Testisuunnitelma | Kirjoita positiivinen, negatiivinen ja reunatapaus sekä nimeä, testataanko haun osuvuutta vai muodostetun vastauksen tukea. |
| 85–90 min | Tallennus | Varmista aineiston sallittu käyttö ja yhteys tunnin 17 rakentamiseen. |
Oppija saattaa ajatella, että suuri tiedostomäärä tekee botista paremman. Palauta keskustelu silloin tietotarpeisiin: jokaisella mukaan otetulla lähteellä pitää olla nimetty tehtävä, ja tarpeeton aineisto voi vaikeuttaa oikean tiedon löytämistä.
Myös luotettavan lähteen käsite kaipaa usein tarkennusta. Maineikas tai virallinen lähde voi olla vanhentunut, liian yleinen tai väärä juuri tähän käyttötapaukseen. Pyydä oppijaa kertomaan lähteen nimen lisäksi, mihin tarpeeseen se vastaa ja milloin sen sisältö on tarkistettu.
Testi sekoittuu helposti tavalliseen kysymykseen. Konkreettinen syöte on vasta testin alku; lisäksi tarvitaan etukäteen kirjoitettu odotettu toiminta ja havaittava läpäisyehto. Juuri ennakkoon lukittu odotus estää selittämästä mitä tahansa sujuvaa vastausta jälkikäteen onnistumiseksi.
RAG-testissä kaksi epäonnistumista voivat näyttää käyttäjälle samalta. Jos vastaus puuttuu, selvitä ensin löytyikö oikea lähde. Jos löytyi, tarkista tukeeko lähde muodostettua vastausta. Käyttöoikeustestissä onnistuminen tarkoittaa, ettei luvaton lähde päädy hakuun tai vastaukseen — ei vain sitä, että botti lupaa olla kertomatta siitä.
Hyväksyttävässä tuotoksessa seuraavat kohdat muodostavat toisiinsa liittyvän näytön. Käytä listaa arvioinnin tukena, mutta pyydä oppijaa tarvittaessa avaamaan valintojensa välinen yhteys:
Tuetussa työskentelyssä oppija käyttää opettajan antamaa kahden lähteen pakettia ja valmista testitaulukkoa. Tuki kohdistuu aineiston löytämiseen ja työn jäsentämiseen; oppija perustelee silti itse lähteiden tehtävät ja testien odotukset.
Syventävällä reitillä tietopohjaan tuodaan tarkoituksella ristiriitainen tai vanhentunut lähde. Oppija suunnittelee testin, joka paljastaa ongelman, ja perustelee, miten ristiriita pitäisi ratkaista. Syventävä työ ei kasvata pakollista ydintuotosta.
Tunnilla 17 rakennat ensimmäisen version. Aja silloin nämä samat testit muuttamatta odotuksia sen mukaan, mitä botti vastaa. Jos ensimmäinen versio ei läpäise testiä, testi on tehnyt tehtävänsä: se on näyttänyt, mitä pitää korjata.
Anna ryhmille käyttötapaus, jossa kerhon uusi jäsen haluaa valmistautua ensimmäisiin harjoituksiin. Pyydä heitä kuvittelemaan tulijan tilanne ennen kuin he näkevät yhtäkään lähdedokumenttia: mikä häntä jännittää, mitä hänen täytyy tietää etukäteen ja missä kohdassa väärä tieto aiheuttaisi käytännön hankaluuden? Ryhmät muotoilevat keskustelun pohjalta viisi kysymystä, joihin botin pitää pystyä vastaamaan.
Näytä vasta tämän jälkeen neljä mahdollista lähdettä: säännöt, harjoitusaikataulu, vanha markkinointiesite ja jäsenten yhteystietolista. Ryhmät valitsevat tehtävään sopivat lähteet ja perustelevat myös poisjätöt. Markkinointiesite voi liittyä aiheeseen mutta olla vanhentunut, ja yhteystietolista voi sisältää tietoa, jota botin ei pidä saada lainkaan.
Purussa korosta, ettei aiheeseen liittyminen vielä tee dokumentista tarpeellista tai sallittua.
Arvioikaa seuraavaksi yksi lähde yhdessä. Käytä alla olevia viittä kysymystä tarkistuslistana, mutta pyydä jokaiseen vastaukseen myös lyhyt perustelu:
Pyydä ryhmiä nimeämään lopuksi yksi asia, jota lähde ei kerro. Korosta, ettei aukon löytyminen ole epäonnistuminen. Päinvastoin: onnistunut kuratointi tekee näkyväksi sen, milloin botin pitää myöntää tiedon puute tai ohjata kysymys ihmiselle.
Anna vaatimus: ”Botti käyttää vain hyväksyttyä hinnastoa eikä arvaa puuttuvaa hintaa.” Kysy ensin, millainen käyttäjän viesti voisi todella koetella tätä vaatimusta. Vasta sen jälkeen ryhmät täyttävät taulukon:
| Kohta | Vastaus |
|---|---|
| Syöte | |
| Odotettu toiminta | |
| Läpäisyehto | |
| Mihin lähteeseen testi liittyy? |
Tee sama yhdelle botin rajalle ja yhdelle reunatapaukselle. Purussa vertaa erityisesti läpäisyehtoja. ”Vastaus on hyvä” ei vielä riitä, mutta esimerkiksi ”vastaus ei ilmoita hintaa ilman lähdettä ja ohjaa käyttäjän nimettyyn kanavaan” voidaan havaita.
Pyydä ryhmiä nimeämään lisäksi virheen paikka. Jos hyväksytty hinnasto ei löydy, kyse on hakuvaiheen ongelmasta. Jos hinnasto löytyy mutta vastaus ilmoittaa eri hinnan, kyse on vastauksen muodostamisen ongelmasta. Lisää lopuksi käyttöoikeustesti: käyttäjä pyytää hinnaston sisäistä versiota, johon hänen roolillaan ei ole oikeutta. Hyväksytty tulos on, ettei lähde päädy hakuun eikä sen sisältöä paljasteta.
Parit vaihtavat testisuunnitelmia ja lukevat niitä kuin ulkopuolinen arvioija. Seuraavat kysymykset toimivat vertaispalautteen tarkistuslistana:
Pyydä paria antamaan yksi täsmällinen korjausehdotus. Tavoitteena ei ole lisätä testien määrää, vaan tehdä yhdestä epäselvästä odotuksesta tai läpäisyehdosta havaittava.
Käytä tunnin lopussa seuraavaa listaa varmistaaksesi, että työ on valmis siirtymään rakentamisvaiheeseen: