Tämä luku kertoo sanastogeneraattorin rakentamisen vaiheista, ongelmista ja ratkaisuista. Siitä, miten hanke muuttui oppimateriaalin tuottamisesta ohjelmoinniksi luonnollisella kielellä. Tämä on suunnattu erityisesti tekoälyn aktiivisille käyttäjille. Kielenopettajaa saattaa kiinnostaa lopun liitteenä oleva sanojen luokitus, mutta kielenopiskelijan kannattaa ihan oikeasti jättää tämä luku väliin.
Versiohistoriaa
Spesifikaatio kasvoi aluksi nopeasti, mutta myöhemmin sitä myös yksinkertaistaa. Tarkoituksena oli erottaa toisistaan dokumentointiin, tiedostonhallintaan ja varsinaiseen sanaston muodostamiseen liittyvät tehtävät. Uusimmissa versioissa painopiste siirtyi pedagogisiin ja kielellisiin ratkaisuihin. Seuraava taulukko antaa yleiskuvan versiokehityksestä:
| Versio | Pääosioita / alakohtia | Tärkeimmät muutokset | Toimivuus |
|---|---|---|---|
| 0.1 | 1 / 6 | Sanastoentryn rakenne, kolmen merkitystason selitys, selitettävä sana perusmuodossa | testi |
| 0.2 | 4 / 15 | ulkoasun muotoiluja, lyric form ja taivutukset | testi |
| 0.3 | 4 / 18 | Tuotti kokonaisen sanaston. Dokumentin muoto ja rakenne vakiintuvat, mallina painetut sanakirjat. | toimiva ja hidas |
| 0.5 | 7 / 30 | Mukaan How to Use, tulostus docx-tiedostoon, tiedoston nimeäminen ja metadata. | epävakaa |
| 0.6 | 8 / 34 | Generation Assurance Rules lisätään. Pitkien ajojen ja keskeytysten hallinta. | epävakaa |
| 0.7 | 9 / 38 | Ihmisohjeet poistuvat. Sisältösäännöt tarkentuvat, mutta Assurance säilyy. | epävakaa |
| 0.8 | 9 / 39 | Lyric Glossary Spec nimettiin uudelleen Glossary Generation Speciksi, sillä ei ole käytännön syytä rajoittaa käyttöä pelkkiin laululyriikoihin. | vakaa ja hidas |
| 0.81 | 5 / 39 | Säännöt ryhmitellään (Formatting, Content, Heading, Metadata…). Dokumenttirakenne selkeytyy. | vakaa ja hidas |
| 0.82 | 13 / 32 | Suuri pelkistys. Completeness Check, automaattinen regenerointi ja AI-keskeinen prosessi. | vakaa ja hidas |
| 0.83 | 14 / 34 | Output Header, Final Section ja Excluded-lista. Konjugaatiosääntö tarkentuu. | vakaa ja hidas |
| 0.84 | 14 / 34 | Semanttiset kerrokset ja prosessi hioutuvat, rakenne vakiintuu. | vakaa ja hidas |
| 0.85 | 14 / 35 | Romanisointi ja kielikohtaiset säännöt tarkentuvat. | vakaa ja hidas |
| 0.86 | 14 / 36 | Lyric Form muuttuu ehdolliseksi. Romanisointi (macronit) vakiintuu. | vakaa ja hidas |
| 0.87 | 15 / 38 | Quality Principle, GD-ajattelu, Ignore Metadata ja tuotannon tilastointi. | vakaa |
| 0.90 | 14 / 31 | Content Word Glossary. Partikkelit ja funktiosanat poistuvat, fraasit erotellaan. | vakaa |
| 0.91 | 15 / 33 | Word Boundary Rule. | vakaa |
| 0.92 | 15 / 35 | Sanaluokittelua tarkennetaan (mm. laskusanat, prefiksit, suffiksit). | vakaa |
| 0.93 | 15 / 38 | Merkityskerrokset nimetään (literal / abstract / poetic), Lyric Form uudistuu. | vakaa |
| 0.94 | 15 / 38 | Lyric Form yksinkertaistuu nykyiseen muotoon, glossary-entryjen puhtaus varmistetaan. | vakaa ja nopea |
| 0.95 | 17 / 50 | Luovuttiin vaatimasta ylitarkkoja sana- ja alaluokkia, Otettiin käyttöön pehmeäreunainen neljän ish-korin malli. | vakaa ja nopea |
| 0.96 | 17 / 50 | Lisättiin sanaston ylätunnistetiedot | vakaa ja nopea |
| 0.97 | 17 / 50 | Development Release | vakaa ja nopea |
Hankkeessa oli myös kriisivaihe, kun sanastojen luominen muuttui epävakaaksi. Jouduin umpikujaan, sillä en halunnut menettää tehtyä työtä ja uskoin tekoälyn ehdotuksiin lisäsääntöjen hyödystä. Laitoin hankkeen tauolle maaliskuussa, enkä tiennyt miten jatkaa.
Loppukevään työruuhkan vuoksi pääsin palaamaan hankkeeseen vasta kesällä. Puolen vuoden hanke oli siis tauolla lähes neljä kuukautta. Tauon aikana aloin ymmärtää, että tekoälyyn täytyy alkaa suhtautua aiempaa kriittisemmin.
Kehittäminen muutti tasapainoiluksi ominaisuuksien lisäämisen ja yksinkertaistamisen välillä. Osa säännöistä poistui kokonaan, osa yhdistettiin ja osa korvattiin myöhemmin tarkemmilla periaatteilla. Lopputuloksena syntyi yksinkertaisempi mutta samalla käsitteellisesti vahvempi spesifikaatio.
Version 0.95 suuri alakohtien määrä (50 kpl) selittyy sillä, että määrityksessä piti luetella ne 17 mahdollista sana- ja alauokkaa, joita luokiteltiin lempeämmin neljään koriin. Esim. ”nounish” = substantiivit ja substantiivin tapaan käyttäytyvät.
- Lisätietoa versiokehityksestä ggs-versiohistoria (pdf, 2 s. CC BY 4.0, 2026-07-28)
- Maksimaalista kielinörtteilyä sanaluokista ggs-sanaluokitus (pdf 2 s. CC BY 4.0)
Ongelmia ja ratkaisuja
Testattaessa havaittiin, että tekoäly on altis monenlaisille toimintahäiriöille.
- Tekoäly tuottaa pienen näytteen ja kysyy, halutaanko käsitellä koko aineisto. Vaikka siihen vastaa myöntävästi, tekoäly jää jumiin.
- Tekoäly tuottaa muutaman GE:n ja ilmoittaa, että tehtävä on suoritettu. Sillä ei näytä olevan aavistustakaan, että tehtävä jäi kesken.
- Tekoäly alkaa keskeyttää generoimista varmistaakseen käyttäjältä, kummalla tavalla toimitaan. Tämä häiriö on helppo jäljittää monitulkintaisiin sääntöihin
Tekoäly voi epäonnistua tehtävän suorittamisessa:
- jos tekoälylle annettava lähdeteksti sisältää jotain yllättävää, mitä ei ole otettu huomioon.
- jos tehtävään kuuluu tekoälyn mielestä liikaa aikaa
- jos sääntöjä on liikaa, ne ovat monimutkaisia tai ovat ehdottomia
- jos tekoäly suorittaa yhtä aikaa erilaisia, monivaiheista ja raskasta tehtäviä
- jos sanastosta on tulossa niin laaja, että se ylittäisi tekoälylle asetetun ruudulle tuotettavan vastauksen pituusrajan
Yritettäessä ratkaista versio 0.5:n keskeytymisongelmia, kysyttiin siitä myös tekoälyltä. Tämä oli suuri virhe, sillä tekoäly on hyvä generoimaan uusia sääntöjä, mutta kovin huono arvioimaan, ovatko säännöt ja tehtävät sille liian monimutkaisia.
Yksi kehittämistyön perusongelma on, että tekoäly ei anna selkeitä virheilmoituksia. Jos siltä kysyy, mikä meni pieleen, se alkaa generoida mahdollisia selityksiä. Vaikuttaa siltä, että se ei tiedä itsekään. Olen kohdannut tämän useasti.
Fraasit ovat sanaston kannalta hankalia: Fraasin merkitys on erilainen kuin sen osien summa. Ongelma ratkaistiin ohittamalla fraasit sanastosta ja luomalla niiden kääntäminen erillisen työkalun tehtäväksi. Tästä tarkemmin seitsemännessä luvussa.
On hyvä huomata, että speksin laatu ja generoinnin vakaus ovat eri asioita. Hyväkin määritys voi epäonnistua yksittäisessä ajossa. Ja toisin päin: heikkokin määritys saattaa toimia vakaasti.
Parhaat opit
Nyt kun jälkikäteen palauttaa mieleen GGS:n kehittämisestä saatuja kokemuksia, ymmärtää aiempaa paremmin tekoälyn tuotantokäytön rajoituksia ja ylipäänsä sitä, miten nykyiset keskustelubotit toimivat. Esimerkiksi sääntöjen kohdalla on löydettävä tarkka tasapaino:
- Jos tärkeitä sääntöjä puuttuu, tekoäly joutuu päättelemään, mitä pitää tehdä. Paljon toistuvassa silmukassa tämä hidastaa tehtävän suoritusta ja kuluttaa turhaan laskentatehoa,
- Jos säännöt ovat tulkinnanvaraisia, tekoäly saattaa tuottaa tuloksia, jotka eivät ole sisällöltään sitä tai siinä muodossa kuin käyttäjä ne olisi halunnut.
- Jos sääntöjä on liikaa, tehtävän suoritus hidastuu ja saattaa jumiutua.
- Jos säännöt ovat ehdottomia, normaalista poikkeava lähdeteksti keskeyttää tehtävän suorituksen
Tekoäly ei kerro, milloin käytettävissä oleva kapasiteetti ylittyy. En välitä, onko häiriön syy token-budjetti vai hetkellinen käyttäjäkuorma, mutta yritys-ja-erehdys-periaatteella tapahtuvalta kehittämistyöltä puuttuu laskentapohja. Se on kuin lähtisi vielä huhtikuussa pilkille ja toivoisi, että jäät edelleen kantavat.
Tärkein oppi: tekoälyä ei kannata yrittää laittaa tekemään kaikkea ihmisen puolesta. Parempi työnjako on kolmikohtainen:
- Tekoälylle annetaan yksi selkeä tehtävä, jossa se on hyvä: tuottaa sanaston sisältötekstit.
- Ihminen hoitaa tehtävät, jotka vaativat harkintaa. Sanaston viimeistely julkaisukuntoon. sisältötekstin siivoaminen, merkkien ja kappaleiden muotoileminen, linkin ja metadatan lisääminen, pdf-viennin tekeminen ja tiedoston nimeäminen
- Päätehtävästä irrotettiin osatehtäviä, joita tekoäly suorittaa vain pyydettäessä. Tällaisia ovat sanaston tarkastaminen ja fraasien kääntäminen.
Juttusarjan seuraavan, eli viidennen osan aiheita ovat sanaston generoiminen käytännössä, muokkaaminen dokumenttitiedostoksi ja sanastojen tiedonhallinta.