Tässä juttusarjan seitsemännessä osassa kerron kahdesta kätevästä työkalusta. PET (Phrase Extraction Tool) etsii lähdetekstistä fraaseja ja kääntää ne. GCC (Glossary Collection Compiler) kokoaa sanastoja yhteen. Hanke eteni hyvää tahtia, sillä nämä kaksi työkalua sekä tämä blogijuttu syntyivät käytännössä yhden päivän aikana.
PET-fraasityökalu
Fraasit ovat kielessä useamman sanan mittaisia merkkijonoja, joiden merkitys on eri kuin niiden osien summa. Japanissa kirjaimellisen ja kulttuurisen merkitysten ero voi olla niin suuri, ettei sanonta mitenkään avaudu tuijottamalla yksittäisiä sanoja. Seuraavassa esimerkki arkielämän fraasista:
yoroshiku onegaishimasu (よろしくお願いします) 1. (literal) ”Please treat me favorably.” 2. (social) almost anything from ”Nice to meet you” or ”Please take care of this” to ”I look forward to working with you.”
Sanaston ja sanakirjan kannalta fraasit ovat hankalia. Tuodaanko ne sanastoon sana kerrallaan vai kokonaisuutena, aakkostetaanko ne fraasin ensimmäisen sanan vai ydinsanansa mukaan ja kuinka monta kulttuurista merkitystä voidaan tuoda mukaan. Erilaisissa sosiaalisissa tilanteissa fraasi voi merkitä erilaisia asioita, joten pitäisikö myös näitä tilanteita selittää sanastossa? Tällainen sosiaalinen tulkinta on hyvin mielenkiintoista, mutta myös aivan liian laaja aihe tähän juttuun. Se voisi olla kokonaisen juttusarjan aihe.
Aiemmin kehitetyn GGS-sanastogeneraattorin käskettiin ohittaa lähdetekstissä olevat fraasit ja listata ne sanaston loppuun. Tuolloin päätettiin tehdä oma työkalu fraasien etsimiseen ja kääntämiseen. Fraasit opetellaan kokonaisuuksina, joten on hyvä, että ne voi lukea ja ymmärtää myös niin.
PET (Phrase Extraction Tool) on fraasien tunnistustyökalu, joka löytyy alla olevasta linkistä. Se on melko yksinkertainen ja ensimmäiseen versioon on tullut vain pientä hienosäätöä. Se on edelleen kehitysversio, mutta toimii vakaasti ja tuottaa kielen opiskeluun hyvin hyödyllistä materiaalia.
PET-013 (docx, 2 s. versio 0.13, CC BY 4.0, 2026-08-11)
Fraasisanaston luominen
- Ota esiin chatbotti
- Lataa kehotteen liitteiksi SD ja PET -tiedostot
- Kirjoita kehotteeksi ”etsi fraasit sd-tiedostosta noudattaen tarkasti pet-speksiä. priorisoi laatu. unohda tehtävään käytettävä aika” ja paina Enter
- Jos kaikki menee hyvin, näytölle tulostuu valmis sanasto
- Tallenna tiedosto ja lisää sen nimeen koodi PGD (Phrase Glossary Document)
Tässä pari esimerkkiä julkaisukelpoisiksi muotoilluista fraasilistoista:
- Atarayo: Shinaide-pgd (pdf, 2 s. CC BY 4.0, EN)
- Hakubi: Twilight-pgd (pdf, 1 s. CC BY 4.0 EN)
GCC-kokoelmatyökalu
GCC (Glossary Collection Compiler) on työkalu, mikä kokoaa yksittäiset sanastot isommaksi kokoelmaksi Yhdessä tiedostossa ja aakkosjärjestyksessä se muistuttaa jo sanakirjaa. Työkalu on yksinkertainen ja hyvin toimiva. Sekin on julkaistu kehitysversiona.
GCC-013 (docx, 2 s. versio 0.13, CC BY 4.0 2026-08-11)
GCC suorittaa käytännössä seuraavat tehtävät:
- lukee sanastoja ja sanastokokoelmia
- laatii niistä lähdeluettelon
- kokoaa sanastot yhteen
- järjestää ne aakkosjärjestykseen
- ei ota samaa sanaa kahta kertaa
- lisää lähdeluettelomerkinnän, missä sanastoissa sana esiintyi
- tulostaa sanaston yhtenä kokonaisuutena
- listaa lopuksi ehdokkaiden, ohitettujen ja hyväksyttyjen sanojen määrät
Sanastokokoelman luominen
- Ota esiin chatbotti
- Lataa kehotteen liitteiksi GCC-työkalu sekä GD-tai VGD -sanastot
- Kirjoita kehotteeksi esim. ”kokoa gd- ja vgd-tiedostoista sanastokokoelma noudattaen tarkasti gcc-speksiä. Priorisoi laatu. Unohda käytettävä aika.” ja paina Enter
- Jos kaikki menee hyvin, näytölle tulostuu valmis sanasto
- Tallenna tiedosto ja lisää sen nimeen GCD-lyhenne (Glossary Collection Document)
Vinkkejä tiedonhallintaan
Jos innostut sanastojen tekemiseen, niitä alkaa kertyä nopeasti paljon. Parhaat vinkit asioiden pitämiseen hallussa.
- Nimeä tiedostot huolellisesti
Esim. [laulun_nimi]-[dokumenttikoodi] - Tallenna kaikki luomasi tiedostot
- Tallenna kaikki samaan hakemistoon
- Älä muuttele tiedostonnimiä jälkikäteen
- Älä luota tekoälyn tiedostopuskuriin arkistona
Juttusarjan seuraavassa, eli kahdeksannessa osassa puhutaan sanastohankkeen suunnitteluperiaatteista ja etenkin siitä, miten ne muuttuivat kehitystyön aikana. Oppilaitosmaailman edustajana olen luonnollisesti sitä mieltä, että jos hankkeessa ei mikään muutu, siinä ei myöskään paljoa opita. Seuraava osa tulee aivan pian.