{"id":2014,"date":"2026-07-08T17:00:00","date_gmt":"2026-07-08T17:00:00","guid":{"rendered":"https:\/\/blogit.sasky.fi\/ruohomaki\/?p=2014"},"modified":"2026-07-17T21:09:57","modified_gmt":"2026-07-17T21:09:57","slug":"sanaston-synty-osa-4","status":"publish","type":"post","link":"https:\/\/blogit.sasky.fi\/ruohomaki\/2026\/07\/08\/sanaston-synty-osa-4\/","title":{"rendered":"Sanaston synty (Osa 4)"},"content":{"rendered":"\n<p class=\"has-medium-font-size wp-block-paragraph\"><br>Kerron t\u00e4ss\u00e4 juttusarjan nelj\u00e4nness\u00e4 osassa sanastogeneraattorin kehitysvaiheista, ongelmista, niiden ratkaisemisesta ja mit\u00e4 kaikkea kehitysty\u00f6 opetti. T\u00e4st\u00e4 l\u00f6ytyy jotain muillekin kuin japania opiskeleville, etenkin teko\u00e4lyn aktiivisille k\u00e4ytt\u00e4ville.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Sanaston ulkoasu ja sis\u00e4lt\u00f6 alkoivat vakiintua GGS:n versiossa 0.3. Aloin sen j\u00e4lkeen lis\u00e4t\u00e4 seuraaviin versioihin uusia teht\u00e4vi\u00e4 ja s\u00e4\u00e4nt\u00f6j\u00e4, jotta tuottaisivat l\u00e4hemp\u00e4n\u00e4 julkaisukelpoisia sanastoja. Tavoitteena oli v\u00e4hent\u00e4\u00e4 k\u00e4ytt\u00e4j\u00e4n manuaalisesti teht\u00e4v\u00e4n muokkaamisen tarvetta. Versiokehitysest\u00e4 on tiivistetty seuraavaan taulukkoon.<\/p>\n\n\n\n<figure class=\"wp-block-table has-medium-font-size\"><table><tbody><tr><td><strong>versio<\/strong><\/td><td><strong>s\u00e4\u00e4nt\u00f6j<\/strong>\u00e4<\/td><td><strong>t\u00e4rkeimm\u00e4t muutokset<\/strong><\/td><td><strong>toimivuus<\/strong><\/td><\/tr><tr><td>0.3<\/td><td>18<\/td><td>lis\u00e4tty l\u00e4hdetekstin taivutusmuoto selityksineen<\/td><td>vakaa<\/td><\/tr><tr><td>0.5<\/td><td>31<\/td><td>lis\u00e4tty yl\u00e4tunnisteen, tiedoston ja metadatan m\u00e4\u00e4ritykset ja s\u00e4\u00e4nn\u00f6t<\/td><td>hidas ja ep\u00e4vakaa<\/td><\/tr><tr><td>0.6<\/td><td>35<\/td><td>lis\u00e4tty generoimisen keskeytyst\u00e4 est\u00e4v\u00e4t s\u00e4\u00e4nn\u00f6t lis\u00e4tty k\u00e4ytt\u00f6ohjeet<\/td><td>ep\u00e4luotettava<\/td><\/tr><tr><td>0.7<\/td><td>35<\/td><td>poistettu k\u00e4ytt\u00e4j\u00e4n ohje<\/td><td>ep\u00e4luotettava<\/td><\/tr><tr><td>0.85<\/td><td>23<\/td><td>poistettu tiedoston luomiseen, metadataan ja yl\u00e4tunnisteeseen liittyv\u00e4t m\u00e4\u00e4ritykset ja s\u00e4\u00e4nn\u00f6t, Lis\u00e4tty esimerkki sanaston layoutista<\/td><td>vakaa, mutta ohittaa sanoja<\/td><\/tr><tr><td>0.92<\/td><td>11 p\u00e4\u00e4s\u00e4\u00e4nt\u00f6\u00e4,  40 alakohtaa<\/td><td>rajattiin tuotettavasta sanastosta pois metadata, muut kielet partikkelit, pronominit, j\u00e4lkiliitteet.sek\u00e4 monisanaiset fraasit<\/td><td>vakaa<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Version 0.8 my\u00f6t\u00e4 t\u00e4smentyi my\u00f6s hankkeen tavoite: annettu teht\u00e4v\u00e4 suoritetaan kerralla, kokonaan ja t\u00e4ysin itsen\u00e4isesti. Sanaston muotoilu, tiedonhallinta ja laadunvarmistus ovat t\u00e4m\u00e4n j\u00e4lkeen erillisi\u00e4 teht\u00e4vi\u00e4.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Versio 0.90 toimii jo vakaasti, mutta ohittaa moniosaisia ilmauksia, kuten fraaseja ja kanji+kana-taivutusmuotoja. Fraasien kohdalla sana kerrallaan k\u00e4\u00e4nt\u00e4minen ei ole paras tapa oppia tekstin merkityst\u00e4, sill\u00e4 ne avautuvat lukijalle vain, kun ne ymm\u00e4rt\u00e4\u00e4 kokonaisuutena.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Version 0.91 kohdalla siivottiin l\u00e4hdekoodista aiemmat ylis\u00e4\u00e4nelyn j\u00e4\u00e4nteet, suodatetaan paljon k\u00e4sitelt\u00e4vi\u00e4 apusanoja, kuten etu- ja j\u00e4lkiliitteet. P\u00e4\u00e4tettiin luoda erillinen ty\u00f6kalu fraasien tunnistamiseen ja k\u00e4\u00e4nt\u00e4miseen.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Versiossa 0.92 parannettiin sanaluokkien erottelua: verbit, verbinomaiset substantiivit (suru noun) ja substantiivit ovat nyt kaikki omiaan. T\u00e4m\u00e4 v\u00e4hensi rajatapausten tulkitnakuormaa ja tarkastusraportin v\u00e4\u00e4ri\u00e4 h\u00e4lytyksi\u00e4. Samalla todettiin, ett\u00e4 t\u00e4ss\u00e4 liikutaan aloittelevan oppijan kannalta jo aivan tarpeettoman syviss\u00e4 vesiss\u00e4.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Esimerkki fraasin k\u00e4\u00e4nt\u00e4misest\u00e4: <em>yoroshiku onegaishimasu <\/em>(\u3088\u308d\u3057\u304f\u304a\u9858\u3044\u3057\u307e\u3059) 1. Lierallly &#8221;<em>Please treat me favorably.<\/em>&#8221; 2. A social phrase meaning anything from &#8221;<em>Nice to meet you<\/em>&#8221; and &#8221;<em>Please take care of this<\/em>&#8221; to &#8221;<em>I look forward to working with you.<\/em>&#8221;<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\" \/>\n\n\n\n<h2 class=\"wp-block-heading\">Ongelmia ja ratkaisuja<\/h2>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Testattaessa havaittiin, ett\u00e4 teko\u00e4ly on altis monenlaisille toimintah\u00e4iri\u00f6ille.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li class=\"has-medium-font-size\">Teko\u00e4ly tuotti pienen n\u00e4ytteen ja kysyi, halutaanko k\u00e4sitell\u00e4 koko aineisto. Vaikka siihen vastasi my\u00f6nt\u00e4v\u00e4sti, teko\u00e4ly j\u00e4i jumiin. Teht\u00e4v\u00e4n suorittaminen keskeytettiin puolen tunnin j\u00e4lkeen.<\/li>\n\n\n\n<li class=\"has-medium-font-size\">Teko\u00e4ly tuotti vain muutaman GE:n, muodosti tiedoston ja ilmoitti iloisesti, ett\u00e4 teht\u00e4v\u00e4 on suoritettu. Vaikuttaa silt\u00e4, ettei sill\u00e4 ole aavistustakaan siit\u00e4, ett\u00e4 teht\u00e4v\u00e4 j\u00e4i kesken.<\/li>\n\n\n\n<li class=\"has-medium-font-size\">Teko\u00e4ly alkoi keskeytt\u00e4\u00e4 sanaston generoimista varmistaakseen k\u00e4ytt\u00e4j\u00e4lt\u00e4, kummalla tavalla toimitaan. T\u00e4m\u00e4 h\u00e4iri\u00f6 on helppo j\u00e4ljitt\u00e4\u00e4 monitulkintaisiin s\u00e4\u00e4nt\u00f6ihin, mutta on ristiriidassa single-pass -teht\u00e4v\u00e4n suorittamistavoitteen kanssa.<\/li>\n<\/ul>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Teko\u00e4ly voi ep\u00e4onnistua teht\u00e4v\u00e4n suorittamisessa:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li class=\"has-medium-font-size\">jos teht\u00e4v\u00e4\u00e4n kuuluu teko\u00e4lyn mielest\u00e4 liikaa aikaa<\/li>\n\n\n\n<li class=\"has-medium-font-size\">jos s\u00e4\u00e4nt\u00f6j\u00e4 on liikaa, ne ovat monimutkaisia tai ovat ehdottomia<\/li>\n\n\n\n<li class=\"has-medium-font-size\">jos teko\u00e4ly suorittaa yht\u00e4 aikaa erilaisia, monivaiheista ja raskasta teht\u00e4vi\u00e4<\/li>\n\n\n\n<li class=\"has-medium-font-size\">jos sanastosta on tulossa niin laaja, ett\u00e4 se ylitt\u00e4isi teko\u00e4lylle asetetun ruudulle tuotettavan vastauksen pitussrajan<\/li>\n<\/ul>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Yritett\u00e4ess\u00e4 ratkaista GGS 0.5:n ongelmia kysyttiin keskeytymisongelman ratkaisua teko\u00e4lylt\u00e4. Teko\u00e4ly osaa hyvin generoida lis\u00e4\u00e4 s\u00e4\u00e4nt\u00f6j\u00e4 ja tarkistuksia, mutta ei arvioida itse, ett\u00e4 teht\u00e4v\u00e4 k\u00e4y sille liian monimutkaiseksi.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">GGS 0.6:n tuotoksista n\u00e4kee, ett\u00e4 teko\u00e4ly yritti toteuttaa my\u00f6s GGS:\u00e4n kirjattuja ihmisk\u00e4ytt\u00e4j\u00e4lle tarkoitettuja k\u00e4ytt\u00f6ohjeita.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Versiosta 0.8 poistettiin ladattavan tiedoston muodostamiss\u00e4\u00e4nn\u00f6t, sanaston yl\u00e4tunnisteen muotoilus\u00e4\u00e4nn\u00f6t sek\u00e4 metadatan lis\u00e4yss\u00e4\u00e4nn\u00f6t. Koko GGS annettiin lis\u00e4ksi teko\u00e4lyn analysoitavaksi, jotta se poistaisi siit\u00e4 tulkinnanvaraisuuden.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Teko\u00e4ly ei anna selkeit\u00e4 virheilmoituksia. Jos silt\u00e4 kysyy, mik\u00e4 meni pieleen, se alkaa generoida mahdollisia selityksi\u00e4. Vaikuttaa silt\u00e4, ett\u00e4 se ei tied\u00e4 itsek\u00e4\u00e4n. Olen kohdannut t\u00e4m\u00e4n useasti.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\" \/>\n\n\n\n<h2 class=\"wp-block-heading\">Parhaat opit<\/h2>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Nyt kun j\u00e4lkik\u00e4teen palauttaa mieleen GGS:n kehitt\u00e4misest\u00e4 saatuja kokemuksia, ymm\u00e4rt\u00e4\u00e4 aiempaa paremmin teko\u00e4lyn tuotantok\u00e4yt\u00f6n rajoituksia ja ylip\u00e4\u00e4ns\u00e4 sit\u00e4, miten nykyiset keskustelubotit toimivat.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">S\u00e4\u00e4nt\u00f6jen kohdalla on l\u00f6ydett\u00e4v\u00e4 tarkkka tasapaino:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li class=\"has-medium-font-size\">Jos t\u00e4rkeit\u00e4 s\u00e4\u00e4nt\u00f6j\u00e4 puuttuu, teko\u00e4ly joutuu p\u00e4\u00e4ttelem\u00e4\u00e4n, mit\u00e4 pit\u00e4\u00e4 tehd\u00e4. Paljon toistuvassa silmukassa t\u00e4m\u00e4 hidastaa teht\u00e4v\u00e4n suoritusta ja kuluttaa turhaan laskentaresursseja,<\/li>\n\n\n\n<li class=\"has-medium-font-size\">Jos s\u00e4\u00e4nn\u00f6t ovat tulkinnanvaraisia, teko\u00e4ly saattaa tuottaa tuloksia, jotka eiv\u00e4t ole sis\u00e4ll\u00f6t\u00e4\u00e4n sit\u00e4 tai siin\u00e4 muodossa kuin k\u00e4ytt\u00e4j\u00e4 ne olisi halunnut.<\/li>\n\n\n\n<li class=\"has-medium-font-size\">Jos s\u00e4\u00e4nt\u00f6j\u00e4 on liikaa, teht\u00e4v\u00e4n suoritus hidastuu ja saattaa jumiutua.<\/li>\n\n\n\n<li class=\"has-medium-font-size\">Jos s\u00e4\u00e4nn\u00f6t ovat ehdottomia, teko\u00e4ly ei tuota vastauksia v\u00e4h\u00e4nk\u00e4\u00e4n normaalista poikkeavasata l\u00e4hdetekstist\u00e4.<\/li>\n<\/ul>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Teko\u00e4ly ei kerro k\u00e4ytett\u00e4viss\u00e4 olevasta kapasiteetistaan eik\u00e4 siit\u00e4, milloin se ylittyy. En v\u00e4lit\u00e4 siit\u00e4, onko kyseess\u00e4 konteksti-ikkunan koko tai k\u00e4ytt\u00e4j\u00e4lle annettu laskentateho, mutta yritys-ja-erehdys -periaatteella tapahtuvalta kehitt\u00e4misty\u00f6lt\u00e4 puuttuu luotettava pohja. Se on kuin l\u00e4htisi viel\u00e4 huhtikuussa pilkille ja toivoisi, ett\u00e4 j\u00e4\u00e4t edelleen kantavat.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">T\u00e4rkein oppi ei ollut yritt\u00e4\u00e4 saada teko\u00e4ly\u00e4 tekem\u00e4\u00e4n kaikkea ihmisen puolesta. Parempi ty\u00f6njako on kolmikohtainen:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li class=\"has-medium-font-size\">Teko\u00e4lylle annetaan yksi selke\u00e4 teht\u00e4v\u00e4, jossa se on hyv\u00e4: tuottaa sanaston sis\u00e4lt\u00f6tekstit. <\/li>\n\n\n\n<li class=\"has-medium-font-size\">Ihminen ottaa teht\u00e4v\u00e4kseen viimeistell\u00e4 sanastot julkaisukuntoon. T\u00e4m\u00e4 sis\u00e4lt\u00e4\u00e4 tekstimuotoilut, metadatan, pdf-viennin, tiedostonimet ym.<\/li>\n\n\n\n<li class=\"has-medium-font-size\">P\u00e4\u00e4teht\u00e4v\u00e4st\u00e4 irrotettiin osateht\u00e4vi\u00e4, joita teko\u00e4ly suorittaa vain pyydett\u00e4ess\u00e4. T\u00e4llaisia ovat sanaston tarkastaminen ja fraasien etsiminen ja k\u00e4\u00e4nt\u00e4minen.<\/li>\n<\/ol>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\">Lopuksi transkriptio teko\u00e4lyn kanssa k\u00e4ym\u00e4st\u00e4ni keskustelusta. Keskeist\u00e4 ei ole sis\u00e4lt\u00f6, vaan se, ett\u00e4 keskustelu on menetelm\u00e4 vied\u00e4 hanketta eteenp\u00e4in.<\/p>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\"><a href=\"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-content\/uploads\/sites\/24\/2026\/07\/convo-2026-07-13.pdf\">convo-2026-07-13.pdf<\/a> (14 s. CC BY 4.0)<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\" \/>\n\n\n\n<p class=\"has-medium-font-size wp-block-paragraph\"><em>Juttusarjan seuraavan, eli <a href=\"https:\/\/blogit.sasky.fi\/ruohomaki\/2026\/07\/13\/sanaston-synty-osa-5\/\">viidennen osan<\/a> aiheita ovat sanaston generoiminen k\u00e4yt\u00e4nn\u00f6ss\u00e4, muokkaaminen dokumenttitiedostokksi ja sanastojen tiedonhallinta.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Kerron t\u00e4ss\u00e4 juttusarjan nelj\u00e4nness\u00e4 osassa sanastogeneraattorin kehitysvaiheista, ongelmista, niiden ratkaisemisesta ja mit\u00e4 kaikkea kehitysty\u00f6 opetti. T\u00e4st\u00e4 l\u00f6ytyy jotain muillekin kuin japania opiskeleville, etenkin teko\u00e4lyn aktiivisille k\u00e4ytt\u00e4ville. Sanaston ulkoasu ja sis\u00e4lt\u00f6 alkoivat vakiintua GGS:n versiossa 0.3. Aloin sen j\u00e4lkeen lis\u00e4t\u00e4 seuraaviin versioihin uusia teht\u00e4vi\u00e4 ja s\u00e4\u00e4nt\u00f6j\u00e4, jotta tuottaisivat l\u00e4hemp\u00e4n\u00e4 julkaisukelpoisia sanastoja. Tavoitteena oli v\u00e4hent\u00e4\u00e4 k\u00e4ytt\u00e4j\u00e4n manuaalisesti [&hellip;]<\/p>\n","protected":false},"author":96,"featured_media":2124,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[19],"tags":[17,14,13,7],"class_list":["post-2014","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blogi","tag-oppimateriaali","tag-petajaopisto","tag-sasky","tag-tekoaly"],"_links":{"self":[{"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/posts\/2014","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/users\/96"}],"replies":[{"embeddable":true,"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/comments?post=2014"}],"version-history":[{"count":31,"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/posts\/2014\/revisions"}],"predecessor-version":[{"id":2228,"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/posts\/2014\/revisions\/2228"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/media\/2124"}],"wp:attachment":[{"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/media?parent=2014"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/categories?post=2014"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogit.sasky.fi\/ruohomaki\/wp-json\/wp\/v2\/tags?post=2014"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}