saneistaa
Tieteen termipankista
Luo tämän nimityksen perusteella käsite uudelle aihealueelle:
tokenise (Language Technology)
Juokseva teksti saneistetaan jakamalla se sanakirjahakua taimorfologista analyysia varten soveltuviksi saneksi, jotka on normalisoitu ja puhdistettu taierotettu välimerkeistä. Saneistus voi antaa välimerkit omina saneidenkaltaisina yksiköinään jatkokäsittelylle.Splitting a runnig text into tokens consisting of words or punctuation.
Kieliopillinen koodaus (suomi)
| Sanaluokka | |
| Sanamuoto | |
| Perussanatyyppi | |
| Johdostyyppi | |
| Yhdysosamuoto | |
| Suku | |
| Alkuperä |
Alaviite
Lähdeviittaus tähän sivuun:
Tieteen termipankki 3.05.2026: Nimitys:saneistaa.
(Tarkka osoite: https://www.tieteentermipankki.fi/wiki/Nimitys:saneistaa.)
Noudettu kohteesta ”https://tieteentermipankki.fi/w/index.php?title=Nimitys:saneistaa&oldid=325092”