tokenise
Tieteen termipankista
Luo tämän nimityksen perusteella käsite uudelle aihealueelle:
saneistaa (Kieliteknologia)
tokenise (Language Technology)
Juokseva teksti saneistetaan jakamalla se sanakirjahakua taimorfologista analyysia varten soveltuviksi saneksi, jotka on normalisoitu ja puhdistettu taierotettu välimerkeistä. Saneistus voi antaa välimerkit omina saneidenkaltaisina yksiköinään jatkokäsittelylle.Splitting a runnig text into tokens consisting of words or punctuation.
Kieliopillinen koodaus (englanti)
| Sanaluokka | |
| Suku | |
| Alkuperä |
Alaviite
Lähdeviittaus tähän sivuun:
Tieteen termipankki 14.12.2025: Nimitys:tokenise.
(Tarkka osoite: https://www.tieteentermipankki.fi/wiki/Nimitys:tokenise.)
Noudettu kohteesta ”https://tieteentermipankki.fi/w/index.php?title=Nimitys:tokenise&oldid=334319”