tokenise
Tieteen termipankista
Luo tämän nimityksen perusteella käsite uudelle aihealueelle:
tokenise (Language Technology)
Juokseva teksti saneistetaan jakamalla se sanakirjahakua taimorfologista analyysia varten soveltuviksi saneksi, jotka on normalisoitu ja puhdistettu taierotettu välimerkeistä. Saneistus voi antaa välimerkit omina saneidenkaltaisina yksiköinään jatkokäsittelylle.Splitting a runnig text into tokens consisting of words or punctuation.
Kieliopillinen koodaus (englanti)
| Sanaluokka | |
| Suku | |
| Alkuperä |
Alaviite
Lähdeviittaus tähän sivuun:
Tieteen termipankki 3.05.2026: Nimitys:tokenise.
(Tarkka osoite: https://www.tieteentermipankki.fi/wiki/Nimitys:tokenise.)
Noudettu kohteesta ”https://tieteentermipankki.fi/w/index.php?title=Nimitys:tokenise&oldid=334319”