saneistaa

From Tieteen termipankki
saneistaa (Kieliteknologia)
tokenise (Language Technology)

Juokseva teksti saneistetaan jakamalla se sanakirjahakua taimorfologista analyysia varten soveltuviksi saneksi, jotka on normalisoitu ja puhdistettu taierotettu välimerkeistä. Saneistus voi antaa välimerkit omina saneidenkaltaisina yksiköinään jatkokäsittelylle.Splitting a runnig text into tokens consisting of words or punctuation.

Kieliopillinen koodaus (suomi)

Sanaluokka
Sanamuoto
Perussanatyyppi
Johdostyyppi
Yhdysosamuoto
Suku
Alkuperä

Alaviite

Lähdeviittaus tähän sivuun:
Tieteen termipankki 12.08.2022: Nimitys:saneistaa. (Tarkka osoite: https://www.tieteentermipankki.fi/wiki/Nimitys:saneistaa.)