tokenise

From Tieteen termipankki
Jump to navigation Jump to search
saneistaa (Kieliteknologia)
tokenise (Language Technology)

Juokseva teksti saneistetaan jakamalla se sanakirjahakua taimorfologista analyysia varten soveltuviksi saneksi, jotka on normalisoitu ja puhdistettu taierotettu välimerkeistä. Saneistus voi antaa välimerkit omina saneidenkaltaisina yksiköinään jatkokäsittelylle.Splitting a runnig text into tokens consisting of words or punctuation.

Kieliopillinen koodaus (englanti)

Sanaluokka
Suku
Alkuperä

Alaviite

Lähdeviittaus tähän sivuun:
Tieteen termipankki 17.05.2022: Nimitys:tokenise. (Tarkka osoite: https://www.tieteentermipankki.fi/wiki/Nimitys:tokenise.)