Merupakan bagian dari tugas akhir haloapping mengenai cara menangani Out-Of-Vocabulary pada Part-Of-Speech Tagging Bahasa Indonesia. Hasil tokenizer terdiri dari left context, OOV context dan right context.
Tokenizer untuk OOV (Out Of Vocabulary)
Merupakan bagian dari tugas akhir haloapping mengenai cara menangani Out-Of-Vocabulary pada Part-Of-Speech Tagging Bahasa Indonesia. Hasil tokenizer terdiri dari left context, OOV context dan right context.
Tokenizer untuk OOV (Out Of Vocabulary)