Giters

lovit / soynlp

한국어 자연어처리를 위한 파이썬 라이브러리입니다. 단어 추출/ 토크나이저 / 품사판별/ 전처리의 기능을 제공합니다.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

tokenizer refactoring

lovit opened this issue · comments

commented
  • CLI 기능 제공 (train/tokenize)
  • _tokenizer_builder.py 제거
  • enhance #87