WordSegment
Chinese WordSegment based on algorithms including Maxmatch (forward, backward, bidirectional), HMM etc...
项目介绍
1、MaxMatch：
dict.txt: 分词用词典位置
max_forward_cut：正向最大匹配分词
max_backward_cut：逆向最大匹配分词
max_biward_cut：双向最大匹配分词
result:
输入：我们在野生动物园玩
输出：
forward_cutlist: ['我们', '在野', '生动', '物', '园', '玩']
backward_cutlist: ['我们', '在', '野生', '动物园', '玩']
biward_seglit: ['我们', '在', '野生', '动物园', '玩']
2、HMM:
hmm_train.py:基于人民日报语料29W句子，训练初始状态概率，发射概率，转移概率
data:训练语料，放在 ./data/train.txt
model: 保存训练的概率模型，训练完成后可直接调用
trans_path = './model/prob_trans.model'
emit_path = './model/prob_emit.model'
start_path = './model/prob_start.model'
hmm_cut.py:基于训练得到的model，结合viterbi算法进行分词
输入：我们在野生动物园玩
输出：['我们', '在', '野', '生动', '物园', '玩']
3、N-gram
train_ngram.py:基于人民日报语料29W句子，训练词语出现概率，2-gram条件概率
data: 训练语料，放在 ./data/train.txt
model: 保存概率模型，训练完成后可直接调用
word_path = './model/word_dict.model' (词语出现概率)
trans_path = './model/trans_dict.model'（2-gram条件概率）
max_ngram.py: 最大化概率2-gram分词算法
biward_ngram.py: 基于ngram的前向后向最大匹配算法
4、算法比较
1、评测语料：微软评测语料，共3985个句子
2、性能比较
| Algorithm | Precision | Recall | F1-score | Cost-Time |
|---|---|---|---|---|
| HMM | 0.65 | 0.75 | 0.70 | 4.87 |
| MaxForward | 0.76 | 0.87 | 0.81 | 244.14 |
| MaxBackward | 0.76 | 0.87 | 0.81 | 280.61 |
| MaxBiWard | 0.76 | 0.87 | 0.81 | 443.23 |
| MaxProbNgram | 0.76 | 0.87 | 0.81 | 8.99 |
| MaxBiwardNgram | 0.74 | 0.86 | 0.80 | 3.96 |