SeanLee97 / xmnlp

xmnlp:提供中文分词, 词性标注, 命名体识别,情感分析,文本纠错,文本转拼音,文本摘要,偏旁部首,句子表征及文本相似度计算等功能

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

训练的纠错模型不生效

zero654655902 opened this issue · comments

我重新训练了下examples/corpus/checker.txt文件,生成的models/checker.pickle.3替换了xmnlp/checker/下的checker.pickle.3,但是运行examples/checker.py纠错不生效
error: """这理风景绣丽,而且天汽不错,我的心情各外舒畅!"""
correct:"""这理风景绣丽,而且天汽不错,我的心情各外舒畅!"""

我改了把threhold参数改大了,之后就生效了, 您corpus里面的checker.txt语料是不是您训练的checker.pickle的语料其中的一部分呢

这个应该是重新训练的,指定训练的语料路径为“./corpus/checker/199801.txt”,原先的训练是用checker.txt,只有少量数据。另外,可以扩展用2014的语料训练,我试过比1998的更准确一些

commented

您好,0.1.8版本已经发布,新版本特性

0.1.7版本的checker已经被弃用了,0.1.8的checker主要完成词级别的拼写检查,基于symspell算法开发。
整句的文本纠错我会以独立的模块开放,是基于神经网络的,欢迎关注。