SeanLee97 / xmnlp

xmnlp:提供中文分词, 词性标注, 命名体识别,情感分析,文本纠错,文本转拼音,文本摘要,偏旁部首,句子表征及文本相似度计算等功能

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

关于checker.py的一个疑问

Danielshara opened this issue · comments

    def calc_proba(self, gram):
        x = self.bi[tuple(gram)]
        y = self.uni[gram[0]]
        return float((x + 1)) / (y + len(self.uni.keys())**2)

这段代码的作用是smoothing吧?为什么是用y + len(self.uni.keys())**2而不是y + len(self.uni.keys())呢?

commented

您好,0.1.8版本已经发布,新版本特性

0.1.7版本的checker已经被弃用了,0.1.8的checker主要完成词级别的拼写检查,基于symspell算法开发。
整句的文本纠错我会以独立的模块开放,是基于神经网络的,欢迎关注。