如何扩充词库
gaochao19860203 opened this issue · comments
你好，咨询下 如何扩充词库？有具体的操作介绍吗
是这个方法吗 ？add_word_to_vocab？
def add_word_to_vocab(word, nearby, nearby_score)
nearby_score如何得出？
扩充语料请看https://github.com/Samurais/wikidata-corpus
1）训练 w2v 词向量
2）获得整个词表的近义词集合和分数
3）生成pkl文件
请参考 https://github.com/huyingxi/Synonyms synonyms/init.py 的代码。
目前扩充词库有部分代码是修改了word2vec源码，这部分不会开源。
如果你有很大的语料，我可以做扩充的工作，前提是做好后贡献在 synonyms 里。
再咨询下，如果 是想增加一对近义词，应该怎么操作？把这对近义词提交给你？
如果想增加近义词，但是这些词是用户自己定义的，希望有能增加的方式。有什么方式可以增加俩个近义词直接的评分吗