语言模型插值权重的优化

[www.ziwang.com]

https://github.com/nnakul/language-modelling
使用语言建模开发文本完成应用程序;研究几个 N-gram 模型的插值和插值权重的优化，以最大限度地减少模型的困惑。

语言模型是单词序列的概率分布。给定这样的序列，它为整个序列分配一个概率。语言模型提供上下文来区分听起来相似的单词和短语。预测句子中单词的概率是自然语言处理中的一项基本任务。它用于许多 NLP 应用程序，例如自动完成、拼写更正或文本生成。语言模型可用于根据周围的单词预测句子中的单词。它们还可用于通过根据上下文建议最佳替换来更正查询中的实际单词或非单词错误。