GUORUIWANG / NBCE

Naive Bayes-based Context Extension

[中文|English]

Naive Bayes-based Context Extension

使用朴素贝叶斯**来扩展LLM的Context处理长度。

现在，任何LLM都可以利用NBCE成为可以处理任意长Context的模型了（只要算力足够）！

简介

基于朴素贝叶斯所启发的公式：

细节请看博客：https://kexue.fm/archives/9617

Demo所用模型：https://openbuddy.ai/

最新测试结果：在8*A800下，7B模型可以处理50k的context，并能正确地做阅读理解。(没有用完所有GPU，大概消耗160G显存）

特点

• 即插即用
• 模型无关
• 不用微调
• 线性效率
• 实现简单
• 效果尚可
• 可解释性

引用

@misc{nbce2023,
  title={Naive Bayes-based Context Extension},
  author={Jianlin Su},
  year={2023},
  howpublished={\url{https://github.com/bojone/NBCE}},
}

交流

QQ交流群：808623966，微信群请加机器人微信号spaces_ac_cn