[中文|English]
使用朴素贝叶斯**来扩展LLM的Context处理长度。
现在,任何LLM都可以利用NBCE成为可以处理任意长Context的模型了(只要算力足够)!
基于朴素贝叶斯所启发的公式:
细节请看博客:https://kexue.fm/archives/9617
Demo所用模型:https://openbuddy.ai/
最新测试结果:在8*A800下,7B模型可以处理50k的context,并能正确地做阅读理解。(没有用完所有GPU,大概消耗160G显存)
- 即插即用
- 模型无关
- 不用微调
- 线性效率
- 实现简单
- 效果尚可
- 可解释性
@misc{nbce2023,
title={Naive Bayes-based Context Extension},
author={Jianlin Su},
year={2023},
howpublished={\url{https://github.com/bojone/NBCE}},
}
QQ交流群:808623966,微信群请加机器人微信号spaces_ac_cn