中文token扩张的model是和llama绑定还是通用型model,如果我想新增token进行调优,请问有操作建议吗?
winnieWang5 opened this issue · comments
winnieWang5 commented
提交前必须检查以下项目
- 请确保使用的是仓库最新代码(git pull),一些问题已被解决和修复。
- 由于相关依赖频繁更新,请确保按照Wiki中的相关步骤执行
- 我已阅读FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案
- 第三方插件问题:例如llama.cpp、text-generation-webui、LlamaChat等,同时建议到对应的项目中查找解决方案
- 模型正确性检查:务必检查模型的SHA256.md,模型不对的情况下无法保证效果和正常运行
问题类型
模型训练与精调
基础模型
LLaMA-7B
操作系统
Linux
详细描述问题
# 请在此处粘贴运行代码(如没有可删除该代码块)
依赖情况(代码类问题务必提供)
# 请在此处粘贴依赖情况
运行日志或截图
# 请在此处粘贴运行日志
Yiming Cui commented
没太看明白你说的是什么意思。大多数情况下并不需要新增token。