请问使用 llama.cpp推理模型是否支持GPU加速
whisky-12 opened this issue · comments
提交前必须检查以下项目
- 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
- 由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
- 我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
- 第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案
- 模型正确性检查：务必检查模型的SHA256.md，模型不对的情况下无法保证效果和正常运行
问题类型
模型推理
基础模型
LLaMA-7B
操作系统
Linux
详细描述问题
您好 ，请问我使用 llama.cpp推理模型是否支持GPU加速，目前执行如下脚本，只使用了cpu资源，gpu资源未被调用，每轮propmt耗时比较久， CPU是4核32G，GPU是A100 32G 推理命令如下
cd llama.cpp && ./main -m codeLlama/CodeLlama-7b/ggml-model-q4_0.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3
依赖情况（代码类问题务必提供）
#pip list | grep -E 'transformers|peft|torch'
运行日志或截图
仔细看wiki里的信息，调用GPU需要指定-ngl 1（前提是编译llama.cpp时启用了cublas）。
另外，你用的是codellama，和本项目无关 ：）