RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling cublasGemmEx
LiemLin opened this issue · comments
LiemLin commented
提交前必须检查以下项目
- 请确保使用的是仓库最新代码(git pull),一些问题已被解决和修复。
- 由于相关依赖频繁更新,请确保按照Wiki中的相关步骤执行
- 我已阅读FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案
- 第三方插件问题:例如llama.cpp、text-generation-webui、LlamaChat等,同时建议到对应的项目中查找解决方案
- 模型正确性检查:务必检查模型的SHA256.md,模型不对的情况下无法保证效果和正常运行
问题类型
模型推理
基础模型
None
操作系统
Linux
详细描述问题
基础模型使用chinese-alpaca-2-7b模型可以正常使用
nohup python scripts/openai_server_demo/openai_api_server.py --base_model model/chinese-alpaca-2-7b --gpus 0,1,2,3 &
基础模型使用chinese-alpaca-2-13b可以正常启动,但是推理时报错,异常信息如下
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling cublasGemmEx( handle, opa, opb, m, n, k, &falpha, a, CUDA_R_16F, lda, b, CUDA_R_16F, ldb, &fbeta, c, CUDA_R_16F, ldc, CUDA_R_32F, CUBLAS_GEMM_DFALT_TENSOR_OP)
请问这个是因为GPU配置不够吗
依赖情况(代码类问题务必提供)
No response
运行日志或截图
No response