请问mnn-llm现在是否支持opencl后端？能否调用GPU？如果希望利用安卓设备的GPU进行推理需要做哪些更改？
qtyandhasee opened this issue · comments
编译MNN主库时开启OpenCL（MNN_OPENCL=ON），但是测试时GPU并没有被调用（GPU利用率为0%）
在linux平台使用NDK编译，部署在安卓上
Link libllm.so against libMNN_OpenCL.so and pass Opencl as backend config in llm.cpp
Link libllm.so against libMNN_OpenCL.so and pass Opencl as backend config in llm.cpp
Thank you! This works for me
@qtyandhasee 请问你跑的是多大规模的模型，我用opencl跑Qwen1.8b，报输入大小参数有问题，
@qtyandhasee 请问你跑的是多大规模的模型，我用opencl跑Qwen1.8b，报输入大小参数有问题，
@tzhang2014 我跑qwen-1.8b模型基本可以正常运行，提问三四次后会出现CL报错，建议使用MNN最新的版本（2.8.3），qwen1.5-0.5b也可以运行，也会出现”慢慢的“报错，并且使用GPU的推理速度比使用CPU的慢多了，，，
现在gpu效果怎么样啊？可以跑了吗