[BUG] <title>使用Qwen-VL-Chat-Int4报错

[jansen]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

我按照README给出的教程，安装环境、以及安装autoaptq，autogptq 尝试过本项目给出的命令，以及 autogptq官方的 whl 安装命令，都进行尝试过，都可以安装成功。 但是，执行代码，预测的时候均报错，

期望行为 | Expected Behavior

解决此问题，能完成量化模型的应用

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):

运行环境 torch ：2.1.2+cu121
         nvcc： 11.8

其他依赖、均满足readme 要求，

备注 | Anything else?

No response