QwenLM / Qwen1.5

Qwen1.5 is the improved version of Qwen, the large language model series developed by Qwen team, Alibaba Cloud.

QwenLM/Qwen1.5 Issues

为什么同样的脚本（Qwen1.5/examples/web_demo.py）去执行Qwen1.5-32B-Chat-GPTQ-Int4的推理时，4090 24G 比 V100 32G 回答速度快了5倍，这是什么原因，是显卡性能的问题，还是代码还有哪个配置没有打开，导致V100的计算能力没有发挥出来？
Updated 10 days ago
Qwen1.5-32B-Chat-AWQ 加载模型报错No module named 'transformers.models.starcoder2'
Closed 10 days ago1
error on provided sample code: RuntimeError: CUDA error: device-side assert triggered
Updated 10 days ago4
LoRA训练和推理精度问题
Updated 10 days ago1
Question about SFT with fastchat: expected sequence of length 133 at dim 1 (got 126)
Closed 10 days ago2
qwen1 和 qwen1.5 finetune脚本为什么数据预处理会不一样？
Closed 10 days ago1
qwen1.5的sft数据处理部分使用了预训练的数据处理方式
Closed 10 days ago1
关于device_map
Updated 10 days ago1
Qwen1.5-72B-Chat在CEval val数据集上Zero shot评测为76.76正常吗，我看文章里都是84左右
Updated 10 days ago
请问有没有qwen-110b-chat的代码能力的测试结果，HumanEval，MBPP或者是LiveCodeBench等等
Updated 10 days ago
Ollama库中，不同的标签后缀含义是什么？
Updated 10 days ago1
AWQ 模型的精度和使用
Updated 10 days ago1
求微调建议：微调后的7B-chat模型推理的效果极差
Updated 10 days ago11
A question about the structure of the model
Closed 12 days ago
用2080TI 22G单张显卡跑 qwen 1.5 32B-INT4模型没有成功
Updated 12 days ago5
LlamaIndex能否直接使用modelscode下载的千问模型进行RAG检索？
Closed 12 days ago
Qwen的代码开源了吗？
Closed 13 days ago4
💡 [REQUEST] - <有没有vLLM 部署Qwen1.5-110b-chat版本的？>
Updated 13 days ago2
ValueError: Unable to create tensor, you should probably activate truncation and/or padding with 'padding=True' 'truncation=True' to have batched tensors with the same length. Perhaps your features (`labels` in this case) have excessive nesting (inputs type `list` where type `int` is expected).
Closed 14 days ago4
Not able to setup Qwen1.5-72B-Chat with Taskweaver
Updated 14 days ago1
swift微调qwen1.5-32b，然后用autoawq量化，用vllm部署有时会出现感叹号
Updated 14 days ago5
Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 demo encount: RuntimeError: CUDA error: invalid configuration argument
Closed 14 days ago6
How to batch inference for lora
Updated 14 days ago1
[BUG] <ModuleNotFoundError: No module named 'transformers_modules.Qwen1'>
Updated 15 days ago1
多机多卡训练配置问题
Updated 15 days ago1
vllm本地部署Qwen1.5-72B-chat，在一次性生成长文本的任务中，出现超出字数限制的提示
Updated 15 days ago1
Qwen1.5工具调用能力
Closed 15 days ago1
💡 [REQUEST] - qwen1.5 110b能提供一个8bit量化的版本么
Updated 16 days ago1
how to reproduce QWEN1.5-7B-CHAT results
Updated 16 days ago
can someone share a notebook for finetuning the qwen1.5-0.5b model with an alapaca type dataset ?
Updated 16 days ago2
qwen110B-awq和千问72B不量化那个效果好一点啊
Updated 16 days ago2
请问在使用ollama部署的qwen模型,支持function call 和 tools的调用吗
Updated 16 days ago1
qwen1.5如何在t4卡中运行？
Updated 16 days ago2
Qwen1.5量化结果不一致
Updated 17 days ago3
Qwen1.5-chat 72B int4 4卡(V100) 推理过程中token数到10k会报错OOM
Updated 17 days ago1
Will Qwen1.5-110B-GPTQ-Int8 be released?
Updated 17 days ago1
流式逻辑改造
Updated 17 days ago1
Qwen1.5-14B-AWQ 在相同设备下比Qwen1.5-7B慢的多？
Updated 17 days ago1
eos_token_ID加载出但不能停止的疑问
Closed 18 days ago1
如何生成图片
Closed 21 days ago1
模型配置文件和tokenizer配置文件中的bos_token_id不一致
Updated 21 days ago1
求huggingface通用finetune的脚本工程？
Closed 22 days ago2
Qwen1.5-110b-AWQ回复消息偶尔会有英文或其他语言
Closed 23 days ago1
Qwen1.5 LoRA微调后GPTQ量化成int4后，vllm的—tensor- parallel-size不能大于1
Closed 24 days ago2
请求增加Ascend 910 and Hygon DCU支持
Updated 24 days ago1
Qwen-110B gguf
Closed 24 days ago1
Qwen1.5-72B-Chat-GPTQ-Int4 能否在4*16G V100上跑起来？
Updated 24 days ago4
Qwen1.5 110b AWQ终止符问题
Closed 24 days ago3
求微调建议：微调后的7B-chat模型推理的效果极差
Closed 25 days ago
Qwen/Qwen1.5-110B-Chat-AWQ can't run successfully, until I replace the 110B's **tokenizer_config.json** with 70B's
Closed 25 days ago2