LLaVA-VL / LLaVA-NeXT

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

LLaVA-NeXT-Video-34B-DPO 模型无法启动,报错

csm12321 opened this issue · comments

用的 LLaVA-NeXT-Video-34B-DPO 这个模型,
https://github.com/LLaVA-VL/LLaVA-NeXT git checkout video_inference这个分支的代码,为什么我的测试起不来,报错(
1、stopping_criteria = KeywordsStoppingCriteria(keywords, tokenizer, input_ids) 屏蔽后报 2、
2、llava_arch.LlavaMetaForCausalLM.prepare_inputs_labels_for_multimodal---->concat_images = torch.cat(images_list, dim=0),
输出为None

有没有把这个模型安排起来的,,,LLaVA-NeXT-Video-34B-DPO用到了clip-vit-large-patch14-336(这个模型),
是不是代码有点问题。

conv_mode 是 mistral_direct