invictus717 / MetaTransformer

Meta-Transformer for Unified Multimodal Learning

Home Page:https://arxiv.org/abs/2307.10802

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

video

Darcy0218 opened this issue · comments

您好!我在运行video的run.sh中遇到了如下的问题:
82E0EC63745B1379058FBC680703B9C7
代码在执行
ckpt = torch.load("Meta-Transformer_base_patch16_encoder.pth")
model.blocks.load_state_dict(ckpt,strict=True)
时遇到了如上报错。
我猜测是由于模型结构不一致造成的,想请教下您是如何解决的,感谢!

Video MAE里面timm库的版本是0.4.12那个版本的代码实现qkv还没有被合并,这里可以直接升级到0.9.7

谢谢您

您好,我试了一下升级timm到0.9.7,还是报了相同的错,请问您的torch是什么版本的

1.8.1+cu113