无法从 HF #280 转换羊驼重量
ziwang-com opened this issue · comments
羊驼版本是在嵌入层中添加了一个额外的令牌来训练的，这就是转换失败的原因。一般来说，如果有一个骆驼模型具有不同的权重/词汇大小等配置，则转换为我们的“7B”定义是行不通的，我们不应该期望它。
您可以尝试通过删除转换脚本中的最后一行来截断嵌入层：
点亮骆驼/脚本/convert_hf_checkpoint.py
第 89 行 in5df20分贝
如果名称中的“模型.layers”：
通过添加条件：
if "embed_tokens" in name:
sd[weight_map[name]] = param[:32000]
（伪代码）