微调后模型保存和load的问题
LeiShenVictoria opened this issue · comments
🐛 bug 说明
- 微调后finetuned-model/model下没有保存pytorch_model.bin文件,仅有:
config.json
model.safetensors
special_tokens_map.json
tokenizer.json
tokenizer_config.json
vocab.txt
这是否正常呢 - 使用微调后的模型生成向量的时候,model=SentenceTransformer("finetuned-model/model") 提示:No sentence-transformers model found with name finetuned-model/model. Creating a new one with MEAN pooling
Python Version
3.10
同样遇到没有保存pytorch_model.bin文件~
- 我猜 transformers 的新版本模型权重只会保存 model.safetensors ,不再保存 pytorch_model.bin
- 这个提示是正常的,因为保存的格式不是 sentence_transformers 的,不过推理起来都是正确的。您可以再次调用 sentence_transformers 库的保存模型方法,保存一个 sentence_transformers 的模型。
在python 310 环境下重新安装sentence_transformers版本就可以加载模型了,!pip install uniem sentence_transformers