THUDM / GLM-130B

GLM-130B: An Open Bilingual Pre-Trained Model (ICLR 2023)

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

模型效果很差,是什么原因呢?

rchanggogogo opened this issue · comments

安装量化后的 int4 版本,测试了几句对话,感觉效果很差啊。
image

猜测了一下原因:\

  • 没有对话数据做微调
  • 没有经过 RLHF 训练
    有没有人交流一下。

我就说不可能把ok的模型放出来哈,只可惜为了测试这个花的银子买硬件......

哈哈哈哈 根本 finetune 不起,但是 base 版本的效果这么扯,难道全靠 instruction?

commented

对啊,部署测了下效果相当差,不入6B版本,尽然在很多榜单上效果都不错,严重怀疑给的模型不是测试的版本

commented

image

对啊,部署测了下效果相当差,不入6B版本,尽然在很多榜单上效果都不错,严重怀疑给的模型不是测试的版本

我看有个哥们还跑了测试 #94

commented

团队的人不出来说两句嘛?