关于chatglm2与chatglm数据格式的问题
Kayce001 opened this issue · comments
Kayce001 commented
input_ids = [tokenizer.get_command("[gMASK]"),
tokenizer.get_command("sop")] + tokenizer.convert_tokens_to_ids(tokens)请问这行是什么意思,为什么和chatglm版本差别挺大的,为什么可以以现在这种格式写呢?
ZhongJie Zeng commented
我也有这个疑问,按这个格式,我们试用效果很差
logCong commented
因为chatglm2和chatglm官方在训练的时候,用的数据格式就不同。PS:两个模型的结构模型也大不相同。一个是prefix-lm一个是causal-lm