finetune.py
heheda166 opened this issue · comments
if ind == 0:
# add begin token to the first utterance
encode = self.tokenizer(d, add_special_tokens=False)['input_ids']
else:
encode = self.tokenizer(d, add_special_tokens=False)['input_ids']
encoded_data += encode
if下面漏了行代码吧
你好,这个代码是完整的,可以正常运行。实际上这里是不需要if else逻辑的,不过我们忘记修改了,但也不会影响运行。