finetune.py

[heheda166]

        if ind == 0:
            # add begin token to the first utterance
            encode = self.tokenizer(d, add_special_tokens=False)['input_ids']
        else:
            encode = self.tokenizer(d, add_special_tokens=False)['input_ids']
        encoded_data += encode

if下面漏了行代码吧

[Junying Chen]

你好，这个代码是完整的，可以正常运行。实际上这里是不需要if else逻辑的，不过我们忘记修改了，但也不会影响运行。