finetune时报错 argument after ** must be a mapping, not NoneType

Question

finetune时报错 argument after ** must be a mapping, not NoneType

yhygta opened this issue a year ago · comments

🐛 bug 说明

您好，照着官网的教程，使用了自己的数据集，finetune时报错 argument after ** must be a mapping, not NoneType
感谢大佬们看看，前一个issue不小心关闭了
代码如下：

import pandas as pd
from uniem.finetuner import FineTuner
df3_raw = """{"sentence1":"金霉素", "sentence2":"红霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"妥布霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"硫酸新霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"灰黄霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"曲霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"复方新霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"庆大霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"克林霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"黄曲霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"青霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"土霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"阿奇霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"林可霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"氯霉素", "label":"0.0"}
{"sentence1":"金霉素", "sentence2":"螺旋霉素", "label":"0.0"}"""
df3 = pd.read_json(df3_raw, lines=True)
finetuner = FineTuner('moka-ai3/m3e-base/', dataset=df3.to_dict('records'))
finetuner.run(epochs=1)

Python Version

3.10

yuxin.wang · Answer 1 · Thu Jul 06 2023 19:06:31 GMT+0800 (China Standard Time)

finetuner.run(epochs=1, batch_size=6)

这是由于一个边界条件导致的 bug，因为你的微调数据集太小了，组不成一个 batch ，结果 drop_last 把这个 batch 直接 drop 掉了，手动调小 batch_size 可以解决这个问题，就像上面的代码一样。之后的版本我会增加更易懂的错误信息。

yhygta · Answer 2 · Thu Jul 06 2023 19:14:21 GMT+0800 (China Standard Time)

好的，感谢大佬，上面的这样可以用了

yhygta · Answer 3 · Thu Jul 06 2023 19:15:41 GMT+0800 (China Standard Time)

from datasets import load_dataset
from uniem.finetuner import FineTuner
dataset = load_dataset('/opt/dl/llm/langchain-ChatGLM/m3ef/ft4/',encoding="GBK")
finetuner = FineTuner('/media/root/_data01/ai/embeddings/m3e-base/', dataset=dataset)
finetuner.run(epochs=1, output_dir='finetuned-model-riddle', batch_size=5)

yhygta · Answer 4 · Thu Jul 06 2023 19:16:18 GMT+0800 (China Standard Time)

ft4.csv放在ft4文件夹下，内容如下：

yhygta · Answer 5 · Thu Jul 06 2023 19:16:23 GMT+0800 (China Standard Time)

sentence1,sentence2,label
金霉素怎么用,红霉素的使用方法,0
金霉素怎么用,妥布霉素的使用方法0
金霉素怎么用,硫酸新霉素的使用方法,0
金霉素怎么用,灰黄霉素的使用方法,0
金霉素怎么用,曲霉素的使用方法,0
金霉素怎么用,复方新霉素的使用方法,0
金霉素怎么用,庆大霉素的使用方法,0
金霉素怎么用,克林霉素的使用方法,0
金霉素怎么用,黄曲霉素的使用方法,0
金霉素怎么用,青霉素的使用方法,0
金霉素怎么用,土霉素的使用方法,0
金霉素怎么用,阿奇霉素的使用方法,0
金霉素怎么用,林可霉素的使用方法,0

yhygta · Answer 6 · Thu Jul 06 2023 19:17:47 GMT+0800 (China Standard Time)

但是我把上面那个csv文件存下来，以这个代码（https://github.com/wangyuxinwhy/uniem/issues/34#issuecomment-1623492087）来做，会报错TypeError: must be real number, not NoneType

yuxin.wang · Answer 7 · Thu Jul 06 2023 19:21:51 GMT+0800 (China Standard Time)

能把报错的信息贴一下吗？现在这个报错看不出来啥。

另外，微调是基于对比学习的，但你的 label 都为 0 ，是没有办法进行对比的。需要添加一些正例

yhygta · Answer 8 · Thu Jul 06 2023 19:30:27 GMT+0800 (China Standard Time)

好的，感谢提醒哈，我是发现X霉素在LLM会混在一起，是希望在embedding里面能分开，所以写了0，这种情况下我想增大区分度，请问该怎么处理呢？

yhygta · Answer 9 · Thu Jul 06 2023 19:30:40 GMT+0800 (China Standard Time)

报错信息如下：
0it [7:30:19, ?it/s]
╭───────────────────── Traceback (most recent call last) ──────────────────────╮
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/code.py:90 in runcode │
│ │
│ 87 │ │ │
│ 88 │ │ """ │
│ 89 │ │ try: │
│ ❱ 90 │ │ │ exec(code, self.locals) │
│ 91 │ │ except SystemExit: │
│ 92 │ │ │ raise │
│ 93 │ │ except: │
│ :1 in │
│ │
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/uniem/fin │
│ etuner.py:220 in run │
│ │
│ 217 │ │ │ save_on_epoch_end=save_on_epoch_end, │
│ 218 │ │ ) │
│ 219 │ │ accelerator.print(f'Start training for {epochs} epochs') │
│ ❱ 220 │ │ trainer.train() │
│ 221 │ │ │
│ 222 │ │ accelerator.wait_for_everyone() │
│ 223 │ │ accelerator.print('Training finished') │
│ │
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/uniem/tra │
│ iner.py:49 in train │
│ │
│ 46 │ │ │ self.model.train() │
│ 47 │ │ │ self.progress_bar.on_epoch_start() │
│ 48 │ │ │ │
│ ❱ 49 │ │ │ for batch_index, batch in enumerate(self.train_dataloader) │
│ 50 │ │ │ │ with self.accelerator.accumulate(self.model): │
│ 51 │ │ │ │ │ self.optimizer.zero_grad() │
│ 52 │ │ │ │ │ batch_output = self.model(**batch) │
│ │
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/accelerat │
│ e/data_loader.py:378 in iter │
│ │
│ 375 │ │ dataloader_iter = super().iter() │
│ 376 │ │ # We iterate one batch ahead to check when we are at the end │
│ 377 │ │ try: │
│ ❱ 378 │ │ │ current_batch = next(dataloader_iter) │
│ 379 │ │ except StopIteration: │
│ 380 │ │ │ yield │
│ 381 │
│ │
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/torch/uti │
│ ls/data/dataloader.py:633 in next │
│ │
│ 630 │ │ │ if self._sampler_iter is None: │
│ 631 │ │ │ │ # TODO(pytorch/pytorch#7675 │
│ 632 │ │ │ │ self._reset() # type: ignore[call-arg] │
│ ❱ 633 │ │ │ data = self._next_data() │
│ 634 │ │ │ self._num_yielded += 1 │
│ 635 │ │ │ if self._dataset_kind == _DatasetKind.Iterable and \ │
│ 636 │ │ │ │ │ self._IterableDataset_len_called is not None and │
│ │
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/torch/uti │
│ ls/data/dataloader.py:677 in _next_data │
│ │
│ 674 │ │
│ 675 │ def _next_data(self): │
│ 676 │ │ index = self._next_index() # may raise StopIteration │
│ ❱ 677 │ │ data = self._dataset_fetcher.fetch(index) # may raise StopIt │
│ 678 │ │ if self._pin_memory: │
│ 679 │ │ │ data = _utils.pin_memory.pin_memory(data, self._pin_memor │
│ 680 │ │ return data │
│ │
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/torch/uti │
│ ls/data/_utils/fetch.py:54 in fetch │
│ │
│ 51 │ │ │ │ data = [self.dataset[idx] for idx in possibly_batched_i │
│ 52 │ │ else: │
│ 53 │ │ │ data = self.dataset[possibly_batched_index] │
│ ❱ 54 │ │ return self.collate_fn(data) │
│ 55 │
│ │
│ /home/epetai01/anaconda3/envs/cg2_310/lib/python3.10/site-packages/uniem/dat │
│ a.py:106 in call │
│ │
│ 103 │ │ texts = [record.sentence1 for record in records] │
│ 104 │ │ texts_pair = [record.sentence2 for record in records] │
│ 105 │ │ labels = [record.label for record in records] │
│ ❱ 106 │ │ labels = torch.tensor(labels, dtype=torch.float32) │
│ 107 │ │ │
│ 108 │ │ text_ids = self.tokenizer( │
│ 109 │ │ │ texts, │
╰──────────────────────────────────────────────────────────────────────────────╯
TypeError: must be real number, not NoneType

yuxin.wang · Answer 10 · Thu Jul 06 2023 23:08:50 GMT+0800 (China Standard Time)

看起来是有一个样本的标签是 None ，你可以打印 dataset 中的全部样本，检查一下是不是有样本的标签是 None。

yhygta · Answer 11 · Fri Jul 07 2023 16:46:14 GMT+0800 (China Standard Time)

确实是有None，感谢大佬解答