关于自监督预训练的数据输入格式

[fengcai24]

如果我想构造自回归方式的数据，用于预训练/全参数微调，那么应该是怎么样的数据输入格式呢？望大佬们能够帮忙解答一些，期待回复。