请问内置的预训练任务是什么?
qq240035000 opened this issue · comments
qq240035000 commented
谢谢大佬们的工作,麻烦问一下内置的预训练任务是什么,是预测单词,判断是否是原本的单词等这些常见的自监督任务吗?有没有介绍相关文档啊,我想用一些没有打标的文本去做预训练。。
百亿参数的中英文双语基座大模型
qq240035000 opened this issue · comments
谢谢大佬们的工作,麻烦问一下内置的预训练任务是什么,是预测单词,判断是否是原本的单词等这些常见的自监督任务吗?有没有介绍相关文档啊,我想用一些没有打标的文本去做预训练。。