OpenBMB / CPM-Bee

百亿参数的中英文双语基座大模型

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

请问内置的预训练任务是什么?

qq240035000 opened this issue · comments

谢谢大佬们的工作,麻烦问一下内置的预训练任务是什么,是预测单词,判断是否是原本的单词等这些常见的自监督任务吗?有没有介绍相关文档啊,我想用一些没有打标的文本去做预训练。。