newsiquare / MOSS

MOSS is a conversational language model like ChatGPT.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

MOSS

MOSS is a conversational language model like ChatGPT.

Code will be publicly available in March 2023.

Update: 仅以个人名义回应和澄清下几个大家关心的问题。

Q: 关于20号晚情况?难道只有一个logo?

A: 首先非常抱歉,由于缺乏经验,我们严重低估了访问量,导致网络瘫痪,目前已经恢复服务。

Q: 模型是套壳/二创吗?

A: 显然不是,模型是我们自己训练的,且不是基于GPT-2/OPT/BLOOM。

Q: 模型会开源吗?何时开源?

A: 像我们过去的工作一样,代码和参数肯定都会开源,尽量三月份开源。

Q: 为什么叫MOSS?

A: 2022年时的最初版本叫OpenChat,后来发现被用掉了。之后流浪地球热映,我相信很多AI研究者和我一样希望打造自己的强人工智能,于是我们的模型改名为MOSS,勉励我们自己持续迭代,希望有朝一日能达到真正的MOSS水准。另外,NLP领域里研究者常常以影视作品中自己喜爱的角色命名自己的模型,比如Transformer, BERT, ERNIE, Megatron等等。

Q: 关于网传我们抢先注册MOSS相关商标,蹭热点搏流量,以图私利?

A: 我们也是流浪地球的忠实粉丝,没想过还有这种事。如果搏流量的话不会是这种服务器和英文界面,相反最初我们是希望小范围内测的。目前算下来私利应该是负数。

Q: 为什么用英文界面?为什么模型英文比中文好?

A: 中英文界面都做了,但模型训完后我们发现中文难度更大,效果不达预期,于是一边继续收集中文数据、训练中文模型,一边以英文为主推进内测。英文能力仅为验证技术路线,未来一定会主力推动中文版MOSS建设,才能不辱其名。

Q: 为什么提交完申请后没收到邀请码?

A: 作为学校实验室,我们计算资源非常有限,为保证MOSS能较为流畅地给出回复,目前只能根据计算资源使用情况分批邀请用户进入体验,请大家耐心等待。

Q: MOSS和ChatGPT相比如何?

A: MOSS参数量为百亿级别,因此推理能力、事实性知识不足是难以克服的缺陷,但该缺陷会随着参数量增长迅速缓解。MOSS中文理解和生成较弱,随着中文数据的增多,下一版本的MOSS将会大幅度增强。总体来说,MOSS作为比ChatGPT小一个数量级的模型,能力还落后很多,但不可否认的是MOSS确实具备一定的类似能力,随着参数和数据增长到类似量级,我个人看好能够达到ChatGPT水准。在可公开访问的几个同类demo中,MOSS应当是站得住脚的,有测评兴趣的同学可以自行(或联系我)对比我们的MOSS、Meta的Blender Bot 3以及其他demo,看看哪个距离ChatGPT最近。

Q: 模型是什么?怎么训练的?数据怎么获取的?

A: 暂时不方便透露,我们尽快开源。

再次声明:当前情况下诋毁、谣言、竞争较多,以上回应仅代表个人,希望能做一点澄清。

About

MOSS is a conversational language model like ChatGPT.

License:Creative Commons Attribution 4.0 International