Goal: 大模型社区每周都要发布近百个模型，本项目会及时整理相关模型和文章并期望成为中文社区的大模型研究人员的模型和技术备忘录，每天会及时更新最新的模型，并详细解读技术细节~ 欢迎大家PR~
The Landscape of LLMs(大模型全景图)
Google Brain (已合并到Google DeepMind部门)
| 模型名称 | 时间 | 是否开源 | 参数规模 | Paper | Code | Introduction |
|---|---|---|---|---|---|---|
| T5 | 2019-10 | 是 | 13B | Arxiv | github | T5 介绍 |
| T5X (框架改进) |
2022-03 | - | - | Arxiv | github | Youtube |
| LaMDA (ChatBot LLM) |
2021-05 | 否 | 137B | - | - | LaMDA介绍 |
| PaLM | 2022-04 | 否 | 540B | Arxiv | - | PaLM介绍 |
DeepMind (已合并到Google DeepMind部门)
| 模型名称 | 时间 | 是否开源 | 参数规模 | Paper | Code | Introduction |
|---|---|---|---|---|---|---|
| Gopher(地鼠) | 2021-12 | 否 | 280B | Arxiv | - | - |
| Chinchilla(龙猫) | 2022-04 | 否 | 70B | Arxiv | - | Gopher介绍 |
Google DeepMind (23年4月合并Google Brain和DeepMind，命名为Google DeepMind)
| 模型名称 | 时间 | 是否开源 | 参数规模 | Paper | Code | Introduction |
|---|---|---|---|---|---|---|
| PaLM 2 | 2023-05 | 否 | 340B(小道消息，未证实~) | - | - | PaLM2介绍 |
Latest: 更强大的模型Gemini正在训练中, Ref
| 模型名称 | 时间 | 是否开源 | 参数规模 | Paper | Code |
|---|---|---|---|---|---|
| OPT | 2022-05 | 是 | 125M-175B | Arxiv | github |
| LLaMA | 2023-02 | 是 | 7B-65B | Arxiv | github |
| LLaMA 2 | 2023-07 | 是 | 7B-70B | Paper | github |
| 模型名称 | 时间 | 是否开源 | 参数规模 | Paper | Code |
|---|---|---|---|---|---|
| GPT | 2018-06 | 是 | 117M | Paper | Hugging Face |
| GPT-2 | 2019-02 | 是 | 150M-1.5B | Paper | Hugging Face |
| GPT-3 | 2020-05 | 否 | 125M-175B | Wiki Arxiv | - |
| GPT-3.5 (InstructionGPT) |
2022-01 | 否 | 175B | Blog | - |
| GPT-4 | 2023-03 | 否 | 未知 | Blog GPT-4 Technical Report |
- |
| 模型名称 | 时间 | 是否开源 | 参数规模 | Paper | Code |
|---|---|---|---|---|---|
| GPT-Neo (GPT-2 architecture ) |
2021-03 | 是 | 2.7B | Paper | github |
| GPT-J | 2021-06 | 是 | 6B | Paper | Hugging Face |
| GPT-NeoX | 2022-04 | 是 | 20B | Paper | github |
| 机构 | 模型名称 | 时间 | 是否开源 | 参数规模 | Paper | Code |
|---|---|---|---|---|---|---|
| Anthropic | Anthropic-LM v4-s3 | 2021-12 | 否 | 52B | - | - |
| 北京智源人工智能研究院 | 天鹰Aquila | 2023-06 | 是 | 7B/33B | - | - |
🚧 ...
| 机构 | 模型名称 | 基座模型 | 是否开源 | Blog & Code | Paper |
|---|---|---|---|---|---|
 BigScience |
T0 | T5 | 是 | Hugging Face | Arxiv |
| FLAN | T5 | 是 | Hugging Face | Arxiv | |
| Flan-T5/Faln-PaLM | T5/PaLM | 否 | github | Arxiv | |
| DeepMind | Sparrow (生成人工智能聊天机器人) |
Chinchilla | 否 | blog | Arxiv |
| Google DeepMind | Bard (生成人工智能聊天机器人) |
之前是LaMDA，后面是PaLM 2 | 否 | Wiki website |
- |
| 机构 | 模型名称 | 基座模型 | 是否开源 | Blog & Code | Paper |
|---|---|---|---|---|---|
| Meta | OPT-IML | OPT-175B | 是 | Hugging Face | Arxiv |
| Stanford | Alphaca (Alphace 7B) |
LLaMA-7B | 是 | Blog github |
- |
| Stanford | Vicuna (7B, 13B) |
LLaMA-7B/13B | 是 | Blog github |
- |
Picture Ref: https://s10251.pcdn.co/wp-content/uploads/2023/03/2023-Alan-D-Thompson-GPT3-Family-Rev-1.png
| 模型名称 | 基座模型 | 是否开源 | Blog & Code | Paper |
|---|---|---|---|---|
| GPT-NeoX-20B | GPT-Neo | 是 | github | Arxiv |
| 机构 | 模型名称 | 基座模型 | 是否开源 | Blog & Code | Paper |
|---|---|---|---|---|---|
| 北京智源人工智能研究院 | AquilaChat-7B (生成人工智能聊天机器人) |
Aquila-7B | 是 | Blog Hugging Face |
- |
| 北京智源人工智能研究院 | AquilaChat-33B (生成人工智能聊天机器人) |
Aquila-33B | 是 | Hugging Face | - |
| BigScience | BLOOMZ | BLOOM | 是 | Hugging Face | Arxiv |
| Baidu | 文心一言 (生成人工智能聊天机器人) |
ERNIE 3.0 | 否 | Website | - |
| Anthropic | Claude2 (生成人工智能聊天机器人) |
Anthropic-LM v4-s3 | 否 | Website | - |
🚧 ...
🚧 ...