这个仓库收集了手动策划资源，侧重于生成式预训练变压器（GPT）、ChatGPT、PaLM等提示工程
📄
-
提示工程技术:
- 一个提示模式目录，增强 ChatGPT 的提示工程 [2023] (Arxiv)
- 让硬提示容易：基于梯度的离散优化方法来进行提示调整和发现 [2023] (Arxiv)。- 合成提示：为大型语言模型生成思路演示 [2023] (Arxiv)
- 渐进提示：用于语言模型的连续学习 [2023] (Arxiv)
- 批量提示：使用 LLM API 进行高效推理 [2023] (Arxiv)
- 连续提示用于解答复杂问题 [2022] (Arxiv)
- 结构化提示：将上下文学习扩展到 1,000 个示例 [2022] (Arxiv)
- 大型语言模型是人类级的提示工程师 [2022] (Arxiv)
- 问我：一个为提示语言模型设计的简单策略 [2022] (Arxiv)
- 提示 GPT-3 成为可靠的模型 2022
- 分解提示：一种解决复杂任务的模块化方法 [2022] (Arxiv)
- PromptChainer：通过视觉编程连接大语言模型的提示 [2022] (Arxiv)
- 探究困惑模型中的提示工程 [2022] (Arxiv)
- 展示你的工作：用于与语言模型进行中间计算的草稿 [2021] (Arxiv)
- 转换指令提示以 GPTk 的语言形式呈现 [2021] (Arxiv)
- 奇妙有序的提示及其发现方法：克服少样本提示顺序敏感性 [2021] (Arxiv)
- 规模的力量：用于参数高效调整提示的方法 [2021] (Arxiv)
- 大型语言模型的提示编程：超越少样本的范例 [2021] (Arxiv)- Prefix-Tuning：优化连续提示生成 [2021] (Arxiv)
-
推理和上下文学习：
- 语言模型中的多模态思维链推理 [2023] (Arxiv)
- 冷静思考之后，我们不妨不要一步一步地思考！零射击推理中的偏见和有毒行为 [2022] (Arxiv)
- ReAct：协同推理和行为的语言模型 [2022] (Arxiv)
- 语言模型是贪婪的推理器：关于思维链的系统形式化分析 [2022] (Arxiv)
- 关于使语言模型成为更好的推理器的进展 [2022] (Arxiv)
- 大型语言模型是零射击推理器 [2022] (Arxiv)
- 像程序执行者一样推理 [2022] (Arxiv)
- 自一致性改善了语言模型的思维链推理 [2022] (Arxiv)
- 重新思考演示的作用：是什么使上下文学习起作用？ [2022] (Arxiv)
- 学会解释：通过思考链进行多模态推理，以回答科学问题 [2022] (Arxiv)
- 思维链提示引发大型语言模型的推理 [2021] (Arxiv)
- 生成知识提示进行常识推理 [2021] (Arxiv)
- BERTese:学习与BERT对话 [2021] (Acl)
-
评估和改进语言模型：
- 大型语言模型很容易被无关上下文所分散注意力 [2023] (Arxiv)
- 爬行语言模型的内部知识库 [2023] (Arxiv)- 使用模型编写的评估来发现语言模型的行为：[2022] (Arxiv)
- 使用平滑法在使用之前进行校准：提高语言模型的少样本性能 [2021] (Arxiv)
-
语言模型的应用：
- 多模态仇恨模因分类提示 [2023] (Arxiv)
- PLACES：社交对话综合提示语言模型 [2023] (Arxiv)
- 基于常识的提示，用于可控的共情对话生成 [2023] (Arxiv)
- PAL: 程序辅助语言模型 2023
- 用于多语言法律判断的法律提示工程 [2023] (Arxiv)
- 与Copilot进行对话：使用自然语言探索解决CS1问题的提示工程 [2022] (Arxiv)
- Pre-Trained语言模型的剧情写作 [2022] (Acl)
- AutoPrompt：使用自动生成的提示从语言模型中引导知识 [2020] (Arxiv)
-
威胁检测和对抗性示例：
- 宪法人工智能：AI反馈的无害性 [2022] (Arxiv)
- 忽略先前的提示：语言模型的攻击技术 [2022] (Arxiv)
- 机器生成的文本：威胁模型和检测方法的综合调查 [2022] (Arxiv)
- 通过手工制作的对抗性示例评估预先训练语言模型的易感性 [2022] (Arxiv)
- 基于生成提示的推理的毒性检测 [2022] (Arxiv)。- 如何知道语言模型知道什么？ [2020] (Mit)
-
小样本学习和性能优化：
- Promptagator：从8个示例中进行小样本稠密检索 [2022] (Arxiv)
- 几个样本提示推理的解释不可靠 [2022] (Arxiv)
- 使预训练的语言模型成为更好的小样本学习者 [2021] (Acl)
- 语言模型是小样本学习者 [2020] (Arxiv)
-
文本到图像生成：
- 用于文本到图像生成的提示修饰符分类法 [2022] (Arxiv)
- 提示工程文本到图像生成模型的设计指南 [2021] (Arxiv)
- 使用潜在扩散模型进行高分辨率图像合成 [2021] (Arxiv)
- DALL·E：从文本创建图像 [2021] (Arxiv)
-
文本到音乐/音频生成：
- MusicLM：从文本生成音乐 [2023] (Arxiv)
- ERNIE-Music：基于扩散模型的文本到波形音乐生成 [2023] (Arxiv)
- Noise2Music：基于扩散模型的文本条件音乐生成 [2023) (Arxiv)
- AudioLM：一种基于语言建模的音频生成方法 [2023] (Arxiv)
- Make-An-Audio：使用提示增强扩散模型的文本到音频生成 [2023] (Arxiv)
-
文本到视频生成：
- Dreamix：视频扩散模型是通用视频编辑器 [2023] (Arxiv)- Tune-A-Video: One-Shot 调谐图像扩散模型，用于文本到视频生成 [2022] (Arxiv)
- Noise2Music: 带有扩散模型的文本条件音乐生成 [2023) (Arxiv)
- AudioLM: 一种语言建模方法用于音频生成 [2023] (Arxiv)
-
概览:
🔧
| 名称 | 描述 | Url |
|---|---|---|
| GPT Index | GPT Index是一个由数据结构集合组成的项目，旨在使大型外部知识库在LLMs中更易于使用。 | [Github] |
| Promptify | 使用LLM解决NLP问题，并使用Promptify轻松为流行的生成模型（如GPT、PaLM等）生成不同的NLP任务提示 | [Github] |
| Better Prompt | 测试LLM提示的测试套件，然后将其推送到PROD | [Github] |
| Interactive Composition Explorerx | ICE 是一个 Python 库和语言模型程序的跟踪可视化器。 | [Github] |
| LangChainx | 通过组合性借助 LLM 来构建应用程序 | [Github] |
| OpenPrompt | 一个用于学习提示的开源框架。 | [Github] |
| Prompt Engine | 该存储库包含用于创建和维护大型语言模型 (LLMs) 的提示的 NPM 实用程序库。 | [Github] |
| Prompts AI | GPT-3高级游乐场 | [Github] |
| Prompt Source | PromptSource 是一个用于创建、共享和使用自然语言提示的工具包。 | [Github] |
| ThoughtSource | 用于机器思考的科学框架 | [Github] |
💻
| 名称 | 描述 | 网址 | 付费还是开源 |
|---|---|---|---|
| OpenAI | 用于自然语言任务的 GPT-n，用于将自然语言转换为代码的 Codex，以及用于创建和编辑原始图像的 DALL·E | [OpenAI] | 付费 |
| CohereAI | Cohere 提供一种 API，通过该 API 可访问先进的大型语言模型和 NLP 工具。 | [CohereAI] | 付费 |
| Anthropic | 即将推出 | [Anthropic] | 付费 |
| FLAN-T5 XXL | 即将推出 | [HugginFace] | 开源 |
💾
| 名称 | 描述 | 网址 |
|---|---|---|
| P3（Public Pool of Prompts） | P3 是一个包含各种 NLP 任务的提示英文数据集集合。 | [HuggingFace] |
| Awesome ChatGPT Prompts | 该仓库包括 ChatGPT 提示信息的策划，可更好地使用 ChatGPT。 | [Github]"" |
| Midjourney提示 | 从MidJourney的公共Discord服务器中爬取的文本提示和图像URL | [HuggingFace] |
🧠
| 名称 | 描述 | Url |
|---|---|---|
| ChatGPT | ChatGPT | [OpenAI] |
| Codex | Codex模型是我们GPT-3模型的后代，可以理解和生成代码。它们的训练数据包括来自GitHub的自然语言和数十亿行的公共代码 | [Github] |
| Bloom | BigScience大型开放科学开放获取多语言语言模型 | [HuggingFace] |
| Facebook LLM | OPT-175B是Meta训练的GPT-3等价模型。它是目前可用的最大预训练语言模型，拥有1750亿个参数。 | [Alpa] |
| GPT-NeoX | GPT-NeoX-2TB是一个200亿参数的自回归语言模型，训练于Pile | [HuggingFace] |
| FLAN-T5 XXL | Flan-T5是一个指令调节模型，意味着它在prompt中获得指令时展现了零-shot行为 | [HuggingFace/Google] |
| XLM-RoBERTa-XL | XLM-RoBERTa-XL模型在包含100种语言的2.5TB过滤后的CommonCrawl数据上进行了预训练 | [HuggingFace] |
| GPT-J | 它是在Pile数据集上训练的类似于GPT-2的因果语言模型 | [HuggingFace] |
| GPT-Neo | 使用mesh-tensorflow库实现的模型并行GPT-2和GPT-3风格的模型。 | [Github] |
| LaMDA-rlhf-pytorch | Google的LaMDA在PyTorch中的开源预训练实现，添加了与ChatGPT类似的RLHF功能。 | [Github] |
| RLHF | 从人类反馈中学习的强化学习（RLHF）模型的实现。 | [Github] |
| GLM-130B | GLM-130B:一种开放的双语预训练模型。 | [Github] |
🔎
| 名称 | 描述 | 链接 |
|---|---|---|
| AI文本分类器 | AI文本分类器是一个经过调优的GPT模型，它预测一段文本从各种来源（如ChatGPT）生成的可能性有多大。 | [OpenAI] |
| GPT-2输出检测器 | 这是GPT-2输出检测器模型的在线演示，基于🤗/Transformers RoBERTa的实现。 | [HuggingFace] |
| Openai检测器 | 用于指示AI产生的文本的AI分类器（OpenAI检测器Python包装器）。 | [GitHub] |
📚
-
提示工程介绍
-
生成式语言模型入门指南
-
Prompt 工程最佳实践
-
完整的 Prompt 工程指南
-
Prompt 工程的技术方面
-
Prompt 工程资源
- ChatGPT: 5个初学者Prompt工程秘密
- CMU高级自然语言处理 2022: 提问
- Prompt工程 - 一个新的职业吗？
- ChatGPT指南：用更好的提示将结果提高10倍
- 语言模型和Prompt工程：NLP中提示方法的系统调查
- Prompt工程 101：自动完成、零样本、一次样本和少量样本提示
🤝
我们欢迎为这个列表做出贡献！实际上，这也是我创建它的主要原因——鼓励贡献，让人们订阅变化，以便了解大型语言模型和提示工程领域的新的令人兴奋的发展。
在贡献之前，请花点时间查看我们的贡献指南。这些指南将有助于确保您的贡献与我们的目标相一致，并符合我们的质量和相关性标准。感谢您对参与这个项目的兴趣！
".