欢迎加入AIGC技术交流群，与AI领域专家和各行各业的AIGC爱好者一起交流技术理论与行业信息！不管你是学术界还是工业界实践者或爱好者，都欢迎加入！
| 交流群二维码 | 拉你入群(备注AIGC-github) |
|---|---|
 |
 |
| Model_A | Model_B | Blog |
|---|---|---|
| 360智脑 | 讯飞星火 | 对比效果 |
| 阿里通义千问 | 讯飞星火 | 对比效果 |
| Bard | Bing_VS_ChatGPT | 对比效果 |
| baichuan-53B | ChatGLM-6B | 对比效果 |
| 文心一言 | Bard | 对比效果 |
| 文心一言 | Baize-7B | 对比效果 |
| 文心一言 | OpenAssistant | 对比效果 |
| 文心一言 | ChatGLM-6B | 对比效果 |
| 文心一言 | GPT-4 | 对比效果 |
| 文心一言 | GPT-4实测 | 对比效果 |
| 文心一言 | 讯飞星火 | 对比效果 |
| GPT4 | ChatGPT | 对比效果 |
| GPT4 | Claude2 | 对比效果1，对比效果2 |
这里整理了主流大模型baichuan、ChatGLM和LLaMA及其扩展模型的一些细节，并且会对目前主流的LLM按照功能和应用领域进行分类整理，更多请参考【Model List】。
dair-ai同样也整理了很多关于LLM和经典论文，感兴趣的读者可以参考：【ML Papers Explained】
这里整理了LLM预训练、微调使用的部分数据集，更多请参考【DataSet】
这里整理关于LLM微调的脚本以及开源工具或者平台的使用案例，更多请参考【Fine Tune】
| Description | Paper | Code | Blog |
|---|---|---|---|
| BentoML | BentoML Code | ||
| CLIP-API-service | |||
| CTranslate2 | |||
| DeepSpeed-MII | |||
| FastLLM | |||
| Huggingface | |||
| JittorLLM | |||
| LightLLM | |||
| LMDeploy | |||
| MLC LLM | |||
| OneDiffusion | |||
| OpenLLM | |||
| Ray Serve |
【LLM大语言模型之Generate/Inference（生成/推理）中参数与解码策略原理及其代码实现】【blog】
| Description | Paper | Code | Blog |
|---|---|---|---|
| ColossalAI | ColossalAI Code | ||
| DeepSpeed | |||
| Megatron-LM |
RAG实战与理论相关资料，更多请参考【LangChain】
RAG实战主要分为LangChain框架实现和LlamaIndex框架实现，分别可以参考LangChain_RAG和LlamaIndex_RAG
| VectorDB | Paper | Code | Blog |
|---|---|---|---|
| Chroma | |||
| DingoDB | dingo，dingo-store | DingoDB官网 | |
| LanceDB | |||
| Milvus | |||
| Pinecone | |||
| QDrant | |||
| Weaviate | |||
| Zilliz |
| RAG_OpenSoure_Tool | Code | Blog |
|---|---|---|
| AnythingLLM | AnythingLLM Code | AnythingLLM官网 |
| QAnything | QAnything Code |
| Model | Description | Code | Paper/Blog |
|---|---|---|---|
| Agents | Agent Code | Agents: An Open-source Framework for Autonomous Language Agents，Agent 官网，blog | |
| AgentGPT | AgentGPT Code | AgentGPT Chat，AgentGPT docs | |
| AgentVerse | |||
| AI Legion | AI Legion Chat | ||
| AutoGen | 微软在向 OpenAI 注资 130 亿美元并使 Bing 变得更智能后，现在成为人工智能领域的主要参与者。其 AutoGen 是一个用于开发和部署多个代理的开源框架，这些代理可以共同工作以自主实现目标。AutoGen 试图促进和简化代理之间的通信，减少错误，并最大化 LLMs 的性能。它还具有广泛的定制功能，允许您选择首选模型，通过人类反馈改进输出，并利用额外的工具。 | AutoGen blog | |
| AutoGPT | 创始人托兰·布鲁斯·理查兹开发，AutoGPT 是早期代理之一，于 2023 年 3 月发布，是根据中岛的论文开发的。它也是今天在 GitHub 上最受欢迎的代理存储库。 AutoGPT 的理念很简单 - 它是一个完整的工具包，用于构建和运行各种项目的定制 AI 代理。该工具使用 OpenAI 的 GPT-4 和 GPT-3.5 大型语言模型（LLM），并允许您为各种个人和商业项目构建代理。 | AutoGPT Code | AutoGPT docs ，AutoGPT blog |
| BabyAGI | BabyAGI 是中山的任务驱动自主代理的简化版本。这个 Python 脚本只有 140 个代码字，并且根据官方 GitHub 仓库，“使用 OpenAI 和矢量数据库，如 Chroma 或 Weaviate，来创建、优先处理和执行任务”。 | BabyAGI Code | BabyAGI docs |
| Camel | 该框架利用 LLM 的力量动态分配角色给代理人，指定和开发复杂任务，并安排角色扮演场景，以促进代理人之间的协作。这就像是为人工智能设计的戏剧。 | CAMEL Code | CAMEL Chat，CAMEL docs |
| ChatDev | CoPilot、Bard、ChatGPT 等等都是强大的编码助手。但是像 ChatDev 这样的项目可能很快就会让它们望尘莫及。ChatDev 被打造成“一个虚拟软件公司”，它不仅使用一个，而是多个代理人来扮演传统开发组织中的不同角色。 代理人 - 每个都被分配了一个独特的角色 - 可以合作处理各种任务，从设计软件到编写代码和文档。雄心勃勃？当然。ChatDev 仍然更多地是一个代理人互动的测试平台，但如果你自己是开发人员，它是值得一看的。 | ChatDev Code | |
| crewAI | crewAI Code | crewAI Blog | |
| CogAgent | |||
| Do Anything Machine | Do Anything Machine Chat | ||
| Generative Agents | GPTRPG Code | Generative Agents: Interactive Simulacra of Human Behavior | |
| Gentopia | |||
| Godmode | Godmode Chat | ||
| GPT-Engineer | GPT-Engineer Code | ||
| HuggingGPT | HuggingGPT Code | HuggingGPT Chat | |
| JARVIS | JARVIS 远不及托尼·斯塔克标志性的人工智能助手（还有同样标志性的保罗·贝坦尼的声音），但它有一些小技巧。以 ChatGPT 作为其“决策引擎”，JARVIS 处理任务规划、模型选择、任务执行和内容生成。拥有对 HuggingFace 平台上数十种专门模型的访问权限，JARVIS 利用 ChatGPT 的推理能力来应用最佳模型到给定的任务上。这使得它对各种任务具有相当迷人的灵活性，从简单的摘要到目标检测都能胜任。 | JARVIS Code | --- |
| LoopGPT | LoopGPT 是 Toran Bruce Richards 的 AutoGPT 的一个迭代版本。除了一个合适的 Python 实现，该框架还带来了对 GPT-3.5 的改进支持，集成和自定义代理能力。它还消耗更少的 API 令牌，因此运行成本更低。LoopGPT 可以基本上自主运行，或者与人类一起运行，以最小化模型的幻觉。有趣的是，该框架不需要访问向量数据库或外部存储来保存数据。它可以将代理状态写入文件或 Python 项目。 | LoopGPT Code | |
| MetaGPT | MetaGPT 是另一个开源 AI 代理框架，试图模仿传统软件公司的结构。与 ChatDev 类似，代理被分配为产品经理、项目经理和工程师的角色，并协作完成用户定义的编码任务。到目前为止，MetaGPT 只能处理中等难度的任务 - 比如编写贪吃蛇游戏或构建简单的实用应用程序 - 但它是一个有前途的工具，可能在未来迅速发展。使用 OpenAI API 费用，生成一个完整的项目大约需要 2 美元。 | MetaGPT Code | |
| NexusGPT | NexusGPT Chat | ||
| OpenAGI | OpenAGI 是一个开源的 AGI（人工通用智能）研究平台，结合了小型专家模型 - 专门针对情感分析或图像去模糊等任务的模型 - 以及来自任务反馈的强化学习（RLTF）来改进它们的输出。 在幕后，OpenAGI 与其他自主开源 AI 框架并没有太大的不同。它汇集了像 ChatGPT、LLMs（如 LLaMa2）和其他专业模型等流行平台，并根据任务的上下文动态选择合适的工具。 | OpenAGI Code | |
| RecurrentGPT | |||
| RestGPT | RestGPT Code | RestGPT blog，RestGPT: Connecting Large Language Models with Real-World RESTful APIs | |
| RoboGen | RoboGen Code | 项目主页，blog，RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation | |
| ShortGPT | AI 模型在生成内容方面表现出色。但直到最近，视频格式一直受到较少关注。ShortGPT 是一个框架，它允许您使用大型语言模型来简化诸如视频创作、语音合成和编辑等复杂任务。 ShortGPT 可以处理大多数典型的与视频相关的任务，如撰写视频脚本，生成配音，选择背景音乐，撰写标题和描述，甚至编辑视频。该工具适用于短视频和长视频内容，无论平台如何。 | ShortGPT Code | |
| SuperAGI | SuperAGI 是 AutoGPT 的更灵活、用户友好的替代品。把它想象成一个开源 AI 代理的发射台，它包含了构建、维护和运行自己代理所需的一切。这还包括插件和一个云版本，您可以在其中测试各种功能。该框架具有多个人工智能模型，图形用户界面，与向量数据库的集成（用于存储/检索数据），以及性能洞察。还有一个市场，其中有工具包，可以让您将其连接到流行的应用程序和服务，如 Google Analytics。 | SuperAGI Code | |
| Toolformer | Toolformer blog，Toolformer: Language Models Can Teach Themselves to Use Tools | ||
| XAgent | XAgent Code | XAgent官网，XAgent Blog | |
| Xlang |
整理关于LangChain的相关笔记和课程，更多请参考【LangChain】
整理关于LlamaIndex的相关笔记和课程，更多请参考【LlamaIndex】
整理关于TaskingAI的相关笔记和课程，更多请参考【TaskingAI】
更多请参考【Prompt Engineering】
| Description | Paper | Code | Blog |
|---|---|---|---|
| 复现RLHF：通过开源项目 trl 搭建一个通过强化学习算法（PPO）来更新语言模型（GPT-2） | code | blog | |
| 详解大模型RLHF过程（配代码解读） | blog | ||
| 想训练ChatGPT？得先弄明白Reward Model怎么训（附源码） | blog | ||
| 直接偏好优化算法（Direct Preference Optimization，DPO） | Direct Preference Optimization: Your Language Model is Secretly a Reward Model | DPO Code | DPO Code |
【LLM大模型之基于SentencePiece扩充LLaMa中文词表实践】【blog】
| Description | Paper | Code | Blog |
|---|---|---|---|
| Transformer升级之路：一种全局长度外推的新思路 | blog | ||
| ChatGPT能写长篇小说了，ETH提出RecurrentGPT实现交互式超长文本生成 | paper | code | blog，demo1，demo2 |
| 语言大模型100K上下文窗口的秘诀 | blog | ||
| RoPE可能是LLM时代的Resnet | blog | ||
| 图解RoPE旋转位置编码及其特性 | blog | ||
| 详解基于调整RoPE旋转角度的大模型长度外推方法 | blog | ||
| 无需微调的自扩展大模型上下文窗口 | LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning | --- | --- |
| 大模型长文本评估方案CLongEval | CLongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models | CLongEval Code | CLongEval Blog |
解决幻觉常用的两种方法：1）不断增加模型的数据规模、提升数据质量；2）通过调用搜索等外部工具让模型能够获取实时信息。
| Description | Paper | Code | Blog |
|---|---|---|---|
| 腾讯AILab等《大型语言模型中的幻觉》，全面阐述检测、解释和减轻幻觉 | Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models | code | blog |
| LLM幻觉的解决方案及其应用 | Cognitive Mirage: A Review of Hallucinations in Large Language Models | code | blog |
| Description | Paper | Code | Blog |
|---|---|---|---|
| 微软提出Control-GPT：用GPT-4实现可控文本到图像生成！ | paper | blog | |
| AIGC如何安全可控?中山大学等最新《AIGC中对隐私和安全的挑战及其补救措施：探索隐私计算、区块链潜在应用》全面阐述 | paper | blog | |
| ControlVideo: 可控的Training-free的文本生成视频 | paper | code | blog |
| 大模型切脑后变身PoisonGPT，虚假信息案例 | code | blog | |
| ChatGPT羊驼家族全沦陷！CMU博士击破LLM护栏，人类毁灭计划脱口而出 | paper | code | blog |
| Description | Paper | Code | Blog |
|---|---|---|---|
| 美国麻省大学&谷歌研究院：改写文本可以避开AI生成文本的检测器，但检索则是一种有效的防御 | paper | code | |
| 人工智能生成的文本能被可靠地检测出来吗？ | paper | blog | |
| DetectGPT（斯坦福大学）：利用概率曲率检测文本是否大模型生成 | paper | code&data | blog |
| Detecting LLM-Generated-Text综述 | paper | blog | |
| 一个专为教育者打造的全新 AI 检测模型 | blog | ||
| OpenAI重磅发布官方「ChatGPT检测器」 | blog | ||
| 斯坦福最新研究：不要过度依赖GPT生成内容，其检测器可能存在不利于非母语英语写作者的偏见 | paper | ||
| TUM发布最新《检测ChatGPT生成文本现状》综述 | paper |
【👬🏻】欢迎Star ⭐️⭐️⭐️⭐️⭐️ && 提交 Pull requests 👏🏻👏🏻👏🏻
个人主页：wshzd.github.io
微信公众号：
以上部分资料来自网络整理，供大家学习参考，如有侵权，麻烦联系我删除！
WeChat：h18821656387