LLM全栈优质资源汇总
非常欢迎大家也参与进来，收集更多优质大模型相关资源。
- 🐼 LLM算法
- 🐘 LLM训练
- 🔥 LLM推理
- 🌴 LLM数据工程（Data Engineering）
- 📡 LLM压缩
- 🐰 LLM测评
- 🐘 AI基础知识
- 📡 AI基础设施
- 🐘 AI编译器
- 🐰 AI框架
- 📡 LLM应用开发
- 🐘 LLMOps
- 📡 LLM实践
- 📡微信公众号文章集锦
原理：
- Transformer模型详解（图解最完整版
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- Transformer的结构是什么样的？各个子模块各有什么作用？
- 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
- Transformer 一起动手编码学原理
源码：
- OpenAI ChatGPT（一）：Tensorflow实现Transformer
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- GPT （一）transformer原理和代码详解
- Transformer源码详解（Pytorch版本）
- 搞懂Transformer结构，看这篇PyTorch实现就够了
- https://github.com/NExT-GPT/NExT-GPT
- https://next-gpt.github.io/
- Introduction to NExT-GPT: Any-to-Any Multimodal Large Language Model
-
Transformer Math 101 - 如何计算显存消耗?
-
Megatron-LM 第三篇Paper总结——Sequence Parallelism & Selective Checkpointing
-
学习率(warmup, decay)：
- 使用HuggingFace的Accelerate库加载和运行超大模型 : device_map、no_split_module_classes、 offload_folder、 offload_state_dict
- 使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
- LLM七种推理服务框架总结
- LLM投机采样（Speculative Sampling）为何能加速模型推理
- 大模型推理妙招—投机采样（Speculative Decoding）
- https://github.com/flexflow/FlexFlow/tree/inference
- TensorRT-LLM(3)--架构
- NLP（十八）：LLM 的推理优化技术纵览：https://zhuanlan.zhihu.com/p/642412124
- 揭秘NVIDIA大模型推理框架：TensorRT-LLM：https://zhuanlan.zhihu.com/p/680808866
- 如何生成文本: 通过 Transformers 用不同的解码方法生成文本 | How to generate text: using different decoding methods for language generation with Transformers
KV Cache：
解码优化：
- Awesome Model Quantization
- Efficient-LLMs-Survey
- Awesome LLM Compression
- 模型转换、模型压缩、模型加速工具汇总
- AI 框架部署方案之模型转换
- Pytorch 模型转 TensorRT (torch2trt 教程)
- CLiB中文大模型能力评测榜单
- huggingface Open LLM Leaderboard
- HELM：https://github.com/stanford-crfm/helm
- HELM：https://crfm.stanford.edu/helm/latest/
- lm-evaluation-harness：https://github.com/EleutherAI/lm-evaluation-harness/
- CLEVA：http://www.lavicleva.com/#/homepage/overview
- CLEVA：https://github.com/LaVi-Lab/CLEVA/blob/main/README_zh-CN.md
- 做数据关键步骤：怎么写好prompt？
- 从1000+模板中总结出的10大提示工程方法助你成为提示词大师！
- 一文搞懂提示工程的原理及前世今生
- Effective Prompt: 编写高质量Prompt的14个有效方法
- 提示工程和提示构造技巧
- 一文带你了解提示攻击！
- 通向AGI之路：大型语言模型（LLM）技术精要
- 大语言模型的涌现能力：现象与解释
- NLP（十八）：LLM 的推理优化技术纵览
- 并行计算3：并行计算模型
- 大模型“幻觉”，看这一篇就够了 | 哈工大华为出品
safetensors：
- bin和safetensors区别是什么？
- Safetensors：保存模型权重的新格式
- github: safetensors
- huggingface: safetensors
- Safetensors: a simple, safe and faster way to store and distribute tensors.
- https://huggingface.co/docs/safetensors/index
- https://github.com/huggingface/safetensors/tree/v0.3.3
- 手把手教你：LLama2原始权重转HF模型
- PyTorch 源码解读系列 @ OpenMMLab 团队
- [源码解析] PyTorch 分布式 @ 罗西的思考
- PyTorch 分布式(18) --- 使用 RPC 的分布式流水线并行 @ 罗西的思考
- 【Pytorch】model.train() 和 model.eval() 原理与用法
- Megatron-LM 近期的改动
- 深入理解 Megatron-LM（1）基础知识 @ 简枫
- 深入理解 Megatron-LM（2）原理介绍
- [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 @ 罗西的思考
- [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
- [细读经典]Megatron论文和代码详细分析(1) @迷途小书僮
- [细读经典]Megatron论文和代码详细分析(2)
- 业界AI加速芯片浅析（一）百度昆仑芯
- NVIDIA CUDA-X AI：https://www.nvidia.cn/technologies/cuda-x/
- Intel，Nvidia，AMD三大巨头火拼GPU与CPU
- 处理器与AI芯片-Google-TPU：https://zhuanlan.zhihu.com/p/646793355
- 一文看懂国产AI芯片玩家
- 深度 | 国产AI芯片，玩家几何
- 动手学大模型应用开发
- langchain java
- 大模型主流应用RAG的介绍——从架构到技术细节
- 基于检索的大语言模型和应用（陈丹琦）
- 大模型bad case修复方案思考
- 《综述：全新大语言模型驱动的Agent》——4.5万字详细解读复旦NLP和米哈游最新Agent Survey
- MLOps Landscape in 2023: Top Tools and Platforms
- What Constitutes A Large Language Model Application? ：LLM Functionality Landscape
- 大语言模型原理与工程 @杨青
- Awesome-Chinese-LLM
- Awesome-LLM-Survey
- Large Language Model Course
- Awesome-Quantization-Papers
- Awesome Model Quantization (GitHub)
- Awesome Transformer Attention (GitHub)
- 语言模型数据选择综述
- Awesome Knowledge Distillation of LLM Papers
- Awasome-Pruning @ghimiredhikura
- Awesome-Pruning @he-y
- Awesome-LLM-Inference