LLM全栈优质资源汇总
非常欢迎大家也参与进来，收集更多优质大模型相关资源。
原理：
- Transformer模型详解（图解最完整版
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- Transformer的结构是什么样的？各个子模块各有什么作用？
- 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
- Transformer 一起动手编码学原理
源码：
- OpenAI ChatGPT（一）：Tensorflow实现Transformer
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- GPT （一）transformer原理和代码详解
- Transformer源码详解（Pytorch版本）
- 搞懂Transformer结构，看这篇PyTorch实现就够了
原理：
学习率(warmup, decay)：
- 使用HuggingFace的Accelerate库加载和运行超大模型 : device_map、no_split_module_classes、 offload_folder、 offload_state_dict
- 使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
- LLM七种推理服务框架总结
- LLM投机采样（Speculative Sampling）为何能加速模型推理
- 大模型推理妙招—投机采样（Speculative Decoding）
- https://github.com/flexflow/FlexFlow/tree/inference
- TensorRT-LLM(3)--架构
- NLP（十八）：LLM 的推理优化技术纵览：https://zhuanlan.zhihu.com/p/642412124
- 知识蒸馏(Knowledge Distillation) 经典之作：https://zhuanlan.zhihu.com/p/102038521
- PyTorch 源码解读系列 @ OpenMMLab 团队
- [源码解析] PyTorch 分布式 @ 罗西的思考
- PyTorch 分布式(18) --- 使用 RPC 的分布式流水线并行 @ 罗西的思考
- 【Pytorch】model.train() 和 model.eval() 原理与用法
- Megatron-LM 近期的改动
- 深入理解 Megatron-LM（1）基础知识 @ 简枫
- 深入理解 Megatron-LM（2）原理介绍
- [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 @ 罗西的思考
- [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
- [细读经典]Megatron论文和代码详细分析(1) @迷途小书僮
- [细读经典]Megatron论文和代码详细分析(2)
- CLiB中文大模型能力评测榜单
- huggingface Open LLM Leaderboard
- HELM：https://github.com/stanford-crfm/helm
- HELM：https://crfm.stanford.edu/helm/latest/
- lm-evaluation-harness：https://github.com/EleutherAI/lm-evaluation-harness/
- CLEVA：http://www.lavicleva.com/#/homepage/overview
- CLEVA：https://github.com/LaVi-Lab/CLEVA/blob/main/README_zh-CN.md
- https://huggingface.co/docs/safetensors/index
- https://github.com/huggingface/safetensors/tree/v0.3.3
- 业界AI加速芯片浅析（一）百度昆仑芯
- NVIDIA CUDA-X AI：https://www.nvidia.cn/technologies/cuda-x/
- Intel，Nvidia，AMD三大巨头火拼GPU与CPU
- 处理器与AI芯片-Google-TPU：https://zhuanlan.zhihu.com/p/646793355
- MLOps Landscape in 2023: Top Tools and Platforms
- What Constitutes A Large Language Model Application? ：LLM Functionality Landscape