pangsg / llm_interview_note

大模型面试题及答案，大模型八股文

LLMs Interview 八股文

简介

本仓库为大模型面试相关概念，由本人参考网络资源整理，欢迎阅读，如果对你有用，麻烦点一下 start，谢谢！

在线阅读

本仓库相关文章已放在个人博客中，欢迎阅读：

在线阅读链接：LLMs Interview Note

注意：

相关答案为自己撰写，若有不合理地方，请指出修正，谢谢！

欢迎关注微信公众号，会不定期更新LLM内容，以及一些面试经验：

目录

01.大语言模型简介

• 大模型发展历程

  1. 语言模型

• 常见大模型

  1. llama系列模型
  2. chatglm系列模型

• LLM基础题目

02.大语言模型基础

• Transformer模型
  1. attention
  2. layer_normalization
  3. 位置编码
  4. tokenize分词
  5. token及模型参数
  6. 激活函数
• 大语言模型结构

03.语言模型训练数据集

04.分布式训练

• 基础知识
  1. 概述
  2. 数据并行
  3. 流水线并行
  4. 张量并行
  5. 序列并行
  6. 多维度混合并行
  7. 自动并行
  8. moe并行
  9. 总结
• DeepSpeed
  1. DeepSpeed介绍
• 软硬件
  1. 显存问题
• 分布式相关题目

05.有监督微调

• 理论
  1. 基本概念
  2. prompting
  3. adapter-tuning
  4. lora
  5. 总结
• 微调实战
  1. LLaMa2微调
• 有监督微调相关题目
  1. 微调
  2. 预训练

06.推理

• 推理框架 0. llm推理框架简单总结
  1. vLLM
  2. Text Generation Inference
  3. Faster Transformer
  4. TRT LLM
• 推理优化技术
  1. LLM推理优化技术
• 推理相关题目

07.强化学习

08.检索增强rag

09.大语言模型评估

• 模型评估
• LLM幻觉

10.大语言模型应用

• 思维链（CoT）
• LangChain 框架

99.参考资料

更新记录

• 2024.01.26 ：语言模型简介
• 2023.12.15 ： llama，chatglm 架构
• 2023.12.02 ：LLM推理优化技术
• 2023.12.01 ：调整目录
• 2023.11.30 ：18.Layer-Normalization，21.Attention升级
• 2023.11.29 ： 19.激活函数，22.幻觉，23.思维链
• 2023.11.28 ： 17.位置编码
• 2023.11.27 ： 15.token及模型参数， 16.tokenize分词
• 2023.11.25 ： 13.分布式训练
• 2023.11.23 ： 6.推理， 7.预训练， 8.评测，9.强化学习， 11.训练数据集，12.显存问题,14.agent
• 2023.11.22 ： 5.高效微调
• 2023.11.10 ： 4.LangChain
• 2023.11.08 ： 建立仓库；1.基础，2.进阶，3.微调