机器学习概论
特征工程
感知机
k近邻
朴素贝叶斯
线性模型
决策树
支持向量机
liblinear
集成学习
- 集成学习概述
- Bagging
  - 随机森林
- Boosting
  - AdaBoost
  - GradientBoosting
    - GBDT
    - XGBoost
      - XGBoost理论
      - XGBoost实践
    - LightGBM
- Stacking
降维
- 降维概述
- PCA主成分分析
- LDA线性判别分析
- t-SNE
- ICA独立分量分析
- 多维缩放（可能不重要）
- 自编码器
- 流形学习
EM算法
概率图模型
- 概率图模型简介
- 概率图简介
HMM隐马尔科夫模型
CRF条件随机场
聚类
主题模型
- LDA隐狄利克雷分布
知识点
- 损失函数
- 负采样
机器学习算法总结

深度学习

强化学习

强化学习
仿真环境
- OpenAI: Gym
- MuJoCo
- Unity3D: ml-agents 简言之：行为树是适合解决复杂AI的解决方案。对于Unity用户，Unity商店现在已经有一个比较完善的行为树设计(Behavior Designer)插件可供购买使用。
- OpenDILab: GoBigger多智能体仿真平台
Sim2Real从仿真器到现实环境的迁移
- 论文
  - i-Sim2Real: Reinforcement Learning of Robotic Policies in Tight Human-Robot Interaction Loops arXiv2022 Google
  - Legged Robots that Keep on Learning: Fine-Tuning Locomotion Policies in the Real World arXiv2022 Google
MCTS蒙特卡洛树搜索
模仿学习
多智能体强化学习
- MAPPO
- 多智能体强化学习论文
  - mean-field: Mean Field Multi-Agent Reinforcement Learning ICML2018
Transformer+RL
决策大模型
Offline RL离线强化学习
MMRL多模态强化学习
LLM+RL
DiffusionModel+RL
业界应用
- DeepMind
  - AlphaGo
  - AlphaGo-Zero: Mastering the Game of Go without Human Knowledge Nature2017
  - AlphaStar: Grandmaster level in StarCraft II using multi-agent reinforcement learning Nature2019
  - AlphaZero
  - MuZero
  - AlphaFold
  - AlphaCode
  - AlphaTensor: Discovering faster matrix multiplication algorithms with reinforcement learning Nature2022
  - Agent57 2020
  - DeepNash
- OpenAI
  - Emergence of grounded compositional language in multi agent populations 2017 在模拟游戏环境里从无到有进化出一种语言 OpenAI在2017年先完成了具身智能演化出语言的原理模型之后才立项GPT，Emergence of grounded compositional language in multi agent populations.现在多模态模型的关键要素在文章里都有了，而之前OpenAI还在打游戏。而且这还只是对外公开的部分，谁知道内部发生了啥，马斯克骂骂咧咧的退出了。
  - OpenAI Five: Dota 2 with Large Scale Deep Reinforcement Learning 2019
  - 玩魔方
- 腾讯
  - 王者荣耀Honor of Kings
- InspirAI启元世界
  - InspirAI启元世界
  - TimeChamber大规模并行的大规模自对弈框架
    - TimeChamber大规模并行的大规模自对弈框架
    - Humanoid Strike人类击剑

机器学习框架

计算机视觉

ResNet 有捷径的(resnet的跳跃连接)
InceptionNet 多岔路的(inception的多分支)
DenseNet 通往多个地点的捷径的(densenet的密集连接)
YOLO
图像标注工具
- YOLO_Mark
- Labelme
Vision Transformer
Swin Transformer

自然语言处理

自然语言处理概论
自然语言
语言模型和中文分词
TF-IDF词频-逆文档频率
word2vec
Seq2Seq模型和Attention机制
Self-Attention和Transformer
BERT
LLM大语言模型
- RLHF基于人工反馈的强化学习方法
  - Alpaca 斯坦福大学
    - Alpaca 近日，斯坦福基于 Meta 的 LLaMA 7B 模型微调出一个新模型 Alpaca。该研究让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令遵循（instruction-following）样本，以此作为Alpaca的训练数据。研究团队已将训练数据、生成训练数据的代码和超参数开源，后续还将发布模型权重和训练代码。斯坦福70亿参数开源模型媲美GPT-3.5，100美元即可复现
  - ColossalChat By ColossalChat开源了第一个完整的RLHF pipeline，斯坦福Alpaca没有做RLHF
- Prompt Learning
- Emergence涌现现象
- 自己训练ChatGPT
- 业界应用
  - OpenAI
    - GTP系列介绍
    - GPT前身Unsupervised Sentiment Neuron
      - Unsupervised Sentiment Neuron
      - Learning to Generate Reviews and Discovering Sentiment ArXiv2017
    - GPT1
    - GPT2
    - GPT3 语言生成模型根据Lambda官网数据，微软为OpenAI设计了一个包含10000块Nvidia V100 GPU的分布式集群进行GPT-3的模型训练，由于模型参数量较大（共1750亿参数），训练完成共耗费30天，消耗总算力为 3640PF-days。以Nvidia Tesla V100的 Lambda GPU实例定价为1.50 美元/小时测算，GPT-3的完整训练成本将达到466万美元/次。
    - Codex
    - GPT-3.5
    - instructGPT
    - ChatGPT 聊天机器人
    - GPT-4 202303 输入图/文，输出文
  - MiscroSoft
    - Copilot MiscroSoft和OpenAI联合打造的AI编程工具，基于OpenAI的大模型Codex，基于GPT-3框架进行训练
    - Kosmos-1 20230227发布，第二种才是真正的多模态LLM，才是GPT-4的魅力，他的原理目前OpenAI没有公布细节，但是大家可以参考微软在2月27日发布的Kosmos-1的论文（想一想，为什么偏偏是OpenAI的深度合作伙伴发了这篇论文）。
  - Meta
    - OPT 复现开源了GPT3
    - LLaMa ** 对标OpenAI的ChatGPT，开源，发布于202302
  - Google
    - LaMDA 发布于202105 I/O大会
    - PaLM 202204 5400亿参数
    - LaMDA-2 202205 I/O大会
    - T5
    - Bard 聊天机器人，对标OpenAI的ChatGPT，发布于202302
    - ReAct是来自谷歌论文《Synergizing Reasoning and Acting in Language Models》中的一个方法，它是2022年12月发表的。这是一种eason+Act（ReAct）的方式，让大模型的行动和推理一起协同，提高大模型解决问题的能力。也就是让模型在访问外部知识的情况下和自己的模型能力结合。其实这就是Bing中的ChatGPT的运行方式！这个简单的方法可以让模型有更强的能力。而它的实现其实只需要简单的几行代码即可。因此，在前面的低成本+浏览器运行的基础上，加上ReAct改造，几乎可以得到一个与ChatGPT类似或者甚至更好的对话模型！
  - Together
    - OpenChatKit ChatGPT的开源平替来了，源代码、模型权重和训练数据集全部公开。由前OpenAI研究员共同打造。如何看待 Together 推出的开源聊天大模型 OpenChatKit？能否替代 ChatGPT？，ChatGPT开源平替来了，开箱即用！前OpenAI团队打造
  - 阿里达摩院
    - 中文GPT3 对标GPT-3的开源项目
  - 元语智能
    - PromptCLUE1.0 202210
    - PromptCLUE1.5 202211
    - ChatYuan 202212
  - 百度
    - ERNIE-Bot文心一言 202302
  - BlinkDL
    - ChatRWKV 对标ChatGPT的开源项目，基于RNN架构 202208
  - HPC-AI Tech
    - ColossalAI 对标ChatGPT的开源项目 202302
  - 复旦大学自然语言处理实验室邱锡鹏团队
    - MOSS 对标ChatGPT已开源 202302
  - 智谱AI
    - ChatGLM 近日，由清华技术成果转化的公司智谱AI开源了GLM系列模型的新成员——中英双语对话模型ChatGLM-6B，支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B千亿基座模型之后，智谱AI再次推出大模型方向的研究成果。与此同时，基于千亿基座模型的ChatGLM也同期推出，初具问答和对话功能 ChatGLM：千亿基座的对话模型启动内测，单卡版模型已全面开源
  - 百川智能
    - baichuan-7B 开源 202306