1. tensorflow使用

项目文件夹：_tensorflow

batch_normalization: 专栏
dataset.shuffle、batch、repeat: 专栏
tfrecord读写数据: 专栏
estimator模型训练: 专栏
tf版本hashtable：专栏

1.1 部署

项目文件夹：_tensorflow/serving

tensorflow serving： 专栏

1.2 自定义算子

项目文件夹：_tensorflow/tensorflow-custom-op（独立实现git仓库）

如何实现TensorFlow自定义算子？： 专栏

2. 多任务学习MTL

项目文件夹：multitasklearning

shared_bottom、mmoe、ple模型介绍: 专栏
多目标优化-Uncertainty Weight、GradNorm、Dynamic Weight Average、Pareto-Eficient：专栏

3. 推荐系统

项目文件夹：recommendation

ctr训练提速(超大batch size)-CowClip：专栏

3.1 Match(召回)

项目文件夹：recommendation/match

多兴趣召回MIND: 专栏
多兴趣召回ComiRec: 专栏
深入浅出地理解Youtube DNN推荐模型: 专栏
引入对偶增强向量的双塔召回模型: 专栏

3.2 Rank(排序)

项目文件夹：recommendation/rank

ctr特征重要性建模：FiBiNet&FiBiNet++模型：专栏
ctr预估之FMs系列:FM/FFM/FwFM/FEFM：专栏
ctr预估之DNN系列模型:FNN/PNN/DeepCrossing：专栏
ctr预估之Wide&Deep系列模型:DeepFM/DCN：专栏
ctr预估之Wide&Deep系列(下):NFM/xDeepFM：专栏
CTR特征建模：ContextNet & MaskNet(Twitter在用的排序模型)：专栏
CTR之行为序列建模用户兴趣：DIN：专栏
CTR之行为序列建模用户兴趣：DIEN：专栏
CTR之Session行为序列建模用户兴趣：DSIN：专栏

4. TensorRT & Triton

TensorRT：一种深度学习框架，提升GPU模型推理性能

Triton：TensorRT对应的模型服务化，实现模型统一管理和部署

4.1 Triton

项目文件夹：triton

TensorRT&Triton学习笔记(一): triton和模型部署+client：专栏

5. 自然语言处理NLP

项目文件夹：nlp

5.1 bert句向量

Sentence-BERT: 专栏

5.2 bert系列

BERT预训练代码(tensorflow和torch版本)：NLP/masked_language_model（独立实现git仓库）

BERT模型系列大全解读：专栏

6. 深度学习trick

项目文件夹：trick

带pt后缀的为pytorch实现版本，不带后缀的则为tensorflow版本。

变量初始化(initialization)、分层学习率(hierarchical_lr)、梯度累积(gradient_accumulation): 专栏
Stochastic Weight Averaging (SWA)、Exponential Moving Average(EMA)：专栏
(unbalance)分类模型-类别不均衡问题之loss设计 & Label Smoothing：专栏

7. 多模态

项目文件夹：multimodal

7.1 Stable Diffusion

项目文件夹：Stable Diffusion

AI绘画Stable Diffusion原理之VQGANs/隐空间/Autoencoder：专栏
AI绘画Stable Diffusion原理之扩散模型DDPM：专栏

8. Embedding

项目文件夹：embedding

Embedding压缩之hash embedding：专栏
Embedding压缩之基于二进制码的Hash Embedding：专栏

jiashizuo / DeepLearning