guixianjin / DeepLearning

1. tensorflow使用

项目文件夹：TensorFlow

• batch_normalization: https://zhuanlan.zhihu.com/p/360842139
• dataset.shuffle、batch、repeat: https://zhuanlan.zhihu.com/p/360843167
• tfrecord读写数据: https://zhuanlan.zhihu.com/p/363959153
• estimator模型训练: https://zhuanlan.zhihu.com/p/367057708
• tf版本hashtable：https://zhuanlan.zhihu.com/p/386915385

1.1 部署

tensoeflow serving： https://zhuanlan.zhihu.com/p/407986666

2. 多任务学习MTL

项目文件夹：MultiTaskLearning

• shared_bottom、mmoe、ple模型介绍: https://zhuanlan.zhihu.com/p/425209494
• 多目标优化-Uncertainty Weight、GradNorm、Dynamic Weight Average、Pareto-Eficient：https://zhuanlan.zhihu.com/p/456089764

3. 推荐系统

项目文件夹：Recommendation

• ctr训练提速(超大batch size)-CowClip：https://zhuanlan.zhihu.com/p/557451365

3.1 Match(召回)

项目文件夹：Recommendation/Match

• 多兴趣召回MIND: https://zhuanlan.zhihu.com/p/463064543

• 多兴趣召回ComiRec: https://zhuanlan.zhihu.com/p/568781562

• 深入浅出地理解Youtube DNN推荐模型: https://zhuanlan.zhihu.com/p/405907646

• 引入对偶增强向量的双塔召回模型: https://zhuanlan.zhihu.com/p/608636233

3.2 RANK(排序)

项目文件夹：Recommendation/RANK

• ctr特征重要性建模：FiBiNet&FiBiNet++模型：https://zhuanlan.zhihu.com/p/603262632
• ctr预估之FMs系列:FM/FFM/FwFM/FEFM：https://zhuanlan.zhihu.com/p/613030015

4. TensorRT & Triton

TensorRT：一种深度学习框架，提升GPU模型推理性能

Triton：TensorRT对应的模型服务化，实现模型统一管理和部署

4.1 Triton

项目文件夹：Triton

• TensorRT&Triton学习笔记(一): triton和模型部署+client：https://zhuanlan.zhihu.com/p/482170985

5. 自然语言处理NLP

项目文件夹：NLP

5.1 bert句向量

• Sentence-BERT: https://zhuanlan.zhihu.com/p/504983847

5.2 bert系列

BERT预训练代码(tensorflow和torch版本)：NLP/masked_language_model

• BERT模型系列大全解读：https://zhuanlan.zhihu.com/p/598095233

6. 深度学习trick

项目文件夹：Trick

带pt后缀的为pytorch实现版本，不带后缀的则为tensorflow版本。

• 变量初始化(initialization)、分层学习率(hierarchical_lr)、梯度累积(gradient_accumulation): https://zhuanlan.zhihu.com/p/553277132
• Stochastic Weight Averaging (SWA)、Exponential Moving Average(EMA)：https://zhuanlan.zhihu.com/p/554955968
• (unbalance)分类模型-类别不均衡问题之loss设计 & Label Smoothing：https://zhuanlan.zhihu.com/p/582312784