Heng-xiu / LLM-Travel

欢迎来到 "LLM-travel" 仓库！探索大语言模型（LLM）的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。

LLM-Travel

Introduction

欢迎来到 "LLM-travel" 仓库！探索大语言模型（LLM）的奥秘 🚀。致力于深入理解、探讨以及实现与大模型相关的各种技术、原理和应用。

这里会有什么 🌟

• 技术讲解: 通过清晰且深入的文章，尽力揭示大语言模型的相关技术，探讨其背后的数学、算法和架构，帮助您理解它们的运作机制。

• 实用代码实现: 每篇技术文章都会配置相应的实践代码，帮助更好的理解和实现。

• 解答疑问与讨论: 欢迎提出问题、分享想法，以及想看到哪些内容，一起探讨大语言模型！

加入旅程 🌏

搭乘 "LLM-travel" 列车，一起探索大语言模型的奇妙世界！

已更新内容

Date	Title(知乎链接)	Code	Note
2023-12-16	LLM之Deepspeed实践	无	Deepspeed实践
2023-11-11	LLM之数据质量	quality_hash.ipynb	LLM大模型之大规模数据文本质量(Text Quality)实践一
2023-11-04	LLM之Trainer	无	LLM大模型之Trainer以及训练参数
2023-10-14	LLM之数据处理二	无	LLM大模型之大规模数据处理工具篇Hadoop-Spark集群安装
2023-10-10	LLM之开源数据整理	LLM_Pretrain_Datasets	开源的可用于LLM Pretrain数据集
2023-10-10	LLM之数据处理一	无	LLM大模型之大规模数据处理工具篇Hadoop-Spark集群介绍
2023-09-30	LLM之显存占用	memory_precision.ipynb	不同精度下显存占用与相互转换实践
2023-09-29	LLM之精度问题详解	precision.ipynb	精度问题（FP16，FP32，BF16）详解与实践
2023-09-24	LLM之Embedding初始化	embedding_init.ipynb	扩充词表后Embedding和LM_head层的初始化
2023-09-23	LLM之扩充词表	sentencepiece.ipynb	基于SentencePiece扩充LLaMa中文词表实践
2023-09-16	LLM之Generate参数详解	generate_parameter.ipynb	Generate/Inference（生成/推理）中参数与解码策略原理及其代码实现
2023-09-09	LLM之Tokenization分词方法	tokenization.ipynb	WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)原理及其代码实现