minbpe-cn minbpe -- BPE的最小化、最简洁代码实现,BPE是字节层级的编码算法,常用语大语言模型的token化处理。 BPE算法对字符串的utf-8编码进行处理,所以它是字节层级的。