LLM Tokenizer with BPE algorithm
Geek Repo:Geek Repo
Github PK Tool:Github PK Tool
大模型要输入token,那么如何把文本转成token呢? BPE算法就是用来解决这个问题的。