ziwang-com / zero-lora

zero零训练llm调参

Home Page:http://www.m-f.vip

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

用大量开源指令遵循微调的LLM模型

ziwang-com opened this issue · comments

https://github.com/deep-diver/LLM-As-Chatbot

用大量开源指令遵循微调的LLM模型作为聊天机器人服务。当前重点模型是 、、 和 。由于不同的模型行为不同,并且不同的模型需要以不同的方式形成提示

不同的模型可能有不同的策略来管理上下文,因此,如果您想知道应用于每个模型的确切策略,请查看聊天目录。但是,以下是我最初提出的基本想法。我发现长提示最终会减慢生成过程,所以我认为提示应该尽可能简短,同时尽可能简洁。在以前的版本中,我已经积累了过去的所有对话,但这并不顺利。

在对话的每一个转折中,过去的对话都会被保留。将 视为超参数。作为实验,目前仅保留所有模型的过去 2-3 次对话。NN
在对话的每个回合中,它都会总结或提取信息。总结的信息将在每次对话中给出。
当前支持的型号