调用工具生成的内容只有✿FUNCTION✿,缺少✿ARGS✿
tzyodear opened this issue · comments
kingyo commented
生成的内容形如
✿FUNCTION✿ name, {'param': xxx}
本来正确的应该是
✿FUNCTION✿ name, ✿ARGS✿ {'param': xxx}
导致解析后的function call里arguments是"", name是" name, {'param': xxx} "
可能是由于user prompt比较长导致的? 会先做一次rag或者给一些额外的相关信息
不知道这个问题之前你们有没有遇到过?
如果是个暂时无法解决的问题,不知道以后新的开源模型会改进这个问题吗?
谢谢 :)
Jianxin Ma commented
input prompt 比较长的时候确实会表现下降,模型方面有在继续优化,在争取赶上下一版开源。
除了模型优化,目前我也在看是否工程上能够通过constrained decoding等方式解决此问题,还在找时间实现。