卡住问题和max_position_embeddings[QA]

[xxg98]

描述问题

1. 当用transformers的AutoModelForCausalLM封装的时候，输入token如果超过一定数量，就会出现如下日志（超过32k了，但应该没有超过64k），然后模型的回答就会卡住：
   the current text generation call will exceed the model's predefined maximum length (32768). Depending on the model, you may observe exceptions, performance degradation, or nothing at all.
2. 如果采用转换后的方式启动，请问这个参数，是不是可以适当调大，或直接200k呢？因为之前有看到过max_position_embeddings需要调成模型支持的最大token这样的结论
   

[Wenwei Zhang]

可以考虑修改 session_len 然后 rope_scaling_factor 改成 2.5，max_position_embeddings 应该是 RoPE 的参数

[xxg98]

可以考虑修改 session_len 然后 rope_scaling_factor 改成 2.5，max_position_embeddings 应该是 RoPE 的参数

好的，谢谢您