li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

请教下,我在iOS上执行推理代码,主线程没问题,但是我开一条子线程来执行推理代码,就会Crash,难道ChatMessage Pipeline::chat不支持在子线程运行吗?

HoodL opened this issue · comments

看函数调用栈,是崩溃在chatglm.cpp第480行int BaseModelForCausalLM::generate_next_token这个函数入口,还没进入这个函数体内部就崩溃了。再看系统内核的汇编代码:在libsystem_pthread.dylib里的代码崩溃在 ldur x11, [x11, #-0x8]这一行,报错:Thread 10:EXC_BAD_ACCESS (code=2, address=0x16bedfff8),好像是从内存地址中加载一个 64 位的值到寄存器出现异常了。
image