openxlab加载不了带RAG的食神大模型
zhanghui-china opened this issue · comments
我们的大模型项目：
https://github.com/zhanghui-china/TheGodOfCookery
在本地wsl环境启动完全正常：
页面：
但是部署到 openxlab环境下总是失败：
加载模型的时候就被killed了。
运行地址如下：
https://openxlab.org.cn/apps/detail/zhanghui-china/nlp_shishen2
环境配置：
你好，大概率是因为OOM导致的，可能需要升级一下GPU的配置，可申请一下A100 40G的资源
申请入口：https://openxlab.org.cn/apps/apply-hardware
我是 @zhanghui-china 项目组成员之一需要说明一点，我使用 langchain 这个项目Rag知识库的大小是101M，遇到这种情况。我在做第3次课作业的时候，知识库大小是52.5M，但可以正常在A10运行
我是 @zhanghui-china 项目组成员之一需要说明一点，我使用 langchain 这个项目Rag知识库的大小是101M，遇到这种情况。我在做第3次课作业的时候，知识库大小是52.5M，但可以正常在A10运行
你好，OpenXLab的A10 24G的显卡，做了GPU的显存虚拟化，可能显存比实际的A10 24G小一些