Giters

intel / ipex-llm

Accelerate local LLM inference and finetuning (LLaMA, Mistral, ChatGLM, Qwen, DeepSeek, Mixtral, Gemma, Phi, MiniCPM, Qwen-VL, MiniCPM-V, etc.) on Intel XPU (e.g., local PC with iGPU and NPU, discrete GPU such as Arc, Flex and Max); seamlessly integrate with llama.cpp, Ollama, HuggingFace, LangChain, LlamaIndex, vLLM, DeepSpeed, Axolotl, etc.

Repository from Github https://github.comintel/ipex-llmRepository from Github https://github.comintel/ipex-llm

Ollama ipex-llm Code Generation quality issue

juan-OY opened this issue · comments

commented

Describe the bug
It is an performance issue, running 0llama-0.5.4-ipex-llm-2.2.0b20250226, the code generation quality is lower than others

How to reproduce
DS14B本地模型运行情况（以生成可以在网页上运行的俄罗斯方块游戏为例）：
Flowy2.1.3-beta1：
1、 使用本地模型生成可以在网页上运行的俄罗斯方块代码，代码运行后游戏不能正常启动；
2、 基于以上生成从代码进行追问，模型不能结合之前的回答来解决追问的问题，而是会作为一次新的对话进行思考和回答。
0llama-0.5.4-ipex-llm-2.2.0b20250226：
1、 使用本地模型生成可以在网页上运行的俄罗斯方块代码，代码运行后游戏不能正常启动；
2、 基于以上生成从代码进行追问，模型不能结合之前的回答来解决追问的问题，而是会作为一次新的对话进行思考和回答。
Using other tools：
1、 使用本地模型生成的游戏代码可以正常运行体验；
2、 对已生成的代码进行追问增加游戏难度，模型可以理解问题并结合之前的代码给出进阶版游戏完整代码。

commented

使用0llama-0.5.4-ipex-llm-2.2.0b20250226的时候，前端使用的是openWebUI的界面

commented

使用最新版本ollama-ipex-llm-2.2.0b20250318-win.zip的webui进行了14B模型质量测试，分别测试了①生成可以在HTML上正常运行的俄罗斯方块代码；②生成可以在HTML上正常运行的五子棋游戏代码；③帮我用HTML设计一个好玩的贪吃蛇游戏，均不能生成可以正常体验游戏的代码。