ipex-llm run benchmark error on windows system

[Toast]

(qwen) C:\Users\admin\Code\LLM\ipex-llm\python\llm\dev\benchmark\all-in-one>python run.py
C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\deepspeed.py:23: FutureWarning: transformers.deepspeed module is deprecated and will be removed in a future version. Please import deepspeed modules directly from transformers.integrations
warnings.warn(
C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torchvision\io\image.py:13: UserWarning: Failed to load image Python extension: 'Could not find module 'C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torchvision\image.pyd' (or one of its dependencies). Try using the full path with constructor syntax.'If you don't plan on using image functionality from torchvision.io, you can ignore this warning. Otherwise, there might be something wrong with your environment. Did you have libjpeg or libpng installed before building torchvision from source?
warn(
2025-02-25 14:36:22,290 - INFO - intel_extension_for_pytorch auto imported
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 14.85it/s]
2025-02-25 14:36:23,500 - INFO - Converting the current model to sym_int4 format......
C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\init.py:412: UserWarning: Initializing zero-element tensors is a no-op
warnings.warn("Initializing zero-element tensors is a no-op")
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.

loading of model costs 6.762704000000667s and 6.6796875GB
<class 'transformers.models.qwen2.modeling_qwen2.Qwen2ForCausalLM'>
C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\generation\configuration_utils.py:392: UserWarning: do_sample is set to False. However, temperature is set to 0.7 -- this flag is only used in sample-based generation modes. You should set do_sample=True or unset temperature.
warnings.warn(
C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\generation\configuration_utils.py:397: UserWarning: do_sample is set to False. However, top_p is set to 0.8 -- this flag is only used in sample-based generation modes. You should set do_sample=True or unset top_p.
warnings.warn(
C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\generation\configuration_utils.py:407: UserWarning: do_sample is set to False. However, top_k is set to 20 -- this flag is only used in sample-based generation modes. You should set do_sample=True or unset top_k.
warnings.warn(
model generate cost: 1.5775966000001063
461 U.S. 238 (1983) OLIM ET AL. v. WAKINEKONA No. 81-1705 Argued: November 1, 1982 --- Decided: May 16, 1983
model generate cost: 0.5141620999966108
461 U.S. 238 (1983) OLIM ET AL. v. WAKINEKONA No. 81-1705 Argued: November 1, 1982 --- Decided: May 16, 1983
model generate cost: 0.5217821000005642
461 U.S. 238 (1983) OLIM ET AL. v. WAKINEKONA No. 81-1705 Argued: November 1, 1982 --- Decided: May 16, 1983
model generate cost: 0.49074429999745917
461 U.S. 238 (1983) OLIM ET AL. v. WAKINEKONA No. 81-1705 Argued: November 1, 1982 --- Decided: May 16, 1983
onednn_verbose,info,oneDNN v3.3.0 (commit 887fb044ccd6308ed1780a3863c2c6f5772c94b3)
onednn_verbose,info,cpu,runtime:threadpool,nthr:12
onednn_verbose,info,cpu,isa:Intel AVX2 with Intel DL Boost
onednn_verbose,info,gpu,runtime:DPC++
onednn_verbose,info,gpu,engine,0,backend:Level Zero,name:Intel(R) Arc(TM) A770 Graphics,driver_version:1.3.31896,binary_kernels:enabled
onednn_verbose,info,graph,backend,0:dnnl_backend
onednn_verbose,info,experimental features are enabled
onednn_verbose,info,use batch_normalization stats one pass is enabled
onednn_verbose,primitive,info,template:operation,engine,primitive,implementation,prop_kind,memory_descriptors,attributes,auxiliary,problem_desc,exec_time
onednn_verbose,graph,info,template:operation,engine,partition_id,partition_kind,op_names,data_formats,logical_tensors,fpmath_mode,backend,exec_time
onednn_verbose,common,error,level_zero,errcode 1879048196
Traceback (most recent call last):
File "C:\Users\admin\Code\LLM\ipex-llm\python\llm\dev\benchmark\all-in-one\run.py", line 1301, in run_transformer_int4_gpu_win
output_ids = model.generate(input_ids, do_sample=False,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\utils_contextlib.py", line 115, in decorate_context
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\utils\benchmark_util_4_29.py", line 1563, in generate
return self.greedy_search(
^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\utils\benchmark_util_4_29.py", line 2385, in greedy_search
outputs = self(
^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\utils\benchmark_util_4_29.py", line 533, in call
return self.model(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\models\qwen2.py", line 147, in qwen2_causal_lm_forward
outputs = self.model(
^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\models\qwen2.py", line 107, in qwen2_model_forward
return Qwen2Model.forward(
^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\models\qwen2\modeling_qwen2.py", line 1058, in forward
layer_outputs = decoder_layer(
^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\models\qwen2\modeling_qwen2.py", line 773, in forward
hidden_states, self_attn_weights, present_key_value = self.self_attn(
^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\models\qwen2.py", line 251, in qwen2_attention_forward
qkv = self.qkv_proj(hidden_states)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\low_bit_linear.py", line 664, in forward
result = xe_linear.forward_new(x_2d, w, self.qtype, self.out_len)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: could not create a primitive
onednn_verbose,common,error,level_zero,errcode 1879048196
Traceback (most recent call last):
File "C:\Users\admin\Code\LLM\ipex-llm\python\llm\dev\benchmark\all-in-one\run.py", line 1301, in run_transformer_int4_gpu_win
output_ids = model.generate(input_ids, do_sample=False,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\utils_contextlib.py", line 115, in decorate_context
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\utils\benchmark_util_4_29.py", line 1563, in generate
return self.greedy_search(
^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\utils\benchmark_util_4_29.py", line 2385, in greedy_search
outputs = self(
^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\utils\benchmark_util_4_29.py", line 533, in call
return self.model(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\models\qwen2.py", line 147, in qwen2_causal_lm_forward
outputs = self.model(
^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\models\qwen2.py", line 107, in qwen2_model_forward
return Qwen2Model.forward(
^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\models\qwen2\modeling_qwen2.py", line 1058, in forward
layer_outputs = decoder_layer(
^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\transformers\models\qwen2\modeling_qwen2.py", line 773, in forward
hidden_states, self_attn_weights, present_key_value = self.self_attn(
^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\models\qwen2.py", line 251, in qwen2_attention_forward
qkv = self.qkv_proj(hidden_states)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1518, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\torch\nn\modules\module.py", line 1527, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\admin\anaconda3\envs\qwen\Lib\site-packages\ipex_llm\transformers\low_bit_linear.py", line 664, in forward
result = xe_linear.forward_new(x_2d, w, self.qtype, self.out_len)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: could not create a primitive

`

<title>英特尔® 驱动程序和支持助理 - 详细报告</title>

<style>
    body{background-color:#f3f3f3;color:#555;font-family:sans-serif;font-size:16px;margin:0;padding:20px 30px;font-weight:lighter}
    sup{font-size:.5em;line-height:2em}
    h1{font-weight:lighter;color:#0071c5;margin:0 0 20px}
    h2{font-weight:lighter;margin:0}
    h3{font-weight:lighter;margin-top:0}
    p{font-size:.875em;margin:.25em 0 20px}
    main{width:100%;max-width:1600px}
    section{background-color:#fff;padding:20px 30px;margin-bottom:20px}
    table{width:100%;border-collapse:collapse}
    tr{border-top:1px solid #f3f3f3}
    tr:last-of-type{border-bottom:1px solid #f3f3f3}
    th,td{font-size:.875em;font-weight:lighter;text-align:left;padding:8px 8px 8px 0}
    th{width:50%;color:#252525}
    td{width:50%;color:#003c71}
    th.level2{padding-left:2em}
    th.level3{padding-left:4em}
    th.level4{padding-left:6em}
    th.device{font-weight:700}
</style>

英特尔^® 驱动程序和支持助理

详细报告

上次扫描: 2025-02-25 14:32

计算机

Micro-Star International Co., Ltd. MS-7D27
制造商	Micro-Star International Co., Ltd.
模型	MEG Z690 ACE (MS-7D27)
版本	1.0
BIOS 版本	1.F0
日期	2024-01-16

操作系统

Microsoft Windows 11 专业版 (64 位)
版本构建	24H2 (10.0.26100)

处理器

设备详细信息
制造商	GenuineIntel
说明	Intel64 Family 6 Model 151 Stepping 2
架构	x64
内核数	16
线程数	24
处理器基本频率	3400 MHz
当前电压	1.6
二级高速缓存	14336 Kb
三级高速缓存	30720 Kb
处理器 ID	0x90672
上市时间	全功率运行

显卡

驱动程序详细信息
提供商	Intel Corporation
版本	32.0.101.6559
日期	2025-02-04
设备详细信息
适配器兼容性	Intel Corporation
视频处理器	Intel® UHD Graphics Family
适配器 DAC 类型	Internal
上市时间	离线
状态	此设备工作正常。
位置	PCI bus 0, device 2, function 0
设备 ID	PCI\VEN_8086&DEV_4680&SUBSYS_7D271462&REV_0C\3&11583659&0&10
驱动程序详细信息
提供商	Intel Corporation
版本	32.0.101.6559
日期	2025-02-04
设备详细信息
适配器兼容性	Intel Corporation
视频处理器	Intel® Arc™ A770 Graphics Family
分辨率	1920 x 1080
每个像素的位数	32
颜色数量	4294967296
刷新率 - 当前	60 Hz
刷新率 - 最大	75 Hz
刷新率 - 最小	59 Hz
适配器 DAC 类型	Internal
上市时间	全功率运行
状态	此设备工作正常。
位置	PCI bus 3, device 0, function 0
设备 ID	PCI\VEN_8086&DEV_56A0&SUBSYS_10208086&REV_08\6&2DF64208&0&00080008
驱动程序详细信息
提供商	Intel Corporation
版本	32.0.101.6559
日期	2025-02-04
设备详细信息
适配器兼容性	Intel Corporation
视频处理器	Intel® Arc™ A770 Graphics Family
适配器 DAC 类型	Internal
上市时间	离线
状态	此设备工作正常。
位置	PCI bus 7, device 0, function 0
设备 ID	PCI\VEN_8086&DEV_56A0&SUBSYS_13341EF7&REV_08\6&20738D01&0&00080009

音频

驱动程序详细信息
提供商	Realtek Semiconductor Corp.
名称	RtUsbA64.sys
版本	6.4.0.2406
日期	2024-11-27
设备详细信息
设备 ID	USB\VID_0DB0&PID_124B&MI_00\6&3B320E16&0&0000
驱动程序详细信息
提供商	NVIDIA
名称	nvvad64v.sys
版本	4.49.0.0
日期	2022-09-22
设备详细信息
设备 ID	ROOT\UNNAMED_DEVICE\0000
驱动程序详细信息
提供商	Nahimic
名称	Nahimic_Mirroring.sys
版本	2.0.5.0
日期	2024-05-14
设备详细信息
设备 ID	ROOT\MEDIA\0000
驱动程序详细信息
提供商	Qingdao Pico Technology Co., Ltd.
名称	vrtaucbl.sys
版本	4.65.0.11534
日期	2021-09-28
设备详细信息
设备 ID	ROOT\MEDIA\0001
驱动程序详细信息
提供商	PICO STREAMING
名称	picostreamingspeaker.sys
版本	11.42.25.527
日期	2022-11-14
设备详细信息
设备 ID	ROOT\MEDIA\0002

联网和 I/O

驱动程序详细信息
提供商	TAP-Windows Provider V9
版本	9.0.0.21
日期	2016-04-21
设备详细信息
制造商	TAP-Windows Provider V9
上市时间	全功率运行
状态	此设备工作正常。
已安装	True
MAC 地址	00:FF:22:C8:2E:E7
服务名称	tap0901
设备 ID	ROOT\NET\0001
驱动程序详细信息
提供商	Intel
版本	23.110.0.5
日期	2025-01-02
设备详细信息
制造商	Intel Corporation
上市时间	全功率运行
状态	此设备工作正常。
已安装	True
MAC 地址	8C:1D:96:DA:6A:B0
服务名称	Netwtw14
设备 ID	PCI\VEN_8086&DEV_7AF0&SUBSYS_00948086&REV_11\3&11583659&0&A3
修订版	11
驱动程序详细信息
提供商	Intel
版本	1.1.4.43
日期	2024-02-15
设备详细信息
制造商	Intel
上市时间	全功率运行
状态	此设备工作正常。
已安装	True
MAC 地址	D8:BB:C1:9B:1D:56
服务名称	e2fexpress
设备 ID	PCI\VEN_8086&DEV_15F3&SUBSYS_7D271462&REV_03\D8BBC1FFFF9B1D5600
修订版	03
驱动程序详细信息
提供商	Intel
版本	1.1.4.43
日期	2024-02-15
设备详细信息
制造商	Intel
上市时间	全功率运行
状态	此设备工作正常。
已安装	True
MAC 地址	D8:BB:C1:9B:1D:55
服务名称	e2fexpress
设备 ID	PCI\VEN_8086&DEV_15F3&SUBSYS_7D271462&REV_03\D8BBC1FFFF9B1D5500
修订版	03
驱动程序详细信息
版本	1.41.1340.0
设备详细信息
雷电技术代系	Thunderbolt 4 (1137)
端口数量	2
Security Level	未知的
NVM 固件版本	26:0
PCIe 隧道	False
驱动程序详细信息
提供商	Intel Corporation
版本	23.100.1.1
日期	2024-11-20
设备详细信息
制造商	Intel Corporation
状态	OK
设备 ID	USB\VID_8087&PID_0033\5&2dbce90c&0&14

内存

设备详细信息
物理内存 - 总量	64 GB
物理内存 - 可用量	59.65 GB
虚拟内存 - 总量	63.84 GB
虚拟内存 - 可用量	59.68 GB

存储

驱动程序详细信息
提供商	Microsoft
版本	10.0.26100.1150
日期	2006-06-21
设备详细信息
容量	476.94 GB
序列号	0000_0000_0000_0000_707C_1800_0000_0006.
分区	2
设备 ID	SCSI\DISK&VEN_NVME&PROD_XPG_GAMMIX_S50_L\5&31139A71&0&000000
设备路径	\\.\PHYSICALDRIVE0
固件详细信息
版本	82A7TBAA
C:
文件系统	NTFS
压缩气体	False
容量	476.12 GB
可用空间	167.96 GB
驱动程序详细信息
提供商	Microsoft
版本	10.0.26100.1150
日期	2006-06-21
设备详细信息
容量	465.76 GB
序列号	0000_0000_0000_0000_707C_1846_020C_EC00.
分区	1
设备 ID	SCSI\DISK&VEN_NVME&PROD_XPG_GAMMIX_S50_P\5&3B86C877&0&000000
设备路径	\\.\PHYSICALDRIVE1
固件详细信息
版本	W0309A0
D:
文件系统	NTFS
压缩气体	False
容量	465.75 GB
可用空间	465.30 GB

英特尔软件

`

[Yuwen Hu]

Hi @zhangjizxc,

You may follow the comment suggested here and have a try again :)

Please let us know for any further problems.

[Toast]

YES， when disable the igpu ， it works.

It is recommended to guide users in the documentation to disable the integrated graphics rather than opting for a dedicated graphics card.