ztxz16 / fastllm

纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

H800 docker 编译, half类型转换 编译报错

ShadowTeamCN opened this issue · comments

你好,在docker中编译的时候遇到了问题
使用的是nvidia官方镜像
nvcr.io/nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

cmake已经是最新版,gcc 11.4.0
好像是存在多个可用的类型转换函数,导致编译器不知道应该选择哪一个
image

发现官方提供了一个Dockerfile, 编译后成功, 关闭此issue