bytedance/lightseq Issues
Is llama inference available now?
Updated 1参数格式不对args format wrong
Updatedidentifier "__hisnan" is undefined
Updated 4请问lightseq可以支持segmentAnyting的推理优化吗
Updated 1要求C++ 17
Closed 1为什么连给的example也有bug?
Updated 4lightseq是否支持clip模型的int8量化?
Updated什么时候可以支持bloom的几个版本的模型,比如6b的
Updated 3llama inference test
Updated 3question about environment
Updated请问下可以支持llama和bloom推理加速吗
Updated 4请问lightseq在推理流程中有gemm调参这一步吗?
UpdatedLLaMA example 结果验证
Closeden2fr和en2de的模型结构存在差异?
Updated 2关于wmt14 en2de数据集的问题
ClosedGPU speedup vs CTranslate2
Updatedbeam search
Updated转化之后的hdf5模型太大,lightseq 加载的时候支持多卡部署吗?
Updated 1请问对于LSTM的量化,有用cuBLASLt库实现的方案吗?
Closed 2Is it compatible with swin-t
Updated 1