支持k8s 使用吗？
yiyuanyu17 opened this issue · comments
有无相关示例，以及是否会影响gpu 虚拟化的使用？
- 可以支持，这个只是修改了pytorch中的显存管理方式，并不影响是否是在容器中使用，我们的测试，都是在容器中进行的
- 我不是很理解，你这边的GPU虚拟化指的是什么工作呢？截获cuda api还是mps或者mig等工作呢？
- 可以支持，这个只是修改了pytorch中的显存管理方式，并不影响是否是在容器中使用，我们的测试，都是在容器中进行的
- 我不是很理解，你这边的GPU虚拟化指的是什么工作呢？截获cuda api还是mps或者mig等工作呢？
感谢回复
关于第一个问题，有没有相关的示例，可以支持我们复现下
第二个问题，其实是想问如果我们的业务上使用了一些vgpu或者cgpu的方案，是否有冲突?按照你关于第一个问题的描述，应该不影响？
感谢关注
针对第一个问题，可以参考链接，https://github.com/intelligent-machine-learning/glake/blob/main/GMLake/docs/GMLake-tutorial.md，我们再里面放了opt-1.3b的模型，包括权重以及数据，可以按照步骤直接复现我们的结果
针对第二个问题，我们并没有针对vgpu或者cgpu进行过测试，如果您这边有进一步测试结果，欢迎与我们交流，我们期待GMLake可以扩展更多的场景，也期待一起针对一些需求进行开发