Memory Leak 현상에 대하여
imsoncod opened this issue · comments
Inference과정에서 Memory Leak현상이 발생하는데 혹시 어떻게 해결하셨나요?
객체를 제거하거나 캐시를 비워도 동일합니다. GPU메모리가 아닌, 서버 시스템메모리입니다.
안녕하세요. 저도 비슷한 이슈가 있었던 거 같습니다.
해결을 하지 못했고, 좋지 않은 방법을 사용했습니다. checkpoint를 저장하고 메모리가 꽉 차면 다시 훈련을 시켰습니다.
감사합니다 :)
훈련하는 과정에서 발생하는 GPU memory leak은 해결할 수 있습니다!
checkpoint를 저장하지 않아도 괜찮아요 :)
다만 저는 훈련을 끝낸 모델이 추론을 반복하는 과정에서 메모리가 반환되지 않습니다 ㅠㅠ
저도 GPU 메모리에서는 문제가 나지 않았습니다. 다만 시스템 메모리에서 이슈가 나오네요.
그렇군요 ㅠ 아쉽게도 제가 해결을 드릴 수 없을 거 같습니다. 잘 해결되기 바랍니다.
haven-jeon/KoGPT2-chatbot#11 KoGPT2 개발자 분께서 이슈를 해결해주시면 좋겠네요.