训练Instant-NGP+T的过错中出现错误
prettybot opened this issue · comments
在Instant-NGP+T的训练阶段经常性出现这个错误
easyvolcap.runners.evaluators.volumetric_video_evaluator -> summarize: Error in dumping evaluation metrics to
data/result/l3mhet_actor1_4_subseq/metrics.json: 0.93906456 is not JSON serializable
我完全依照 README 中的 这个例子 执行的
机器环境:
GPU 4090 24GB
cuda 12.1
python 3.9.18
完整日志如下:
full_log.txt
你好，欢迎使用我们的code。
这是一个已知bug（把evaluation log写成json时候出现的），我们正在尝试修复。现在的workaround是在其周围套了一个exception，所以会打印一下这个报错，并不影响正常训练。
@prettybot Hi，我更新了一版code，可以试试现在还会有同样的报错吗？（如果有，应该可以看到详细的报错位置了）