Yandex cup 2023 ML track Nowcasting. 4th place solution
Все решал на kaggle с GPU P100. Для точной воспроизводимости оставлю все в ноутбуках, чтобы что-то не потерять случайно.
В requirements описал только требования для torch, lightning, все остальное уже не так важно. В принципе если ноутбуки запускать на кагле в ближайшее время (ноябрь-декабрь 2023 года), то окружение будет то же самое.
- скачиваем все данные с соревнования
- запускаем preparation.ipynb - в рамках него спец символы заменяются на -1 и 0. Все обучающие данные должны быть в директории prepared_train, файл с тестом - prepared-test.hdf5
- запускаем main_model.ipynb (запускал на kaggle) - в принципе на этом можно остановиться, после 5 эпох обучения "best_model_5_epoch_output.hdf5" на public давал 172.299, на привате - 167.6, этого и так хватит, чтобы подтвердить 4 место. Но для полной картины скину и дополнительные две модели, участвующие в бленде;
- first_additional_model_for_blending.ipynb - по сути unet, но кол-во каналов в 2 раза меньше (от 32 до 512). "first_additional_model_for_blend_3_epoch_output.hdf5" дает 158.6 на паблике;
- second_additional_model_for_blending.ipynb - тот же unet. "second_additional_model_for_blend_3_epoch_output.hdf5" дает 159.18 на паблике
- blend_solutions.ipynb - просто блэндинг трех решений сверху с весами 0.7, 0.2, 0.1 (у более лучшего на паблике - бОльший вес). Веса подобраны просто по паблику.
- итоговый файл "final_solution.hdf5"