Inclass kaggle контест по предсказанию координат 194 точек на лице на Helen dataset, где в качестве метрики используется MSE.
Пример предсказания написанной модели на тестовых данных
В лучшем решении использовалась предобученная на лицах сеть с изменённым выходом и большое количество аугментаций на обучении и предсказании. Проект написан на чистом PyTorch.
Хороший прирост давали эти подходы:
- Кастомное отражение ключевых точек по горизонтали
- Заморзка backbone вначале обучения
- Test Time Augmentation
- Различные аугментации из albumentations
- Выкидывание из обучающих данных некорректных примеров с несколькими лицами
Подходы, которые не привели к улучшению модели:
- Hard Negatives Mining. Предположение было таким, что сеть будет точнее, если научится корректно работать со сложными примерами.
- Нормализация keypoints
- Детекция лиц и кроп к ним с помощью mtcnn, dlib.
- Добавление координат 68 точек из dlib landmarks detector в fc слои на выходе
- Добавление координат bounding box лица от детектора в последние fc