Fraud Detection Service - сервис на базе машинного обучения, способный в режиме реального времени выявлять мошеннические операции при проведении онлайн-платежей. Предназначен для внедрения в существующую IT-инфраструктуру компании для отклонения подозрительных операций и отправки уведомлений администратору безопасности.
- Доля выявленных антифрод-системой мошеннических транзакций должна быть не меньше 98%, также общий ущерб клиентов не должен превышать 500 тысяч рублей в месяц. В противном случае компания потеряет конкурентноспособность.
- Доля корректных транзакций, которые система определяет как мошеннические, не должна превышать 5%. Иначе возможен отток клиентов.
- Сервис должен быть легко масштабируемым на случай увеличения нагрузки на систему (перед праздниками, например).
- Для разворачивания антифрод-системы предполагается использовать облачные сервисы, так как компания не имеет своих собственных вычислительных ресурсов.
- Бюджет проекта не должен превышать 10 млн. руб. (без учета зарплат сотрудников).
- Первый прототип системы, демонстрирующий возможность достижения целевых метрик, должен быть представлен заказчику в течении 3 месяцев. Весь проект должен быть завершен в течении полугода.
- При хранении и обработке данных должна быть обеспечена их конфиденциальность.
Оптимизация метрики Recall позволит максимизировать долю выявленных случаев мошеннических транзакций (см. п. 1. требований к системе). Цель: Recall >= 0.98. Чтобы избежать оттока клиентов (см. п. 2. требований), также необходимо оптимизировать метрику Precision. Цель Precision >= 0.95. Чтобы скомбинировать обе метрики и дать оценку модели одновременно по точности и полноте, можем использовать метрику F-score.
Для анализа поведения модели при различных пороговых значениях, можем использовать ROC кривые. Так как классы несбалансированы, лучше подойдет PR кривая и метрика PR-AUC.