Проект школы 21: создание перцептрона с 2 скрытыми слоями с функцией softmax и бинарной кросс-энтропией как мерой ошибки (без использования готовых реализаций)
Написать 4 слойный перцептрон для предсказания типа болезни по данным:
- предобработать датасет - все метрики там без заглавий
- нужно выбрать метрики, по которым обучать (и их нормировать - использовал нормировку минимакс)
- написать программу для обучения перцептрона: выводит метрики, график валидационной и тренировочной ошибки. В конце обучения выписывает их
- Написать программу, которая использует полученные на предыдущем шаге веса и предсказывает на датасете вероятность.
написано несколько программ:
- для предобработки данных - выставляет заголовки к сырому датасету (вспомогательная функция)
- для визуализации данных - визуализирует метрики по 2 классам, помогает в выборе фичей для обучения
- Перцептрон: по факту это сеть, которая имеет на вход 7 нейронов, 2 скрытых слоя и 2 нейрона на выходном слое. Функции активации - гиперболический тангенс, на выходном слое - софтмакс. Программа для тренировки нарочито написана таким образом - получается нагляднее описать суть прямого прохода, обратного прохода, вычисления производных и весов. В предсказателе уже использован класс. Из особенностей - в обучении реализован дропаут для борьбы с переобучением