Multilayered Neural Network con Backpropagation (Stochastic Gradient Descent) - Python
Siguientes pasos:
- Mostrar evolucion del costo durante el entrenamiento
- Poder ciclear por varios ejemplos
- Poder predecir imagenes creadas por el usuario, en el momento.
- Mejorar el Stochastic Gradient Descent para que trabaje en mini-batches, y no en ejemplos aislados. Estudiar cambio en costo / precision final
- Optimizar hiperparametros con un Genetic Algorithm (concepto tambien usado aca por SethBling)
- Hallar mas casos (y datasets!) donde una NN con backpropagation sea efectiva
- Probar otras funciones de activacion, otras funciones de costo (y softmax?)
Recursos
- Neural networks de 3blue1brown (Videos) - Base teorica para saber qué weas estás haciendo
- Beginner Introduction to Neural Networks de giant_neural_network (Videos) - Muy buena guia para comenzar, pero termina justo antes de lo mas importante: cómo entrenar
- Neural Networks de Sebastian Lague (Videos) - MUY buena serie para arrancar, pero tiene el mismo problema que giant_neural_networks: termina justo antes de entrenar!
- Neural Networks and Deep Learning de Michael Nielsen (Libro) - Si no te gustan los videos, encontre este libro escrito en forma de blog que es muy bueno. No solo te lleva paso a paso, tiene algunas demostraciones y codigo. A cierta altura, no podia evitar copiar el codigo que daba como ejemplo porque tenia mucho sentido. Lo mas interesante capaz es que luego sigue entrando en detalle, y te enseña nuevas funciones de costo, otras formas de hacer las cosas, etc.
- Session 4 - Neural Networks - Intelligence and Learning de The Coding Train (Videos) - Muy buen canal, codea en vivo y te sirve para seguir el proceso. Cada tanto se vuelve confuso y necesité buscar otras fuentes (como en la parte de entrenamiento). Ademas, hace su propia libreria para manejar matrices, yo usé Numpy y saltee todos esos videos.
- Neural Networks Demystified de Welch Labs (Videos) - Personalmente no lo use, pero conozco el canal y se que es muy bueno