Oferecimento da disciplina no primeiro semestre de 2021, com a professora Nina S. T. Hirata, no Instituto de Matemática e Estatística da USP.
As notas de aula pessoais da disciplina foram baseadas nos slides da disciplina e outros materiais disponíveis.
Os exercícios-programa foram feitos com Jupyter Notebook, utilizando a linguagem Python e diversas bibliotecas de machine learning.
The goal of this EP was to implement the perceptron algorithm. For simplicity, the implementation was for and tested it on datapoints in
Objectives:
- to implement and test the analytic solution for the linear regression task (see, for instance, Slides of Lecture 03 and Lecture 03 of Learning from Data)
- to understand the core idea (optimization of a loss or cost function) for parameter adjustment in machine learning
Topics / concepts explored in this EP:
- Implementation of the logistic regression algorithm, using the gradient descent technique
- Application on binary classification of 2D examples (i.e., d=2)
- Confusion matrix, effects of unbalanced classes
The aim of this EP is to
- Practice training of linear, neural networks, and SVMs classifiers using the scikit-learn library (https://scikit-learn.org/)
- Practice model evaluation, comparison and selection
- Produce a summary report on the performed experiments and main findings
O EP4 foi feito em conjunto com o colega Miguel Ostrowski.
Os enunciados das listas se encontram dentro de seus respectivos diretórios.
- Lista 1: questions regarding the perceptron algorithm, linear regression, logistic regression and other topics on machine learning general theory
- Lista 2: lista que cobre o conteúdo sobre a parte teórica de machine learning — VC analysis e Bias-variance analysis
- Lista 3: avaliação do grau de compreensão sobre alguns tópicos cobertos no decorrer da disciplina (PARTE I), além de uma auto-avaliação (PARTE 2)
Tarefas rápidas.
- QT5 (Quick Task 5): pequeno texto sobre regularização.