Lista de Disciplinas | CMP629

CMP629: Tópicos Especiais em Ciência da Computação DCXXIX – Aprendizado por Reforço

Créditos: 4
Semestre: 2025/01
Professor: Anderson R. Tavares

Resumo:

A disciplina apresenta os fundamentos de aprendizado por reforço e suas aplicações para problemas de decisão sequencial. Os tópicos discutidos no curso incluem: multi-armed bandits; processos de decisão de Markov; resolução via programação dinâmica; métodos de Monte Carlo e de diferença temporal; integração de planejamento e aprendizado; métodos de aproximação de função; traços de elegibilidade; aprendizado por reforço profundo; tópicos avançados e aplicações modernas.

1) Introdução ao aprendizado por reforço

a) Aplicações, histórico e exemplos

b) Multi-armed bandits

c) Processos de Decisão de Markov

2) Métodos tabulares para predição e controle

a) Programação dinâmica

b) Métodos de Monte Carlo

c) Aprendizado por diferença temporal (TD)

d) Bootstrapping de n passos

e) Integrando planejamento e aprendizado

3) Métodos de aproximação de função

a) Aproximação da função de valor

b) Métodos lineares e não-lineares.

c) Predição e controle com aproximação de função

d) Traços de elegibilidade

e) Métodos de gradiente de política

4) Aprendizado por reforço profundo

a) Revisão de redes neurais

b) Aprendizado por reforço profundo baseado em valor

c) Aprendizado por reforço profundo baseado em política

5) Tópicos avançados

a) Aprendizado por reforço multiagente

b) Aplicações modernas

Procedimentos didáticos: 

• Aulas expositivas
• Implementação de algoritmos apresentados em aula
• Seminários e Projeto

Sistema de avaliação:

O desempenho do aluno será avaliado da seguinte forma:
– Provas teóricas (P1, P2 e P3): avaliação teórica dos fundamentos e conceitos da disciplina;
– Laboratórios e Exercicios (LE): exercícios; implementações de ambientes, algoritmos e avaliação de modelos;
– Seminários (S): apresentação de temas relevantes e participação nos seminários dos colegas.
– Projeto final (PF): implementação, aplicação e/ou melhoria de sistema de aprendizado por reforço para um benchmark ou problema relevante.

Composição da nota final (NF):
NF = (P1*0,1) + (P2*0,2) + (P3*0,3)+ (LE*0,15) + (PF*0,25) + (S*0,1)

Será aprovado o aluno que obtiver nota final (NF) acima de 6. Os conceitos serão atribuídos da seguinte forma:
Conceito A: NF >= 9,0
Conceito B: NF >=7,5 e < 9,0
Conceito C: NF >= 6,0 e < 7,5
Conceito D: NF < 6,0
Conceito FF: caso o aluno não obtenha frequência mínima de 75% (sem direito a recuperação)

Caso o aluno não obtenha média NF igual ou superior 6, dever obrigatoriamente fazer prova de recuperação. A prova consistirá em um exame escrito e o aluno ser aprovado com conceito C caso sua nota na prova de recuperação seja superior a 6; caso contrário, ser reprovado com conceito final D.

Bibliografia Básica:

• Sutton S., Barto A. Reinforcement learning: An introduction. MIT press, 2018. (link: http://incompleteideas.net/book/the-book-2nd.html)
• Russel S., Norvig P. Inteligência Artificial. Editora Campus, 2004.