{"id":6974,"date":"2025-02-10T10:41:56","date_gmt":"2025-02-10T13:41:56","guid":{"rendered":"https:\/\/www.inf.ufrgs.br\/ppgc\/?page_id=6974"},"modified":"2026-06-29T13:43:28","modified_gmt":"2026-06-29T16:43:28","slug":"cmp629","status":"publish","type":"page","link":"https:\/\/www.inf.ufrgs.br\/ppgc\/disciplinas\/lista-de-disciplinas\/cmp629\/","title":{"rendered":"CMP629"},"content":{"rendered":"

CMP629: T\u00f3picos Especiais em Ci\u00eancia da Computa\u00e7\u00e3o DCXXIX – Aprendizado por Refor\u00e7o<\/h2>\n

Cr\u00e9ditos:<\/strong> 4
\nSemestre:<\/strong> 2025\/01
\nProfessor:<\/strong> Anderson R. Tavares<\/p>\n

Resumo:<\/strong><\/h3>\n

A disciplina apresenta os fundamentos de aprendizado por refor\u00e7o e suas aplica\u00e7\u00f5es para problemas de decis\u00e3o sequencial. Os t\u00f3picos discutidos no curso incluem: multi-armed bandits; processos de decis\u00e3o de Markov; resolu\u00e7\u00e3o via programa\u00e7\u00e3o din\u00e2mica; m\u00e9todos de Monte Carlo e de diferen\u00e7a temporal; integra\u00e7\u00e3o de planejamento e aprendizado; m\u00e9todos de aproxima\u00e7\u00e3o de fun\u00e7\u00e3o; tra\u00e7os de elegibilidade; aprendizado por refor\u00e7o profundo; t\u00f3picos avan\u00e7ados e aplica\u00e7\u00f5es modernas.<\/p>\n

1) Introdu\u00e7\u00e3o ao aprendizado por refor\u00e7o<\/p>\n

a) Aplica\u00e7\u00f5es, hist\u00f3rico e exemplos<\/p>\n

b) Multi-armed bandits<\/p>\n

c) Processos de Decis\u00e3o de Markov<\/p>\n

2) M\u00e9todos tabulares para predi\u00e7\u00e3o e controle<\/p>\n

a) Programa\u00e7\u00e3o din\u00e2mica<\/p>\n

b) M\u00e9todos de Monte Carlo<\/p>\n

c) Aprendizado por diferen\u00e7a temporal (TD)<\/p>\n

d) Bootstrapping de n passos<\/p>\n

e) Integrando planejamento e aprendizado<\/p>\n

3) M\u00e9todos de aproxima\u00e7\u00e3o de fun\u00e7\u00e3o<\/p>\n

a) Aproxima\u00e7\u00e3o da fun\u00e7\u00e3o de valor<\/p>\n

b) M\u00e9todos lineares e n\u00e3o-lineares.<\/p>\n

c) Predi\u00e7\u00e3o e controle com aproxima\u00e7\u00e3o de fun\u00e7\u00e3o<\/p>\n

d) Tra\u00e7os de elegibilidade<\/p>\n

e) M\u00e9todos de gradiente de pol\u00edtica<\/p>\n

4) Aprendizado por refor\u00e7o profundo<\/p>\n

a) Revis\u00e3o de redes neurais<\/p>\n

b) Aprendizado por refor\u00e7o profundo baseado em valor<\/p>\n

c) Aprendizado por refor\u00e7o profundo baseado em pol\u00edtica<\/p>\n

5) T\u00f3picos avan\u00e7ados<\/p>\n

a) Aprendizado por refor\u00e7o multiagente<\/p>\n

b) Aplica\u00e7\u00f5es modernas<\/p>\n

Procedimentos did\u00e1ticos:\u00a0<\/strong><\/h3>\n
    \n
  • Aulas expositivas<\/li>\n
  • Implementa\u00e7\u00e3o de algoritmos apresentados em aula<\/li>\n
  • Semin\u00e1rios e Projeto<\/li>\n<\/ul>\n

    Sistema de avalia\u00e7\u00e3o:<\/h3>\n

    O desempenho do aluno ser\u00e1 avaliado da seguinte forma:
    \n– Provas te\u00f3ricas (P1, P2 e P3): avalia\u00e7\u00e3o te\u00f3rica dos fundamentos e conceitos da disciplina;
    \n– Laborat\u00f3rios e Exercicios (LE): exerc\u00edcios; implementa\u00e7\u00f5es de ambientes, algoritmos e avalia\u00e7\u00e3o de modelos;
    \n– Semin\u00e1rios (S): apresenta\u00e7\u00e3o de temas relevantes e participa\u00e7\u00e3o nos semin\u00e1rios dos colegas.
    \n– Projeto final (PF): implementa\u00e7\u00e3o, aplica\u00e7\u00e3o e\/ou melhoria de sistema de aprendizado por refor\u00e7o para um benchmark ou problema relevante.<\/p>\n

    Composi\u00e7\u00e3o da nota final (NF):
    \nNF = (P1*0,1) + (P2*0,2) + (P3*0,3)+ (LE*0,15) + (PF*0,25) + (S*0,1)<\/p>\n

    Ser\u00e1 aprovado o aluno que obtiver nota final (NF) acima de 6. Os conceitos ser\u00e3o atribu\u00eddos da seguinte forma:
    \nConceito A: NF >= 9,0
    \nConceito B: NF >=7,5 e < 9,0
    \nConceito C: NF >= 6,0 e < 7,5
    \nConceito D: NF < 6,0
    \nConceito FF: caso o aluno n\u00e3o obtenha frequ\u00eancia m\u00ednima de 75% (sem direito a recupera\u00e7\u00e3o)<\/p>\n

    Caso o aluno n\u00e3o obtenha m\u00e9dia NF igual ou superior 6, dever obrigatoriamente fazer prova de recupera\u00e7\u00e3o. A prova consistir\u00e1 em um exame escrito e o aluno ser aprovado com conceito C caso sua nota na prova de recupera\u00e7\u00e3o seja superior a 6; caso contr\u00e1rio, ser reprovado com conceito final D.<\/p>\n

    Bibliografia B\u00e1sica:<\/h3>\n
      \n
    • Sutton S., Barto A. Reinforcement learning: An introduction. MIT press, 2018. (link: http:\/\/incompleteideas.net\/book\/the-book-2nd.html)<\/li>\n
    • Russel S., Norvig P. Intelig\u00eancia Artificial. Editora Campus, 2004.<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"

      CMP629: T\u00f3picos Especiais em Ci\u00eancia da Computa\u00e7\u00e3o DCXXIX – Aprendizado por Refor\u00e7o Cr\u00e9ditos: 4 Semestre: 2025\/01 Professor: Anderson R. Tavares Resumo: A disciplina apresenta os fundamentos de aprendizado por refor\u00e7o e suas aplica\u00e7\u00f5es para problemas de decis\u00e3o sequencial. Os t\u00f3picos discutidos no curso incluem: multi-armed bandits; processos de decis\u00e3o de Markov; resolu\u00e7\u00e3o via programa\u00e7\u00e3o din\u00e2mica; […]<\/p>\n","protected":false},"author":11,"featured_media":0,"parent":462,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":[],"_links":{"self":[{"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/pages\/6974"}],"collection":[{"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/comments?post=6974"}],"version-history":[{"count":6,"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/pages\/6974\/revisions"}],"predecessor-version":[{"id":7822,"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/pages\/6974\/revisions\/7822"}],"up":[{"embeddable":true,"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/pages\/462"}],"wp:attachment":[{"href":"https:\/\/www.inf.ufrgs.br\/ppgc\/wp-json\/wp\/v2\/media?parent=6974"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}