{"id":6974,"date":"2025-02-10T10:41:56","date_gmt":"2025-02-10T13:41:56","guid":{"rendered":"https:\/\/www.inf.ufrgs.br\/profcomp\/?page_id=6974"},"modified":"2025-02-10T10:41:56","modified_gmt":"2025-02-10T13:41:56","slug":"cmp629","status":"publish","type":"page","link":"https:\/\/www.inf.ufrgs.br\/profcomp\/lista-de-disciplinas\/cmp629\/","title":{"rendered":"CMP629"},"content":{"rendered":"

CMP629: T\u00f3picos Especiais em Ci\u00eancia da Computa\u00e7\u00e3o DCXXIX – Aprendizado por Refor\u00e7o<\/h2>\n

Cr\u00e9ditos:<\/strong> 4
\nSemestre:<\/strong> 2025\/01
\nProfessor:<\/strong> Anderson R. Tavares<\/p>\n

Resumo:<\/strong><\/h3>\n

A disciplina apresenta os fundamentos de aprendizado por refor\u00e7o e suas aplica\u00e7\u00f5es para problemas de decis\u00e3o sequencial. Os t\u00f3picos discutidos no curso incluem: multi-armed bandits; processos de decis\u00e3o de Markov; resolu\u00e7\u00e3o via programa\u00e7\u00e3o din\u00e2mica; m\u00e9todos de Monte Carlo e de diferen\u00e7a temporal; integra\u00e7\u00e3o de planejamento e aprendizado; m\u00e9todos de aproxima\u00e7\u00e3o de fun\u00e7\u00e3o; tra\u00e7os de elegibilidade; aprendizado por refor\u00e7o profundo; t\u00f3picos avan\u00e7ados e aplica\u00e7\u00f5es modernas.<\/p>\n

1) Introdu\u00e7\u00e3o ao aprendizado por refor\u00e7o<\/p>\n

a) Aplica\u00e7\u00f5es, hist\u00f3rico e exemplos<\/p>\n

b) Multi-armed bandits<\/p>\n

c) Processos de Decis\u00e3o de Markov<\/p>\n

2) M\u00e9todos tabulares para predi\u00e7\u00e3o e controle<\/p>\n

a) Programa\u00e7\u00e3o din\u00e2mica<\/p>\n

b) M\u00e9todos de Monte Carlo<\/p>\n

c) Aprendizado por diferen\u00e7a temporal (TD)<\/p>\n

d) Bootstrapping de n passos<\/p>\n

e) Integrando planejamento e aprendizado<\/p>\n

3) M\u00e9todos de aproxima\u00e7\u00e3o de fun\u00e7\u00e3o<\/p>\n

a) Aproxima\u00e7\u00e3o da fun\u00e7\u00e3o de valor<\/p>\n

b) M\u00e9todos lineares e n\u00e3o-lineares.<\/p>\n

c) Predi\u00e7\u00e3o e controle com aproxima\u00e7\u00e3o de fun\u00e7\u00e3o<\/p>\n

d) Tra\u00e7os de elegibilidade<\/p>\n

e) M\u00e9todos de gradiente de pol\u00edtica<\/p>\n

4) Aprendizado por refor\u00e7o profundo<\/p>\n

a) Revis\u00e3o de redes neurais<\/p>\n

b) Aprendizado por refor\u00e7o profundo baseado em valor<\/p>\n

c) Aprendizado por refor\u00e7o profundo baseado em pol\u00edtica<\/p>\n

5) T\u00f3picos avan\u00e7ados<\/p>\n

a) Aprendizado por refor\u00e7o multiagente<\/p>\n

b) Aplica\u00e7\u00f5es modernas<\/p>\n

Procedimentos did\u00e1ticos:\u00a0<\/strong><\/h3>\n
    \n
  • Aulas expositivas<\/li>\n
  • Implementa\u00e7\u00e3o de algoritmos apresentados em aula<\/li>\n
  • Semin\u00e1rios e Projeto<\/li>\n<\/ul>\n

    Sistema de avalia\u00e7\u00e3o:<\/h3>\n

    O desempenho individual ser\u00e1 avaliado da seguinte forma:<\/p>\n

      \n
    • Laborat\u00f3rios e exerc\u00edcios te\u00f3rico-pr\u00e1ticos (LE)<\/li>\n
    • Apresenta\u00e7\u00f5es de t\u00f3picos especiais em forma de semin\u00e1rios (S)<\/li>\n
    • Prova te\u00f3rica (PT)<\/li>\n
    • Projeto final (PF)<\/li>\n<\/ul>\n

      Composi\u00e7\u00e3o da nota final (NF):<\/span> NF = 0.3*LE + 0.3*PT + 0.3*PF + 0.1 * S<\/p>\n

      O aluno que obtiver m\u00e9dia NF igual ou superior a 6 ser\u00e1 aprovado sem recupera\u00e7\u00e3o com conceito final definido de acordo com as regras abaixo:<\/p>\n

      C\u00e1lculo do conceito final no caso de aprova\u00e7\u00e3o sem recupera\u00e7\u00e3o:<\/span>
      \nConceito A: NF >= 9.0
      \nConceito B: 7.5 <= NF < 9.0
      \nConceito C: 6.0 <= NF < 7.5
      \nConceito D: NF < 6.0
      \nConceito FF: caso o estudante n\u00e3o obtenha frequ\u00eancia m\u00ednima de 75%<\/p>\n

      Caso o aluno n\u00e3o obtenha m\u00e9dia NF igual ou superior 6, dever obrigatoriamente fazer prova de recupera\u00e7\u00e3o. A prova consistir\u00e1 em um exame escrito e o aluno ser aprovado com conceito C caso sua nota na prova de recupera\u00e7\u00e3o seja superior a 6; caso contr\u00e1rio, ser reprovado com conceito final D.<\/p>\n

      Bibliografia B\u00e1sica:<\/h3>\n
        \n
      • Sutton S., Barto A. Reinforcement learning: An introduction. MIT press, 2018. (link: http:\/\/incompleteideas.net\/book\/the-book-2nd.html)<\/li>\n
      • Russel S., Norvig P. Intelig\u00eancia Artificial. Editora Campus, 2004.<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"

        CMP629: T\u00f3picos Especiais em Ci\u00eancia da Computa\u00e7\u00e3o DCXXIX – Aprendizado por Refor\u00e7o Cr\u00e9ditos: 4 Semestre: 2025\/01 Professor: Anderson R. Tavares Resumo: A disciplina apresenta os fundamentos de aprendizado por refor\u00e7o e suas aplica\u00e7\u00f5es para problemas de decis\u00e3o sequencial. Os t\u00f3picos discutidos no curso incluem: multi-armed bandits; processos de decis\u00e3o de Markov; resolu\u00e7\u00e3o via programa\u00e7\u00e3o din\u00e2mica; […]<\/p>\n","protected":false},"author":11,"featured_media":0,"parent":462,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":[],"_links":{"self":[{"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/pages\/6974"}],"collection":[{"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/comments?post=6974"}],"version-history":[{"count":2,"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/pages\/6974\/revisions"}],"predecessor-version":[{"id":7175,"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/pages\/6974\/revisions\/7175"}],"up":[{"embeddable":true,"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/pages\/462"}],"wp:attachment":[{"href":"https:\/\/www.inf.ufrgs.br\/profcomp\/wp-json\/wp\/v2\/media?parent=6974"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}