Lista de Disciplinas | CMP617

Objetivo

Apresentar conceitos de processamento de linguagem natural e recuperação de informações textuais utilizando tecnologias e modelos do estado da arte de forma a propiciar ao aluno um leque de conhecimento que permita ao mesmo desenvolver seus próprios projetos nessas áreas.

Conteúdo

• Propriedades estatísticas dos textos
• Pré-processamento de textos
• Formas de representação
  • Bag of Words
  • Embeddings Fixas
  • Embeddings Contextuais
• Tarefas Típicas de Processamento de Linguagem Natural (part of speech tagging e reconhecimento de entidades nomeadas).
• Grandes Modelos de Linguagem pré-treinados
• Aplicações (classificação, sumarização, rotulação de sequências)
• Indexação de documentos
• Modelos de Recuperação de Informações
• Avaliação da Qualidade
• Técnicas de melhoria de desempenho
• Recuperação de Informações na Web

Técnicas de Ensino

• Aulas teóricas envolvendo a exposição e discussão de conteúdos
• Aulas na modalidade ensino a distância.
• Discussão de artigos científicos.
• Exercícios e trabalhos práticos.

Avaliação

A avaliação consiste em 3 componentes:

• C1 (35%): Exercícios realizados em aula
• C2 (35%): Trabalho escrito individual + apresentação
• C3 (30%): Prova

A média final será calculada da seguinte maneira:

A conversão da MF para conceitos é feita por meio da seguinte tabela:

Recuperação do Conceito D: O aluno que tiver obtido conceito D poderá, a critério da professora, realizar uma atividade de recuperação. Caso aprovado, seu conceito final será C.

Bibliografia Básica

• Dan Jurafsky and James E. Martin. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (3rd ed. draft), 2023. Disponível em https://web.stanford.edu/~jurafsky/slp3/
• Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. Draft. Disponível em: http://www-csli.stanford.edu/~schuetze/information-retrieval-book.html.
• Artigos Selecionados que serão indicados no transcorrer da disciplina.

Bibliografia Complementar

• Rothman, Denis. Transformers for Natural Language Processing: Build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and more. Packt Publishing Ltd, 2^nd Edition 2022.
• Bruce Croft, Donald Metzler and Trevor Strohman. Search Engines Information Retrieval in Practice Pearson Education, Inc. 2015. Disponível em: http://ciir.cs.umass.edu/downloads/SEIRiP.pdf
• Baeza-Yates, R. Recuperação de informação: conceitos e tecnologia das máquinas de busca. Bookman, 2013, 590p.