TÍTULO DA DISSERTAÇÃO/TESE: Um estudo da aplicação de Grandes Modelos de Linguagem na resolução de questões de vestibular: o caso dos Institutos Militares brasileiro.
Esta pesquisa analisou o desempenho dos Grandes Modelos de Linguagem ou Large Language Models (LLMs) combinados com técnicas de in-context learning na resolução de questões complexas de exames vestibulares escritas em português. O conjunto de dados utilizado foi construído utilizando questões de exames vestibulares de duas prestigiadas instituições militares brasileiras, o Instituto Militar de Engenharia (IME) e o Instituto Tecnológico da Aeronáutica (ITA). Foram conduzidos experimentos controlados avaliando diferentes métodos de prompt com os modelos text-davinci-003, GPT-3.5-turbo e GPT-4 para verificar seu desempenho ao fornecer as respostas. Os resultados mostraram que os LLMs recentes otimizados para conversação alcançaram melhores métricas, especialmente quando utilizam técnicas de in-context learning, como chain-of-thought (CoT) de WEI et al. (2022a). O GPT-4 alcançou uma acurácia geral de 55% usando essa abordagem, superando os outros modelos. Analisando o desempenho por disciplina, obteve-se melhores resultados nas questões de Português, enquanto o destaque negativo foi para a Matemática. As questões do ITA foram ligeiramente menos desafiadoras para os LLMs do que as do IME, sugerindo menor complexidade para resolução por parte dos modelos. A pesquisa aponta o potencial dos Grandes Modelos de Linguagem na resolução de problemas complexos em português, contribuindo para o desenvolvimento de metodologias de aplicação de Processamento de Linguagem Natural em Educação, fornecendo evidências valiosas para o aprimoramento ou a adequada implementação dos Large Language Models em contextos educacionais. Outros aspectos podem ser explorados posteriormente como uma variedade maior de modelos, utilização de técnicas de prompt de múltiplos turnos, treinamento de modelos com mais dados em português e a investigação do impacto do formato das questões.
Palavras-chave: Grandes Modelos de Linguagem. Engenharia de prompt. Processamento de
Linguagem Natural.
BANCA EXAMINADORA: )
Carlos Eduardo Ribeiro de Mello (PPGI-UNIRIO)
Laura de Oliveira Fernandes Moraes (PPGI-UNIRIO)
Sean Wolfgand Matsui Siqueira (PPGI-UNIRIO)
Rodrigo Frassetto Nogueira (UNICAMP)
LOCAL: Auditório do PPGI
DATA/HORA DE DEFESA: 30/08/2023 10:00
