Defesa de Qualificação de Mestrado – Erika Cristina Matesz Bueno
Título do Trabalho: Qualidade de Sistemas de IA Generativa: Um Estudo Sobre Métricas e o Papel do Human-in-the-Loop
Resumo: A incorporação crescente de componentes baseados em Inteligência Artificial Generativa (GenAI) em sistemas de software tem gerado novos desafios para a garantia da qualidade. Diferentemente do comportamento determinístico típico de sistemas tradicionais, modelos como LLMs produzem respostas probabilísticas, sujeitas a variações mesmo com entradas idênticas. Essa natureza não determinística compromete práticas consolidadas de validação da qualidade do software, dificultando a definição de critérios objetivos de conformidade. Este trabalho propõe um framework híbrido para avaliação da qualidade de sistemas que utilizam GenAI, combinando métricas automáticas com curadoria humana, segundo a abordagem Human-in-the-Loop. A proposta contempla a análise crítica de métricas existentes, a definição de um modelo de avaliação híbrido e o desenvolvimento de uma biblioteca em Python que permita sua integração a pipelines de software. Serão conduzidos experimentos controlados que aplicam a biblioteca em cenários de uso e, adicionalmente, será realizada validação humana para verificar a aderência dos resultados às percepções de qualidade de software. Como resultado, busca-se oferecer uma abordagem prática, capaz de apoiar equipes de desenvolvimento e teste de software na avaliação sistemática desse tipo de aplicação.
Banca Examinadora:
Sean Wolfgand Matsui Siqueira, UNIRIO
Gleison dos Santos Souza, UNIRIO
José Maria Nazar David, UFJF
Data e Hora da Defesa: 29/09/2025 às 18:00
Local da Defesa: Plataforma Zoom
