Defesa de Dissertação de Mestrado – Francis Spiegel Rubin
Título do Trabalho: Enhancing Brazilian Antitrust Analysis: A Question & Answer Evaluation Framework with RAG Pipeline for CADE Regulatory Documents
Resumo: O abuso de poder econômico é uma preocupação no Brasil, onde o Conselho Administrativo de Defesa Econômica (CADE) desempenha um papel essencial no combate a práticas anticompetitivas e na garantia de uma concorrência justa. Este trabalho apresenta uma abordagem inovadora para análise de documentos regulatórios do CADE, utilizando um pipeline de Recuperação Aumentada por Geração (RAG) combinado com raciocínio de cadeia de pensamento (CoT). A solução foi projetada para automatizar a extração de informações relevantes de relatórios técnicos complexos, consolidando dados como status de aprovação, cláusulas de não concorrência e principais argumentos, promovendo maior eficiência e precisão na análise regulatória. Uma das principais contribuições desta pesquisa foi a geração da base CADE_EVAL, composta por perguntas e respostas sintéticas geradas a partir de documentos técnicos do CADE. Essa base foi fundamental para avaliar o pipeline proposto, permitindo a geração de perguntas com características diversas, como raciocínio, condicionamento e múltiplos contextos. Além disso, a CADE_EVAL fornece um conjunto estruturado de perguntas, contextos e respostas que serviram como referência para medir a eficácia do pipeline em tarefas de recuperação e geração de informações. Essa integração garantiu uma avaliação robusta e alinhada ao domínio regulatório. Outra contribuição significativa foi a avaliação combinada do pipeline, integrando métricas automatizadas do framework RAGAS, como fidelidade, relevância da resposta, precisão de contexto e recall de contexto, com um rigoroso processo de validação humana. Especialistas do domínio avaliaram critérios como precisão, relevância, completude e consistência das respostas geradas, garantindo uma análise holística e confiável. Os resultados demonstraram que o pipeline RAG+LLM apresentou desempenho superior em fidelidade e cobertura de contexto, com destaque para consultas diretas e factuais. Consultas mais complexas, envolvendo múltiplas entidades ou relações, apontaram oportunidades de refinamento no mecanismo de recuperação, evidenciando o potencial de evolução da metodologia. Com base nos resultados obtidos, o pipeline proposto pode contribuir na eficiência e confiabilidade da análise regulatória antitruste, e promover transparência e agilidade nos processos de tomada de decisão do CADE. A metodologia da pesquisa também apresenta grande potencial de adaptação para outros domínios específicos, como jurídico, financeiro e governamental, ampliando seu impacto e aplicabilidade. Assim, este trabalho estabelece uma base sólida para o uso de inteligência artificial na análise de documentos regulatórios, demonstrando que o pipeline RAG+LLM é capaz de gerar respostas confiáveis, relevantes e bem fundamentadas, promovendo inovação e eficiência nas análises de documentos de fusões e aquisições.
Banca Examinadora:
Adriana Cesário de Faria Alvim – UNIRIO – (Presidente)
Pedro Nuno de Souza Moura – UNIRIO
Laura de Oliveira Fernandes Moraes – UNIRIO
Jorge de Abreu Soares – CEFET-RJ
Suplentes:
Simone Bacellar Leal Ferreira (Interno)
Isabel Cristina Mello Rosseti – UFF (externo)
Data e Hora da Defesa: 18/09/2025 às 10:00
Local da Defesa: Auditório PPGI
