Título: Vieses e Histórias Ficcionais no ChatGPT.
Resumo: O uso de chatbots aumentou com o surgimento do ChatGPT no final de 2022. Com o ChatGPT e ferramentas similares, como o Gemini (ex-Bard) e o Copilot (ex-Bing Chat), é possível realizar tarefas mais abrangentes e elaboradas, como traduções de textos, revisões de escrita e de códigos de linguagens de programação. Foram realizados levantamentos de literatura que mostraram que os resultados dos chatbots de IA generativa podem conter vieses, principalmente de cunho social/cultural. É possível afirmar que traduções incorretas geradas por estas ferramentas podem levar a vieses relacionados a gênero. Além disso, podem ocorrer associações de termos preconceituosos com determinados grupos minoritários, contribuindo com uma visão negativa sobre estes mesmos grupos. Com o objetivo de avaliar a identificação de vieses sociais na utilização do ChatGPT, foi realizado um experimento, onde foram criadas sinopses de histórias na ferramenta. Foram utilizadas técnicas de engenharia de prompts para realizar a identificação de vieses neste conteúdo gerado, em processo similar ao LLM as a Judge. Os resultados das identificações feitas pela ferramenta foram avaliados por especialistas, na tentativa de verificar se o ChatGPT é capaz de identificar possíveis vieses com resultados coerentes. Foi realizada uma análise quantitativa e explanatória referente aos resultados encontrados para os modelos de prompts criados para identificação. Os resultados mostraram uma leve melhora na identificação de vieses feitas pelo prompt que utilizou técnicas de engenharia de prompts, além de identificações mais condizentes com os tipos de vieses definidos para o estudo. Espera-se que os resultados apresentados neste estudo possam direcionar para soluções de IA generativa, que gerem conteúdos mais diversos e menos enviesados em sua autoavaliação.
Palavras-chave: ChatGPT, Engenharia de Prompts, LLM, Vieses, Vieses Sociais, Roteiros Ficcionais, Sinopse, IA Generativa.
Composição da banca
Prof. Dr. Sean Wolfgand Matsui Siqueira (Orientador) – UNIRIO
Profª. Drª. Maira Gatti de Bayser (Coorientadora) – UNIRIO
Profª. Drª. Carolina Christina do Sacramento Nardi – UNIRIO
Profª. Drª. Juliana Baptista dos Santos França – UFRJ
Prof. Dr. Marcelo Tibau de Vasconcellos Dias – UNIRIO
Data/Horário: 19 de agosto de 2024 às 14:00h
Local: Auditório do PPGI – Centro de Ciências e Tecnologia – UNIRIO
