Defesa de Exame de Qualificação de Mestrado – LEONARDO SOUZA
Título da dissertação: ROBUSTEZ ADVERSARIAL DE MODELOS DE VISÃO E LINGUAGEM CONTRA ATAQUES DE CAIXA PRETA DIRECIONADOS
Resumo: Os modelos multimodais de visão e linguagem (VLM) têm atraído grande interesse acadêmico pelo alto desempenho em tarefas que envolvem a inferência nas modalidades de imagem e texto simultaneamente. O sucesso dos VLMs é observado na sociedade de modo geral, através de chatbots poderosos como o ChatGPT e o Google Gemini, além de setores específicos da indústria, como processos industriais, arquitetura e construção, engenharia biomédica, engenharia de sistemas, comunicação corporativa, medicina, entre outros. O sucesso dos VLMs é o resultado de décadas de pesquisas em técnicas de aprendizagem profunda (AP), que é uma subárea da aprendizagem de máquina (AM) e da inteligência artificial (IA). Além disso, o aumento do poder computacional e da capacidade de armazenar dados em larga escala têm contribuído com as pesquisas na área e, consequentemente, colocado os modelos multimodais como os VLMs em posição de destaque. VLMs de código aberto criam grandes oportunidades para a pesquisa e igualmente para a indústria, e modelos mais recentes já apresentam resultados de desempenho similares aos de VLMs de código fechado. No entanto, VLMs de código aberto são vulneráveis a ruídos injetados nos dados limpos (imagem ou texto), formando, exemplos adversariais (EA). Os EAs são utilizados em métodos que exploram as vulnerabilidades dos VLMs, conhecidos como ataques adversariais, que conseguem enganar os modelos, fazendo-os gerar previsões imprecisas. A academia tem enfrentado o problema com pesquisas para melhorar a resistência dos VLMs contra EA, caracterizado como robustez adversarial. O objetivo desta pesquisa é utilizar o método de certificação de robustez no ajuste fino de um VLM de código aberto, que aumenta sua resiliência contra ruídos visuais na entrada de dados, principalmente contra ataques direcionados de caixa preta. A técnica de suavização aleatória é utilizada como uma forma de certificação de robustez que já apresenta grande desempenho certificando redes neurais de larga escala contra ruídos visuais em problemas de classificação de imagens e é adaptada nesta pesquisa para certificar as saídas do VLM e aumentar sua resiliência contra ruídos visuais na modalidade de imagem.
Palavras Chave: Robustez Adversarial, Exemplos Adversariais, Ataques Adversariais, Caixa Preta, Aprendizagem Profunda, Aprendizagem de Máquina, Inteligência Artificial
Aluno: Leonardo Souza
Data e local: 28/08/2024, às 13h – UNIRIO
Banca Examinadora:
Pedro Nuno de Souza Moura – PPGI – UNIRIO
Maíra Gatti de Bayser – PPGI – UNIRIO
Jefferson Elbert Simões – PPGI – UNIRIO
Guilherme Gonçalves Schardong – Universidade de Coimbra
Data e local: 28/08/2024, às 13h – UNIRIO
Google Meet: meet.google.com/fqx-dfph-jvc
