Explicabilidade de modelos de caixa preta: Um estudo de caso em análise de sentimentos de mensagens do Twitter sobre a COVID-19
Interpretabilidade. Explicabilidade. Framework de interpretabilidade. Explicabilidade de modelos de caixa preta. Aprendizado de máquina.
A interpretação de predições realizadas por algoritmos de aprendizado de máquina é uma necessidade em aplicações inteligentes em que a confiabilidade nos resultados é essencial, principalmente quando se trata de decisões que afetam diretamente a vida humana, como na saúde e finanças. Nesse contexto, define-se a interpretabilidade como a capacidade de compreensão de modelos, enquanto que a explicabilidade utiliza de abordagens para tornar modelos complexos mais transparentes. Diante disso, este trabalho tem como objetivo desenvolver testes de explicabilidade utilizando o framework LIME (Local Interpretable Model-Agnostic Explanations) no contexto de NLP (Natural Language Processing) para interpretar predições de um SVM (Support Vector Machine) em classificações de sentimentos em mensagens do Twitter relacionadas a COVID-19 (Corona Vírus 19). Para otimizar o processo de compreensão de amostras, desenvolveu-se uma aplicação web integrada com o LIME para explorar essas predições de forma interativa através da escolha da quantidade de features explicadas. Com a análise dos resultados obtidos com o LIME, observou-se um ganho de transparência quanto ao processo de compreensão de decisões internas do modelo de caixa preta através de palavras determinantes que impactam predições. Por exemplo, na análise realizada nesta dissertação foi possível perceber na avaliação de amostras falso positivas, que o modelo SVM tende a falhar ao associar um teste positivo de COVID a um sentimento bom e ficar confuso em predições específicas que envolvem palavras relacionadas a variantes de COVID como a Ômicron.