Análise do uso do framework de interpretabilidade LIME para entender predições de modelos de caixa preta em aprendizado de máquina
Interpretabilidade. Explicabilidade. Framework de interpretabilidade. Interpretabilidade de modelos de caixas pretas. Aprendizado de máquina.
A interpretação de predições realizadas por algoritmos de aprendizado de máquina é uma necessidade de várias aplicações inteligentes em que a confiabilidade nos resultados é essencial, principalmente quando se trata de decisões em áreas que afetam diretamente a vida humana como saúde e finanças. Nesse contexto, a interpretabilidade é definida como a capacidade de compreensão de modelos, enquanto que a explicabilidade utiliza de abordagens para tornar modelos complexos mais transparentes. Diante disso, este trabalho tem como objetivos desenvolver: (i) uma revisão da literatura sobre o uso de frameworks de interpretabilidade de algoritmos para o auxílio no entendimento de predições. (ii) testes de explicabilidade utilizando o framework LIME em predições de modelos de caixa preta em dois cenários distintos. Primeiramente, comparou-se as interpretações do LIME sobre uma Rede Neural e um Random Forest utilizando as mesmas amostras. Em seguida, no contexto de NLP, o LIME foi utilizado para interpretar predições de um SVM em classificações de sentimentos sobre tweets relacionados a COVID-19. Para isso, uma aplicação web integrada com o LIME foi desenvolvida para explicar essas predições de forma interativa. Os resultados da revisão indicaram um total de 10 frameworks citados, sendo o LIME o mais presente nos 26 estudos incluídos na revisão, após uma análise de 143 artigos científicos. Com a análise dos resultados obtidos com o LIME, observou-se uma melhora na compreensão das decisões dos modelos de caixa preta e das relações internas das features preditoras que impactam especificamente em cada predição.