Um modelo para reconhecimento, reconstrução e personalização de gráficos de dados estáticos
Reconhecimento de Gráficos, Aprendizado de Máquina, Processamento de Imagem, Visualização da Informação
Gráficos de dados são amplamente utilizados para comunicação, comparação e análise de dados em vários meios. Um bom gráfico de dados deve apresentar os elementos e dados necessários para seu bom entendimento, tais como: informação sobre os eixos, escalas, títulos, legendas, linhas de tendência, etc. Contudo, em muitos casos, parte desses elementos geralmente não esta disponível, bem como os dados que os criaram, prejudicando o entendimento do usuário e o redesign do gráfico. Desta forma, a imagem do gráfico torna-se a única fonte para o seu redesing, sendo necessário um processo de extração das características desse gráfico, que de forma mais detalhada engloba as etapas de localização do gráfico na imagem, sua segmentação, classificação do tipo, extração dos dados e características visuais. A partir desses dados é possível melhorar o gráfico ou até mesmo propor um novo tipo de gráfico para representar os mesmos dados. Assim, esta proposta de tese propõe um modelo para reconhecimento, reconstrução e personalização de imagens de gráficos de dados que pode ser apresentada em diversos cenários, tais como: realidade aumentada, realidade virtual, dispositivos móveis, web, etc. Como resultados parciais, um protótipo inspirado nesse modelo será apresentado, tendo como cenário de uso o gráfico de barras. Em relação as tecnologias adotadas, destacam-se para segmentação e localização do gráfico na imagem digital a Mask R-CNN, uma rede neural convolucional que classifica e segmenta objetos em uma imagem, para extração dos dados são utilizados algoritmos de OCR para encontrar títulos e eixos, para identificação de contornos e características visuais para extração das informações das barras será utilizado OpenCV, para reconstrução e personalização dos gráficos são utilizadas a biblioteca de visualização da informação D3 e gramática de geração de gráficos VEGA. Por fim, para validação de cada etapa são utilizados métodos específicos, por exemplo, as etapas de localização do gráfico e segmentação faz uso do Mean Average Precision, métrica utilizada para precisão de detecção de objetos, a fase de extração de dados utiliza o Erro Absoluto Médio para comparar os gráficos reconhecidos com os dados originais para testar a precisão do método, e para fase de reconstrução e personalização será realizada uma avaliação qualitativa com usuários.