AVALIAÇÃO AUTOMÁTICA DE TEXTOS BASEADA EM ATRIBUTOS LINGUÍSTICOS EM QUATRO DIMENSÕES: LÉXICOS, SINTÁTICOS, CONTEÚDO E DE COERÊNCIA
avaliação automática, questões discursivas, redações, atributos linguísticos, n-gramas, análise semântica latente
Contexto: Juntamente com o desenvolvimento da educação a distância surgem ambientes virtuais com métodos de avaliação automática de exercícios. Gap: Neste contexto, dada a relevância das questões discursivas no processo avaliativo, emerge a demanda para avaliadores automáticos para esse tipo de questão. Na literatura já encontramos resultados promissores de avaliadores automáticos de questões discursivas para língua Inglesa. Objetivo: Esta pesquisa foca na avaliação automaticamente respostas discursivas, respostas curtas (até um parágrafo) e redações (mais de um parágrafo) na língua portuguesa. Material: Nos experimentos utilizamos: 192 respostas curtas de Filosofia oriundas de uma plataforma virtual de ensino; 131 e 229 respostas curtas de Biologia e de Geografia de um processo seletivo para ingresso no ensino superior, respectivamente; 1000 redações de um processo seletivo para ingresso em concurso público, de nível técnico. Método: A abordagem baseada em técnicas de aprendizagem de máquina segue uma arquitetura de pipeline com cinco passos: seleção de corpus, pré-processamento, coleta de atributos, modelo preditivo e avaliação. No pré-processamento exploramos técnicas de limpeza/normalização, stemmer e remoção de stop word. Na coleta de atributos exploramos características linguísticas em quatro dimensões: léxicos, sintáticos, conteúdo e de coerência. Coletamos e avaliamos mais de 140 atributos. Para gerar o escore de cada resposta utilizamos o classificador Random Forest. Resultado: Como resultado para a prova de Biologia e de Geografia, respectivamente, o sistema alcançou um índice Kappa quadrático (KQ) de 0.82 e 0.86 (Sistema versus Humano - SxH), contra 0.94 e 0.85 (Humano versus Humano - HxH). Para as redações obtivemos um índice KQ de 0.68 SxH contra HxH de 0.56. Assim tanto para respostas curtas (em parte) como para redações conseguimos superar o índice de concordância obtido entre dois avaliadores humanos. Contribuição: Este estudo mostra que esta tecnologia está alcançando maturidade para ser utilizadas com grandes vantagens nos ambientes virtuais de ensino: baixo custo, feedback imediato, libera o professor do trabalho de correção e atende grandes turmas.