Banca de DEFESA: SILVERIO SIROTHEAU CORREA NETO

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE: SILVERIO SIROTHEAU CORREA NETO
DATA: 14/02/2020
HORA: 09:00
LOCAL: Lab Comp 02
TÍTULO:

AVALIAÇÃO AUTOMÁTICA DE TEXTOS BASEADA EM ATRIBUTOS LINGUÍSTICOS EM QUATRO DIMENSÕES: LÉXICOS, SINTÁTICOS, CONTEÚDO E DE COERÊNCIA

PALAVRAS-CHAVES:

avaliação automática, questões discursivas, redações, atributos linguísticos, n-gramas, análise semântica latente

PÁGINAS: 132
GRANDE ÁREA: Ciências Exatas e da Terra
ÁREA: Ciência da Computação
SUBÁREA: Sistemas de Computação
ESPECIALIDADE: Arquitetura de Sistemas de Computação
RESUMO:

Contexto: Juntamente com o desenvolvimento da educação a distância surgem ambientes virtuais com métodos de avaliação automática de exercícios. Gap: Neste contexto, dada a relevância das questões discursivas no processo avaliativo, emerge a demanda para avaliadores automáticos para esse tipo de questão. Na literatura já encontramos resultados promissores de avaliadores automáticos de questões discursivas para língua Inglesa. Objetivo: Esta pesquisa foca na avaliação automaticamente respostas discursivas, respostas curtas (até um parágrafo) e redações (mais de um parágrafo) na língua portuguesa.  Material: Nos experimentos utilizamos: 192 respostas curtas de Filosofia oriundas de uma plataforma virtual de ensino; 131 e 229 respostas curtas de Biologia e de Geografia de um processo seletivo para ingresso no ensino superior, respectivamente; 1000 redações de um processo seletivo para ingresso em concurso público, de nível técnico. Método: A abordagem baseada em técnicas de aprendizagem de máquina segue uma arquitetura de pipeline com cinco passos: seleção de corpus, pré-processamento, coleta de atributos, modelo preditivo e avaliação. No pré-processamento exploramos técnicas de limpeza/normalização, stemmer e remoção de stop word. Na coleta de atributos exploramos características linguísticas em quatro dimensões: léxicos, sintáticos, conteúdo e de coerência. Coletamos e avaliamos mais de 140 atributos. Para gerar o escore de cada resposta utilizamos o classificador Random Forest. Resultado: Como resultado para a prova de Biologia e de Geografia, respectivamente, o sistema alcançou um índice Kappa quadrático (KQ) de 0.82 e 0.86 (Sistema versus Humano - SxH), contra 0.94 e 0.85 (Humano versus Humano - HxH). Para as redações obtivemos um índice KQ de 0.68 SxH contra HxH de 0.56. Assim tanto para respostas curtas (em parte) como para redações conseguimos superar o índice de concordância obtido entre dois avaliadores humanos. Contribuição: Este estudo mostra que esta tecnologia está alcançando maturidade para ser utilizadas com grandes vantagens nos ambientes virtuais de ensino: baixo custo, feedback imediato, libera o professor do trabalho de correção e atende grandes turmas.

MEMBROS DA BANCA:
Presidente - 1152675 - ELOI LUIZ FAVERO
Interno - 2378314 - JEFFERSON MAGALHAES DE MORAIS
Interno - 2659210 - NELSON CRUZ SAMPAIO NETO
Externo ao Programa - 1911222 - TASSIO COSTA DE CARVALHO
Externo à Instituição - LEONEL FIGUEIREDO DE ALENCAR ARARIPE