Banca de DEFESA: JOAO CARLOS ALVES DOS SANTOS

Uma banca de DEFESA de DOUTORADO foi cadastrada pelo programa.
DISCENTE: JOAO CARLOS ALVES DOS SANTOS
DATA: 05/02/2016
HORA: 14:30
LOCAL: Auditório do Instituto de Tecnologia - ITEC
TÍTULO:

AVALIAÇÃO AUTOMÁTICA DE QUESTÕES DISCURSIVAS USANDO LSA

PALAVRAS-CHAVES:

LSA, Avaliação automática, questões discursivas, unigramas, bigramas

PÁGINAS: 120
GRANDE ÁREA: Engenharias
ÁREA: Engenharia Elétrica
RESUMO:

Este trabalho investiga o uso de um modelo LSA na avaliação automática de respostas curtas, com média de 25 a 70 palavras, de questões discursivas. Com o surgimento de ambientes virtuais de aprendizagem, pesquisas sobre correção automática tornaram-se mais relevantes, pois permitem a correção mecânica com baixo custo para questões abertas. Além disso, a correção automática permite um feedback instantâneo e elimina o trabalho de correção manual. Isto possibilita criar turmas virtuais com grande quantidade de alunos (centenas ou milhares). Pesquisas sobre avaliação automática de textos estão sendo desenvolvidas desde a década de 60, mas somente na década atual estão alcançando a acurácia necessária para o uso prático em instituições de ensino. Para que os usuários finais tenham confiança, o desafio de pesquisa é desenvolver sistemas de avaliação robustos e com acurácia próxima de avaliadores humanos. Apesar de alguns estudos apontarem nesta direção, existem ainda muitos pontos a serem explorados nas pesquisas. Um ponto é a utilização de bigramas com LSA, mesmo que não contribua muito com a acurácia, contribui com a robustez, pois considera a ordem das palavras dentro do texto. Buscandoaperfeiçoar um modelo LSA na direção de melhorar a acurácia e aumentar a robustez trabalhamos em quatro direções: primeira, incluímos bigramas de palavras de palavras no modelo LSA contra avaliadores humanos. Para avaliar os resultados comparamos a acurácia do sistema contra a acurácia de avaliadores humanos verificando o quanto o sistema se aproxima de um avaliador humano. Utilizamos um modelo LSA com cinco etapas: 1) Pré-Processamento, 2) Ponderação, 3) Decomposição a valores singulares, 4) Classificação e 5) Ajustes do Modelo. Para cada etapa explorou-se estratégias alternativas que influenciaram na acurácia final. Nos experimentos obtivemos uma acurácia de 84,94% numa avaliação comparativa contra especialistas humanos, onde a correlação da acurácia entre especialistas humanos foi de 84,93%. No domínio estudado, a tecnologia de avaliação automática teve resultados próximos aos dos avaliadores humanos mostrando que está alcançando um grau de maturidade para ser utilizada em sistemas de avaliação automática em ambientes virtuais de aprendizagem.

MEMBROS DA BANCA:
Presidente - 1152675 - ELOI LUIZ FAVERO
Externo à Instituição - GUSTAVO AUGUSTO LIMA DE CAMPOS
Externo ao Programa - 327875 - PAULO CERQUEIRA DOS SANTOS
Externo ao Programa - 1153554 - REGINA CELIA FERNANDES CRUZ
Interno - 246.579.052-87 - ROBERTO CELIO LIMAO DE OLIVEIRA - UFPA