Framework para Avaliação de Gamificação em Engenharia de Software
Gamificação, Avaliação, Engenharia de Software
A gamificação tem sido usada para motivar e envolver os participantes nas atividades de ensino e prática de engenharia de software. Existe uma demanda significativa por estudos empíricos para a compreensão dos impactos e da eficácia da gamificação (Jiang, 2015; Souza et al., 2018; Klock et al., 2018). No entanto, a falta de procedimentos e modelos padronizados para a avaliação da gamificação é um desafio ao planejamento, à comparação e ao relato de resultados relacionados à avaliação das abordagens de gamificação.
O objetivo desta pesquisa é elaborar um frameworkpara avaliação de gamificação do ensino e da prática de engenharia de software. Para atingir esse objetivo, é realizado um estudo de mapeamento sistemático da literatura para investigar estratégias de avaliação da gamificação no contexto da engenharia de software. 100 estudos primários sobre gamificação em engenharia de software foram selecionados (de 2011 a 2020). Os estudos são categorizados quanto à presença de procedimentos ou modelos de avaliação para a avaliação da gamificação, a finalidade da avaliação, os critérios utilizados, o tipo de dados, instrumentos e procedimentos de análise de dados.
Os resultados do mapeamento sistemático foram revisados para analisar as etapas e as informações genéricas, presentes na maioria dos estudos primários. Para avaliação do frameworkpara avaliação da gamificação deve-se aplicar mais de uma prova de conceito, instanciando o frameworkgenérico com as informações presentes em 3 estudos primários que apresentam procedimentos de avaliação da gamificação. Além disso, espera-se aplicar uma revisão por pares e um estudo de caso.
Os resultados do mapeamento sistemático da literatura mostram que 64 estudos relatam procedimentos para avaliação da gamificação. No entanto, apenas três estudos propõem modelos de avaliação para gamificação. Observa-se que a avaliação da gamificação foca em dois aspectos: a avaliação da própria estratégia de gamificação, relacionada à experiência e percepções do usuário; e a avaliação dos resultados e efeitos da gamificação em seus usuários e contexto. Os critérios mais recorrentes para a avaliação são “engajamento”, “motivação”, “satisfação” e “desempenho”. Finalmente, a avaliação da gamificação requer uma combinação de dados subjetivos e objetivos e abordagens de análise de dados qualitativos e quantitativos. Dependendo do foco da avaliação (a estratégia ou os resultados), há um predomínio de um tipo de dados e análises.
A revisão dos resultados do mapeamento sistemático mostrou que os três estudos que propõem modelos de avaliação para gamificação requerem o planejamento da abordagem gamificada usando um frameworkde gamificação. Descobriu-se também que, apesar dos estudos serem independentes, há etapas comuns de avaliação. Por fim, foi possível identificar as entidades e os relacionamentos genéricos que representam os dados sumarizados no mapeamento sistemático da literatura.
É desejável que, com a prova de conceito, a revisão por pares, e o estudo de caso, seja possível verificar a adequação das entidades genéricas e, em caso de inadequação, redesenhar a estrutura de dados que representam essas entidades, e assim elas representem o estado-da-arte da avaliação da gamificação no contexto estudado. Espera-se também que a quantidade de correções vá diminuindo conforme mais provas de conceito sejam executadas.