A framework for planning controlled experiments in educational chatbot research

Abstract

Chatbots são sistemas de software desenvolvidos para interagir com humanos em linguagem natural. Eles têm sido estabelecidos para atender diferentes domínios e afinidades. Em particular, quando criados com propósitos educacionais, são capazes de resolver dúvidas frequentes de alunos, avaliar o aprendizado, treinar habilidades linguísticas, entre outros. Apesar de serem estabelecidos com tais objetivos, ainda não existe um entendimento concreto acerca dos efeitos produzidos pelo uso desse sistema. Por exemplo, ainda não está claro como os chatbots podem ampliar o conhecimento dos alunos sobre temas e conteúdos específicos e em quais condições isso ocorre. Experimentos controlados estão sendo elaborados pela comunidade científica, com o propósito de entender tais efeitos. Todavia, esses estudos experimentais carecem de maior rigor metodológico, uma vez que as falhas encontradas em tais estudos põem em risco sua validade. Portanto, mecanismos de apoio que auxiliem pesquisadores a promover a validade desses experimentos são necessários. Nesta tese, um framework experimental foi estabelecido com a intenção de apoiar pesquisadores a planejar experimentos controlados sobre chatbots educacionais e ampliar a validade dos experimentos. Este framework inclui (i) diretrizes que indicam as atividades que o pesquisador precisa realizar para definir um experimento controlado; (ii) um catálogo de variáveis que possibilita ao pesquisador ter uma visão geral sobre variáveis do domínio, que podem ser selecionadas, manipuladas e mensuradas em um experimento sobre esse tipo de software; (iii) uma ferramenta web para disponibilizar frameworks experimentais. Em particular, almeja-se ampliar a validade de constructos. Estudos foram realizados para compreender se o framework experimental ajuda os pesquisadores a definir design de experimentos com uma menor incidência de ameaças à validade, ao mesmo tempo que esclarecem sobre a viabilidade dos artefatos. Como resultado principal da pesquisa, constatou-se que o framework reduz a presença de viés de um único método nos designs experimentais.

Ähnliche Arbeiten