Avaliação da experiência do usuário em Chatbots acadêmicos - uma análise comparativa dos métodos Attrakdiff, Think Aloud e Max

Abstract

Com o avanço das tecnologias de conversação, os Chatbots têm sido amplamente utilizados em diferentes contextos, incluindo o ambiente acadêmico. No entanto, a qualidade da experiência oferecida por esses sistemas ainda apresenta desafios, especialmente no que diz respeito à usabilidade e aceitação real pelos usuários. Este trabalho teve como objetivo avaliar a Experiência do Usuário (User Experience - UX) em chatbots acadêmicos, utilizando a triangulação de três técnicas específicas: AttrakDiff, Think Aloud e MAX. A pesquisa foi estruturada em três etapas: estudo bibliográfico, seleção e análise do Chatbot e realização de um experimento. O experimento contou com 6 participantes, que foram orientados a utilizar o chatbot Study Skills Coach AI e avaliá-lo por meio dos métodos AttrakDiff, Think Aloud e MAX. Os resultados revelaram uma dissonância entre a interface visual (UI) e a funcionalidade conversacional (UX). Enquanto os métodos AttrakDiff e MAX indicaram que a interface era considerada fácil de usar e visualmente agradável, o método Think Aloud diagnosticou que falhas técnicas (limite de caracteres) e respostas inadequadas geraram frustração e desejo de abandono pelo usuário. Conclui-se que a aplicação isolada de métodos quantitativos, como o AttrakDiff pode mascarar problemas graves de interação, tornando a triangulação com métodos qualitativos, como o Think Aloud, indispensável para o desenvolvimento de Chatbots eficazes.