Avaliação da experiência do usuário em Chatbots acadêmicos - uma análise comparativa dos métodos Attrakdiff, Think Aloud e Max - Lima, Erik David da Silva (Departamento de Ciências Exatas e Tecnologia da Informação, 2025)
Com o avanço das tecnologias de conversação, os Chatbots têm sido amplamente utilizados em diferentes contextos, incluindo o ambiente acadêmico. No entanto, a qualidade da experiência oferecida por esses sistemas ainda apresenta desafios, especialmente no que diz respeito à usabilidade e aceitação real pelos usuários. Este trabalho teve como objetivo avaliar a Experiência do Usuário (User Experience - UX) em chatbots acadêmicos, utilizando a triangulação de três técnicas específicas: AttrakDiff, Think Aloud e MAX. A pesquisa foi estruturada em três etapas: estudo bibliográfico, seleção e análise do Chatbot e realização de um experimento. O experimento contou com 6 participantes, que foram orientados a utilizar o chatbot Study Skills Coach AI e avaliá-lo por meio dos métodos AttrakDiff, Think Aloud e MAX. Os resultados revelaram uma dissonância entre a interface visual (UI) e a funcionalidade conversacional (UX). Enquanto os métodos AttrakDiff e MAX indicaram que a interface era considerada fácil de usar e visualmente agradável, o método Think Aloud diagnosticou que falhas técnicas (limite de caracteres) e respostas inadequadas geraram frustração e desejo de abandono pelo usuário. Conclui-se que a aplicação isolada de métodos quantitativos, como o AttrakDiff pode mascarar problemas graves de interação, tornando a triangulação com métodos qualitativos, como o Think Aloud, indispensável para o desenvolvimento de Chatbots eficazes.
User experience evaluation in academic Chatbots - a comparative analysis of the Attrakdiff, Think Aloud, and Max methods
Keywords: CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::SISTEMAS DE INFORMACAO; Experiência do usuário; Chatbots; Avaliação de usabilidade; User experience; Usability evaluation