Persona especialista em contabilidade: desempenho da inteligência artificial em questões do exame de suficiência

Abstract

Esta pesquisa teve como objetivo propor uma persona especialista em contabilidade, criada no modelo GPT-4 do ChatGPT, para responder questões do Exame de Suficiência em Contabilidade no Brasil. Para isso, treinou-se uma persona do ChatGPT denominada “CFC Especialista”, usando 289 questões das edições de 2020.1 a 2022.2. Durante o treinamento, as respostas incorretas fornecidas pelo modelo foram corrigidas imediatamente, visando maximizar seu desempenho nas questões de teste, que totalizaram 150 questões das edições de 2023.1 a 2024.1. Como resultado, o CFC Especialista obteve uma taxa média de acerto de 81% por conteúdo, com desempenho de 91% nas questões do tipo "Texto" (72 de 79) e 64% nas questões do tipo "Cálculo" (46 de 71). Dessa forma, este estudo não apenas contribui para pesquisas anteriores ao aprofundar a compreensão sobre o desempenho do ChatGPT nas questões dos Exames de Suficiência em Contabilidade por meio de um treinamento específico, mas também para a inovação do ensino e aprendizado com o uso da inteligência artificial na educação contábil.