UTILIZAÇÃO DE CHATBOTS DE MODELOS DE LINGUAGEM DE GRANDE ESCALA (LLM) NO CURSO DE ADMINISTRAÇÃO

INTRODUÇÃO: O projeto investigou a aplicação e a validação de chatbots baseados em Modelos de Linguagem de Grande Escala (LLM), como o ChatGPT, no curso de Administração. Na bibliometria foram identificados 5 clusters. Os resultados indicaram que a IA generativa pode personalizar o aprendizado, otimizar processos de ensino e apoiar a gestão acadêmica, mas também apresenta desafios éticos, como integridade acadêmica, vieses e uso responsável. OBJETIVOS: O objetivo deste estudo foi avaliar o desempenho de chatbots com IA generativa em provas do ENADE do curso de Administração. MATERIAIS E MÉTODO: A etapa de bibliometria foi conduzida na base Scopus, utilizando a string de busca “education AND (IA OR ‘Artificial Intelligence’)” em 15 de agosto de 2024. Inicialmente foram encontrados 30.259 documentos, filtrados primeiramente para o período de 2023 a 2024, resultando em 11.832 registros. Em seguida, restringiu-se a busca à área de Negócios, Gerenciamento e Contabilidade (693 documentos) e, posteriormente, apenas a artigos (316 registros). Por fim, aplicou-se o filtro de palavras-chave “ChatGPT”, “Chatbots” e “Chatbot”, obtendo 64 artigos finais. Os dados foram processados no software VOSviewer, por meio da técnica de coocorrência de palavras-chave com ocorrência mínima de dez vezes, permitindo a identificação de clusters temáticos e conexões relevantes entre as publicações, orientando a contextualização teórica do estudo.O teste com o questionário foi realizado a partir das edições de 2006, 2009, 2012, 2015, 2018 e 2022 do Exame Nacional de Desempenho dos Estudantes (ENADE) de Administração, considerando apenas as questões objetivas do componente específico. As questões foram classificadas nas áreas de Empreendedorismo, Estratégia, Ética, Finanças e Contábeis, Gestão de Pessoas, Marketing, Operações, Sistemas da Informação e Teoria Geral da Administração, com validação feita em conjunto com a equipe do projeto e o orientador. Nove ferramentas de inteligência artificial foram testadas — ChatGPT, Claude, Humata, Gemini, Grok, Maritaca, Perplexity, ChatPDF e YOU — por meio da inserção individual de cada questão, registrando-se as respostas em planilha para análise. Limitações técnicas, como a leitura de imagens em versões gratuitas, foram consideradas para evitar distorções, e a avaliação final foi feita a partir da taxa de acertos por área e no total, possibilitando a comparação de desempenho entre as IAs. RESULTADOS: Os resultados indicaram que a IA generativa pode personalizar o aprendizado, otimizar processos de ensino e apoiar a gestão acadêmica, mas também apresenta desafios éticos, como integridade acadêmica, vieses e uso responsável. No teste com nove ferramentas de IA, o ChatGPT e o Claude obtiveram melhor desempenho geral (80% de acertos), enquanto o Humata apresentou o pior resultado (33%). Questões de áreas humanas tiveram maior acurácia do que as de exatas, especialmente quando envolviam interpretação de imagens. CONSIDERAÇÕES FINAIS: O estudo conclui que a adoção da IA na educação deve equilibrar inovação tecnológica e responsabilidade ética, reforçando o papel do pensamento crítico e da interação humana.

PALAVRAS-CHAVE: ChatGPT; Claude; ENADE; LLM.