From potential to practice

: evaluating AI grading models against human standards on Artificial Owl’s platform

Resumo

A inteligência artificial está a ganhar espaço na educação, mas o seu papel na avaliação continua controverso. Embora a automação prometa eficiência e consistência, subsistem dúvidas sobre se a IA consegue replicar os avaliadores humanos com precisão e justiça. Esta dissertação avalia o desempenho de três modelos de correção da plataforma Artificial Owl: Aditivo, Dedutivo e Torneio, aplicados a respostas do exame nacional de Português de 2024 (Prova 85). A análise incide sobre duas questões de resposta aberta com estruturas distintas: a Q7, uma tarefa curta e categórica com critérios rígidos, e a Q19, um ensaio com critérios multidimensionais. Os modelos foram comparados com classificações humanas através de correlação, erro absoluto médio e métricas de concordância. Os resultados revelam que os modelos absolutos, Aditivo e Dedutivo, se aproximaram mais das classificações humanas do que o modelo relativo de Torneio. A precisão foi superior na Q19 do que na Q7, sugerindo que respostas mais longas oferecem sinais mais ricos, enquanto tarefas de corte estrito expõem limitações da IA. De forma geral, a ordenação das respostas mostrou-se mais fiável do que a reprodução de notas exatas, sublinhando a importância das grelhas de correção e de uma lógica avaliativa semelhante à humana. O estudo posiciona a IA como ferramenta de apoio promissora, especialmente para ordenação e feedback formativo, e conclui com recomendações para sistemas híbridos humano-IA e para o desenvolvimento de uma plataforma colaborativa de correção pela Artificial Owl.

Data de atribuição	15 out. 2025
Idioma original	English
Instituição de premiação	Universidade Católica Portuguesa
Supervisor	Rute Xavier (Supervisor)