Da engenharia de prompts à mediação pedagógica: avaliação formativa em tempo real com a plataforma EducAI

Resumo

A elaboração de avaliações diversificadas, contextualizadas e coerentes com os objetivos de aprendizagem é uma das atividades mais trabalhosas do ensino superior, pois exige itens fiéis ao conteúdo, com distratores plausíveis e diferentes níveis cognitivos. A difusão dos modelos de linguagem de grande porte abriu a possibilidade de automatizar parte dessa tarefa, mas trouxe desafios relativos à fidelidade factual, à qualidade pedagógica dos itens e ao risco de deslocamento do docente de sua função de curadoria. Este artigo objetiva relatar a concepção, a evolução e a aplicação da plataforma EducAI, ferramenta web que utiliza inteligência artificial generativa para produzir questões inéditas e comentadas a partir de materiais didáticos anexados em PDF ou de temas definidos pelo usuário. Trata-se de relato de caráter exploratório, centrado no processo, e não na mensuração de eficácia ou na validação da plataforma. São descritas as decisões de arquitetura: aplicação reunida em contêiner único, com backend em Python e interface de página única, geração delegada a um modelo acessado por API externa e organização em três perfis de uso --- estudante, monitor e docente ---, com recursos e permissões distintos. A extração de conteúdo é híbrida, combinando leitura estruturada de documentos nativos e reconhecimento óptico de caracteres para slides e digitalizações; o sistema oferece quatro modos de geração, diferentes formatos de item, estilos de exames brasileiros e associação entre dificuldade e Taxonomia de Bloom revisada, com possibilidade de fixar o nível cognitivo de forma independente. Detalha-se também a evolução da engenharia de prompts, tratada como artefato de software versionável e testável: das primeiras versões, com regras textuais diretas para evitar vícios recorrentes da geração automática, à incorporação de rubricas analíticas para questões abertas e, posteriormente, a uma arquitetura com persona fixa de elaborador de itens, separação entre dificuldade e nível cognitivo, distratores concebidos como diagnósticos e bases de conhecimento estruturadas acionadas de forma seletiva. Complementam esse percurso decisões voltadas à robustez e ao desempenho, como parser tolerante a saídas malformadas, mecanismos de autocorreção, balanceamento da posição do gabarito e paralelização de chamadas. A experiência ocorreu entre 2025 e 2026, no âmbito de um edital de inovação pedagógica da Universidade de Pernambuco, em componentes curriculares e na monitoria de um curso da área da saúde, com encontros presenciais integrados às atividades regulares e sessões em que as questões eram projetadas para discussão coletiva antes da apresentação do gabarito comentado. Nos contextos acompanhados, a geração de questões em tempo real integrou-se às aulas como apoio à discussão, enquanto o uso extraclasse permaneceu pontual e variou conforme a preferência dos docentes; como não houve registro sistemático de frequência por modalidade, essa diferença é tratada como aprendizado contextual, e não como comparação de efetividade. Ao longo do desenvolvimento, percepções exploratórias de docentes e estudantes orientaram ajustes sucessivos na ferramenta, apontaram distratores ambíguos e limites na gradação de dificuldade e reforçaram a importância da revisão docente, sem finalidade de mensurar aprendizagem, eficácia ou usabilidade validada. Conclui-se que, nos contextos acompanhados, a geração automatizada de questões adquiriu sentido formativo quando associada à mediação e à validação docente, e que tratar a engenharia de prompts como componente de software sujeito a versionamento e a teste torna as decisões mais rastreáveis, sem garantir, por si só, a qualidade pedagógica.