Novo módulo Model Evaluation do Aurora permite registrar, por organização, a tarefa, a métrica e o critério de aceite de uma avaliação antes do experimento, sem exibir resultados de desempenho.
O Aurora passou a oferecer um módulo para que gestores públicos de saúde, hospitais e equipes de TI registrem como um modelo de inteligência artificial será avaliado antes do início de um experimento. O Model Evaluation organiza protocolos por organização e exige a definição da tarefa, da métrica principal e do critério de aceite.
Na prática, o protocolo funciona como um plano prévio de avaliação. Ele pode indicar, por exemplo, se o modelo será analisado em uma tarefa de gravidade, diagnóstico, encaminhamento ou tipo de decisão. Também é possível escolher entre acerto na 1ª sugestão, acerto entre as 5 sugestões e F1 macro como métrica primária, além de informar um recorte específico da avaliação.
A nova tela permite criar, pesquisar, consultar, editar, homologar e arquivar protocolos. O registro tem estados de rascunho, homologado e arquivado. A plataforma também separa as permissões de visualização e gerenciamento: proprietários e gestores podem administrar os protocolos, enquanto usuários com perfil de consulta podem apenas visualizá-los.
O módulo não executa a avaliação e não guarda resultados de desempenho. Não há, nesta entrega, campo para pontuação, percentual, gráfico ou botão para rodar um experimento. A consequência prática comprovada é a formalização da decisão sobre o que será medido e qual condição deverá ser atendida antes que uma avaliação seja realizada.
Os protocolos são vinculados à organização responsável. Testes com duas organizações verificaram que um registro criado em uma delas não aparece nem pode ser editado pela outra. O sistema também permite que o mesmo identificador seja usado em organizações diferentes, sem misturar os registros.
Com a mudança, a etapa de definição dos critérios passa a ficar registrada no próprio Aurora, separada da medição de desempenho. A entrega, portanto, estrutura a governança do processo de avaliação, mas não apresenta evidência de que algum modelo tenha atingido um resultado específico.