O Aurora passou a ter catálogo, prévia e importação de datasets públicos e privados do Hugging Face, com validação de formato, limites de volume, revisão de licenças e processamento em fila.
O Aurora passou a ter um fluxo para catalogar e importar conjuntos de dados do Hugging Face, plataforma que reúne repositórios de modelos e datasets de inteligência artificial. A mudança interessa a gestores públicos de saúde, hospitais e equipes de TI porque concentra a seleção, a validação e o acompanhamento da entrada de dados em uma infraestrutura soberana de IA para saúde pública.
O novo fluxo permite consultar datasets públicos e, quando a integração privada está habilitada, repositórios que exigem credencial. A equipe pode visualizar detalhes e uma prévia, escolher a configuração e as divisões do conjunto — partes como “treino” e “teste” — e acompanhar a importação por status. O código também prevê cancelamento, repetição de tentativas e consulta da cota de armazenamento da organização.
Antes de entrar na fila, a seleção é validada. O Aurora fixa a revisão do repositório consultado e verifica os arquivos declarados pelo dataset. São aceitos arquivos Parquet, JSONL e CSV, formatos usados para representar dados tabulares e registros estruturados. A implementação estabelece limites de 5.368.709.120 bytes para os dados de origem, 5.368.709.120 bytes para a saída e 5 milhões de linhas por seleção.
Os arquivos processados são convertidos para JSONL canônico. Nessa etapa, o sistema padroniza textos, datas e alguns tipos numéricos, rejeita conteúdo binário e calcula um checksum SHA-256, código que permite verificar a integridade do resultado. O processamento ocorre em uma fila separada, com atualização de progresso e estados como resolução, download, normalização, ingestão e conclusão.
A governança de licença é parte do fluxo. Licenças incluídas na lista de aprovação automática podem seguir adiante; as demais são encaminhadas para revisão. Enquanto aguardam a decisão, as importações permanecem fora da fila de processamento. O sistema também registra a decisão e permite aprovar ou rejeitar a solicitação.
Para repositórios privados, o Aurora prevê credenciais vinculadas à organização. O token precisa ser de leitura, é armazenado de forma cifrada e pode ser testado, revogado e submetido a rotação de chave. As operações de integração e importação também são registradas em auditoria.
O commit não informa clientes, data de disponibilidade geral, volume efetivamente importado ou uso de um dataset específico em atendimento de saúde. Ele prova a criação do fluxo técnico e das regras de controle, não resultados clínicos ou ganhos de desempenho.