AIMIP Fase 1: Avaliação Sistemática de Modelos Meteorológicos e Climáticos de Inteligência Artificial

A metodologia da Fase 1 do AIMIP exige que os modelos sejam treinados exclusivamente com dados históricos de reanálise, estabelecendo uma base comum para a aprendizagem e evitando vieses decorrentes de diferentes conjuntos de treinamento. Essa abordagem permite uma avaliação mais justa e direta das capacidades intrínsecas de cada modelo de IA. A padronização do experimento e dos formatos de dados de saída é crucial para facilitar a colaboração e a análise comparativa entre os diversos participantes, promovendo um ambiente de pesquisa transparente e replicável.

O principal objetivo do AIMIP Fase 1 é identificar as diferenças nas estruturas de modelagem e nas escolhas arquitetônicas de inteligência artificial que impactam diretamente o comportamento e a performance dos modelos. Ao analisar essas variações, busca-se compreender melhor como as decisões de design influenciam a capacidade preditiva e a representação dos processos atmosféricos. Além disso, o projeto visa construir confiança nos modelos meteorológicos e climáticos baseados em IA, promovendo a avaliação por meio de dados abertos e metodologias transparentes, o que é essencial para a sua aceitação e aplicação em contextos científicos e operacionais.

Especificamente, os modelos participantes da Fase 1 do AIMIP são encarregados de simular a atmosfera terrestre, utilizando como entrada as temperaturas históricas da superfície do mar (TSM) para o período compreendido entre 1979 e 2024. Esta janela temporal foi cuidadosamente selecionada para abranger uma gama significativa de condições climáticas e eventos meteorológicos, permitindo uma avaliação robusta da capacidade dos modelos em reproduzir a dinâmica atmosférica sob diferentes cenários de TSM. A precisão na simulação dessas interações é um indicador chave da maturidade e aplicabilidade dos modelos de IA no campo da climatologia e meteorologia.

A avaliação do desempenho dos modelos é realizada com base em cinco critérios principais e rigorosos. Estes incluem a análise de vieses sistemáticos, a identificação de tendências climáticas reproduzidas pelos modelos, e a capacidade de resposta a anomalias de temperatura da superfície do mar, particularmente aquelas associadas a eventos como o El Niño. Adicionalmente, são examinadas a variabilidade temporal simulada e a performance em testes de generalização fora da amostra, que avaliam a robustez dos modelos em cenários não utilizados durante o treinamento. Esses critérios fornecem uma visão abrangente da acurácia e confiabilidade dos modelos de IA.

Para fomentar a transparência e a colaboração científica, o conjunto de dados completo da Fase 1 do AIMIP foi disponibilizado publicamente. Esta iniciativa permite que a comunidade científica realize avaliações adicionais e independentes, contribuindo para a validação e o aprimoramento contínuo dos modelos de inteligência artificial aplicados à meteorologia e climatologia. A acessibilidade a esses dados é fundamental para acelerar o progresso na área e garantir que os avanços sejam amplamente verificáveis e utilizáveis.