Envenenando os corpora de sistemas de design de proteínas durante o pré-treinamento e recuperação

Os modelos de base proteica apoiam cada vez mais a geração de novas sequências biológicas, mas a sua dependência de grandes conjuntos de dados públicos cria oportunidades para a manipulação adversária do material com o qual aprendem e recuperam. Investigamos dois ataques de envenenamento apenas de dados contra sistemas de design de proteínas, visando o corpus de pré-treinamento de modelos de linguagem de proteínas autorregressivos e o corpus de recuperação de um gerador de proteínas guiado por texto.

Para o primeiro, pré-treinamos variantes ProtGPT2 e ProGen2 de 300 milhões de parâmetros, introduzindo sequências de proteínas envenenadas contendo um de dois gatilhos seguidos por uma de três cargas úteis. Em todas as execuções envenenadas, ambas as arquiteturas adquiriram geração dependente de gatilho altamente confiável sob cronogramas de envenenamento uniformes e acelerados.

Sob exposição aumentada, a primeira ativação majoritária ocorreu após apenas 200 amostras contaminadas, enquanto para o cronograma uniforme a primeira ativação ocorreu em torno de 5.000 amostras envenenadas. Para o segundo ataque, inserimos registros em um sistema de corpus de recuperação sem modificar seus pesos ou procedimento de decodificação.

Um único registro com reconhecimento de consulta capturou uma posição de recuperação entre os 16 primeiros para 58% das solicitações de modelo e 97% das solicitações de texto livre. Condicional à recuperação envenenada bem-sucedida, 62\% das solicitações produziram sequências alteradas, enquanto 19-21% adquiriram o domínio inserido por homologia de perfil-HMM.

Um ataque universal sem reconhecimento de consulta usando 1.500 registros também alcançou captura de recuperação e transferência de domínio substanciais. Nosso trabalho estabelece a integridade e a proveniência biológica dos dados de sequências de proteínas como salvaguardas críticas para sistemas generativos de design de proteínas.

Tanto indivíduos como organizações que trabalham com arXivLabs abraçaram e aceitaram nossos valores de abertura, comunidade, excelência e privacidade dos dados do usuário.

Fonte