Qual é a explicação formal para que um modelo adversário como um ataque de um pixel funcione contra a rede neural?

Esta é motivada por uma resposta e seus comentários: Qual é a explicação formal de porque o modelo adversário como um ataque de um pixel funciona contra a rede neural?.

Não vejo isso como whack-a-mole, tanto, embora isso tenha uma boa conexão de jogo que eu usei. Eu gosto de pensar em uma bola enorme (de praia?). Começando pequeno, vamos dizer que é um monte de remendos (pegue algum diâmetro enorme para a bola com o número apropriado de remendos) unidos para que ela possa rolar. Temos visto coisas enormes de plástico que as pessoas tentam empurrar em direção a algum objeto. Mas, sempre correu mal. Bem, considere os carros alegóricos do Dia de Ação de Graças e as cordas de corda (e pessoas) necessárias para manter um a andar na estrada.

Então, há um par (ou mais) de coisas que são interessantes. Fazer com que a bola se mova em algum terreno (abaixo). Além disso, suponha que vaze, então uma pessoa está correndo ao redor da coisa tentando pará-los. Conserta uma, e outra salta para fora (pessoas pequenas com os dedos nos buracos dos diques). Ou, pode-se pensar em empurrar um recheio de volta para dentro. De qualquer forma, o motivo é evitar que a coisa deflacione.

Que é o que está acontecendo nos reinos mais altos, de onde eu sento. A estrutura (pode ser caracterizada de várias formas) está a colapsar. Ou seja, no lado da bola das coisas onde há dificuldade. Também, no entanto, surgem problemas sobre para onde a bola está se movendo.

Estes são como dois aspectos (na verdade, é muito mais variado) da verdade. O nosso problema, combina o movedor com a jogada. Isso não pode ser feito, na maioria das vezes. Se feito, é mais sorte do que não (da minha perspectiva). Ou, altamente situacional onde não sabemos por que algum planalto de estabilidade pode ter sido atingido.

O planalto desapareceu ou o movedor caiu? Basicamente, o problema do ovo de galinha.

BTW, encurtando-o. Eu quero argumentar que as pessoas no loop podem realmente ajudar com um teste de 'cheiro' (a ser definido). Podemos aprender a levantar informações suficientes para avaliação, com a atitude apropriada. Os computadores não podem sair da vertigem (a ser definida - tínhamos um uso que fazia sentido). Nem os humanos, muito francamente.

O que temos nós? Eons e eons de experiência. Mas, nós não estamos na inteligência, sozinhos. É muito arrogante da nossa parte ignorarmos os nossos primos, os animais. Então, ignorar completamente o que outras bioformas podem trazer é míope.

O colapso mencionado acima? Pense no que nós passamos nos nossos anos de formação. Sim, auto-refletir antes de nos precipitarmos para o espaço digital. Na verdade, considere até os problemas que os adultos enfrentam; não é preciso muito para colocar alguém fora de serviço. Na verdade, muitas mentes talentosas têm trabalhado para afinar essa mesma coisa.

Uma boa metáfora? Pegue qualquer coisa. Como uma árvore. Anos de crescimento. Pode ser demolido em questão de minutos.

No reino virtual, estamos construindo (tentando construir) 'estruturas' usando ferramentas não destinadas a isso. Por uma razão, a intuição foi jogada fora. Mas, isso é parte da discussão filosófica necessária que foi deixada sem supervisão.

Da visão deste velhote, estamos vendo pistas de instabilidade séria. A existência de evidências de que 1-pixel (no sentido de perturbação) é suficiente para causar estragos indica esse tipo de coisa. Mas, é muito pior, pessoal, do que nós percebemos.