Um bot de IA que faz nus falsos de mulheres está prosperando no Telegram

Um bot de IA que faz nus falsos de mulheres está prosperando no Telegram

Com o poder da tecnologia, as maiores mentes do mundo têm a capacidade de realizar quase tudo. Mas, enquanto alguns trabalham para tornar a vida mais fácil para aqueles com deficiência, ou para ajudar a acabar com uma pandemia global, outros estão focados em uma causa menos nobre: ​​abusar e objetificar as mulheres.



Um programador anônimo lançou um aplicativo chamado DeepNude no ano passado, que usava tecnologia deepfake para remover roupas de fotos de mulheres. É descrito como oferecendo o superpoder que você sempre quis, permitindo aos usuários fazer upload de fotos de mulheres (a tecnologia não funcionava em homens) que, então, despir e se transformar em nus falsos críveis. Custou US $ 50 para baixar em várias lojas de aplicativos.

O aplicativo foi colocado off-line poucas horas depois por seu criador, com um retrocesso bizarro. Não queremos ganhar dinheiro desta forma, escreveram em uma afirmação . O mundo ainda não está pronto para DeepNude.

Um ano depois, o aplicativo cresceu exponencialmente em popularidade e uso. O software foi descoberto no Telegram, onde foi empregado como parte de um 'ecossistema deepfake', no qual mais de 104.000 nus falsos de mulheres foram criados. O ecossistema gira em torno de um bot de IA que gera nus a pedido, enviando galerias de novas imagens para dezenas de milhares de assinantes a cada dia. Os membros do bate-papo podem fazer solicitações específicas ao bot em seus grupos de mensagens. Acredita-se que algumas das fotos retratam meninas menores de idade.



Sensity, uma empresa de detecção de deepfake, publicou suas descobertas sobre esta questão em outubro. Em conversa com Dazed, Giorgio Patrini, CEO da empresa e cientista-chefe, disse: Não observamos a tecnologia DeepNude incorporada em um bot de sala de chat antes, com seu potencial dramático para acessibilidade do usuário e escala de produção. Na verdade, este é singularmente o maior incidente desse tipo para o número de vítimas.

Os pesquisadores relatam que o número de nus falsos no Telegram cresceu 198% entre abril e junho de 2020. Esta estatística está de acordo com as notícias de que a pornografia de vingança estava aumentando durante o bloqueio, com casos de abuso de imagem íntima aumentando em 22% este ano. Em seu relatório, Sensity abordou a ameaça mais ampla de que imagens 'despojadas' de indivíduos possam ser compartilhadas em canais privados ou públicos além do Telegram como parte de ataques públicos baseados em extorsão ou vergonha.



Embora a Sensity estime que mais de 104.000 mulheres foram visadas pelo bot, o número real provavelmente será muito maior. Isso se deve à simplicidade da tecnologia. Para gerar um nu falso, todos os usuários devem enviar uma mensagem de texto com a imagem escolhida ao bot, que enviará uma imagem sem roupa de volta, gratuitamente. Essas fotos são então compartilhadas com canais afiliados do Telegram. Uma pesquisa anônima conduzida em um desses canais descobriu que 70 por cento dos usuários eram da Rússia, Ucrânia, Bielo-Rússia, Cazaquistão e países da ex-URSS; muitos disseram que descobriram o bot da rede de mídia social russa VK.

Nenhuma intervenção ou retirada ocorreu, e, com isso, não sabemos quem ainda hoje pode possuir ou ter compartilhado as imagens criadas pelo bot - Giorgio Patrini, Sensity

Apesar de divulgar suas descobertas há quase dois meses, a Sensity diz que nunca recebeu uma resposta do Telegram. Esses canais ainda estão ativos na plataforma, continua Patrini, embora a maioria agora esteja evitando anunciar abertamente o bot ou suas criações. Porém, o mais importante é que o próprio bot ainda está funcionando como antes. Nenhuma intervenção ou retirada ocorreu, e, com isso, não sabemos quem ainda hoje pode possuir ou ter compartilhado as imagens criadas pelo bot.

Vários grupos mudaram seus nomes para evitar serem identificados, enquanto outros canais desapareceram completamente ou tiveram as imagens de nudez compartilhadas neles removidas. Conforme relatado por WIRED , no final de outubro, o bot se tornou inacessível no iPhone e iPads, o que mostrou uma mensagem de erro dizendo que ele violava as diretrizes da Apple.

Patrini diz que o bot tem conseguido prosperar especificamente no Telegram devido à plataforma permitir facilmente a integração de bots e outras automações em suas salas de chat, explicando que o principal motivo é técnico.

Embora ele acredite que você pode atualmente distinguir os nus falsos dos nus reais, Patrini declara que isso não vai durar muito. A tecnologia está melhorando e se tornando mercantilizada em um ritmo acelerado, ele continua. Você não precisa ser um pesquisador de aprendizado de máquina para operá-lo; o software é de código aberto e vem com tutoriais e grandes comunidades de desenvolvedores.

O processo de nus falsos sendo disseminado no Telegram peloBot de IAVia Sensity

Os possíveis ganhos associados a esse tipo de tecnologia deepfake também podem estar estimulando mais pessoas a abusar dela. As pessoas estão ficando engenhosas em entender como a tecnologia deepfake pode se transformar em uma oportunidade de negócio, com uma conotação legítima ou ilícita, explica Patrini. Por exemplo, o bot em nossa investigação está monetizando, fornecendo aos usuários pagos uma criação mais rápida de imagens sem nenhuma marca d'água neles.

No entanto, à medida que o software deepfake melhora, o mesmo ocorre com a tecnologia de detecção. Patrini afirma que a tecnologia de detecção terá um papel mais fundamental no futuro, ajudando-nos a entender o que vemos e a descobrir automaticamente deepfakes online. Como as mulheres aparecem em 96 por cento de todos os vídeos falsos, a tecnologia preventiva e reativa para impedir a criação dessas fotos e vídeos é vital na luta contínua pela igualdade de gênero.

Este é um problema que infelizmente afetará cada um de nós como particulares, conclui Patrini. Nossos traços faciais podem ser roubados e reaproveitados em material visual que ataca nossa reputação e podem ser transformados em armas para humilhação pública, chantagem ou extorsão.

É importante que cada um de nós esteja ciente de que qualquer imagem ou vídeo que postarmos online pode ser visível para todo o mundo e que podem estar sendo usados ​​por malfeitores.