Desde o início de 2020, a inteligência artificial (IA) tem desempenhado um papel preocupante no aumento do uso de deepfakes em plataformas como o Telegram. Naquele ano, o especialista em deepfakes Henry Ajder descobriu um dos primeiros bots criados para “despir” fotos de mulheres, utilizando IA para gerar imagens explícitas não consensuais. Essa descoberta revelou os perigos crescentes dessa tecnologia, que desde então se tornou mais prevalente, fácil de produzir e extremamente danosa.
Telegram e os Bots de Deepfake
Recentemente, uma revisão da WIRED em comunidades do Telegram dedicadas ao conteúdo explícito não consensual identificou pelo menos 50 bots que afirmam gerar fotos ou vídeos explícitos de pessoas com apenas alguns cliques. Esses bots variam em suas capacidades, com muitos alegando “remover roupas” de fotos, enquanto outros prometem criar imagens de pessoas em atos sexuais. Esses bots operam em uma interface simples e acessível, facilitando o uso dessas tecnologias para fins abusivos.
O Alcance dos Bots de Deepfake no Telegram
De acordo com a análise da WIRED, os 50 bots no Telegram listam um total de mais de 4 milhões de “usuários mensais” combinados. Dois dos bots têm mais de 400.000 usuários mensais, e outros 14 têm mais de 100.000 membros. Esses números mostram a extensão do problema e reforçam o papel do Telegram como um dos principais locais onde essas ferramentas de criação de deepfakes explícitos podem ser encontradas. O que foi identificado representa apenas uma pequena parte do ecossistema mais amplo de bots que geram deepfakes.
Impacto Psicossocial e Violação de Privacidade
Conforme observado por Ajder, esses bots estão criando um cenário de pesadelo, principalmente para meninas e mulheres. O impacto psicológico de ter imagens manipuladas com IA para criar material explícito pode causar traumas profundos, sentimentos de vergonha, humilhação e medo. O abuso de deepfakes para gerar imagens íntimas não consensuais (NCII) é uma forma grave de violação de privacidade e abuso online.
O Crescimento do NCII e o Papel da IA
Desde que o abuso de imagens íntimas não consensuais (NCII) emergiu no final de 2017, ele tem se expandido rapidamente, impulsionado pelos avanços em inteligência artificial generativa. Websites de “nudificação” e bots de Telegram estão sendo usados em todo o mundo para visar milhares de mulheres, desde figuras públicas como a primeira-ministra da Itália até meninas em escolas da Coreia do Sul. Recentemente, uma pesquisa revelou que 40% dos estudantes dos EUA conhecem deepfakes vinculados às suas escolas de ensino fundamental e médio.
Redes de Bots e Canais no Telegram
Os bots identificados são apoiados por mais de 25 canais no Telegram, com mais de 3 milhões de membros combinados. Esses canais servem como hubs onde os usuários podem se inscrever para atualizações e comprar “tokens” necessários para operar os bots. Esses canais também facilitam o acesso a novos bots quando os antigos são removidos pela plataforma.
Telegram Remove Bots, mas o Problema Persiste
Após ser questionado pela WIRED sobre a presença de bots de deepfake explícitos, o Telegram removeu 75 bots e canais identificados. No entanto, a empresa não comentou ou explicou por que tomou essa ação. O problema está longe de ser resolvido, já que novos bots continuam a surgir rapidamente para substituir os que foram removidos.
Bots que Passam Despercebidos
Os bots no Telegram são, essencialmente, pequenos aplicativos que funcionam dentro da plataforma. Esses bots podem ser usados para uma variedade de propósitos, desde responder a quizzes até criar imagens explícitas de deepfake. O processo de criação desses conteúdos se tornou tão simplificado que, em muitos casos, os bots parecem inofensivos à primeira vista, ocultando seu verdadeiro propósito.
Monetização dos Bots de Deepfake
A maioria dos bots de deepfake exige que os usuários comprem “tokens” para criar as imagens. Esse ecossistema ao redor da geração de deepfakes se tornou uma fonte potencialmente lucrativa para os criadores de bots, apps e websites. A procura por essas ferramentas é tão grande que até cibercriminosos russos começaram a criar sites falsos de “nudificação” para infectar os usuários com malware.
Deepfakes Cada Vez Mais Sofisticados
Enquanto os primeiros bots de deepfake eram rudimentares, a tecnologia de IA que gera imagens cada vez mais realistas evoluiu. Muitos desses bots agora operam com funcionalidades mais avançadas e, frequentemente, escapam de uma detecção imediata devido ao uso de nomes genéricos ou descrições discretas.
Facilidade de Acesso ao Abuso de Deepfakes
A facilidade de acesso e o anonimato que o Telegram oferece tornam-no uma plataforma ideal para a proliferação de deepfakes abusivos. Os bots podem ser encontrados facilmente com uma busca rápida, e a própria plataforma facilita o compartilhamento desses conteúdos. Isso coloca o Telegram em uma posição única de responsabilidade na luta contra o abuso online.
O Papel das Grandes Empresas de Tecnologia
Apesar do crescimento da tecnologia de deepfake, as respostas de legisladores e das grandes empresas de tecnologia têm sido lentas. Algumas big techs já começaram a adotar políticas que proíbem a criação e disseminação de deepfakes não consensuais. No entanto, plataformas como Apple e Google ainda permitem que apps de deepfake sejam encontrados em suas lojas de aplicativos.
Regulamentação e Enfrentamento ao Abuso
Nos Estados Unidos, 23 estados já aprovaram leis específicas para lidar com deepfakes não consensuais. No entanto, muitas dessas leis são recentes, e a aplicação prática ainda enfrenta desafios. Além disso, empresas de tecnologia têm enfrentado críticas por não removerem rapidamente o conteúdo abusivo gerado por essas ferramentas de IA.
O Telegram Sob Pressão para Ação
A postura do Telegram quanto à remoção de conteúdo prejudicial tem sido criticada por grupos da sociedade civil. A plataforma tem sido historicamente associada a golpistas, grupos extremistas e até conteúdo relacionado ao terrorismo. Recentemente, após a prisão de seu fundador, Pavel Durov, na França, o Telegram começou a fazer mudanças em seus termos de serviço e a colaborar mais com as autoridades.
Desafios na Moderação do Telegram
Para Henry Ajder, que descobriu os bots de deepfake no Telegram há quatro anos, o app é quase exclusivo em sua capacidade de facilitar abusos de deepfakes. Ele destaca que o Telegram oferece as ferramentas de busca, hospedagem de bots e compartilhamento, tudo em um só lugar, facilitando o acesso e a disseminação desse tipo de conteúdo prejudicial.
Dificuldade em Controlar o Abuso de Deepfakes
Vários canais de deepfake no Telegram relataram recentemente que seus bots foram removidos pela plataforma, mas em muitos casos, novos bots são criados rapidamente. Essa capacidade de criar novas instâncias rapidamente torna o controle desse problema um desafio contínuo para as plataformas e legisladores.
O Fardo para as Vítimas
Para Elena Michael, cofundadora da campanha #NotYourPorn, o maior problema é que muitas vezes cabe às próprias vítimas monitorar e relatar o abuso de deepfakes. Ela ressalta que o Telegram tem sido notoriamente difícil de abordar em questões de segurança, mas acredita que a plataforma deveria ser mais proativa na filtragem de conteúdo prejudicial.
Conclusão: A Responsabilidade das Plataformas
Embora o uso de deepfakes para criar conteúdo explícito continue a crescer, as plataformas como o Telegram precisam ser mais ativas na identificação e remoção desses conteúdos. O impacto devastador que isso tem sobre as vítimas não pode ser ignorado, e a tecnologia que facilita o abuso de deepfakes deve ser rigorosamente regulamentada.
Resumo para quem está com pressa
- O Telegram é o principal local para o uso de deepfakes abusivos, facilitados por bots de inteligência artificial.
- Bots no Telegram geram milhões de fotos explícitas não consensuais, afetando principalmente mulheres e meninas.
- Mais de 50 bots de deepfake no Telegram possuem 4 milhões de usuários mensais combinados.
- A maioria dos bots exige que os usuários comprem “tokens” para gerar imagens explícitas.
- O Telegram removeu alguns bots após ser questionado, mas novos bots continuam surgindo rapidamente.
- A criação de deepfakes abusivos está cada vez mais sofisticada e difícil de monitorar.