A sobrecarga nos servidores da Wikipedia aumentou em 50% desde 2024, impulsionada pelo uso intensivo de bots de IA. Para mitigar esse impacto, a empresa propõe o desenvolvimento de APIs dedicadas e uma colaboração mais eficaz com desenvolvedores de IA.
Os bots de IA estão causando sérios problemas para a infraestrutura da Wikimedia. Desde o início de 2024, a demanda por conteúdo hospedado nos servidores da Wikimedia aumentou significativamente, com empresas de IA consumindo uma quantidade avassaladora de tráfego para treinar seus produtos. Isso está sobrecarregando a largura de banda e impactando negativamente o desempenho dos sistemas.
Impacto dos bots na infraestrutura da Wikimedia
O impacto dos bots de IA na infraestrutura da Wikimedia tem sido significativo e preocupante. Desde janeiro de 2024, a fundação tem enfrentado um aumento de 50% na largura de banda utilizada para downloads de multimídia, causado principalmente por bots.
Esses programas automatizados estão raspando catálogos de imagens do Wikimedia Commons para alimentar modelos de IA, o que sobrecarrega a infraestrutura que não foi projetada para suportar esse tipo de tráfego parasitário.
Durante eventos de alto tráfego, como o falecimento do ex-presidente dos EUA, Jimmy Carter, a equipe de Confiabilidade do Site da Wikimedia teve que lidar com rotas de conexão congestionadas, algo que não deveria ocorrer.
O tráfego duplicado em comparação ao normal resultou em interrupções temporárias, destacando a fragilidade da infraestrutura diante do crescente uso de bots de IA.
Além disso, a análise da largura de banda durante uma migração de sistema revelou que pelo menos 65% do tráfego mais intensivo em recursos era proveniente de bots.
Esse tráfego passava pela infraestrutura de cache e impactava diretamente o centro de dados central da Wikimedia, exigindo novas abordagens para gerenciar essa carga crescente e garantir a continuidade dos serviços sem interrupções.
Soluções propostas para mitigar o problema
Para mitigar os problemas causados pelos bots de IA, a Wikimedia Foundation está promovendo uma abordagem mais responsável para o acesso à infraestrutura.
Uma das soluções propostas é a melhor coordenação com desenvolvedores de IA, criando APIs dedicadas que poderiam aliviar a carga de largura de banda.
Essas APIs facilitariam a identificação e combate aos “maus atores” da indústria de IA, permitindo um controle mais eficaz sobre o tráfego de bots.
Além disso, a Wikimedia está buscando maneiras de apoiar um modelo de “conhecimento como serviço”, reconhecendo que toda a internet utiliza seu conteúdo.
Isso inclui trabalhar em conjunto com empresas de tecnologia para garantir que o uso de dados seja feito de forma responsável e sustentável, evitando impactos negativos na infraestrutura.
A fundação também está explorando melhorias em sua infraestrutura de cache, para que possa lidar melhor com o tráfego intenso sem comprometer a qualidade do serviço.
Essas medidas visam garantir que a Wikimedia continue a fornecer conteúdo confiável enquanto enfrenta os desafios impostos pelo aumento do uso de bots de IA.