Uma nova ferramenta antiviolência está sendo desenvolvida na Nova Zelândia para redirecionar usuários violentos a chats com humanos e bots, com o objetivo de desradicalização e prevenção do extremismo online.
A ferramenta antiviolência está em desenvolvimento na Nova Zelândia para redirecionar usuários com tendências violentas a chats com humanos e bots. Essa iniciativa visa abordar preocupações de segurança, especialmente após incidentes envolvendo violência e IA. Com apoio de startups e colaborações internacionais, a ferramenta busca prevenir extremismos violentos.
Desenvolvimento da ferramenta antiviolência
Uma startup da Nova Zelândia está desenvolvendo uma ferramenta voltada à prevenção de comportamentos violentos em plataformas digitais, em um cenário de crescente pressão sobre empresas de inteligência artificial para reforçar seus mecanismos de segurança.
A iniciativa surge diante do aumento de críticas e ações judiciais relacionadas à falta de controle sobre interações de risco.
A proposta da tecnologia é identificar sinais de comportamento agressivo e redirecionar esses usuários para interações mais seguras, seja com suporte humano ou sistemas preparados para lidar com situações sensíveis.
A abordagem busca atuar de forma preventiva, evitando a escalada de conteúdos ou atitudes potencialmente perigosas.
O projeto é conduzido pela ThroughLine, empresa que já colabora com grandes companhias do setor, como a OpenAI, a Anthropic e o Google.
A OpenAI, por sinal, confirmou a parceria, indicando o interesse da indústria em desenvolver soluções mais eficazes para lidar com riscos no ambiente digital, especialmente depois de processos recentes.
Além disso, a ThroughLine mantém conversas com uma iniciativa internacional criada após um ataque terrorista na Nova Zelândia, voltada ao combate ao ódio online.
A colaboração deve contribuir com diretrizes e apoio estratégico no desenvolvimento da ferramenta, ampliando seu alcance e eficácia.
A expectativa é que a solução ajude não apenas em intervenções imediatas, mas também na construção de um ambiente digital mais seguro, com foco na prevenção de comportamentos extremos.
