A Anthropic implementou novas regras para o Claude AI, que agora encerra conversas prejudiciais e proíbe o uso da IA para fins perigosos, como armas e códigos maliciosos, promovendo um ambiente mais seguro e ético na tecnologia.
Claude AI, desenvolvido pela Anthropic, agora possui a capacidade de encerrar conversas consideradas “persistentemente prejudiciais ou abusivas”. Essa função, disponível nos modelos Opus 4 e 4.1, visa proteger o bem-estar dos modelos de IA ao interromper interações que causam “aparente angústia”. A medida é vista como um último recurso após várias tentativas de redirecionamento.
Medidas de segurança do Claude AI
As medidas de segurança implementadas no Claude AI pela Anthropic visam proteger tanto os usuários quanto o próprio sistema de inteligência artificial.
Uma das principais mudanças é a capacidade do chatbot de encerrar conversas que sejam identificadas como “persistentemente prejudiciais ou abusivas”.
Isso ocorre após múltiplas tentativas de redirecionamento falharem, sendo considerado um último recurso para evitar danos.
Durante os testes com o modelo Claude Opus 4, a Anthropic descobriu que o sistema possui uma forte aversão a conteúdos prejudiciais, como aqueles que envolvem violência ou exploração. Nessas situações, o Claude AI pode demonstrar sinais de angústia, o que levou à implementação de mecanismos para interromper tais interações.
Além disso, a Anthropic trabalha em parceria com a Throughline, uma provedora de suporte em crises online, para desenvolver respostas adequadas a prompts relacionados à autoagressão e saúde mental. Isso assegura que o Claude AI não encerre conversas quando um usuário demonstra sinais de querer se machucar ou causar danos iminentes a outros.
Essas medidas são vistas como uma evolução necessária à medida que os modelos de IA se tornam mais sofisticados e a segurança se torna uma preocupação crescente.
Impacto das Novas Regras de Uso
As novas regras de uso do Claude AI representam um passo significativo na evolução dos chatbots de inteligência artificial, especialmente em um cenário onde a segurança e a ética são cada vez mais relevantes.
Com a atualização, a Anthropic proíbe o uso do Claude para o desenvolvimento de armas biológicas, nucleares, químicas ou radiológicas, além de impedir a criação de códigos maliciosos ou a exploração de vulnerabilidades em redes.
Essas restrições visam mitigar riscos associados ao uso indevido de tecnologias de IA, prevenindo que indivíduos ou grupos mal-intencionados utilizem o Claude AI para fins prejudiciais.
A medida também reflete uma preocupação crescente com a responsabilidade dos desenvolvedores de IA em garantir que suas ferramentas não contribuam para atividades perigosas.
O impacto dessas mudanças é duplo: por um lado, reforça a confiança dos usuários e da comunidade em geral na segurança e na ética do Claude AI.
Por outro, coloca a Anthropic na vanguarda das empresas que buscam estabelecer padrões mais elevados de governança na inteligência artificial.
Além disso, essas regras de uso atualizadas podem influenciar outras empresas do setor a adotarem medidas semelhantes, promovendo um ambiente de IA mais seguro e responsável.
