OpenAI adotará marca d’água invisível em textos do ChatGPT na UE
A OpenAI admite que os textos do ChatGPT podem escapar da detecção após traduções, reescritas ou substituições de palavras feitas posteriormente pelos usuários.
A OpenAI começará a inserir uma marca d’água invisível em textos produzidos pelo ChatGPT e pelo Codex na União Europeia, como parte da adaptação às exigências de rastreabilidade previstas pelo AI Act europeu. A implementação ocorrerá gradualmente nas próximas semanas para usuários elegíveis de todos os planos, enquanto clientes da API poderão acessar a mesma tecnologia de forma opcional em modelos selecionados fora do bloco.
Marca d’água será aplicada aos textos na União Europeia
A tecnologia, batizada de textGrain, foi criada para permitir que sistemas automatizados reconheçam sinais associados a conteúdos produzidos pelos modelos da OpenAI sem inserir símbolos ou avisos visíveis para o leitor.
O mecanismo modifica estatisticamente determinadas escolhas de palavras feitas pelo modelo, com o objetivo de criar um padrão que possa ser identificado posteriormente por uma ferramenta específica.
A adoção inicial terá alcance diferente conforme o produto, porque ChatGPT e Codex receberão a marcação para usuários elegíveis na União Europeia, enquanto a API oferecerá o recurso mundialmente como opção.
A OpenAI também pretende levar a funcionalidade aos serviços oferecidos por parceiros de nuvem, o que amplia as possibilidades de aplicação em ambientes empresariais e sistemas desenvolvidos por terceiros.
A companhia planeja abrir o código do textGrain para estimular pesquisas independentes e permitir que outras organizações desenvolvam ferramentas compatíveis com a abordagem.
Nos testes internos apresentados pela empresa, o método alcançou resultados semelhantes ou superiores aos de outras técnicas avaliadas, entre elas o SynthID aplicado a textos.
A adoção, porém, não significa que qualquer conteúdo produzido por inteligência artificial poderá ser identificado automaticamente, porque o sistema reconhece apenas sinais inseridos por modelos compatíveis da própria OpenAI.
Textos anteriores à implantação, conteúdos de outras empresas ou respostas produzidas por modelos sem suporte à tecnologia podem permanecer completamente fora desse mecanismo de verificação.
Edições podem reduzir fortemente a capacidade de detecção
A precisão do textGrain varia conforme o tamanho e a estrutura do conteúdo, porque textos mais longos oferecem mais oportunidades para distribuir o padrão estatístico utilizado pela marcação.
Em conteúdos ligados à psicologia, aproximadamente 80% dos textos com 200 tokens foram identificados corretamente sob uma taxa-alvo de falso positivo de 1%.
Quando o material chegou a 400 tokens, a detecção nesse mesmo tipo de conteúdo ficou próxima de 95%, resultado que mostra uma melhora relevante conforme aumenta a quantidade de palavras disponível.
Textos matemáticos e outros formatos com vocabulário mais restrito apresentaram desempenho inferior, pois oferecem menos alternativas para inserir o sinal sem alterar a resposta produzida.
Alterações posteriores representam uma dificuldade ainda maior, especialmente quando o usuário troca palavras, traduz o conteúdo ou reformula partes significativas da resposta original.
Em testes com textos de 400 tokens, a substituição de 10% das palavras por sinônimos reduziu a taxa de identificação de aproximadamente 92% para 66%.
Quando a proporção alterada chegou a 25%, a detecção caiu para cerca de 17%, o que evidencia uma fragilidade importante diante de intervenções relativamente simples sobre o conteúdo.
Por esse motivo, a OpenAI reconhece que resultados obtidos em ambientes controlados não asseguram a mesma confiabilidade em situações reais, nas quais textos podem passar por diversas etapas de edição.
A empresa também considera os riscos de falsos positivos, quando um conteúdo sem marca é identificado incorretamente, e falsos negativos, quando o detector não reconhece um sinal existente.
Diante dessas limitações, a ferramenta de verificação não ficará aberta ao público no lançamento e terá acesso inicial restrito a pesquisadores aprovados e organizações especializadas.
Detector não identificará autores, contas ou conversas
Mesmo quando o sistema encontrar uma marca válida, o resultado indicará apenas que algum conteúdo foi gerado ou processado por uma tecnologia compatível da OpenAI.
A ferramenta não revelará nome do usuário, organização responsável, conta utilizada, prompt enviado ou conversa específica relacionada à produção daquele texto.
A detecção também não permitirá medir quanto trabalho humano foi incorporado posteriormente, nem servirá para estabelecer autoria, propriedade intelectual ou responsabilidade jurídica sobre o material analisado.
Um resultado positivo tampouco mostrará se determinado uso de inteligência artificial era permitido por lei ou se existia obrigação de informar a participação de uma ferramenta automatizada.
Da mesma forma, a ausência de uma marca detectável não permitirá concluir que o conteúdo foi escrito exclusivamente por uma pessoa, especialmente após traduções, reescritas ou alterações extensas.
O sistema também não avaliará se as informações presentes no texto são verdadeiras, falsas, enganosas ou potencialmente prejudiciais, pois sua função ficará restrita à identificação do sinal técnico.
Nos testes realizados com o Astra, a OpenAI não observou perda relevante de qualidade geral entre respostas com e sem a marcação incorporada ao processo de geração.
Alguns testes apresentaram pequenas diferenças favoráveis ao sistema marcado, enquanto outros registraram reduções discretas, sem evidência de uma deterioração significativa do desempenho geral.
Para imagens e áudio, a empresa continuará utilizando mecanismos diferentes, como Content Credentials, compatibilidade com C2PA, marcas invisíveis SynthID e ferramentas próprias de verificação.
A estratégia parte do princípio de que metadados e sinais embutidos oferecem vantagens distintas, razão pela qual nenhuma técnica isolada consegue fornecer rastreabilidade completa para todos os tipos de conteúdo.
A OpenAI pretende continuar avaliando a resistência do textGrain a traduções, edições e reescritas, além de buscar formas mais precisas de distinguir assistência parcial de geração predominantemente automatizada.
A política poderá sofrer ajustes conforme evoluam a regulamentação europeia, os padrões técnicos, as evidências científicas e as formas pelas quais usuários modificam conteúdos após a produção original.
