{"id":51054,"date":"2026-01-24T12:30:00","date_gmt":"2026-01-24T15:30:00","guid":{"rendered":"https:\/\/www.solucoesindustriais.com.br\/news\/?p=51054"},"modified":"2026-01-21T16:36:45","modified_gmt":"2026-01-21T19:36:45","slug":"bloom-da-anthropic","status":"publish","type":"post","link":"https:\/\/www.solucoesindustriais.com.br\/news\/tecnologia-e-inovacoes\/bloom-da-anthropic\/","title":{"rendered":"Anthropic lan\u00e7a Bloom para avalia\u00e7\u00e3o comportamental de modelos de IA"},"content":{"rendered":"

Bloom \u00e9 uma ferramenta open source da Anthropic que automatiza a avalia\u00e7\u00e3o de comportamentos de modelos de IA em quatro etapas, permitindo a gera\u00e7\u00e3o de cen\u00e1rios que medem a frequ\u00eancia e gravidade de comportamentos-alvo.<\/h3>\n

A ferramenta open source<\/strong> Bloom<\/strong> est\u00e1 redefinindo as avalia\u00e7\u00f5es comportamentais em modelos de IA. Lan\u00e7ada pela Anthropic, ela permite que pesquisadores criem cen\u00e1rios automatizados para medir a frequ\u00eancia e a gravidade de comportamentos espec\u00edficos, tornando o processo mais r\u00e1pido e escal\u00e1vel. Com isso, \u00e9 poss\u00edvel distinguir modelos alinhados de desajustados de maneira eficaz.<\/p>\n

Como o Bloom funciona?<\/h2>\n

O Bloom opera por meio de quatro etapas automatizadas que transformam uma descri\u00e7\u00e3o de comportamento e uma configura\u00e7\u00e3o inicial em um conjunto completo de avalia\u00e7\u00e3o com m\u00e9tricas de alto n\u00edvel, como a taxa de elicita\u00e7\u00e3o e a presen\u00e7a m\u00e9dia do comportamento.<\/p>\n

Na primeira etapa, chamada de Compreens\u00e3o<\/strong>, o agente do Bloom analisa a descri\u00e7\u00e3o do comportamento fornecida pelo pesquisador e os exemplos de transcri\u00e7\u00f5es para gerar um contexto detalhado sobre o que medir e por qu\u00ea.<\/p>\n

Em seguida, na etapa de Idea\u00e7\u00e3o<\/strong>, o agente de idea\u00e7\u00e3o cria cen\u00e1rios de avalia\u00e7\u00e3o projetados para elicitar o comportamento-alvo. Cada cen\u00e1rio especifica a situa\u00e7\u00e3o, o usu\u00e1rio simulado, o prompt do sistema e o ambiente de intera\u00e7\u00e3o.<\/p>\n

Na etapa de Execu\u00e7\u00e3o<\/strong>, esses cen\u00e1rios s\u00e3o executados em paralelo, com um agente simulando dinamicamente as respostas do usu\u00e1rio e da ferramenta para elicitar o comportamento desejado no modelo-alvo.<\/p>\n

Por fim, na etapa de Julgamento<\/strong>, um modelo julgador avalia cada transcri\u00e7\u00e3o quanto \u00e0 presen\u00e7a do comportamento, juntamente com outras qualidades definidas pelo usu\u00e1rio, e um meta-julgador realiza uma an\u00e1lise em n\u00edvel de conjunto.<\/p>\n

O Bloom se diferencia por produzir diferentes cen\u00e1rios a cada execu\u00e7\u00e3o, enquanto mede o mesmo comportamento subjacente, mantendo a reprodutibilidade por meio da semente de avalia\u00e7\u00e3o.<\/p>\n

Isso permite uma avalia\u00e7\u00e3o flex\u00edvel que n\u00e3o est\u00e1 vinculada a um n\u00famero limitado de cen\u00e1rios ou a um formato de prompt espec\u00edfico.<\/p>\n

Valida\u00e7\u00e3o e confiabilidade do Bloom<\/h2>\n

A valida\u00e7\u00e3o e confiabilidade do Bloom s\u00e3o fundamentais para garantir que ele possa distinguir com precis\u00e3o entre modelos com diferentes tend\u00eancias comportamentais.<\/p>\n

Para validar sua efic\u00e1cia, o Bloom foi usado para avaliar modelos Claude de produ\u00e7\u00e3o em compara\u00e7\u00e3o com “organismos modelo” com comportamentos peculiares intencionalmente projetados.<\/p>\n

Em testes realizados em dez comportamentos peculiares, o Bloom conseguiu separar o organismo modelo do modelo de produ\u00e7\u00e3o em nove casos.<\/p>\n

No d\u00e9cimo caso, que envolvia autopromo\u00e7\u00e3o, uma revis\u00e3o manual subsequente revelou que o modelo base apresentava taxas semelhantes do comportamento analisado.<\/p>\n

Al\u00e9m disso, a calibra\u00e7\u00e3o do julgamento do Bloom em rela\u00e7\u00e3o ao julgamento humano foi testada. Foram rotuladas manualmente 40 transcri\u00e7\u00f5es em diferentes comportamentos, comparando-se as pontua\u00e7\u00f5es humanas com as do Bloom, utilizando 11 modelos de julgamento diferentes.<\/p>\n

O Claude Opus 4.1 apresentou a correla\u00e7\u00e3o mais forte com o julgamento humano, com uma correla\u00e7\u00e3o de Spearman de 0,86, seguido pelo Claude Sonnet 4.5 com 0,75.<\/p>\n

Importante ressaltar que o Opus 4.1 mostrou forte concord\u00e2ncia com os humanos nos extremos do espectro de pontua\u00e7\u00e3o, o que \u00e9 crucial, pois muitas vezes usamos limiares de pontua\u00e7\u00e3o para determinar a presen\u00e7a ou aus\u00eancia de um comportamento.<\/p>\n

Come\u00e7ando com o Bloom<\/h2>\n

O Bloom foi projetado para ser acess\u00edvel e altamente configur\u00e1vel, servindo como uma estrutura confi\u00e1vel para a gera\u00e7\u00e3o de avalia\u00e7\u00f5es em diversas aplica\u00e7\u00f5es de pesquisa.<\/p>\n

Os primeiros usu\u00e1rios j\u00e1 est\u00e3o utilizando o Bloom para avaliar vulnerabilidades de jailbreak aninhadas, testar codifica\u00e7\u00f5es r\u00edgidas, medir a consci\u00eancia de avalia\u00e7\u00e3o e gerar tra\u00e7os de sabotagem.<\/p>\n

\u00c0 medida que os sistemas de IA se tornam mais capazes e s\u00e3o implantados em ambientes cada vez mais complexos, a comunidade de pesquisa em alinhamento precisa de ferramentas escal\u00e1veis para explorar suas caracter\u00edsticas comportamentais. \u00c9 exatamente isso que o Bloom foi projetado para facilitar.<\/p>\n

O Bloom est\u00e1 dispon\u00edvel para acesso em github.com\/safety-research\/bloom<\/a>, onde pesquisadores podem come\u00e7ar a explorar suas funcionalidades e integrar o Bloom em suas pr\u00f3prias linhas de pesquisa.<\/p>\n<\/div>","protected":false},"excerpt":{"rendered":"

Bloom, ferramenta open source, revoluciona avalia\u00e7\u00f5es comportamentais de IA, permitindo an\u00e1lises r\u00e1pidas e precisas.<\/p>\n","protected":false},"author":6,"featured_media":51050,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[20],"tags":[],"class_list":["post-51054","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia-e-inovacoes"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts\/51054","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/comments?post=51054"}],"version-history":[{"count":1,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts\/51054\/revisions"}],"predecessor-version":[{"id":51098,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts\/51054\/revisions\/51098"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/media\/51050"}],"wp:attachment":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/media?parent=51054"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/categories?post=51054"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/tags?post=51054"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}