Com o ExCyTIn-Bench, a Microsoft propõe uma nova forma de medir a inteligência artificial em segurança digital. A tecnologia analisa o desempenho dos agentes de IA de maneira mais realista, simulando cenários de investigação usados por especialistas humanos.
A Microsoft apresentou o ExCyTIn-Bench, um novo sistema criado para medir o desempenho da inteligência artificial em investigações de segurança digital. A ferramenta estabelece um padrão mais realista de avaliação, observando como os modelos de IA raciocinam e tomam decisões diante de ameaças cibernéticas complexas.
Microsoft cria novo padrão para medir desempenho da IA
A Microsoft divulgou um novo padrão para avaliar o desempenho da inteligência artificial na segurança cibernética, por meio de uma ferramenta chamada ExCyTIn-Bench, desenvolvida para medir a capacidade de agentes de IA em investigar ameaças reais.
Essa abordagem vai além de benchmarks simples e foca em simulações complexas de cenários multietapas em centros de operações de segurança (SOC).
O ExCyTIn-Bench integra 57 tabelas de logs reais de serviços de segurança da Microsoft, simulando ambientes ruidosos e com grande volume de dados, para testar como agentes IA lidam com investigação de incidentes.
Ele avalia não apenas as respostas corretas, mas também a forma como o agente raciocina, incluindo a decomposição de objetivos, o uso de ferramentas e a síntese de evidências, tudo dentro de restrições que simulam o trabalho humano.
A Microsoft já utiliza esse benchmark internamente para fortalecer seus modelos de segurança, identificar fraquezas nas lógicas de detecção e guiar melhorias.
A empresa também integra a avaliação com seus produtos de segurança, como Defender e Sentinel, possibilitando escolher modelos de IA adequados para diferentes funções e orçamentos.
Com essa iniciativa, a Microsoft busca elevar o patamar da IA em cibersegurança, tornando as avaliações mais realistas e confiáveis para empresas que dependem de modelos robustos contra ataques.