Um estudo da METR revelou que ferramentas de IA aumentam o tempo de conclusão de tarefas em 19% para desenvolvedores experientes, evidenciando uma desconexão entre as expectativas de produtividade e a realidade, o que ressalta a importância de uma implementação cuidadosa dessas tecnologias.
Ferramentas de inteligência artificial podem estar reduzindo a produtividade de desenvolvedores experientes, segundo um estudo da Model Evaluation & Threat Research (METR). A pesquisa acompanhou 16 profissionais em 246 tarefas reais e identificou que o uso de IA atrasou a conclusão das atividades em até 19%. O dado contraria a percepção comum de que essas tecnologias sempre aceleram o trabalho.
Impacto das ferramentas de IA no desenvolvimento
As ferramentas de IA têm sido amplamente promovidas como soluções revolucionárias para aumentar a produtividade dos desenvolvedores.
No entanto, um estudo recente revelou que, para desenvolvedores experientes, essas ferramentas podem na verdade causar um atraso significativo no processo de desenvolvimento.
A pesquisa conduzida pela Model Evaluation & Threat Research (METR) mostrou que desenvolvedores experientes demoraram 19% mais para completar tarefas quando usaram assistentes de IA como o Cursor Pro e Claude.
Essa descoberta contraria a crença popular de que a IA inevitavelmente acelera o desenvolvimento de software. Embora a expectativa inicial fosse de que essas ferramentas reduziriam o tempo de conclusão em 24%, a realidade mostrou-se diferente.
A percepção de produtividade aumentada não se traduziu em resultados concretos, destacando um descompasso entre as expectativas e a realidade prática do uso de IA no desenvolvimento de software.
Especialistas apontam que essa discrepância pode estar relacionada à maneira como as ferramentas de IA são integradas nos fluxos de trabalho existentes.
Em vez de atuar como aceleradores universais, essas ferramentas precisam ser vistas como coadjuvantes que requerem uma implementação cuidadosa e contextualizada para realmente agregar valor ao processo de desenvolvimento.
Metodologia de testes controlados em cenários reais
A metodologia de testes controlados em cenários reais foi um diferencial significativo no estudo conduzido pela Model Evaluation & Threat Research (METR).
Utilizando um ensaio clínico randomizado, os pesquisadores conseguiram captar o impacto real das ferramentas de IA no desenvolvimento de software, algo raro em pesquisas sobre produtividade de IA.
O estudo envolveu 16 desenvolvedores experientes, que trabalharam em repositórios de código aberto maduros, com mais de um milhão de linhas de código.
Durante o período de fevereiro a junho de 2025, as tarefas foram distribuídas aleatoriamente, permitindo ou proibindo o uso de ferramentas de IA, como o Cursor Pro e Claude 3.5 e 3.7 Sonnet.
Os desenvolvedores registraram suas telas durante as tarefas, que em média duravam duas horas, fornecendo uma visão detalhada dos padrões de uso real.
Essa abordagem permitiu uma análise aprofundada, revelando como as ferramentas de IA impactam o fluxo de trabalho em ambientes complexos e reais, em vez de cenários simplificados e isolados.
