Pesquisadores da Alibaba e de universidades asiáticas desenvolveram o Co-Design Bench, um novo benchmark para avaliar agentes de inteligência artificial voltados à programação. O estudo simula modificações em aplicativos web reais e indica um nível de automação inferior ao observado em testes tradicionais: mesmo o modelo mais bem avaliado concluiu integralmente apenas 26,4% das tarefas.
O Co-Design Bench foi criado a partir de solicitações reais de usuários durante sessões de programação de aplicativos web. Em vez de exercícios sintéticos, os agentes precisam modificar aplicações existentes com base em instruções que podem incluir imagens, áudios, vídeos e documentos.
Os pesquisadores priorizaram situações nas quais a IA enfrentou dificuldades práticas, como pedidos que exigiam reformulação ou a reversão de alterações. As tarefas incluem desde ajustes pontuais, como extrair valores de um recibo e atualizar os totais relacionados, até reformulações completas de projetos.
A avaliação também é mais rigorosa do que a de benchmarks tradicionais. Um juiz de IA testa o aplicativo final em um navegador, enquanto um segundo sistema revisa cada resultado considerado positivo para verificar se não há telas apenas simuladas ou resultados inseridos de forma fixa. Os agentes só recebem pontuação quando as funcionalidades realmente funcionam no aplicativo.
Segundo o estudo, benchmarks de programação amplamente utilizados estão próximos da saturação. Com capacidade para executar, testar e corrigir o próprio código, modelos de ponta já ultrapassam 99% de acerto nesses testes, o que dificulta a diferenciação entre os sistemas e pode criar uma percepção de competência quase completa.
Estudos anteriores indicam que a aceitação real de códigos gerados por IA por líderes de projeto fica cerca de 24 pontos percentuais abaixo das pontuações obtidas nesses benchmarks. Para os pesquisadores, essa diferença evidencia a distância entre o desempenho em laboratório e o uso cotidiano.
No Co-Design Bench, o GPT-6 Astra, modelo com melhor resultado entre os avaliados, atende, em média, a 70% dos requisitos de cada tarefa, mas entrega uma solução totalmente correta em apenas 26,4% dos casos. Na prática, isso significa que a IA realiza grande parte do trabalho, mas frequentemente deixa detalhes incompletos ou apresenta falhas que exigem ajustes manuais antes da entrega.
Na sequência do ranking aparecem modelos como Claude Opus 5 e Qwen3.8-Max, enquanto o Grok 4.6 teve o pior desempenho entre os sistemas avaliados. Em tarefas de maior porte, o Qwen3.8-27B alcançou a segunda colocação, mas os autores afirmam que esse recorte específico não permite apontar uma vantagem geral do modelo.
Um dos principais resultados do estudo é que todos os modelos apresentam queda de desempenho quando precisam combinar vários tipos de alteração simultaneamente, como mudanças de layout, design, interação e conteúdo. De acordo com os pesquisadores, esse tipo de combinação é comum em projetos reais.
O trabalho também questiona a ideia de que o aumento dos recursos computacionais produz ganhos consistentes. O modelo GLM-5.2, por exemplo, utiliza quase seis vezes mais tokens do que o GPT-6 Astra em tarefas de menor porte e, ainda assim, apresenta desempenho inferior.
Esse resultado pode influenciar decisões empresariais sobre a escolha de agentes e o volume de infraestrutura destinado a eles. Modelos mais caros de operar nem sempre proporcionam melhorias proporcionais na qualidade do código produzido.
Os pesquisadores também constataram que o ambiente de execução do agente, conhecido como harness e responsável por ler, escrever e executar o código, exerce influência significativa sobre os resultados. No caso do Qwen3.8-27B, o desempenho em grandes reformulações variou de 75% a 56%, dependendo do ambiente utilizado.
Em alguns cenários, a ordem dos modelos no ranking também mudou conforme o harness adotado. Por isso, os autores afirmam que tabelas que apresentam apenas o nome do modelo oferecem uma visão incompleta do desempenho. A recomendação é informar conjuntamente o modelo e o ambiente de execução para permitir uma avaliação adequada.
Para empresas e líderes de projeto, a conclusão é que um agente de codificação deve ser testado no mesmo ambiente e com a mesma infraestrutura em que será utilizado. Os pesquisadores recomendam evitar a dependência exclusiva de resultados obtidos em benchmarks genéricos.
O estudo reconhece algumas limitações do Co-Design Bench. Cada tarefa considera um único pedido fixo, sem rodadas de acompanhamento, perguntas adicionais ou correções durante a execução, embora esses procedimentos sejam comuns em equipes que trabalham com metodologias ágeis. Além disso, os juízes de IA podem cometer erros pontuais durante as avaliações.
Ainda assim, os resultados indicam que os agentes de IA para programação continuam distantes de substituir equipes humanas em projetos reais, especialmente quando envolvem modificações complexas em aplicativos web. No cenário atual, a tecnologia tende a atuar em colaboração com os desenvolvedores: a máquina antecipa parte do trabalho, enquanto a revisão, o refinamento e a integração final permanecem sob responsabilidade de profissionais experientes.
Para os pesquisadores, os próximos avanços devem se concentrar na capacidade de os modelos lidarem com várias mudanças simultâneas, diferentes ambientes de execução e fluxos de trabalho iterativos. Até que isso ocorra, empresas que esperam automação completa no desenvolvimento de software precisarão ajustar suas expectativas e manter investimentos em equipes qualificadas.
Fonte: Miraí Broadcast