Benchmark DeepSWE : pourquoi GPT devance Claude sur les tâches de développement à long horizon

DeepSWE est un benchmark destiné à évaluer les agents de développement de pointe sur des tâches originales d'ingénierie logicielle à long horizon. Il a été présenté par Datacurve pour mesurer la capacité des agents IA à gérer un travail de code réaliste qui demande exploration du dépôt, modifications sur plusieurs fichiers, justesse comportementale et vérification.

Contrairement aux benchmarks dont les tâches sont reprises de pull requests existantes ou de commits publics, les tâches DeepSWE sont écrites de zéro. Datacurve explique que ce choix vise à réduire la contamination par les données d'entraînement et à évaluer la résolution de problème plutôt que le simple rappel.

DeepSWE sert à comparer des agents IA de codage sur des tâches plus proches du vrai travail d'ingénierie logicielle que de courts puzzles de programmation. Il aide les chercheurs, les fournisseurs de modèles et les équipes d'ingénierie à voir quels agents savent suivre une demande concise formulée comme par un développeur, inspecter une base de code inconnue, implémenter le changement et conserver le comportement existant.

Le benchmark peut aussi être exécuté par des équipes qui veulent noter un nouvel agent ou reproduire le classement. Datacurve publie le corpus de tâches, les métadonnées, le format des vérificateurs et les instructions pour lancer DeepSWE avec Pier.

DeepSWE suggère que GPT est plus fort que Claude uniquement dans le cadre mesuré par le benchmark : des tâches originales d'ingénierie logicielle de longue durée exécutées via un environnement d’exécution standardisé. La preuve la plus claire est le classement : GPT-5.5 atteint 70 %, tandis que Claude Opus 4.7 atteint 54 %. GPT-5.4 est placé au-dessus de Claude Opus 4.7 avec 56 %, mais leurs marges d'erreur annoncées se chevauchent.

L'analyse qualitative de Datacurve propose une explication possible de cet écart. Elle indique que GPT-5.5 présentait le taux le plus faible d'omission des comportements explicitement demandés dans les trajectoires DeepSWE examinées, avec GPT-5.4 tout près. La même analyse explique que les configurations Claude rataient plus souvent une branche d'une exigence en plusieurs parties, par exemple en implémentant le chemin synchrone mais pas son équivalent asynchrone.

Cela ne veut pas dire que Claude est faible sur toutes les tâches de programmation. Cela signifie que, selon le protocole des tâches et la méthode de notation de DeepSWE, les modèles GPT étaient plus fiables pour compléter l'ensemble du comportement demandé. Pour les utilisateurs, la conclusion prudente est la suivante : DeepSWE montre qu'à l'heure actuelle GPT devance Claude sur cette catégorie précise d'évaluations d'agents de code de longue durée.

Pour les utilisateurs qui choisissent un modèle IA pour programmer, DeepSWE invite à évaluer les modèles sur le travail que vous devez vraiment accomplir. Si votre tâche consiste à modifier plusieurs fichiers dans un dépôt inconnu, un benchmark de longue durée peut être un signal plus pertinent qu'un petit quiz de code ou qu'un classement trop saturé.

Le résultat suggère aussi que le taux de réussite n'est pas le seul signal pratique. Datacurve suit les tokens de sortie, le temps écoulé et le coût par essai, et rapporte que davantage de tokens, davantage de temps ou un coût plus élevé ne donnent pas systématiquement de meilleurs résultats. Les développeurs devraient comparer la fiabilité, le coût, la latence et la fréquence à laquelle un modèle manque une exigence.

Une démarche raisonnable consiste à utiliser DeepSWE comme un point de données propre à ce benchmark, puis à tester les meilleurs modèles candidats sur vos propres dépôts, langages et standards de revue avant de standardiser un assistant de code.