DeepSWE 벤치마크: 긴 호흡의 코딩 작업에서 GPT가 Claude를 앞서는 이유

DeepSWE는 최첨단 코딩 에이전트를 새로 작성된 긴 호흡의 소프트웨어 엔지니어링 작업으로 평가하는 벤치마크입니다. Datacurve는 저장소 탐색, 여러 파일 변경, 동작의 정확성, 검증이 필요한 현실적 코딩 업무를 AI 에이전트가 얼마나 잘 처리하는지 측정하기 위해 이를 공개했습니다.

기존 풀 리퀘스트나 공개 커밋에서 복사한 작업과 달리, DeepSWE 작업은 처음부터 새로 작성됩니다. Datacurve는 이 설계가 학습 데이터 오염을 줄이고, 단순한 회상이 아니라 문제 해결 능력을 시험하기 위한 것이라고 설명합니다.

DeepSWE는 짧은 코딩 퍼즐보다 실제 소프트웨어 엔지니어링 업무에 더 가까운 작업으로 AI 코딩 에이전트를 비교하는 데 사용됩니다. 연구자, 모델 제공자, 엔지니어링 팀은 이를 통해 어떤 에이전트가 개발자 스타일의 간결한 요청을 따르고, 낯선 코드베이스를 살펴보고, 변경을 구현하며, 기존 동작을 유지할 수 있는지 판단할 수 있습니다.

새로운 에이전트의 점수를 내거나 공개 리더보드를 재현하고 싶은 팀도 이 벤치마크를 직접 실행할 수 있습니다. Datacurve는 작업 데이터셋, 작업 메타데이터, 검증기 형식, 그리고 Pier로 DeepSWE를 실행하는 방법을 공개합니다.

DeepSWE가 GPT가 Claude보다 강하다고 시사하는 범위는 벤치마크가 실제로 측정한 환경 안에 한정됩니다. 즉, 표준화된 실행 하네스에서 수행된 새로 작성된 긴 호흡의 소프트웨어 엔지니어링 작업입니다. 가장 분명한 근거는 리더보드입니다. GPT-5.5는 70%, Claude Opus 4.7은 54%를 기록했습니다. GPT-5.4는 56%로 Claude Opus 4.7보다 위에 있지만, 제시된 오차 범위는 서로 겹칩니다.

Datacurve의 정성 분석은 이 격차에 대한 한 가지 설명을 제공합니다. 검토한 DeepSWE 실행 경로에서 GPT-5.5는 명시된 동작을 놓친 비율이 가장 낮았고, GPT-5.4도 그 뒤를 바짝 따랐습니다. 같은 분석은 Claude 구성이 여러 갈래로 나뉜 요구사항 중 한 갈래를 더 자주 놓쳤다고 설명합니다. 예를 들어 동기 경로는 구현했지만 비동기 대응은 빠뜨리는 식입니다.

그렇다고 Claude가 모든 코딩 작업에서 약하다는 뜻은 아닙니다. 뜻하는 바는 DeepSWE의 작업 설계와 채점 방식 아래에서는 GPT 계열이 요구된 전체 동작을 끝까지 완성하는 데 더 안정적이었다는 점입니다. 사용자 입장에서 신중한 결론은 이렇습니다. DeepSWE는 현재 이 특정한 긴 호흡의 코딩 에이전트 평가 범주에서 GPT가 Claude를 앞선다는 근거입니다.

프로그래밍용 AI 모델을 고르는 사용자에게 DeepSWE가 주는 메시지는, 실제로 해야 하는 일을 기준으로 모델을 평가하라는 것입니다. 낯선 저장소에서 여러 파일을 바꾸는 작업이 핵심이라면, 긴 호흡의 벤치마크는 짧은 코딩 퀴즈나 이미 포화된 리더보드보다 더 관련성 높은 참고 지표가 될 수 있습니다.

이 결과는 통과율만이 유일한 실용 지표가 아니라는 점도 보여 줍니다. Datacurve는 출력 토큰, 실제 경과 시간, 시도당 비용도 함께 추적하며, 더 많은 토큰과 더 긴 시간, 더 높은 비용이 항상 더 좋은 결과로 이어지지 않는다고 말합니다. 개발자는 신뢰성, 비용, 지연 시간, 요구사항 누락 빈도를 함께 비교해야 합니다.

합리적인 워크플로는 DeepSWE를 하나의 벤치마크 전용 데이터 포인트로 활용한 뒤, 상위 후보 모델을 여러분의 저장소, 언어, 리뷰 기준에 맞춰 직접 시험해 보고 나서 기본 코딩 도우미를 정하는 것입니다.