Configurazione dell’Agent · SWE-bench Verified

live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)

L’oggetto classificato: modello, scaffold, strumenti, autorizzazioni, budget e ambiente nel loro insieme.

Confronta in questo benchmark Apri la fonte

Risolto77.4%

Costo per attività riuscitaNon pubblicato

Intervallo dei risultati pubblicatiNon pubblicato

Configurazione

Sistema Agentlive-SWE-agent + Gemini 3 Pro Preview (2025-11-18)

Modello di baseGemini 3 Pro Preview (2025-11-18)

ID o etichetta del modello della fontegemini-3-pro-preview

Scaffoldlive-SWE-agent

Versione dello scaffoldNon indicato

StrumentiNon indicato

AmbienteAmbienti di repository riproducibili valutati da SWE-bench

BudgetI limiti variano in base alla configurazione inviata

Esito

Risolto77.4%

Punteggio parzialeNon pubblicato

Costo per attività riuscitaNon pubblicato

Costo di benchmark indicatoNon indicato

Tempo mediano di completamentoNon pubblicato

Intervento umanoNon pubblicato

Operazione

Evidenze delle esecuzioni ripetuteNon pubblicato

Intervallo dei risultati pubblicatiNon pubblicato

Nota sulla sicurezzaNon pubblicato

Gruppo di comparabilitàswe-bench-verified-full-500

Data della valutazione20 nov 2025

Dati acquisiti6 ago 2026

Attendibilità

EvidenzeElencato dal publisher del benchmark

FonteSWE-bench Verified

Istantanea della fonteVerificato · Classifica completa · 500 attività

Data dei dati della fonte10 ago 2026

Recuperato da OpenGPT28 ago 2026

Ultima modifica della classificaAncora nessuna cronologia comparabile

Ultimo controllo28 ago 2026, 04:49

Attività500 issue GitHub convalidate da persone

Livello delle evidenzeAvvertenza esterna

Nota sulle evidenze

Conserva questi risultati come evidenze Storiche. Un audit di OpenAI del 2026 ha segnalato problemi di progettazione e contaminazione in SWE-bench Verified.

Apri l’audit ↗

Cosa non dimostra questo risultato

Questo risultato si applica alle condizioni esatte del sistema e della fonte qui indicate. Non stabilisce quale sia il miglior agente in assoluto, né l’affidabilità in produzione, la governance dei dati o le prestazioni su una versione diversa del benchmark.

Confronta elementi omogenei

Soltanto configurazioni della stessa versione del benchmark e dello stesso ambito di attività possono essere inserite in un unico confronto.

live-SWE-agent + Claude 4.5 Opus medium (20251101)79.2% · Claude 4.5 Opus medium (20251101)

Dati riportati dalla fonte; i valori mancanti rimangono sconosciuti.

Convalida prima dell’adozione

Le classifiche pubbliche creano una rosa di candidati. Una piccola prova privata determina se la configurazione è adatta al tuo lavoro.

1
Scegli 10–20 attività rappresentative e definisci una chiara condizione di superamento.
2
Fissa Agent, modello, strumenti, autorizzazioni e budget prima del test.
3
Esegui più volte ogni attività importante; registra esito positivo, costo, tempo e interventi umani.
4
Esamina gli errori e i rischi legati alla gestione dei dati prima di una decisione per la produzione.

← Directory e valutazioni degli Agent