OpenGPTModelkeuzes op basis van bewijsOpgelost79.2%Kosten per geslaagde taakNiet gepubliceerdBereik van gepubliceerde resultatenNiet gepubliceerd
Agentdetails →Gedeeld benchmarkbereik · SWE-bench Verified
Agentvergelijking binnen dezelfde benchmark
De onderstaande items delen hetzelfde benchmarkbereik. Hun exacte scaffolds, modelversies, datums en oorspronkelijke bronwaarden blijven zichtbaar.
Een hogere bronwaarde duidt uitsluitend op betere prestaties binnen deze benchmark en configuratie. Het is geen score die vergelijking tussen verschillende benchmarks mogelijk maakt van die iets zegt over de geschiktheid voor productiegebruik.
Vergelijk vergelijkbare zaken
Beslissingsoverzicht
Alleen configuraties uit dezelfde benchmarkversie en hetzelfde taakbereik kunnen in één vergelijking worden geplaatst.
Opgelost77.4%Kosten per geslaagde taakNiet gepubliceerdBereik van gepubliceerde resultatenNiet gepubliceerd
Agentdetails →17 identieke van volledig niet-gerapporteerde velden verborgen
| Agentsysteem | live-SWE-agent + Claude 4.5 Opus medium (20251101) | live-SWE-agent + Gemini 3 Pro Preview (2025-11-18) |
|---|---|---|
| Configuratie | ||
| Basismodel | Claude 4.5 Opus medium (20251101) | Gemini 3 Pro Preview (2025-11-18) |
| Model-ID van label uit bron | claude-opus-4-5-20251101 | gemini-3-pro-preview |
| Resultaat | ||
| Opgelost | 79.2% | 77.4% |
| Vertrouwen | ||
| Evaluatiedatum | 15 dec 2025 | 20 nov 2025 |
| Bron | ||
| Bron openen | Bron openen ↗ | Bron openen ↗ |
Configuratie
live-SWE-agent + Claude 4.5 Opus medium (20251101)
- Basismodel
- Claude 4.5 Opus medium (20251101)
- Model-ID van label uit bron
- claude-opus-4-5-20251101
live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
- Basismodel
- Gemini 3 Pro Preview (2025-11-18)
- Model-ID van label uit bron
- gemini-3-pro-preview
Resultaat
live-SWE-agent + Claude 4.5 Opus medium (20251101)
- Opgelost
- 79.2%
live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
- Opgelost
- 77.4%
Vertrouwen
live-SWE-agent + Claude 4.5 Opus medium (20251101)
- Evaluatiedatum
- 15 dec 2025
live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
- Evaluatiedatum
- 20 nov 2025
Bron
live-SWE-agent + Claude 4.5 Opus medium (20251101)
live-SWE-agent + Gemini 3 Pro Preview (2025-11-18)
Door bron gerapporteerde gegevens; ontbrekende waarden blijven onbekend.
Valideren vóór ingebruikname
Openbare ranglijsten leveren een shortlist op. Een kleine privéproef bepaalt van de configuratie bij uw werk past.
- 1
Kies 10–20 representatieve taken en definieer een duidelijke slaagvoorwaarde.
- 2
Vergrendel de agent, het model, de hulpmiddelen, rechten en het budget voordat u test.
- 3
Voer elke belangrijke taak meerdere keren uit; leg succes, kosten, tijd en overnames vast.
- 4
Beoordeel fouten en risico's bij gegevensverwerking vóór een productiebeslissing.