OpenGPTEvidenzbasierte ModellentscheidungenAgentenkonfiguration · SWE-bench Verified
mini-SWE-agent + Gemini 3 Flash (high reasoning)
Das eingeordnete Objekt: Modell, Gerüst, Tools, Berechtigungen, Budget und Umgebung als Einheit.
01
Konfiguration
02
Ergebnis
03
Vorgang
04
Vertrauen
Nachweishinweis
Bewahren Sie diese Ergebnisse als historische Nachweise auf. Eine OpenAI-Prüfung von 2026 berichtete über Bedenken hinsichtlich Design und Kontamination bei SWE-bench Verified.
Audit öffnen ↗Was dieses Ergebnis nicht nachweist
Dieses Ergebnis gilt für das hier gezeigte exakte System und die angegebenen Quellbedingungen. Es weist weder einen universell besten Agenten noch Produktionstauglichkeit, Daten-Governance oder Leistung mit einer anderen Benchmark-Version nach.
Von der Quelle gemeldete Daten; fehlende Werte bleiben unbekannt.
Vor der Einführung validieren
Öffentliche Rankings erstellen eine Vorauswahl. Ein kleiner privater Test zeigt, ob die Konfiguration zu Ihrer Arbeit passt.
- 1
Wählen Sie 10–20 repräsentative Aufgaben und definieren Sie eine klare Bestehensbedingung.
- 2
Legen Sie Agent, Modell, Tools, Berechtigungen und Budget vor dem Test fest.
- 3
Führen Sie jede wichtige Aufgabe mehrmals aus; erfassen Sie Erfolg, Kosten, Zeit und menschliche Übernahmen.
- 4
Fehler und Risiken bei der Datenverarbeitung vor einer Produktionsentscheidung prüfen.