OpenGPTModelkeuzes op basis van bewijs
Zoeken⌘K

Agentconfiguratie · τ²-bench Core

τ² standard agent · Qwen3.5-397B-A17B · thinking

Het gerangschikte object: model, scaffold, hulpmiddelen, rechten, budget en omgeving samen.

Vergelijken in deze benchmarkBron openen
Gemiddeld geslaagd¹87.91%
Kosten per geslaagde taakNiet gepubliceerd
Bereik van gepubliceerde resultatenNiet gepubliceerd

01

Configuratie

Agentsysteemτ² standard agent · Qwen3.5-397B-A17B · thinking
BasismodelQwen3.5-397B-A17B
Model-ID of label uit bronQwen3.5-397B-A17B · thinking
Scaffoldτ² standard agent
Scaffoldversiev1.0.1
HulpmiddelenStandard retail, airline, and telecom domain tools
OmgevingStandaardagent en domeinhulpmiddelen met een gedeelde GPT-5.2-gebruikerssimulator met laag redeneerniveau
Budget4 pogingen per taak · 1.112 trajecten per configuratie

02

Resultaat

Gemiddeld geslaagd¹87.91%
Gedeeltelijke scoreNiet gepubliceerd
Kosten per geslaagde taakNiet gepubliceerd
Gerapporteerde benchmarkkostenNiet gerapporteerd
Mediane voltooiingstijdNiet gepubliceerd
Menselijke tussenkomstNiet gepubliceerd

03

Werking

Bewijs uit herhaalde uitvoeringen4 uitvoeringen
Bereik van gepubliceerde resultatenNiet gepubliceerd
VeiligheidsnotitieNiet gepubliceerd
Vergelijkbaarheidsgroeptau2-v1-0-1-base-standard-gpt-5-2-low-4-trials
Evaluatiedatum
Gegevens vastgelegd

04

Vertrouwen

BewijsVermeld door de benchmarkuitgever
BronSierra Research · τ²-bench
Bronmomentopnamev1.0.1 · standard agent · GPT-5.2 low user simulator · 4 trials
Datum van brongegevens
Opgehaald door OpenGPT
Rangschikking laatst gewijzigdNog geen vergelijkbare geschiedenis
Laatst gecontroleerd
Taken278 basistaken voor retail, luchtvaart en telecom
BewijsniveauOnderhouden door uitgever
Bewijsnotitie

Er zijn slechts acht door uitgevers ingediende rijen opgenomen met dezelfde v1.0.1-benchmark, standaardscaffold en -hulpmiddelen, gebruikerssimulator, basistaaksplitsingen en protocol met vier pogingen. Andere τ-bench-rijen vallen buiten dit bereik.

Audit openen ↗

Wat dit resultaat niet bewijst

Dit resultaat geldt voor het exacte systeem en de hier getoonde bronvoorwaarden. Het stelt geen universeel beste agent, productiebetrouwbaarheid, gegevensgovernance van prestaties op een andere benchmarkversie vast.

Vergelijk vergelijkbare zaken

Alleen configuraties uit dezelfde benchmarkversie en hetzelfde taakbereik kunnen in één vergelijking worden geplaatst.

τ² standard agent · Claude Opus 4.5 · high85.31% · Claude Opus 4.5τ² standard agent · GPT-5.2 · high84.76% · GPT-5.2τ² standard agent · Gemini 3 Flash Preview · high83.49% · Gemini 3 Flash Previewτ² standard agent · Gemini 3 Pro Preview · high82.46% · Gemini 3 Pro Preview

Door bron gerapporteerde gegevens; ontbrekende waarden blijven onbekend.

Valideren vóór ingebruikname

Openbare ranglijsten leveren een shortlist op. Een kleine privéproef bepaalt van de configuratie bij uw werk past.

  1. 1

    Kies 10–20 representatieve taken en definieer een duidelijke slaagvoorwaarde.

  2. 2

    Vergrendel de agent, het model, de hulpmiddelen, rechten en het budget voordat u test.

  3. 3

    Voer elke belangrijke taak meerdere keren uit; leg succes, kosten, tijd en overnames vast.

  4. 4

    Beoordeel fouten en risico's bij gegevensverwerking vóór een productiebeslissing.

← Agentoverzicht en -evaluaties