Der Durchsatzrechner schätzt, wie viele vollständige Sprachagent-Gespräche ein Inferenz-Cluster pro Stunde verarbeiten kann. Er verbindet GPU-Anzahl und effektiven Request-Durchsatz mit der durchschnittlichen Gesprächsdauer und den Inferenzanfragen pro Gesprächsminute. Zusätzlich zeigt er die unterstützbare Gleichzeitigkeit und die Gesamt-Request-Kapazität. So kannst du prüfen, ob ein Cluster zu deinem erwarteten Gesprächsvolumen passt.
Der maximale rechnerische Durchsatz setzt voraus, dass der verfügbare Request-Durchsatz vollständig für die betrachteten Gespräche genutzt werden kann. Die unterstützte Gleichzeitigkeit ist eine Kapazitätsgröße und kein Garant für ein bestimmtes Latenz-Perzentil.
Berücksichtige für Produktionsplanung zusätzlich Sicherheitsreserve, Lastspitzen, Fehlversuche, Audioverarbeitung und gewünschte Latenz.
4 Einheiten × 12,6 Req./s = 50,4 Req./s
7,2 Req./Min. × 4,5 Min. = 32,4 Requests/Gespräch
50,4 × 3.600 ÷ 32,4 = 5.600 Gespräche/Stunde
Gleichzeitigkeit: 50,4 × 60 ÷ 7,2 = 420 Gespräche.
Multipliziere die Cluster-Requests pro Sekunde mit 3.600 und teile durch die durchschnittlichen Requests je vollständigem Gespräch.
Sie schätzt, wie viele Gespräche bei der eingegebenen Request-Rate gleichzeitig bedient werden könnten.
Durchsatz und Latenz sind unterschiedliche Größen. Queueing, lange Einzelanfragen oder Audio-Pipelines können die Antwortzeit trotz hoher Gesamtkapazität erhöhen.
Ja, wenn diese Aufrufe die gleiche limitierende Inferenz- oder Worker-Kapazität beanspruchen.
Vergleiche Gespräche pro Stunde und unterstützte Gleichzeitigkeit mit deinen erwarteten Spitzenwerten und behalte eine zusätzliche Betriebsreserve.
| Kennzahl | Bedeutung |
|---|---|
| Gespräche/Stunde | Rechnerischer vollständiger Gesprächsdurchsatz. |
| Cluster-Req./s | Summe des effektiven Durchsatzes aller Einheiten. |
| Gleichzeitigkeit | Rechnerisch unterstützbare parallele Gespräche. |
| Requests/Gespräch | Durchschnittliche Inferenzanfragen je vollständigem Gespräch. |