Dieser Rechner zeigt, wie viel parallele Vektorsuche-Last innerhalb eines vorgegebenen Latenzziels tragbar ist. Er kombiniert ANN-Suchzeit, Filter- und Netzwerkanteile mit einer Sicherheitsreserve und vergleicht die resultierende Basis-Latenz mit deiner geplanten Parallelität.
Die sichere Parallelität zeigt, wie weit deine geplante Last unter den angegebenen Latenzanteilen skalieren kann.
Indexgröße, Top-K, Filterselektivität und Speichermedium können die Suchlatenz stark verändern.
Bei 120 ms Ziel, 45 ms ANN-Suche, 22 ms Filter/Rerank und 15 ms Netzwerk beträgt die Basis-Latenz 82 ms. Mit 20 % Reserve bleiben 96 ms nutzbar; bei 80 geplanten parallelen Suchen ergibt sich eine sichere Parallelität von etwa 93.
Nutze möglichst die gemessene End-to-End-Latenz der Suchkomponenten, idealerweise mit einem für deine Last repräsentativen Perzentil.
Ein höheres Top-K kann mehr Kandidatenverarbeitung, Datenübertragung und Reranking verursachen und damit die Latenz erhöhen.
Metadatenfilter und Reranker können unabhängig von der ANN-Suche einen relevanten Teil der Gesamtzeit verursachen.
Ja. CPU-, Speicher-, I/O- und Netzwerk-Sättigung kann unter hoher Parallelität die Latenz pro Suche verschlechtern.
Dann liegt bereits die Basis-Latenz über dem Ziel. Zusätzliche Parallelität wird das Problem typischerweise verschärfen.
| Kennzahl | Bedeutung |
|---|---|
| Basis-Latenz | Summe der Such-, Filter- und Netzwerkanteile. |
| Sichere Parallelität | Skalierte Parallelität unter reserviertem Budget. |
| Latenzreserve | Differenz zwischen Ziel und Basis-Latenz. |