Dieser A/B-Test-Rechner schätzt die notwendige Stichprobengröße pro Variante für einen zweiseitigen Vergleich zweier Conversion-Raten. Du gibst die aktuelle Basis-Conversion-Rate, die kleinste relevante absolute Veränderung in Prozentpunkten, das gewünschte Konfidenzniveau und die statistische Teststärke an. Das Ergebnis zeigt die benötigten Beobachtungen pro Variante, die Gesamtstichprobe und die Ziel-Conversion-Rate des gewählten Effekts.
n ≈ [zα/2·√(2p̄(1−p̄)) + zβ·√(p₁(1−p₁)+p₂(1−p₂))]² / (p₂−p₁)²
p₂ = Basisrate + minimaler absoluter Effekt
Die Hauptzahl ist die angenäherte Anzahl unabhängiger Beobachtungen pro Variante. Sie basiert auf einem zweiseitigen Test zweier Anteile und geht von einer festen, vorab geplanten Stichprobe aus.
Die Formel ist eine Planungsnäherung. Sequential Testing, Cluster, wiederkehrende Nutzer, Multiple Testing oder ungleiche Traffic-Aufteilung benötigen angepasste Methoden.
Bei 10 % Basis-Conversion, 1 Prozentpunkt minimalem Effekt, 95 % Konfidenz und 80 % Teststärke benötigt die Näherung rund 14.744 Beobachtungen pro Variante; bei zwei Varianten also rund 29.488 insgesamt.
Mit 95 % Konfidenz und 80 % Teststärke ergibt die verwendete zweiseitige Näherung ungefähr 14.744 Beobachtungen pro Variante.
Ein Anstieg von 10 % auf 11 % sind 1 Prozentpunkt absolut, aber 10 % relativer Lift gegenüber der Ausgangsrate.
Eine höhere Teststärke erhöht normalerweise die benötigte Stichprobe, weil kleinere Zufallsschwankungen toleriert werden sollen.
Die Gesamtstichprobe wird mit der Variantenanzahl multipliziert. Für statistisch saubere Mehrfachvergleiche kann zusätzlich eine Alpha-Korrektur erforderlich sein.
Je kleiner der Unterschied zwischen Basis- und Zielrate ist, desto mehr Beobachtungen werden benötigt, um ihn zuverlässig von Zufallsschwankungen zu unterscheiden.
| Parameter | Bedeutung |
|---|---|
| Basisrate | Aktuelle Conversion-Rate der Kontrolle |
| Mindest-Effekt | Kleinste relevante absolute Veränderung |
| Konfidenz/Teststärke | Statistische Sicherheitsanforderungen |