Dieser Rechner schätzt, wie viele Beobachtungen du pro Variante für einen A/B-Test mit zwei Anteilen benötigst. Gib die aktuelle Conversion-Rate, die kleinste relevante Verbesserung, das Signifikanzniveau und die gewünschte Teststärke an. Zusätzlich erhältst du Gesamtstichprobe, absolute Zielrate und eine grobe Laufzeit auf Basis deines täglichen Traffics.
Dabei ist p₁ die Basisrate, p₂ die Zielrate nach dem minimal relevanten Effekt und p̄ der Mittelwert beider Raten. Der Rechner nutzt die Normalapproximation für zwei unabhängige Anteile.
Die Hauptzahl ist die geschätzte Mindestzahl an Beobachtungen pro Variante. Ein kleinerer gewünschter Effekt oder höhere Sicherheit erhöht den Stichprobenbedarf deutlich.
Die Berechnung ist eine Planungsnäherung. Sie ersetzt keine sequenzielle Testplanung, Korrektur für Mehrfachtests oder spezialisierte statistische Analyse.
Bei 5 % Basisrate, 10 % relativer Verbesserung, 95 % Konfidenz und 80 % Teststärke liegt die Zielrate bei 5,5 %. Der Rechner schätzt die benötigte Stichprobe pro Variante und teilt die Gesamtstichprobe durch den täglichen Traffic, um die Laufzeit zu approximieren.
Bei gleicher relativer Verbesserung verändert sich auch der absolute Unterschied. Kleinere absolute Unterschiede erfordern in der Regel mehr Beobachtungen.
90 % Teststärke reduziert das Risiko, einen echten Effekt zu übersehen, benötigt dafür aber mehr Stichprobe als 80 %.
Ein strengeres Signifikanzniveau erhöht den kritischen z-Wert und damit die benötigte Stichprobe.
Als grobe Planung ja. In der Praxis können Filter, ungleiche Verteilung, Bot-Traffic und saisonale Schwankungen die Laufzeit verlängern.
Nein. Die verwendete Formel ist für binäre Anteilsmetriken wie Conversion ja oder nein gedacht; kontinuierliche Metriken benötigen eine andere Varianzannahme.
| Größe | Bedeutung |
|---|---|
| Basisrate | Aktuelle Conversion der Kontrolle |
| MDE | Kleinster relevanter relativer Effekt |
| Power | Wahrscheinlichkeit, einen echten Effekt zu erkennen |