Cómo usar esta calculadora
- Indique alfa y potencia objetivo.
- Especifique cuántas comparaciones ejecutará.
- Opcionalmente estime cuántas tienen efecto real.
- Revise errores por prueba y riesgo familiar.
#3137 · Herramienta de IA y tecnología
Tasa de error de experimento A/B
Resume el riesgo estadístico de un experimento A/B usando el nivel de significación, la potencia y el número de comparaciones. Muestra la tasa de falso positivo por prueba, la tasa de falso negativo implícita y una aproximación de la probabilidad de al menos un falso positivo al ejecutar varias pruebas independientes.
Calculadora
Parámetros de cálculoFórmula
β = 1 − potencia; FWER ≈ 1 − (1 − α)^m; falsos negativos esperados = efectos reales × β
Qué significa el resultado
Alfa representa riesgo de falso positivo por comparación y beta el riesgo de no detectar un efecto del tamaño para el que se definió la potencia. La fórmula familiar supone comparaciones independientes.
Las dependencias entre pruebas y los métodos de corrección múltiple pueden cambiar el riesgo real. No use la aproximación familiar como sustituto de un procedimiento de multiplicidad.
Ejemplo de cálculo
Con α = 5 %, potencia = 80 % y 10 comparaciones independientes: β = 20 % y la probabilidad aproximada de al menos un falso positivo es 1 − 0,95¹⁰ = 40,13 %.
Consejos para obtener mejores resultados
- Defina cuántas hipótesis forman una familia antes de probar.
- Use correcciones apropiadas cuando haya múltiples comparaciones.
- No confunda alfa con la probabilidad de que la hipótesis nula sea verdadera.
- Planifique potencia para efectos relevantes.
Preguntas frecuentes
¿Cuál es la diferencia entre error tipo I y tipo II en una prueba A/B?
El tipo I es un falso positivo; el tipo II es no detectar un efecto relevante cuando existe bajo el supuesto de potencia.
¿Por qué aumenta el riesgo de falso positivo con muchas variantes?
Porque cada comparación añade otra oportunidad de superar el umbral por azar.
¿La probabilidad familiar 1−(1−α)^m siempre es exacta?
Es exacta bajo independencia y alfa idéntico; con dependencia entre pruebas es solo una aproximación.
¿Cómo reduzco falsos positivos al ejecutar muchas pruebas?
Puede usar procedimientos de control de multiplicidad y definir con antelación la familia de hipótesis.
¿Aumentar la potencia reduce los falsos negativos?
Sí. Beta es 1 menos la potencia, por lo que una potencia mayor implica menor tasa objetivo de error tipo II.
Calculadoras relacionadas
Resumen de variables
| Riesgo | Definición |
|---|---|
| Tipo I | Falso positivo por comparación |
| Tipo II | Falso negativo para el efecto objetivo |
| Riesgo familiar | Al menos un falso positivo entre varias pruebas |