El ICE Score omite un factor crucial para los eCommerces que facturan millones: la potencia estadística.
A medida que escalas, necesitas detectar mejoras más pequeñas con confianza.
Pero no todos los experimentos tienen suficiente tráfico o conversiones para detectar estos cambios.
¿El riesgo? Lanzar experimentos que nunca llegan a significancia y perder miles en el intento.
Solución: Agregar Potencia (1-5) al ICE Score basado en el efecto mínimo detectable - MDE.
Menor umbral de detección = puntuación más alta.
¿Quieres la hoja de cálculo que hace esto automáticamente? Deja tu email abajo.
Como marco de priorización, el ICE Score tiene una carencia fundamental.
Puede funcionar bien para startups y PyMEs...
Pero si estás haciendo Growth y Experimentación para marcas multimillonarias, tu enfoque de priorización necesita evolucionar.
Necesita considerar más que solo Impacto, Confianza y Ease (Facilidad.
La capacidad de tus experimentos para detectar efectos positivos con confianza debería ser un componente crucial de tu ecuación.
En otras palabras, necesitas empezar a priorizar por potencia también.
A medida que las marcas escalan más allá de los $5-10 millones, su enfoque de experimentación madura.
Con productos ya establecidos y canales rentables, comienzan a enfocarse en mejoras incrementales.
¿El desafío?
Detectar esas mejoras del 5% con confianza es difícil.
Aquí es donde entra el A/B testing.
Sin embargo, la capacidad de detectar cambios - potencia estadística - depende del volumen de visitantes y las tasas de conversión.
Y el ICE Score omite este elemento crucial.
Considera este ejemplo:
Con todo lo demás igual, los experimentos del Slider del Carrito deberían tener prioridad porque los efectos positivos son más fáciles de detectar.
Recuerda, todo se trata de acumular resultados positivos para generar un crecimiento exponencial a medio y largo plazo.
Entonces, ¿cuál es la solución?
Este marco mejorado agrega Potencia (calificación 1-5) basado en el Efecto Mínimo Detectable (MDE) del experimento.
Cuanto más bajo el MDE, más alta la puntuación:
Si el MDE es menor que 2%, podría ser prudente aumentar el umbral del valor p.
De esta manera, los journeys (y experimentos) con MDEs más altos tendrán una puntuación pICE más baja que otros.
Para hacer este proceso más fácil y justo, he creado una Hoja de Cálculo que asigna automáticamente una Puntuación de Potencia a un recorrido basado en los MDEs de otros recorridos.
Todo lo que necesitas hacer es:
Y voilà: la hoja de cálculo calcula la Puntuación de Potencia del recorrido.
En la segunda pestaña, puedes hacer referencia al Journey y se asignará automáticamente una Sore de Potencia.
Si quieres acceso a la hoja de cálculo, haz clic en el botón de abajo:
Calcular el MDE puede ser más un arte que una ciencia.
Dicho esto, uso algunas reglas generales para guiar mi enfoque:
Si te gustaría aprender más sobre cómo calcular MDEs y determinar niveles de confianza, házmelo saber en los comentarios.
No estoy criticando el ICE Score en absoluto.
El marco sigue siendo valioso, particularmente para startups y pequeñas empresas que no pueden ejecutar pruebas A/B debido a recursos limitados.
Sin embargo, la potencia se convierte en un componente crítico de la ecuación de priorización para organizaciones más grandes, donde los experimentos controlados aleatorios son el pan de cada día de su estrategia de crecimiento.
Y no tenerlo en cuenta puede llevar a programas de experimentación sin impacto, desperdiciando cientos de miles de dólares en el proceso.