Powered ICE - Priorizando Experimentos para Marcas de eCommerce Multimillonarias

JC Giusto
febrero 3, 2025

TLDR

El ICE Score omite un factor crucial para los eCommerces que facturan millones: la potencia estadística.

A medida que escalas, necesitas detectar mejoras más pequeñas con confianza.

Pero no todos los experimentos tienen suficiente tráfico o conversiones para detectar estos cambios.

¿El riesgo? Lanzar experimentos que nunca llegan a significancia y perder miles en el intento.

Solución: Agregar Potencia (1-5) al ICE Score basado en el efecto mínimo detectable - MDE.

Menor umbral de detección = puntuación más alta.

¿Quieres la hoja de cálculo que hace esto automáticamente? Deja tu email abajo.

Powered ICE Acceso

¿Quieres acceso a la Hoja de Cálculo Powered ICE?

¡Deja tu email y te la enviaré de inmediato!



Como marco de priorización, el ICE Score tiene una carencia fundamental.

Puede funcionar bien para startups y PyMEs...

Pero si estás haciendo Growth y Experimentación para marcas multimillonarias, tu enfoque de priorización necesita evolucionar.

Necesita considerar más que solo Impacto, Confianza y Ease (Facilidad.

La capacidad de tus experimentos para detectar efectos positivos con confianza debería ser un componente crucial de tu ecuación.

En otras palabras, necesitas empezar a priorizar por potencia también.

Por Qué Importa la Potencia

A medida que las marcas escalan más allá de los $5-10 millones, su enfoque de experimentación madura.

Con productos ya establecidos y canales rentables, comienzan a enfocarse en mejoras incrementales.

¿El desafío?

Detectar esas mejoras del 5% con confianza es difícil.

Aquí es donde entra el A/B testing.

Sin embargo, la capacidad de detectar cambios - potencia estadística - depende del volumen de visitantes y las tasas de conversión.

Y el ICE Score omite este elemento crucial.

Un ejemplo

Considera este ejemplo:

  • Una landing page para móvil - 3,700 visitantes semanales, 2.7% de conversión - necesita un incremento del 10% para 90% de confianza y 80% de potencia (test de una cola)
  • El Slider del Carrito - 7,053 visitantes semanales, 26.6% de conversión - solo necesita un incremento del 6%

Con todo lo demás igual, los experimentos del Slider del Carrito deberían tener prioridad porque los efectos positivos son más fáciles de detectar.

Recuerda, todo se trata de acumular resultados positivos para generar un crecimiento exponencial a medio y largo plazo.

Entonces, ¿cuál es la solución?

Presentando Powered ICE

Este marco mejorado agrega Potencia (calificación 1-5) basado en el Efecto Mínimo Detectable (MDE) del experimento.

Cuanto más bajo el MDE, más alta la puntuación:

  • 1: MDE es mayor que 10%
  • 2: MDE entre 8% y 10%
  • 3: MDE entre 6% y 8%
  • 4: MDE entre 4% y 6%
  • 5: MDE entre 2% y 4%

Si el MDE es menor que 2%, podría ser prudente aumentar el umbral del valor p.

De esta manera, los journeys (y experimentos) con MDEs más altos tendrán una puntuación pICE más baja que otros.

Haciendo las Cosas Prácticas (y Automáticas)

Para hacer este proceso más fácil y justo, he creado una Hoja de Cálculo que asigna automáticamente una Puntuación de Potencia a un recorrido basado en los MDEs de otros recorridos.

Todo lo que necesitas hacer es:

  1. Ingresar los datos relevantes para cada recorrido, como Página, Dispositivo, Segmento, Visitantes Semanales y Conversiones.
  2. Realizar un análisis previo rápido para determinar el MDE mínimo.
  3. Ingresar el MDE.

Y voilà: la hoja de cálculo calcula la Puntuación de Potencia del recorrido.

En la segunda pestaña, puedes hacer referencia al Journey y se asignará automáticamente una Sore de Potencia.

Si quieres acceso a la hoja de cálculo, haz clic en el botón de abajo:

Powered ICE Acceso

¿Quieres acceso a la Hoja de Cálculo Powered ICE?

¡Deja tu email y te la enviaré de inmediato!


Una Nota Rápida sobre MDEs

Calcular el MDE puede ser más un arte que una ciencia.

Dicho esto, uso algunas reglas generales para guiar mi enfoque:

  • No ejecuto experimentos por más de 4 semanas. Las cookies se eliminan después de 28 días, lo que puede contaminar los datos.
  • Típicamente elijo 3 o 4 semanas para las pruebas. No me importa esperar, siempre que pueda alcanzar el nivel de significancia deseado.
  • Si el MDE es demasiado bajo (menos de 2-3%) al 90% de significancia, consideraré acortar la prueba o aumentar el nivel de significancia.

Si te gustaría aprender más sobre cómo calcular MDEs y determinar niveles de confianza, házmelo saber en los comentarios.

Conclusión

No estoy criticando el ICE Score en absoluto.

El marco sigue siendo valioso, particularmente para startups y pequeñas empresas que no pueden ejecutar pruebas A/B debido a recursos limitados.

Sin embargo, la potencia se convierte en un componente crítico de la ecuación de priorización para organizaciones más grandes, donde los experimentos controlados aleatorios son el pan de cada día de su estrategia de crecimiento.

Y no tenerlo en cuenta puede llevar a programas de experimentación sin impacto, desperdiciando cientos de miles de dólares en el proceso.

Newsletter Form (#5)

Aprende a escalar tu eCommerce con Growth y Experimentación

Suscríbete para recibir las últimas estrategias y tácticas para hacer crecer tu marca de eCommerce.


linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram