Test A/B en Móvil

Test A/B de Ficha en App Store (ASO): qué puedes testear

Test A/B de ficha en app store (ASO): qué permiten testear Google Play y Apple, cómo mide cada uno al ganador y cómo dimensionar bien el test.

Ilustración plana de una tarjeta abstracta de ficha de app store con un icono redondeado y paneles de vista previa, con una segunda variante de la misma tarjeta superpuesta detrás

El test A/B de ficha en app store es un test que la plataforma ejecuta en tu página de tienda, antes de que nadie instale, y se mide con un único número: la conversión de vista de ficha a instalación. No es el mismo mecanismo que un test A/B dentro de tu app, no usa tu código, y ninguna herramienta de terceros puede ejecutarlo por ti. Este artículo forma parte de la guía completa de test A/B en apps móviles y cubre qué te dejan testear realmente Google Play y la App Store, cómo decide cada una al ganador, cómo dimensionar un test de tienda con números reales, y las trampas que hacen que una ficha “ganadora” no mueva las instalaciones tras el lanzamiento.

Dónde encaja un test de ficha dentro del embudo

Todo lo que un equipo de app puede testear se divide limpiamente en dos zonas, separadas por la propia instalación.

Dos zonas de test separadas por la instalaciónAntes de la instalación, la tienda es dueña de la página y ejecuta el experimento sobre icono, capturas, vídeo de vista previa y, en Google Play, el texto de la ficha; la métrica es la conversión de vista de ficha a instalación. Después de la instalación, tu propio código es dueño de la experiencia y ejecuta tests de feature flag medidos por activación, mejora de plan y retención.Antes de la instalaciónla tienda es dueña de la páginaicono · capturas · vídeo de vista previatexto de la ficha (solo Google Play)métrica: vista de ficha a instalacióninstalaciónDespués de la instalacióntu código es dueño de la experienciaonboarding · paywall · flujosfeature flag remoto o backendmétrica: activación, mejora de plan, retenciónUna ficha ganadora que promete de más sube la caja izquierda y baja la derecha. Lee las dos.
La instalación es la frontera. Los tests de ficha optimizan la caja izquierda y los ejecuta la plataforma; los tests de feature flag optimizan la caja derecha y los ejecutas tú. Optimizar una ignorando la otra es como las apps acaban con más instalaciones y peor retención.

Qué te deja testear cada tienda

Las dos plataformas están cerca en espíritu y lejos en cobertura. Ambas ejecutan el experimento contra tráfico real de tienda, lo dividen ellas mismas y reportan la conversión de cada variante. Dónde se separan es en qué te permiten variar.

Google Play (experimentos de ficha) App Store (Product Page Optimization)
Recursos visuales testeables Icono, gráfico destacado, capturas, vídeo de vista previa Icono, capturas, vistas previas de la app
Texto de la ficha testeable Sí, las descripciones de la app No, Product Page Optimization no cubre nombre, subtítulo ni descripción
Dónde se configura Google Play Console App Store Connect
Tráfico usado Tráfico real de búsqueda y exploración de Google Play Tráfico real de la App Store, con una parte configurable asignada al test
Duración máxima Google documenta una parada automática a los 6 meses Apple documenta hasta 90 días
Métrica reportada Clics de instalación por variante, reportados con intervalo de confianza Tasa de conversión de cada tratamiento frente al original
Localización Los experimentos se configuran por localización de la ficha Los tratamientos pueden localizarse por mercado

De esa tabla se deducen dos consecuencias. Primera, si tu hipótesis es sobre las palabras (“¿llamarlo agenda en lugar de lista de tareas sube las instalaciones?”), Google Play puede responderla de forma nativa y la App Store no: en iOS tendrías que cambiar los metadatos y comparar periodos, que no es un experimento controlado. Segunda, un test de icono es la única hipótesis que las dos tiendas responden igual, y por eso el icono es el primer test más habitual en ambas plataformas.

Hay otra función de Apple que la gente confunde con un test: las páginas de producto personalizadas, que son versiones alternativas de tu página con sus propias URL, usadas para casar una campaña de adquisición concreta con un mensaje concreto. Son una herramienta de segmentación, no un experimento: no hay división aleatoria ni grupo de control. Úsalas para alinear el tráfico de pago con la página a la que llega, y usa Product Page Optimization cuando quieras una comparación controlada.

Qué no puedes testear en la tienda

Vale la pena decir con claridad la lista de lo que queda fuera de los experimentos nativos, porque mucha guía de ASO pasa de puntillas por encima:

Cómo deciden las tiendas al ganador, y por qué aun así conviene hacer las cuentas

Las dos plataformas reportan su propia estimación de confianza, y las dos son honestas al decir que un resultado dentro de la banda de incertidumbre no es un resultado. Eso es genuinamente útil, y también es donde la mayoría de los equipos deja de pensar, lo cual es un error por dos razones.

La primera es que el veredicto nativo de la tienda responde “¿es esta diferencia distinguible del ruido?”, no “¿cuánto voy a esperar y merece la pena esa espera?”. Solo un cálculo de tamaño de muestra responde a la segunda pregunta antes de comprometer semanas de tráfico de tienda en un test.

La segunda es que el tráfico de tienda no es tuyo para aumentarlo cuando quieras. En una web puedes apuntar anuncios a una página para acelerar un test. En una ficha de tienda, el experimento consume impresiones orgánicas al ritmo que la tienda las envíe, lo que significa que un test de ficha subdimensionado no solo falla, falla despacio.

Dimensiona el test antes de lanzarlo

Introduce tu tasa de conversión actual de la ficha, la mejora mínima que merecería publicarse y tus vistas semanales de ficha:

Calculadora de tamaño de muestra
-Visitantes por variación
-Total (2 variaciones)
-Duración estimada

Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.

Un ejemplo trabajado con números reales

Toma una ficha que convierte el 28% de las vistas de página de tienda en instalaciones, una cifra plausible para una app establecida con encaje claro de categoría. Tres efectos objetivo, al 95% de confianza y 80% de poder, producen compromisos muy distintos:

Mejora objetivo Nueva tasa Muestra por variante A 10.000 vistas de ficha/semana A 50.000 vistas/semana
+5% relativo 29,4% 16.388 23 días 5 días
+10% relativo 30,8% 4.155 6 días 2 días
+15% relativo 32,2% 1.872 3 días 1 día

Lee esa tabla antes de diseñar la creatividad, no después. Perseguir una subida relativa del +5% en una ficha que recibe 10.000 vistas por semana significa comprometer más de tres semanas de tráfico de tienda en una sola comparación; perseguir una subida del +15% con un concepto de icono genuinamente distinto se cierra en días. Es el mismo intercambio entre ambición y paciencia que aplica a cualquier test, y el artículo sobre testear con poco tráfico cubre la versión general.

Ahora el lado del resultado. Supongamos que el test corrió hasta 30.000 vistas por variante y produjo 8.400 instalaciones en el control (28,0%) contra 8.820 en el tratamiento (29,4%), exactamente la subida relativa del +5% de la primera fila. Pasando esos números por el mismo motor de significancia usado en todo este blog se obtiene z = 3,79, valor-p ≈ 0,00015, con un intervalo de confianza de la diferencia de +0,68 a +2,12 puntos porcentuales. El intervalo nunca toca el cero, así que el tratamiento convierte genuinamente mejor. Fíjate en lo modesta que es la afirmación honesta: la mejora está en algún punto entre unos dos tercios de punto y dos puntos de conversión, no “el icono nuevo subió las instalaciones un 5%” dicho como certeza.

Resultado del test de ficha: estimación puntual e intervalo de confianzaEl control convierte 8.400 de 30.000 vistas al 28,0 por ciento; el tratamiento convierte 8.820 de 30.000 al 29,4 por ciento. La diferencia de 1,4 puntos porcentuales lleva un intervalo de confianza del 95 por ciento de 0,68 a 2,12 puntos, que nunca cruza el cero, y un valor-p de alrededor de 0,00015.Conversión por varianteControl28,0% · 8.400 / 30.000Tratamiento29,4% · 8.820 / 30.000Diferencia, intervalo 95%cero+0,68 pt+2,12 ptp ≈ 0,00015
La afirmación honesta de este test es el intervalo, no la estimación puntual: el recurso nuevo convierte entre +0,68 y +2,12 puntos porcentuales mejor. Reportar solo “+5%” esconde lo ancho que es el rango real.

Las trampas propias de los tests de tienda

La estacionalidad se come los efectos pequeños. La mezcla de tráfico de tienda cambia con las fiestas, las selecciones editoriales de la plataforma, los lanzamientos de la competencia y las campañas de pago que tengas corriendo en otro sitio. Un test que corre durante un pico de toda la categoría está comparando dos variantes en condiciones que ninguna volverá a encontrar. Prefiere una ventana estable, y trata como provisional cualquier resultado hallado solo durante un periodo anómalo.

La mezcla de fuentes de tráfico no es constante. Quien llega desde una búsqueda de tu marca en la tienda se comporta distinto de quien explora un ranking de categoría, que a su vez se comporta distinto de quien toca un enlace de anuncio. Si tu test corre mientras una campaña de pago empuja tráfico atípico a la página, la variante ganadora es la que le conviene a esa mezcla, no necesariamente la que le conviene a tu mezcla normal.

Localizar no es traducir. Un juego de capturas que gana en un mercado pierde con frecuencia en otro, porque las convenciones visuales, el conjunto competitivo y las razones por las que la gente instala son distintas. Ejecuta el test por localización en lugar de generalizar el ganador de un mercado a todos.

Las instalaciones no son el objetivo. Es la trampa más cara de la lista. Una ficha agresiva, que promete más de lo que el producto entrega, sube de forma fiable la conversión a instalación y baja con la misma fiabilidad la retención al día 7, porque recluta gente a la que el producto nunca iba a satisfacer. Por eso la métrica de guarda de abajo importa más que la métrica primaria.

Conversión a instalación arriba, retención abajo: el patrón de prometer de másUna ficha de tratamiento sube la conversión a instalación del 28 por ciento al 29,4 por ciento mientras la retención al día 7 entre esas instalaciones cae del 24 por ciento al 19 por ciento. El número de usuarios todavía activos al día 7 por cada 10.000 vistas de tienda cae por tanto de 672 a 558, así que la ficha ganadora pierde en la métrica que importa.Por cada 10.000 vistas de fichaControlTratamiento (promete de más)instalaciones: 2.800 (28,0%)instalaciones: 2.940 (29,4%)retención día 7: 24,0%retención día 7: 19,0%672 activos al D7558 activos al D7Aritmética ilustrativa: la ficha que gana en instalaciones pierde el 17% de usuarios retenidos.
Aritmética ilustrativa, no un benchmark. Muestra la forma del problema: una ganancia relativa del +5% en conversión a instalación queda borrada por una caída de cinco puntos en la retención al día 7. Instrumenta la métrica de guarda antes de correr el test, no después de publicar al ganador.

La métrica de guarda: la retención de la cohorte que el test reclutó

Las dos tiendas reportan la conversión a instalación y ahí se detienen, lo cual es razonable, porque no pueden ver dentro de tu app. Tú sí. Etiqueta la cohorte de instalación por variante de test en tu propia analítica y compara la retención al día 1 y al día 7 entre ellas, junto al veredicto de conversión de la tienda.

La regla a adoptar: publica la variante que gana en usuarios retenidos, no en instalaciones. Si la variante B sube la conversión a instalación un 5% relativo y baja la retención al día 7 más que eso en términos relativos, B es una ficha peor que resulta parecer mejor en el panel de la tienda. Es el mismo razonamiento de las métricas de guarda en cualquier experimento, cubierto en el artículo sobre errores comunes en tests A/B.

Lista de comprobación previa a un test de ficha de app store

Elemento Confirma antes de lanzar
Hipótesis escrita Una afirmación concreta sobre por qué el recurso nuevo debería convertir mejor, no “probemos un icono más fresco”
Tamaño de efecto elegido de antemano La mejora mínima que merece publicarse, traducida a muestra y calendario con la calculadora de arriba
Una variable a la vez (cuando sea posible) Cambiar icono y capturas juntos te dice que ganó el paquete, no qué parte lo hizo
Ventana estable Sin función de plataforma solapada, pico estacional ni campaña de pago inusual inflando la página
Por localización Test configurado para el mercado que quieres cambiar, no un mercado generalizado a todos
Métrica de guarda de retención instrumentada Cohorte de instalación etiquetada por variante en tu propia analítica antes de empezar el test
Verificación posterior al lanzamiento Tras publicar al ganador, observa la conversión durante un ciclo completo para confirmar que el efecto sobrevive fuera del test

Combinar tests de tienda con tests dentro de la app

La secuencia que funciona es aburrida y eficaz: arregla primero la fuga mayor. Si tu ficha convierte bien y tu onboarding gotea, un icono mejor solo manda más gente a un embudo roto. Si tu onboarding es sólido y casi nadie llega a él, la creatividad de la ficha es el sitio correcto para gastar el próximo mes. Mide las dos, decide con la aritmética, y corre un test cada vez en cada zona en lugar de cuatro tests solapados cuyos efectos ya no puedes separar.

Para la mitad dentro de la app de ese emparejamiento, el test A/B de onboarding móvil cubre la métrica de activación y el sesgo de supervivencia que arruina la mayoría de los resultados de onboarding.

Haz esto automáticamente con Donnu

Los tests de ficha solo pueden ejecutarlos las propias plataformas, y este artículo no pretende otra cosa. Lo que sí viaja entre las dos zonas es la disciplina: dimensiona el test antes de correrlo, lee el intervalo de confianza en lugar de la subida de titular, y mantén siempre una métrica de guarda sobre lo que viene después de aquello que estás optimizando.

Donnu A/B aplica exactamente esa disciplina al lado web de tu embudo: la landing page que alimenta instalaciones, el checkout en vista web, el área logueada accesible desde un navegador. Snippet ligero, dimensionamiento automático de muestra, estadística bayesiana honesta, sin certezas inventadas. Empieza una prueba gratuita de 14 días y deja de publicar ganadores que solo existen dentro del ruido.

Lee también: Test A/B en apps móviles: la guía completa · Test A/B de onboarding móvil · Errores comunes en tests A/B

Referencias

Preguntas frecuentes

¿Qué puedo testear exactamente en una ficha de app store?
En Google Play, los experimentos de ficha de tienda cubren los recursos visuales (icono, gráfico destacado, capturas y vídeo de vista previa) y las descripciones de la app para una localización concreta. En la App Store, Product Page Optimization cubre solo los recursos visuales: icono de la app, capturas y vistas previas. Apple no ofrece un test A/B para el nombre, el subtítulo o la descripción a través de Product Page Optimization. Cualquier cosa fuera de esas listas (precio, categoría, palabras clave del campo de metadatos) no es testeable con el experimento nativo de la tienda.
¿Un test de ficha de tienda es lo mismo que un test A/B dentro de la app?
No. Un test de ficha corre antes de la instalación, en la propia página de la tienda, y lo ejecuta y lo mide la plataforma, no tu código. La métrica es la conversión de vista de ficha a instalación. Un test A/B dentro de la app corre después de la instalación, mediante un feature flag remoto o una decisión de backend, y mide eventos de producto como activación, mejora de plan o retención. Responden preguntas distintas y suelen tener responsables distintos.
¿Cuánto debe durar un test de ficha de tienda?
Lo suficiente para alcanzar la muestra que exigen tu tasa base de conversión y el efecto objetivo, y como mínimo una semana completa para cubrir el ciclo de días laborables y fin de semana. Apple documenta que un test de Product Page Optimization puede correr hasta 90 días. En la práctica la restricción que manda es el tráfico de la tienda: una ficha con volumen modesto de impresiones que persigue una mejora relativa pequeña puede necesitar decenas de miles de vistas por variante, algo que la calculadora de tamaño de muestra de este artículo hace concreto.
¿Por qué mi test de tienda ganó y luego las instalaciones no subieron?
Tres razones habituales. Primera, el efecto era real pero pequeño, y la versión publicada compite ahora contra una estacionalidad que movió más de lo que movió el test. Segunda, el test corrió con una mezcla de tráfico (búsqueda, exploración, referencia externa) que no es la mezcla que tienes después del lanzamiento, así que el recurso ganador rinde distinto ante otra audiencia. Tercera, y la más dañina, el recurso ganador promete de más: sube instalaciones y baja retención. Lee siempre un test de tienda junto a una métrica de guarda de retención posterior, y no solo por la conversión a instalación.
¿Puedo usar mi propia herramienta de test A/B en la ficha de la tienda?
No. La página de la tienda la renderizan Google Play y la App Store, no tus servidores, así que ningún snippet ni SDK de terceros puede dividir ese tráfico. La única forma de testear una ficha es mediante el experimento nativo de la tienda (experimentos de ficha o Product Page Optimization). Las herramientas externas pueden ayudarte a producir y precribar conceptos creativos, pero el test en vivo solo corre dentro de la plataforma.