¿Cómo se configuran las métricas?

Esto fue publicado por primera vez en mi lista de correo The Looking Glass. Cada semana, respondo la pregunta de un lector.

Foto por Di_Chap

¿Cómo se configuran las métricas?

P: ¿Qué papel deberían jugar las métricas para los diseñadores? ¿Cómo debe establecer las métricas y cómo debe usarlas?

A menudo escuché la idea errónea de que las métricas son del dominio de los Gerentes de Producto y Científicos de Datos, números fríos y sólidos utilizados para rastrear el negocio que realmente no puede medir la experiencia humana de usar un producto. Como resultado, escuché que algunos diseñadores desconfían de las métricas como herramienta, creyendo que el desarrollo "basado en datos" es similar al pensamiento a corto plazo y a las micro optimizaciones sin sentido, como cambiar el tamaño y el color de los botones, en lugar de potenciar diseñadores para imaginar un gran producto.

No creo que esta sea una perspectiva saludable, y los diseñadores que se toman el tiempo para ayudar a definir y comprender las métricas de su equipo están mucho mejor equipados para generar impacto que los diseñadores que no están pensando en ellos.

En un nivel alto, las métricas son simplemente medidas cuantificables de cómo te va. Esto es bueno para la claridad y la tangibilidad: todos en un equipo saben cuál es su posición y qué es "bueno". Cuando las personas se quejan de estar demasiado "basadas en métricas", creo que la causa principal es cuando se pone demasiado énfasis en el valor de los números. Simplemente "mover la aguja en los números de crecimiento o compromiso" es bastante orientado hacia adentro y no es terriblemente inspirador. Puede parecer que estás enfocado en el valor que estás recibiendo como empresa, en lugar del valor que estás creando para otros.

Es por eso que he encontrado que la mejor manera de seleccionar métricas no es comenzar con números, sino comenzar con una declaración en lenguaje sencillo sobre cómo sería un resultado exitoso en términos humanos. En otras palabras, ¿cómo mejorará la vida de las personas si sus esfuerzos son exitosos? Esta debería ser una declaración de aspiraciones que capture la esencia del cambio que intentas hacer en el mundo. Una vez que esté de acuerdo con esta declaración, seleccione una única métrica (o un pequeño grupo de métricas) y un marco de tiempo para medir si está en camino de alcanzar su objetivo. Esto no será perfecto, pero reducir la declaración a algo cuantificable permite a los equipos operacionalizarlo.

En Facebook, recientemente utilizamos este proceso al actualizar nuestra declaración de misión para centrarnos no solo en conectar el mundo, sino también en acercar el mundo. Comenzamos con la declaración en lenguaje sencillo donde, si nuestros esfuerzos son exitosos, todos en el mundo encontrarían y participarían en comunidades que fueran significativas para ellos, tanto en línea como en el mundo físico. Luego establecimos el objetivo de ayudar a mil millones de personas a unirse a "grupos significativos", grupos en Facebook con los que interactúan con frecuencia. Al comenzar con una declaración y luego usarla para seleccionar nuestras métricas de éxito, tenemos una mejor idea de las personas a las que servimos, y un mejor marco para que nuestros equipos piensen cuando se trata de crear herramientas para ayudar a las personas iniciar y crecer comunidades.

Tenga en cuenta que podríamos haber seleccionado otras métricas para mirar, como tal vez la cantidad de publicaciones y comentarios en grupos, o de cuántos grupos forma parte alguien. Hay diferentes maneras de abordar la traducción de su declaración de misión en una métrica, y es saludable volver a evaluar periódicamente si la métrica elegida se adapta bien a su misión real. Cuando su misión y sus métricas no están alineadas, esa es una receta para la tensión, ya que los números pueden obligarlo a hacer cosas que técnicamente podrían coincidir con la forma en que definió el "éxito", pero no están llegando a lo que realmente importa.

Ahora que tiene métricas, ¿cómo las usará? Las métricas proporcionan claridad de enfoque y deben servir como la respuesta para "por qué" detrás de cada cosa que haces. Le permiten establecer objetivos de forma mensual o anual, y respaldan el establecimiento de prioridades y la realización de compensaciones. Cuando los recursos son limitados, la dirección que tiene más probabilidades de afectar su métrica debe tener prioridad sobre otro trabajo, y se convertirá en una lente útil a través de la cual ver cada etapa de su proceso, incluidas las críticas de diseño, la investigación del usuario y la exploración de productos. Y debido a que la métrica se derivó de su declaración de misión, siempre debe poder vincular las mejoras a la métrica con el objetivo general. Le servirá de mucho comenzar sus presentaciones de diseño con su objetivo (expresado en términos de personas), cómo mide el progreso con respecto a ese objetivo y cómo su trabajo conduce a un mejor resultado con respecto a ese objetivo.

Algunas otras reglas generales para pensar en métricas:

Evite tener una enorme lista de métricas. Puedes medir todo lo que quieras, y deberías. Cuanto más comprenda lo que la gente está haciendo realmente en su producto, mejor podrá crear la experiencia adecuada. Sin embargo, cuando establezca un objetivo de nivel superior para impulsar el trabajo de su equipo, lo ideal sería operar alrededor de una métrica clave (o como máximo, un pequeño puñado) que mejor rastree su misión. Cuantos más objetivos métricos tenga, más complicado será tener cada uno en mente y hacer compensaciones contra ellos. Si bien puede parecer doloroso, tomar esta decisión explícita por adelantado puede ahorrarle muchos dolores de cabeza de discutir más adelante sobre qué trabajo es más importante.

Considere el seguimiento de contramedidas. Ciertamente, hay muchas advertencias sobre la idea anterior de establecer una meta en torno a una sola métrica. Una notable es que es posible que deba tener una contramedida para ayudar a equilibrar las compensaciones a corto y largo plazo. A modo de ejemplo, si su métrica es la participación, medida por el "aumento del tiempo dedicado por usuario", es posible que desee incluir la métrica contraria que no disminuirá el número de usuarios comprometidos. El objetivo sigue siendo la misma métrica principal (tiempo dedicado por usuario), pero la contramétrica le permite tener en cuenta que los sistemas son complejos y evitar que se optimice en exceso para un subconjunto de su audiencia a expensas de crear experiencias más ampliamente atractivas.

Evite las métricas de vanidad. Se ha derramado mucha tinta digital sobre este tema, por lo que mantendré este breve: a menos que una métrica realmente capture el valor que está creando para las personas de manera continua, no es la métrica correcta. Las métricas de vanidad que suenan esponjosas y divertidas (como "número de usuarios registrados", que a menudo es mucho más grande que los activos diarios) en realidad pueden hacer más daño que bien, ya que pueden inducirlo a pensar que está haciendo un buen trabajo cuando todos lo estás haciendo agitando a tu audiencia. Las métricas que tienen menos probabilidades de ser en vano son la retención, los ingresos, el uso diario y las acciones significativas.

Evitar medidas subjetivas. En la medida de lo posible, intente comprender cómo cuantificará el valor que está creando. Claro, hay cosas que le gustaría lograr, como "la gente ama nuestro producto", pero si está tratando de medir el sentimiento, considere la puntuación neta del promotor u otras formas de comprender numéricamente dónde se encuentra actualmente (o cómo le va en relación al mercado), y establezca una meta para el cambio que espera realizar de una manera que sea medible. Mirar algunas historias anecdóticas o correos electrónicos de clientes no es una forma rigurosa de sacar conclusiones si su base de usuarios real es diversa.

Evitar establecer métricas después del hecho. Intentar decidir si tuvo éxito o no después de que su producto ya está en el mercado no tiene mucho sentido. Los humanos tendemos a ver la versión más optimista de los hechos. La idea general del desarrollo informado de datos es que desea evitar ser parcial. Debe saber, al ingresar a su trabajo, cuál es su objetivo y cómo lo medirá si lo logra.

Considere establecer objetivos del percentil 50. Sus metas idealmente deberían estirar a su equipo. Desea encontrar el equilibrio adecuado entre seleccionar un objetivo que es tan difícil que parece poco probable que se cumpla, o uno tan fácil que podrá alcanzarlo sin hacer nada efectivo. Una forma de describir esto es pensando en sus objetivos como objetivos del percentil 50, es decir, hay un 50% de posibilidades de que alcance el objetivo métrico elegido. Esto significa que si está alcanzando sus objetivos la mitad del tiempo, está haciendo un buen trabajo. Si siempre está alcanzando o superando sus objetivos, es probable que no haya puesto sus miras lo suficientemente altas. Y si no alcanza su objetivo, debe discutir honestamente si el objetivo fue incorrecto o si el desglose fue algo en la estrategia o ejecución del equipo. En todos los casos, ser bueno para establecer las métricas correctas es en sí mismo una habilidad, y será algo en lo que su equipo debería trabajar para mejorar con el tiempo. Si es necesario, puede ser útil profundizar en cuáles son los casos del percentil 90 y 10, es decir, para su métrica dada, además del objetivo de 50p, ¿qué está 90% seguro de que puede alcanzar (el caso de 90p), y cuál es el número tremendamente ambicioso de "si todo va bien" que solo tienes un 10% de confianza de que puedes acertar (el caso de 10p).

No te atasques con la semántica. ¿Cuál es la diferencia entre objetivos, métricas, medidas, impulsores, objetivos, etc.? A veces las personas usan diferentes palabras para referirse a diferentes cosas cuando discuten métricas. No estoy demasiado preocupado por las palabras que está utilizando, siempre y cuando esté alineado en las definiciones con su equipo.

Al final, no hay una forma ideal para que su equipo seleccione y use métricas, ya que dependerá en gran medida de los factores específicos de su equipo, producto y mercado. El mensaje principal es simplemente que las métricas deben adoptarse y desempeñar un papel fundamental en el papel de un diseñador de productos. Este es un tema que me ha encantado, ya que he visto una y otra vez cómo los diseñadores que usan bien las métricas pueden ser increíblemente exitosos. Si está interesado, aquí hay algunos otros artículos relacionados que he escrito sobre este tema:

  • Métricas versus experiencia
  • La agonía y el éxtasis de construir con datos
  • Métricas, una historia
  • La calidad no es una compensación
  • El impuesto de nuevo
  • Las dos formas de construir

Para hacer una pregunta o seguir semanalmente con más preguntas y respuestas como esta, suscríbase a la lista de correo de The Looking Glass.