Por lo general, no es posible medir directamente exactamente lo que le interesa.
Digamos que mi objetivo era medir la calidad de las publicaciones de mi boletín; ¿Cómo puedo hacer eso? La “calidad” es subjetiva y no existe una fórmula generalmente aceptada para evaluarla. Como resultado, tengo que elegir el mejor (o menos malo) proxy para mi objetivo. que realmente soy capaz de medir. En este ejemplo, podría utilizar la tasa de apertura, los me gusta, etc. como indicadores de calidad.
Esto está estrechamente relacionado con lo que la gente suele llamar la “relevancia” de la métrica: ¿crea valor para el negocio si se mejora la métrica? Si no, ¿por qué medirlo?
Por ejemplo, digamos que trabaja en Uber y quiere saber si su oferta es saludable. Se podría pensar que la cantidad de conductores en la plataforma, o el tiempo que pasan en línea en la aplicación, es una buena medida.
Estas métricas no son terribles, pero en realidad no te dicen si tu lado de la oferta está… realmente saludable (es decir suficiente para satisfacer la demanda)Podría ser que la demanda esté superando el crecimiento de los conductores, o que la mayor parte del crecimiento de la demanda se produzca durante las mañanas, pero la oferta esté creciendo principalmente en las tardes.
Una mejor métrica sería aquella que combine oferta y demanda; por ejemplo, la cantidad de veces que los pasajeros abren la aplicación y no hay ningún conductor disponible.
A la gente le encantan las métricas sofisticadas; después de todo, se le paga al equipo de datos por análisis complejos, ¿verdad? Pero las métricas complicadas son peligrosas por varias razones:
- Son difíciles de entender. Si no entiendes exactamente cómo se calcula una métrica, no sabes cómo interpretar sus movimientos ni cómo influir en ella.
- Obligan a una centralización de la analítica. A menudo, la ciencia de datos es el único equipo que puede calcular métricas complejas. Esto elimina la capacidad de otros equipos de realizar análisis descentralizados.
- Son propensos a errores. Las métricas complejas suelen requerir la participación de varios equipos; perdí la cuenta de la cantidad de veces que encontré errores porque una de las muchas entradas anteriores no funcionaba. Para empeorar las cosas, dado que solo un puñado de personas en la empresa pueden calcular estas métricas, hay muy poca revisión por pares y los errores a menudo pasan desapercibidos durante largos períodos de tiempo.
- Suelen implicar proyecciones. Muchas métricas complejas se basan en proyecciones (por ejemplo, proyectar el desempeño de una cohorte basándose en datos anteriores). Estas proyecciones suelen ser inexactas y cambian con el tiempo a medida que llegan nuevos datos, lo que genera confusión.
Tomemos como ejemplo LTV:CAC:
Aparte del hecho de que es no es la mejor métrica para el trabajo se supone que debe hacer, también es peligroso porque es complicado de calcular. El numerador, CAC, requiere que usted agregue varios costos en Marketing y Ventas en forma de cohorte, mientras que el denominador, LTV, es una proyección de varios factores, incluida la retención, las ventas adicionales, etc.
Este tipo de métricas son aquellas en las que te das cuenta después de dos años de que hubo un problema en la metodología y que analizaste datos “erróneos” todo el tiempo.
Si desea gestionar el negocio según una métrica de forma continua, debe ser receptivo. Si una métrica está retrasada, es decir, se necesitan semanas o meses para que los cambios afecten la métrica, entonces no tendrá un circuito de retroalimentación que le permita realizar mejoras continuas.
Es posible que se sienta tentado a abordar este problema pronosticando el impacto de los cambios en lugar de esperar a que aparezcan en las métricas, pero esto a menudo no es aconsejable (consulte el principio n.° 2 más arriba).
Por supuesto, es importante realizar un seguimiento de las métricas rezagadas, como los ingresos (especialmente para finanzas o liderazgo), pero la mayoría de los equipos deberían dedicar la mayor parte de su tiempo a analizar los indicadores principales.
Una vez que elija una métrica y responsabilice a las personas de mejorar esa métrica, encontrarán las formas más eficientes de hacerlo. A menudo, eso conduce a resultados no deseados. He aquí un ejemplo:
- facebook quiere mostrar contenido relevante a los usuarios para aumentar el tiempo que pasan en el sitio
- Dado que la “relevancia” es difícil de medir, utilizan métricas de participación como indicador (me gusta, comentarios, etc.)
- Los editores y creadores se dan cuenta de cómo funciona el algoritmo y encuentran formas psicológicamente manipuladoras de aumentar la participación Click Bait y Cebo de ira nacen
“Cuando una medida se convierte en un objetivo, deja de ser una buena medida”.
— Ley de Goodhart
En el ejemplo anterior, facebook podría aceptar el deterioro de la calidad siempre y cuando los usuarios sigan pasando tiempo en la plataforma. Pero en muchos casos, si las métricas se juegan a escala, pueden causar daños graves.
Supongamos que está ofreciendo un bono por referencia en el que los usuarios son recompensados por los registros recomendados. ¿Qué pasará con mayor probabilidad? La gente intentará crear docenas de cuentas falsas para reclamar el bono. Una mejor métrica de referencia requeriría un monto mínimo de transacción en la plataforma (por ejemplo, $25) para obtener el bono.
Entonces, una manera de prevenir la manipulación es diseñar la métrica para restringir el comportamiento no deseado que anticipa. Otro enfoque es emparejar métricas. Este enfoque fue introducido por Andy Grove en su libro “High Output Management”:
“Por lo tanto, dado que los indicadores orientan nuestras actividades, debemos tener cuidado de no reaccionar exageradamente. Esto se puede lograr combinando los indicadores, de modo que se puedan medir juntos tanto el efecto como el contraefecto”.
— Andy Grove, “Gestión de alto rendimiento”
¿Cómo se ve esto en la práctica? Si solo incentiva a sus agentes de atención al cliente por el “tiempo de primera respuesta” porque desea que los clientes obtengan ayuda inmediata, simplemente responderán con un mensaje genérico a cada ticket nuevo. Pero si lo combina con un objetivo de tiempo de resolución de tickets (o satisfacción del cliente), se asegura de que los agentes realmente se centren en resolver los problemas de los clientes más rápidamente.
Muchas métricas populares que encontrará en las empresas de tecnología están vinculadas a un umbral.
Por ejemplo:
- # de usuarios con al menos 5 conexiones
- N.º de vídeos > 1000 visualizaciones
Esto tiene sentido; A menudo, realizar una acción en sí misma no es una señal muy valiosa y es necesario establecer un umbral para que la métrica sea significativa. Alguien que ve la mayor parte de un vídeo es muy diferente a alguien que simplemente hace clic en él.
PERO: El umbral no debe ser arbitrario.
No elijas “1000 visitas” porque es un número bonito y redondo; el umbral debe basarse en datos. ¿Los vídeos con 1000 visitas obtienen tasas de clics más altas después? ¿O dar como resultado la producción de más contenido de seguimiento? ¿Mayor retención de creadores?
Por ejemplo, contracción nerviosa medidas ¿Cuántos usuarios ven una transmisión durante al menos cinco minutos? Si bien los datos aparentemente influyeron en esta elección, no está del todo claro por qué finalmente eligieron cinco.
En Uber, intentamos dejar que los datos nos dijeran dónde debería estar el umbral. Por ejemplo, descubrimos que los restaurantes que tenían muchos otros restaurantes cerca eran más confiables con UberEats, ya que era más fácil mantener a los mensajeros cerca. Establecimos el umbral para lo que consideramos restaurantes de baja densidad basándonos en el “codo” que vimos en el gráfico:
Este enfoque funcionó en muchas áreas del negocio; por ejemplo, también descubrimos que una vez que los pasajeros o conductores alcanzan un cierto número de viajes iniciales en la plataforma, era mucho más probable que retuvieran.
No siempre encontrarás un umbral “mágico” como este, pero deberías intentar identificar uno antes de conformarte con un valor arbitrario.
Los números absolutos sin contexto rara vez son útiles. A menudo verá anuncios de prensa como:
- “1.000 millones de filas de datos procesados para nuestros clientes”, o
- “100 millones de dólares en ganancias pagados a los creadores en nuestra plataforma”
Estos números no te dicen nada. Para que tengan sentido, hay que ponerlos en contexto. ¿Cuánto ganó de media cada creador de la plataforma? ¿En qué período de tiempo? En otras palabras, convertir el número absoluto en una proporción añade contexto.
Por supuesto, en los ejemplos anteriores, algo de esto es intencional; Las empresas no quieren que el público conozca los detalles. Pero este problema no se limita sólo a los comunicados de prensa y las publicaciones de blogs.
Observar su canal de ventas en términos absolutos puede indicarle si está creciendo con el tiempo; pero para que sea realmente significativo, tendrás que conectarlo con el tamaño del equipo de Ventas o la cuota que tienen. Esto le brinda cobertura de canalización, la relación entre canalización y cuota, una métrica mucho más significativa.
La creación de este tipo de proporciones también hace que las comparaciones sean más reveladoras y justas; por ejemplo, comparar los ingresos por departamento hará que los departamentos grandes se vean mejor, pero comparar los ingresos por empleado proporciona una visión real de la productividad.
Si desea ver movimiento en una métrica, necesita tener una persona responsable de mejorarla.
Incluso si el trabajo de varios equipos contribuye a mover la métrica, todavía necesitas un único “propietario” que esté enganchado para alcanzar el objetivo (de lo contrario, terminarás con muchos señalamientos).
Aquí hay tres posibles escenarios de problemas:
- Sin dueño. Como nadie se obsesiona con mejorarlo, la métrica simplemente continuará en su trayectoria actual.
- Múltiples propietarios. La falta de claridad en cuanto a la propiedad genera fricción y falta de responsabilidad. Por ejemplo, hubo momentos en UberEats en los que no estaba claro si ciertas métricas eran responsabilidad de los equipos locales de la ciudad o de los equipos de operaciones centrales. Durante un breve período, pasamos más tiempo reuniéndonos para tratar este tema que ejecutándolo.
- Falta de control. Asignar un propietario que es (o se siente) incapaz de cambiar la métrica es otra receta para el fracaso. Esto podría deberse a que el propietario no tiene palancas directas para controlar la métrica, no tiene presupuesto para hacerlo o falta de apoyo de otros equipos.
Una métrica sólo es procesable si puedes interpretar sus movimientos. Para obtener una lectura limpia, es necesario eliminar tantas fuentes de “ruido” como sea posible.
Por ejemplo: Supongamos que es una pequeña startup B2B SaaS y considera el tráfico web como un indicador principal de la parte superior de su embudo. Si simplemente observa el número “bruto” de visitas, tendrá ruido de sus propios empleados, amigos y familiares, así como de los clientes existentes que visitan el sitio web, y es posible que vea poca correlación entre el tráfico web y las métricas del embudo descendente.
Excluir estas fuentes de tráfico de sus informes, si es posible, le dará una mejor idea de lo que realmente está sucediendo con su embudo de clientes potenciales.
Para determinadas métricas, es importante que se puedan comparar entre empresas. Por ejemplo, si está en B2B SaaS, su director financiero querrá comparar su retención de ingresos netos (NRR), sus reembolsos de CAC o su número mágico con los de sus competidores (y sus inversores querrán hacer lo mismo).
Si calcula estas métricas de una manera que no sea la estándar del mercado, no podrá obtener ninguna información a través de la evaluación comparativa y causará mucha confusión. Eso no quiere decir que no debas inventar métricas; de hecho, yo mismo he inventado algunos a lo largo de mi carrera (y podría escribir una publicación separada sobre cómo hacerlo).
Pero es mejor dejar intactas las definiciones de la mayoría de las métricas financieras y de eficiencia.
Dicho todo lo anterior, quiero dejar una cosa clara: No hay perfecto métrica para cualquier caso de uso. Cada métrica tendrá desventajas y debes elegir la “menos mala”.
Con suerte, los principios anteriores le ayudarán a conseguirlo.
Para obtener más consejos prácticos sobre análisis, considere seguirme aquí en Medium, en LinkedIn o en Subpila.
