Lo que se debe y no se debe hacer después de cinco años de reorganización del departamento de ciencia de datos
Durante los últimos cinco años, me desempeñé como vicepresidente de ciencia de datos, inteligencia artificial e investigación en dos empresas que cotizan en bolsa. En ambos roles, la IA era fundamental para el producto principal de la empresa. Esto proporcionó importantes recursos y la oportunidad de dirigir departamentos importantes, compuestos por entre 40 y 50 científicos de datos, incluidos 2 o 3 líderes de grupo y entre 6 y 8 líderes de equipo. Uno de los mayores desafíos en este rol ha sido estructurar el departamento para mejorar la efectividad, optimizar el valor y aclarar roles y responsabilidades. Hoy compartiré algunas de las mejores prácticas que he recopilado a través de seis reorganizaciones departamentales.
Su principio rector durante todo el proceso debe ser la necesidad empresarial. ¿Qué valor está creando su organización? ¿Está desarrollando modelos para un producto principal o respaldando el negocio con soluciones de aprendizaje automático internas? Identifique el valor específico que proporciona su departamento y los indicadores clave de rendimiento (KPI) utilizados para medir el éxito. Lo ideal sería tener KPI explícitos, pero si no están disponibles, desarrolle medidas implícitas para guiar sus esfuerzos (es decir, cómo se mide a sí mismo).
Una vez que haya aclarado el valor del negocio, planifique todo el flujo de valor del que es responsable. Esto incluye todos los procesos, desde los insumos iniciales hasta el producto final que entrega su organización. Por ejemplo, si su unidad crea modelos de ML, sus entradas podrían ser datos de una base de datos de la empresa administrada por otro departamento. Sus tareas podrían incluir limpiar los datos, entrenar los modelos, evaluar las diferencias y producir un objeto modelo final para su transferencia. Quizás también lo implemente en producción y monitoree los resultados, o lo entregue a una unidad de producción de Ingeniería/ML para su implementación. El proceso involucrado en su flujo de valor podría requerir varios equipos, con múltiples traspasos hasta completarse. Intentará optimizar el rendimiento de su flujo de valor: ¿cómo puede hacer que este proceso sea más rápido y eficiente? Por lo general, eso significará reducir el número de traspasos entre equipos al mínimo posible. Los traspasos entre equipos son casi siempre una fuente de ineficiencia, pero a menos que su flujo de valor sea muy simple, no podrá evitarlos por completo.
A continuación, divida el flujo de valor y las funciones de apoyo en subunidades más pequeñas (grupos o equipos). Empiece por crear una estructura idealizada, describiendo las funciones y responsabilidades de las distintas unidades. En esta etapa, recomiendo evitar considerar asignaciones de personal. Evite otras limitaciones, como alinearse con otras estructuras departamentales en esta etapa. Por ejemplo, he estado en empresas donde algunos departamentos estaban estructurados por líneas de productos, mientras que otros por función (por ejemplo, un equipo a cargo de trabajar con proveedores de datos, independientemente del producto). Esto puede requerir una mayor sobrecarga de comunicación, pero no deseas descartar alternativas todavía.
Para ver cómo se mantiene la estructura, genere una lista de casos de uso: algunos proyectos que se encuentran dentro del flujo de valor principal y algunos casos de excepción con los que se ha encontrado recientemente. Recorra el proceso: ¿cómo se manejan en la estructura actual? ¿Cómo se manejarían en la nueva estructura? ¿Ha reducido los traspasos? ¿Redujo la toma de decisiones y/o la empujó hacia abajo en la jerarquía? ¿Pueden los equipos manejarlo de principio a fin? ¿Qué nuevas dificultades se han creado?
Uno de los mayores desafíos que he encontrado en esta etapa es que el flujo de valor principal es demasiado grande para ser manejado por un solo equipo (es decir, requiere entre 8 y 20 científicos de datos). Dividir aún más el valor en “mini flujos de valor” ortogonales no es un proceso sencillo, pero una dirección clave que me ha resultado muy útil con los modelos de aprendizaje automático clásicos ha sido dividir las ganancias entre datos, características y algoritmos. Un equipo puede optimizar el algoritmo elegido (incluida la codificación de objetivos, la selección de funciones, el ajuste de hiperparámetros y más), mientras que otro puede centrarse en mejorar la calidad de los datos: limpiar las etiquetas, supervisar el proceso de creación de etiquetas (por ejemplo, decidir qué observaciones se van a realizar). etiquetados manualmente), elegir los conjuntos de datos más representativos, ponderar las observaciones, etc. Equipos adicionales pueden centrarse en la ingeniería de características, dividiéndolas aún más por los tipos de características involucradas (aquí nuevamente, es importante asegurarse de mantener la ortogonalidad en el trabajo hecho). Este método permite que varios equipos contribuyan de forma independiente al mismo modelo, aprovechando a muchas más personas para lograr un mayor rendimiento en sus modelos. He utilizado este enfoque para aprovechar hasta 6 equipos que colaboran y mejoran de forma independiente el mismo modelo xgboost.
En esta etapa, busque comentarios de otros gerentes, tanto dentro como fuera de su departamento. Si los cambios son significativos, evite discutir colocaciones de personal específicas para garantizar aportes objetivos. Quiere alinear cuál es la estructura adecuada para la organización, no construirla en torno a personas específicas. Cuanto más pueda involucrar a su gente en este proceso, mayor aceptación podrá obtener. Al comprender lo que está optimizando (el flujo de valor) y las limitaciones que pueda tener, podrán aceptar el cambio que está realizando. Esto es especialmente cierto si terminan decepcionados por algunos aspectos de su nuevo rol. En un caso, este enfoque permitió a uno de mis directores aceptar e incluso defender una nueva estructura, aunque reducía algunas de sus funciones y responsabilidades. Por otro lado, evita consultar a demasiadas personas. La sola idea de una próxima reorganización puede aumentar dramáticamente la ansiedad entre su gente.
Una vez que sienta que su nueva estructura mejora la mayoría de los casos de uso actuales (y esperados) y que otros estén de acuerdo con su análisis, comience a trabajar en las ubicaciones. Esta etapa varía enormemente dependiendo de las circunstancias, ya sea que esté creciendo, reduciendo o fusionándose con otra unidad. Como tal, no tengo un paso a paso para esta parte, pero sí ofrezco algunas pautas:
- Mantenga al personal clave a bordo: usted quiere a las personas adecuadas en el autobús (y considere asignarles roles más importantes) y a los demás fuera del autobús. Necesita gerentes que puedan alinearse con su cambio y adaptarse a su nuevo rol.
- Fomente una mentalidad de crecimiento: La mayoría de las veces, pensamos en un empleado en función del puesto que desempeña actualmente, sin prestar suficiente atención a su potencial de crecimiento. Una de las mayores satisfacciones en mi carrera ha sido promover a alguien a un nuevo puesto de líder de equipo o de grupo y ser testigo de su avance de una manera profunda, muy por encima de mis expectativas. Me siento inmensamente orgulloso cada vez que recibo una notificación de LinkedIn de que uno de mis antiguos empleados ha sido ascendido aún más o está pasando a un puesto más importante en otro lugar, y pude ayudarlos con ese descanso temprano.
Si puede, arriesgue con su gente y enfatice el potencial y la actitud, a expensas de la experiencia o el conocimiento de la empresa. Esto último se obtendrá con el tiempo. - Sea humano y empático: algunos cambios pueden requerir que un gerente se aparte de su rol actual, asumiendo un alcance menor. Algunos gerentes pueden volver a desempeñar un rol de colaborador individual (en el que se destacaron y en el que pueden volver a destacar). Esto es no una degradación, y no debería verse como tal. Esto es un transición lateral desde la escala gerencial hasta la escala de contribuyente individual. Cualquier transición puede ser difícil para las personas, así que trátelas con el máximo respeto, explíqueles los motivos y, si es relevante, haga todo lo posible para ayudarlas a mantener la dignidad.
Una vez que haya decidido un borrador de las nuevas ubicaciones, identifique los nuevos desafíos. En esta etapa, es posible que deba modificar los roles y responsabilidades originales. Quizás tenga un líder de grupo con un equipo a cargo de un sistema heredado muy técnico. En un caso, mantuve dicho equipo bajo el mismo GL de forma predeterminada, a pesar de que los roles y responsabilidades no coincidían perfectamente. En lugar de adaptar la definición del grupo y cambiar sus responsabilidades para que la transición pareciera como si hubiera alguna razón más profunda, fui abierto y le expliqué que esta decisión se basó en la experiencia personal de ese GL (puedes hacer concesiones, pero es mejor ser transparente). para que otros entiendan que esta es la excepción a la regla).
Haga los compromisos necesarios, pero asegúrese de no erosionar gran parte de la mejora esperada. Durante la primera reorganización importante que intenté llevar a cabo, llevé este paso demasiado lejos. Cambié responsabilidades entre los gerentes para apaciguarlos y lograr una mayor aceptación del proceso. Después de varias iteraciones, llegué a la conclusión de que el cambio ya no mejoraba el flujo de valor y no había una narrativa coherente del cambio ofrecido. En ese momento, suspendí todo por un trimestre y lo reinicié con la resolución de no volver a cometer el mismo error.
Cree un plan de comunicación que detalle quién debe ser informado, quién, qué se comunicará y cuándo. Si alguien cambia de gerente, su gerente actual debe informarle primero, seguido de una reunión con el nuevo gerente dentro de unas horas. La información se difunde rápidamente, por lo que su plan de comunicación debe ser rápido y estar bien organizado. Nunca querrás que alguien se entere de su nuevo rol por rumores. Revise el plan a través de los ojos de las distintas personas involucradas. Por ejemplo, si a un CI se le dice que se mudará a otro equipo, ¿cuándo habla con el resto del equipo (incluso si no hay cambios planeados para ellos)? Eventualmente se debe comunicar a todos, incluso si es para explicarles el cambio y asegurarles que su función no se ve afectada.
Con su plan de comunicación escrito implementado, puede estar seguro de que no olvidará a nadie y que ninguna comunicación se realizará de manera desordenada.
Además de las reuniones individuales, comunique la narrativa general a toda la organización: por qué se está produciendo el cambio y qué ocurrirá exactamente. Deje suficiente tiempo para preguntas y respuestas. Si no tiene una política de puertas abiertas, ofrezca una después de cualquier cambio importante. Comuníquese de manera proactiva con todos los afectados para evaluar cómo les está yendo.
- Si opera con un plan trimestral, generalmente es mejor realizar las comunicaciones antes de planificar el próximo trimestre, a partir del comienzo del siguiente trimestre. Por ejemplo, podrías comunicar los cambios el 1 de marzo, a partir del 1 de abril. Durante el resto del trimestre, los equipos existentes pueden finalizar las tareas del trimestre. Paralelamente, los empleados planificarán las tareas del próximo trimestre con sus nuevos equipos.
- Tenga preparado un plan B para las asignaciones de personal. Algunas personas no estarán de acuerdo con sus cambios. Al crear su plan de comunicación, debe anotar sus respuestas y el orden de la comunicación para eliminar riesgos de su plan. Cuanto mayor sea el riesgo de que la persona rechace el cambio y cuanto más importante sea su papel, más pronto querrás hablar con ella. Evite compartir demasiados detalles, ya que puede ser un proceso iterativo y desea mantener cierta flexibilidad.
- Recoge el libro Topologías de equipo: organización de equipos empresariales y tecnológicos para un flujo rápido por Manuel Pais y Matthew Skelton para obtener más ideas sobre diferentes estructuras de equipo y flujos de valor.
Si sigue estas pautas, puede estructurar su departamento para mejorar la eficacia, optimizar el valor y aclarar funciones y responsabilidades, garantizando una transición más fluida y un mayor rendimiento general.
¿Es usted un líder en ciencia de datos que está atravesando o contemplando una reorganización? Siéntete libre de conectarte ai/” rel=”noopener ugc nofollow” target=”_blank”>LinkedIn. Siempre feliz de compartir mis 2 centavos.
