DevOps, la metodología que reconcilia al departamento de Tecnología con el de Operaciones
El movimiento DevOps intenta conciliar los departamentos de desarrollo y operaciones para alentarlos a desarrollar proyectos de TI juntos. Hoy, necesitamos hacer esa misma transición en los datos.
¿Qué es exactamente DevOps?
Tradicionalmente, las empresas distinguían dos roles diferentes en TI:
- Desarrolladores, que trabajan en la creación de nuevos proyectos (la parte “ Dev ”).
- Operaciones de ingeniería (también conocidas como administradores de sistemas o producción) que están a cargo de configurar esos proyectos en el entorno de producción y mantener los servidores (que es la parte “ Ops, ” para operaciones).
Obviamente, con la presión sobre las empresas para innovar constantemente, se hizo mucho más difícil para los departamentos de TI mantenerse al día, ya que los desarrolladores se movían de un código a otro mucho más rápido y además los métodos agiles fueron adoptados en todas partes haciendo de los procesos establecidos algo mucho más rígido.
Para solventar estas situaciones, en lugar de mantener departamentos en aislados, las compañías adoptaron la filosofía DevOps para que estos equipos trabajen juntos.
DevOps, ¡por fin uniendo Devs y Ops!
DevOps hoy es más una mentalidad que una persona o título real, volviéndose una forma de pensar que involucra a todos los que trabajan en el software. La base es nunca considerar su sistema de TI y aplicaciones de software como un producto finito al que ocasionalmente agrega nuevas aplicaciones; más bien, es una estructura en constante mejora en la que los desarrolladores y administradores de sistemas trabajan para innovar y adaptarse a las necesidades de los usuarios finales, y también, aumentar su eficiencia general. así como para aumentar su eficiencia general.
Por qué necesitamos DevOps para proyectos de ciencia de datos
La realidad hoy es que muchas empresas sufren los mismos problemas que solían tener con los equipos de desarrollo, pero con sus equipos de datos. Cada vez más proyectos de datos conllevaban grandes promesas cuando se discutieron por primera vez, pero se entregan tarde y, cuando lo hacen, los equipos de negocios los malinterpretan y/o tienen un rendimiento inferior.
De la misma manera que el software desarrollado fuera del entorno real a menudo no se comporta como se esperaba, los proyectos de datos a menudo incluso tienen que recodificarse por completo para funcionar en entornos de producción. Y una vez implementados, deben ser monitoreados extremadamente de cerca porque los datos en vivo a menudo se desvían de los datos históricos fijos.
Además, técnicas como la puntuación en tiempo real o el aprendizaje automático en línea son cada vez más populares; requieren una gran participación tanto de científicos de datos como de ingenieros de infraestructura.
También hay un efecto vicioso de la división tradicional entre los científicos de datos que desarrollan proyectos, por un lado, y los ingenieros de infraestructura que los ponen en producción y mantienen los sistemas de gestión de datos. Conduce a una cultura de “ellos contra nosotros”: cuando algo sale mal, durante el diseño o la producción, los problemas rebotan entre los equipos.
Esto también es válido para los equipos de negocio, los analistas que trabajan en el proyecto o los usuarios finales de los proyectos, que quedan algo excluidos cuando deberían estar profundamente involucrados.
Por qué necesitamos DevOps para proyectos de ciencia de datos
Necesitamos DevOps para la ciencia de datos de inmediato. ¿Por qué ahora? Porque cada vez más, todos en la empresa deben estar impulsados por los datos, no solo el equipo de datos. Los directivos son cada vez más conscientes de que tienen que utilizar los datos para tomar decisiones y seguir mucho más de cerca su actividad. Tienen herramientas, habilidades y analistas disponibles para hacer que BI sea accesible sin pasar por el equipo de datos. Sin embargo, todavía necesitan una infraestructura que lo respalde.
En el otro lado de la tubería, muchos motores de bases de datos y plataformas de gestión de datos están mejorando la accesibilidad de los datos y aumentando el rendimiento. Hay más datos disponibles que nunca, en formatos mucho más diversos que nunca, y las nuevas formas de procesarlos lo hacen explotable.
Al otro lado del hilo, muchos motores de bases de datos y plataformas de gestión de datos están mejorando la accesibilidad de los mismos y aumentando el rendimiento; hay más datos disponibles que nunca, en formatos mucho más diversos, y con nuevas formas de procesarlos, siendo este el mejor momento para sacar el mayor provecho de ellos.
Por lo tanto, todos los que trabajan en datos deben participar de manera más colaborativa y la infraestructura detrás de esto tiene que permitir esa colaboración. En este sentido, DevOps para la ciencia de datos sería aún más amplio, involucrando:
- Científicos de datos y otros miembros de equipos de ciencia de datos.
- Ingenieros de datos y administradores de infraestructura.
- Equipos de negocios operacionales
¿Cómo se podrían organizar los proyectos de ciencia de datos?
Para comprender cómo DevOps podría funcionar para la ciencia de datos, es útil ver cómo se está haciendo exactamente DevOps. De hecho, la mentalidad de DevOps ha sido adoptada por casi todas las empresas innovadoras en todas partes, con diferentes formas de hacer, por lo que hay muchos casos de uso disponibles.
Para algunos, se hace a través de herramientas para automatizar la mayor cantidad posible de trabajos de las personas de administración del sistema para que puedan trabajar en mejorar sus estructuras. Para otros, está reclutando a una persona cuyo papel como DevOps es fomentar la colaboración entre los equipos operativos y de desarrollo.
Google se comunicó recientemente en sus procesos DevOps con un enfoque propio. Han comenzado a reclutar codificadores como administradores de TI. Como dice Wired, su enfoque se puede resumir como: “No obtenga personas de TI que se especialicen en ejecutar servicios de Internet para ejecutar sus servicios de Internet. Haga que los codificadores de software los ejecuten en su lugar. ” Se cansarán de tareas repetitivas y escribirán software capaz de reemplazar su trabajo manual.
En general, las empresas básicamente establecen procesos para involucrar las operaciones de TI en las fases de desarrollo y los desarrolladores en el proceso de producción, así como el monitoreo de proyectos.
Así es como DevOps también debería funcionar para la ciencia de datos. El objetivo es alentar la co-creación de proyectos entre usuarios comerciales que acuden al equipo de datos con un problema, desde científicos de datos hasta analistas, desarrolladores de algoritmos que desarrollan los ingenieros de proyectos e infraestructura a los administradores de sistemas responsables de integrar el proyecto a la infraestructura actual. Esto se puede hacer creando grupos que trabajen juntos.
Sin embargo, puedes hacerlo, hazlo. Los directores de DevOps para la ciencia de datos se están volviendo más fundamentales para los proyectos de datos todos los días. Es vital para que sus equipos operativos puedan monitorear sus datos, comprender cómo se construyen los proyectos de datos y cómo pueden obtener valor de la salida.
Trabaje con datos claros y disponibles para cada decisión.
Nuestro equipo les acompaña con entusiasmo, para acercarles al futuro que desean.
