En esta función especial de invitado, Andy Petrella, CPO y fundador de Kensu, señala que, dado que la observabilidad de las aplicaciones se ha vuelto central para los equipos de DevOps, la observabilidad de los datos está configurada para seguir el mismo camino y ayudar a los datos a reducir los costos de mantenimiento, aumentar la creación de valor a partir de los datos. y mantener la confianza en él. Andy es el autor del primer libro de O’Reilly sobre observabilidad de datos: «Fundamentos de observabilidad de datos». Kensu es un proveedor de soluciones de observabilidad de datos que ayuda a los equipos de datos a confiar en lo que ofrecen y crear más valor a partir de los datos.
El papel de los datos ha cambiado profundamente dentro de las organizaciones. En los últimos años, los datos han pasado de ser un activo a ser el tejido central de las organizaciones. Las industrias dependen en gran medida del uso de datos para recomendar o crear productos y mejorar la experiencia del usuario. Eventualmente, los datos se han vuelto críticos y los problemas relacionados con los datos pueden afectar directamente la competitividad, los ingresos y, en última instancia, la supervivencia de una organización.
Paralelamente, este nuevo paradigma también está influyendo en la estructura de los equipos de datos. Para aprovechar al máximo los datos que tienen, las empresas han invertido mucho en equipos de datos y han secuenciado la cadena de valor con roles específicos, como científicos de datos e ingenieros de datos. Esta estructura tiene como objetivo mejorar el rendimiento general del equipo de datos al definir claramente quiénes son los productores de datos que construyen canalizaciones y quiénes son los consumidores de datos que crean modelos e informes que consumen los datos. La desventaja de este enfoque es que los silos aparecen inherentemente, creando problemas de comunicación y propiedad.
Dado que tanto los incidentes de datos como los silos dentro de los equipos de datos han seguido creciendo, la observabilidad de datos, que se encuentra en la fase de activación de la innovación en el Gartner Hype Cycle 2022 para tecnología emergente, surge como una nueva categoría de soluciones. Más allá de la calidad de los datos, la observabilidad de los datos monitorea la entrada y salida de datos de las aplicaciones que los procesan. Por lo tanto, proporciona a los equipos de datos información precisa y en tiempo real, que incluye:
- Metadatos (esquema)
- Métricas (por ejemplo, desviación estándar, media)
- linaje de datos
- Versión de la aplicación
- Nombre de canalización
Solucionar incidentes de datos
Estas capacidades permiten que los equipos de datos resuelvan incidentes de datos más rápido y eviten que se intensifiquen. En cualquier industria donde los datos son críticos, esto es un cambio de juego para mejorar la confiabilidad de los datos. Por ejemplo, en la industria bancaria, detectar valores faltantes antes de que impacten en el panel de informes que utilizan cientos de empleados es fundamental para la toma de decisiones y la confianza que los usuarios tienen en la información que reciben.
Mejore la eficiencia del equipo de datos
Además de un mejor manejo de los problemas de datos, la observabilidad de los datos también tiene un papel que desempeñar en la dinámica de trabajo de los equipos de datos. Al proporcionar una mayor visibilidad del uso de datos y los incidentes, pone la información en manos de los equipos de datos para comunicarse mejor y definir claramente la responsabilidad. Por ejemplo, los ingenieros y científicos de datos pueden definir SLA más fácilmente una vez que tienen una buena comprensión de los datos. Los directores de datos deben considerar este beneficio tan importante como la capacidad de administrar los problemas de datos de manera más efectiva. De hecho, deben prestar atención a la comunicación y la confianza al construir la cadena de valor de los datos, que está en el centro de la propuesta de valor de la organización.
Dado que la observabilidad de las aplicaciones se ha vuelto central para los equipos de DevOps, la observabilidad de los datos está configurada para seguir el mismo camino y ayudar a los equipos de datos a reducir los costos de mantenimiento, aumentar la creación de valor a partir de los datos y mantener la confianza en ellos.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW