Si echa un vistazo a la historia de los grandes datos, una cosa queda clara: nuestra capacidad para recopilar datos siempre ha sido mayor que nuestra capacidad para darles sentido. Estamos viendo que esto sucede con la observabilidad, o la tarea de evaluar y medir la salud actual de un sistema en función de los datos externos que genera. Los equipos de TI de hoy en día con prácticas de observabilidad están literalmente inundados con tantos datos que ya no pueden aprovecharlos ni aprovecharlos de manera efectiva. Lo que se suponía que era una bendición se convierte en una especie de maldición: la observabilidad está destinada en última instancia a ayudar a estos equipos a encontrar y solucionar la causa raíz de los problemas de rendimiento del sistema (velocidad, disponibilidad) más rápido, pero, irónicamente, la duración del tiempo de inactividad asociado con los problemas informados públicamente las interrupciones en realidad están creciendo a un ritmo preocupante.
Con el auge de la nube, la infraestructura híbrida y los microservicios, las aplicaciones y los sistemas generarán aún más datos. Para muchos, los grandes datos simplemente se están volviendo demasiado grandes, y esto obligará a algunas organizaciones a cambiar significativamente sus enfoques de observabilidad de grandes datos a pequeños datos. ¿Qué quiere decir esto?
No más «centralización y análisis» – Las arquitecturas de observabilidad se han construido tradicionalmente utilizando un enfoque de «centralizar y luego analizar», lo que significa que los datos se centralizan en una plataforma de monitoreo antes de que los usuarios puedan consultarlos o analizarlos. La idea detrás de este enfoque es que los datos se enriquecen contextualmente, cuanto más tiene, más puede correlacionarlos, en una ubicación central. Construir su arquitectura de esta manera podría haber funcionado bien en una era anterior cuando los volúmenes de datos eran relativamente más pequeños. Pero dado el tsunami de datos que se generan actualmente, muchos de los cuales nunca se usan, las organizaciones ya no pueden darse el lujo de agregar sus datos en estos niveles de almacenamiento caros y «calientes». Más bien, los datos deben continuar siendo analizados simultáneamente y correlacionados, pero en volúmenes más pequeños en diferentes lugares, desde donde se originan.
Analice los datos en la fuente – Para mantener bajos los costos de almacenamiento asociados con un repositorio central, muchas organizaciones han recurrido a la eliminación indiscriminada de conjuntos de datos. Si bien es cierto que la gran mayoría de los datos nunca se utilizan, la realidad es que los fallos y problemas pueden surgir en cualquier momento y en cualquier lugar, por lo que si omite datos al azar, tendrá importantes puntos ciegos. Al analizar los datos en fragmentos más pequeños, en la fuente (en lugar de un repositorio central), puede examinar y controlar todos sus datos de manera efectiva, lo que le brinda una gran tranquilidad y luego relega los datos de menor prioridad a un nivel de almacenamiento a bajo costo. y ahorrar significativamente en gastos.
Alivie la presión en las tuberías y los sistemas aguas abajo – Otro desafío del enfoque «centralizar y analizar» es que puede conducir a canalizaciones de datos obstruidas y repositorios centrales saturados, lo que se ralentiza significativamente y puede demorar mucho más en devolver los resultados de las consultas. Por lo tanto, otro beneficio de analizar datos en pequeños incrementos, en la fuente, es que las organizaciones se vuelven mucho más ágiles al realizar análisis de datos en tiempo real, lo que ayuda a identificar más rápido los puntos débiles crecientes y sus causas subyacentes, lo cual es fundamental para reducir el MTTR. . Algunas organizaciones descubren que ni siquiera necesitan un repositorio central. Pero para aquellos que desean mantener uno, los conjuntos de datos ruidosos y de gran volumen se pueden convertir en KPI ligeros basados en la línea de base con el tiempo, lo que hace que sea mucho más fácil saber cuándo algo es anómalo o anómalo: una buena señal de que desea indexar esos datos. . . De esta forma, las organizaciones pueden «optimizar» sus repositorios centrales y mantener cierto control sobre lo que se enruta allí.
Haga que sus datos sean accesibles – La realidad es que habrá momentos en los que se necesitará el acceso a todos estos datos y debería ser accesible, ya sea en un depósito central optimizado o en almacenamiento en frío. Los miembros del equipo de desarrollo deben tener un acceso rápido y fácil a todos sus conjuntos de datos más pequeños sin importar en qué nivel de almacenamiento se encuentren, sin tener que preguntar a los miembros del equipo de operaciones que a menudo actúan como guardianes en big data basados en un modelo «esque» de repositorio central. .
Conclusión
Cuando se trata de administrar infraestructuras de TI cada vez más complejas y extensas, los grandes datos siguen siendo un foco importante de investigación e interés. Pero los datos pequeños todavía están con nosotros y, a veces, los datos pequeños superan a los datos grandes, lo que permite una mayor agilidad para llegar a las conclusiones correctas de manera más rápida, más confiable y a un costo más bajo. Las iniciativas modernas de observabilidad son un excelente ejemplo, ya que los crecientes volúmenes de datos están acercando a muchas organizaciones a un punto de inflexión.
Sobre el Autor
Ozan Unlu es el director ejecutivo y fundador de Edge Delta, una plataforma de observabilidad perimetral. Anteriormente trabajó como Arquitecto de Soluciones Senior en Sumo Logic; líder de desarrollo de software y administrador de programas en Microsoft; y un ingeniero de datos en Boeing. Ozan tiene una licenciatura en nanotecnología de la Universidad de Washington.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW