Las grandes empresas, especialmente las empresas de servicios financieros, están adoptando Big Data a un ritmo más rápido de lo esperado, según un estudio publicado recientemente por la consultora de Big Data, NewVantage Partners. Pero, ¿cómo es que las organizaciones utilizan Big Data para tomar mejores decisiones de negocio? Resulta que el éxito es tanto un arte como una solución tecnológica.
En el tercer trimestre pasado, NewVantage Partners mantuvo conversaciones con los ejecutivos de nivel C, así como con las cabezas de las líneas de negocio y los jefes superiores de más 50 empresas grandes, la mayoría con más de 30 mil empleados. Los ejecutivos de las empresas de servicios financieros representaron alrededor del 50% de los encuestados, pero NewVantage Partners también entrevistó a ejecutivos de empresas de seguros, gobierno y otras.
"La mayoría de las empresas gasta más de mil millones de dólares por año en tecnología", señala Paul Barth, fundador y socio gerente de NewVantage Partners. "No suelen ser rápidas en responder; pero cuando lo hacen, tienen muchos más recursos para poner detrás de su iniciativa".
Use Big Data para tomar mejores decisiones
Y estas grandes empresas ven el valor en Big Data y traen sus recursos para explotarlos. Barth añade que el 85% de los encuestados informó que ya tienen iniciativas de Big Data en curso.
"Más del 75% ya estaba invirtiendo más de un millón de dólares al año", afirma Barth y agrega: "25% estaba invirtiendo más de 10 millones de dólares al año. Hay un compromiso real de utilizar esta tecnología para un programa o una serie de programas. Dejaron en claro que no podían hacer los programas que estaban haciendo sin Big Data".
El valor real de Big Data acelera el tiempo de respuesta
Los encuestados dieron una serie de razones para sus inversiones en Big Data, desde la reducción del riesgo a la creación de productos y servicios de mayor calidad. Sin embargo, dos razones eran las principales: lograr una mejor toma de decisiones, basada en los hechos, y mejorar la experiencia del cliente. Por supuesto, estas son las razones principales para las inversiones en el análisis de inteligencia empresarial (BI tradicional). Barth dijo que cuando NewVantage profundizó el asunto, el verdadero "salto cuántico" para las empresas cuando se trata de Big Data, es la velocidad a la que pueden tomar una decisión, o tiempo de respuesta (TTA).
"Si el tiempo de respuesta es de 30 minutos en un caso y en otro 30 segundos, en realidad cambia su proceso de negocio", señala Barth. "Te hace mucho más eficaz como analista de negocios".
Mediante el uso de nuevas tecnologías de Big Data, las organizaciones pueden responder a las preguntas en cuestión de segundos en lugar de días y en días en lugar de meses, afirma Barth. Esta aceleración, a su vez, permite que las empresas respondan a las preguntas que se han resistido al análisis, desarrollen pruebas y aprendan procesos que se adaptan rápidamente al mercado y que automaticen los flujos de trabajo complejos.
Sin embargo, cosechar los beneficios de una TTA acelerada requiere seguir un proceso cuidadoso basado en una relación claramente definida entre Big Data y soluciones tradicionales de análisis.
Big Data, análisis y alineamiento organizacional
"Históricamente, se ha hablado mucho acerca de la diferencia entre los análisis tradicionales y Big Data, y la responsabilidad organizativa de cada uno dentro de una empresa", señala el informe. "La encuesta, sin embargo, muestra que los dos están estrechamente entrelazados y deben trabajar juntos para lograr los resultados prometidos de Big Data. Además, derribar las fronteras organizacionales y crear una estrecha integración entre las organizaciones de TI y las unidades de negocio son pasos críticos para cualquier organización que tenga la esperanza de construir una estrategia ganadora para Big Data".
"La gestión y análisis de datos a menudo han vivido en diferentes partes de la organización", añade el informe. "Los departamentos de TI normalmente controlan los datos y el análisis se llevó a cabo en un grupo especial o dentro de una unidad de negocio. Esto es contrario a todo principio de Big Data y la encuesta confirma que las organizaciones entienden que una integración estrecha es necesaria. 65% señala que "Big Data es una parte integral de la gestión de datos", y el 68% siente que "Big Data es parte de la caja de herramientas avanzadas de Google Analytics".
Hacer este salto -de la integración de análisis tradicionales y Big Data, mientras se derriban las fronteras entre TI y las unidades de negocio- es un paso crítico en la creación de iniciativas organizativas que aprovechen Big Data en el negocio, concluye NewVantage.
"La integración del tiempo real, capacidades analíticas completas de las unidades de negocio y unidades operativas, permitirá reacciones rápidas a las preguntas y desafíos clave del negocio con el fin de construir una ventaja competitiva y mejorar el rendimiento", indica el informe.
"Piense que sus datos y la calidad de estos tienen diferentes etapas que llamamos bronce, plata y oro", añade Barth. "Los que están en su almacén de datos son oro. Cuando va a la fuente de oro, sabe que está recibiendo datos que han sido muy trabajados. Pero ¿y si los datos también están disponibles en una forma cruda y me los puede alcanzar en una semana o un mes, y si los puede volcar en un solo lugar y organizarlos un poco? Estos datos son útiles antes de que sean perfectos".
A diferencia de las bases de datos relacionales, las plataformas de Big Data permiten que los analistas organicen, limpien e integren los datos de forma selectiva, haciendo caso omiso de registros y campos que no son el foco actual del análisis. Se trata de una desviación significativa frente a los almacenes de datos, donde se gasta una gran cantidad de esfuerzo en la ingeniería de datos para asegurarse de que son dignos de producción antes de ser entregados a los usuarios. NewVantage señala que al aplazar la ingeniería de datos, las plataformas de Big Data aceleran la TTA durante el análisis orientado al descubrimiento y eliminan el esfuerzo de ingeniería en datos que no aportan valor.
La idea entonces, señala Barth, es que las plataformas de Big Data se conviertan en una pieza -una importante- de un ecosistema de datos que está diseñado para buscar constantemente nuevos conocimientos sobre clientes, mercados, productos y riesgos, mientras que al mismo tiempo los construye desde lo que ya se conoce. En otras palabras, busca lo "nuevo" cuando trabaja sobre lo "conocido", un modelo saludable que continúa mejorando.
Creación de un ecosistema de Big Data
Piénselo de esta manera: Si se trata de Big Data o de análisis tradicionales, lo importante es dar respuestas valiosas. El valor de una respuesta, señala Barth, se basa en la exactitud y la velocidad con la que se puede enviar. Para obtener una respuesta precisa y rápida, es importante hacer las preguntas correctas. Y ahí es donde entra en juego Big Data: Se trata de perseguir lo "nuevo".
"La parte técnica de Big Data se asocia con el descubrimiento y la explicación", agrega Barth. "Está buscando algo que no puede expresar. Hay una fase de análisis que es la exploración y el descubrimiento, en la que genera hipótesis. Luego viene el modelado y la aplicación. A mi juicio, el BI tradicional tiende a estar lejos una vez que entiende los análisis subyacentes y correlaciones que se relacionan con un tema que está viendo. La fase en la que no entiende, la fase de descubrimiento, es donde Big Data es útil".
Hay siete pasos distintos para responder a una pregunta de negocios compleja, según NewVantage:
* Clarificar la pregunta y el tipo de respuesta necesaria, construir el caso de negocio.
* Identificar los datos necesarios y el enfoque de análisis.
* Recopilar los datos
* Limpiar, normalizar e integrar los datos
* Analizar los datos
* Validar los resultados
* Presente o aplique la respuesta, mida los resultados
Tradicionalmente, las empresas han gastado el 80% o más de su tiempo en la tercera y cuarta etapa, señala NewVantage. Pero las soluciones de Big Data ofrecen nuevas formas de enfocar estos pasos.
En primer lugar, debido al costo relativamente bajo y de alta capacidad de plataformas de Big Data, las organizaciones pueden cargar todos los datos de origen de sus sistemas en lugar de elegir datos particulares para la pregunta en cuestión.
"Si bien esto puede parecer una pérdida de tiempo, elimina dos retrasos importantes: la escritura de programas para seleccionar solo los datos necesarios, y volver a los sistemas de origen varias veces cuando las nuevas ideas generan nuevas preguntas que requieren nuevos datos", señala NewVantage. "La construcción de almacenes de datos tradicionales es algo extremadamente complejo y costoso. La amplia gama de ofertas de código abierto junto con sistemas flexibles y escalables crean un entorno que no solo reduce los costos, sino que también ofrece la posibilidad de disminuir los tiempos de consulta de manera exponencial".
Por ejemplo, Barth señala a una gran empresa de servicios financieros que quería realizar encausamiento de análisis multicanal a sus clientes para entender qué elementos llevaron a una venta y cuáles dieron lugar a una deserción. Para ello, la empresa necesitaba integrar seis meses de datos de sesiones con los datos de otro canal. El primer intento, utilizando bases de datos relacionales tradicionales, llevó a decenas de miles de líneas de código SQL y la empresa pronto se dio cuenta de que solo podía darse el lujo de acceder a seis días de datos en lugar de seis meses. La empresa abandonó el intento después de calcular el esfuerzo que tomaría semanas.
"En un entorno de Big Data, fueron capaces de escribir y ejecutar todo en menos de 100 líneas de código", señala Barth. "Lo ejecutaron en menos de 24 horas, con el proceso de cientos de terabytes de datos de la sesión. El análisis fue en los datos que ya tenían; lo tenían en el interior del banco. Solo querían saber lo que estaban haciendo sus propios clientes en sus propios canales. Esto realmente desbloqueó la visibilidad que tenía su banco".
Pero la clave, añade Barth, es dar un paso más. Una vez que entienda lo que está viendo, puede desarrollar un modelo que lo explique e indicadores para medir su ejecución en la mejora de su negocio frente a ese modelo. Ahí es donde entra en juego la BI tradicional.
Lo ‘nuevo’ y lo ‘conocido’ no son islas, sino que deben ser conectados a sistemas simbióticos y alimentarse entre sí", indica NewVantage. "El análisis de lo ‘nuevo’ requiere un acceso rápido a todos los datos ‘conocidos’ que representan la realidad de los negocios de hoy. Tiene que haber un enfoque disciplinado para la promoción de las nuevas ideas, datos y modelos para desarrollar lo ‘conocido’. Sin esta vinculación, los sistemas difieren en la incoherencia que no se concilia o escala".
"Las nuevas tecnologías y metodologías -incluyendo Hadoop, Cloudera, aparatos de bases de datos, aceleradores y algoritmos genéticos y de autoaprendizaje- pueden reducir drásticamente la TTA", añade NewVantage. "La clave para agilizar el tiempo de una cuestión corporativa a cambiar el juego del conocimiento del negocio es tener el enfoque de análisis adecuado: Iteraciones rápidas durante el descubrimiento e ingeniería rigurosa en la producción. La gobernanza sólida y la supervisión de las capacidades de datos conocidos deben coexistir con los análisis ágiles de datos que allanan el camino para el descubrimiento de nuevos datos. Las empresas con la capacidad para crear un flujo y reflujo entre el descubrimiento dinámico y la ejecución escalable se posicionan a sí mismas para el éxito sostenible y el dominio sobre sus competidores".
– CIO US / IDG News