Volver al sitio

BI self service 3/4 | Preparación de datos para el análisis

3 soluciones imprescindibles de BI self service | Articulo 2 de 4

 

Hoy hablamos de la 2ª solución imprescindible del Business Intelligence Self Service (por orden de importancia) cuyo objetivo es preparar y mejorar la calidad de los datos para su posterior análisis de forma muy ágil y rápida.

En nuestro 1er artículo hablamos de la primera de las herramientas imprescindible del business intelligence self service, la aplicación de análisis y visualización de datos..

En este 2º artículo, hablaremos una nueva herramienta que facilita la preparación y la limpieza de datos para el análisis y que se llama Tableau Prep. Se trata de una nueva herramienta de Tableau, que por su enfoque Self Service, la pueden utilizar tanto los usuarios técnicos como lo usuarios de negocio.

Cuando Tableau lanzó las primeras betas de Tableau Prep con el nombre de Proyecto Maestro, no estaba muy convencido de esta nueva herramienta. Cuando leí los primeros comentarios, y observaciones que se escribieron al respecto, daba la impresión de que Tableau Prep iba a tener las mismas funcionalidades de limpieza y de preparación de datos con las que cuenta Tableau Desktop. No parecía que fuera a hacer lo que hacen otras herramientas de preparación de datos como Alteryx o comoInformatica o lo que habitualmente se suele hacer con consultas o con vistas SQL.

Pensé que sería útil para casos muy concretos y que no cubriría todas las necesidades que la preparación de datos normalmente requiere, sin embargo estaba equivocado.

Ahora que he hecho un par de proyectos, os lo aseguro, Tableau Prep es impresionante, hace lo mismo que se hace con otras herramientas de preparación de datos, hojas de cálculo y con SQL, pero de una forma robusta, rápida y muy bien documentada. Y además se puede automatizar para que se ejecute con la frecuencia que se necesite.

Trabajar con Tableau Prep

En el último trimestre del año pasado tuve la ocasión de de trabajar en un proyecto donde necesité utilizar todas las funcionalidad de Tableau Prep.. Lo primero con lo que trabajé fue con el perfil de datos que proporciona (ver imagen más abajo). Como consultor, siempre recibo nuevos conjuntos de datos con los que trabajar, que debo entender rápidamente para desarrollar un cuadro de mando, un reporting o indicadores de gestión. ¿Cuál es la clave principal (ID)? ¿Hay valores nulos (o sin datos)? ¿Cómo es la distribución de valores de una medida? Y así sucesivamente. Responder a estas preguntas directamente con Tableau Desktop requiere mucho tiempo. Sin embargo, Tableau Prep me permite realizar este análisis de forma práctica, rápida y visual en un par de clics.

Perfil de los datos con Tableau Prep, una aplicación que ayuda a mejorar la calidad de los datos

Por ejemplo, en la siguiente imagen, podemos ver que solo hay 3 categorías de productos, lo que convierte a este campo en un excelente candidato para filtrar datos. Se ve fácilmente que la mayoría de los pedidos no se devuelven debido al nº de valores nulos ("null") que tiene el campo "Devuelto?" . También se puede comprobar que el envío de los productos se hace entre 0 y 7 días y que 4 días es lo más habitual. Puedo comprobar que los valores del campo "Aprueba" tienen inconsistencias que deben limpiarse porque "E. García" tiene al menos 4 variaciones diferentes. Y parece que el ID de pedido es una clave principal excelente (tiene 1 sólo registro por cada valor), pero hay muchos nulos que deben analizarse.

Además, hay características útiles que no se pueden mostrar en la imagen, como la capacidad de ordenar campos y el resaltado de registros asociados cuando se selecciona un valor de un campo. Toda esta información, y mucho más sobre el conjunto de datos, se encuentra fácilmente en el perfil de datos. Disponer esta información con Tableau Desktop llevaría demasiado tiempo, sin embargo, esta forma de analizarlo es mucho más rápida y fácil que cualquier otra herramienta de las que he utilizado anteriormente.

El interface de Tableau Prep facilita la preparación y la limpieza de los datos sin necesidad de saber SQL y sin programar

Beneficios prácticos de Tableau Prep

Los 2 beneficios prácticos que le he encontrado han surgido en el proyecto que he realizado con Tableau Prep a finales del año pasado. Ha sido un proyecto donde se trataba de sustituir varias hojas de cálculo que ocupaban mucho espacio (unos 80 megas cada una) y cuyos datos hacía falta agregar. Cada hoja tenía campos distintos y campos comunes con nombres y formatos distintos así como campos que buscaban datos en otras pestañas con la función BUSCARV.

Además, las reglas de negocio que se aplicaban se habían definido hace tiempo e incluso quién mantenía la hoja de cálculo necesitaba reflexionar sobre los cálculos que se habían hecho.

Aquí es donde Tableau Prep aporta un valor añadido único respecto a Tableau, puede aislar e identificar todo el trabajo de limpieza y preparación que necesita la fuente de datos. A modo de ejemplo, veamos el flujo de trabajo de muestra a continuación proporcionado por Tableau.

Separando y analizando datos

Primero, pensemos en los beneficios para los usuarios de negocio enfocado al análisis. La mayoría de las tareas de preparación de datos que se muestra en la imagen a continuación podrían llevarse a cabo directamente en Tableau Desktop, pero esto agregaría complejidad y limitaciones adicionales al libro, y quien tuviera que mantenerlo no lo valoraría. El uso de Tableau Prep para estos cambios permite al usuario de análisis de datos solo preocuparse por los aspectos visuales o analíticos del libro de trabajo.

Registro de modificaciones de los datos

Flujo de transformación de datos en información valiosa con Tableau Prep

En segundo lugar, pensemos en cómo este enfoque beneficia al equipo de análisis. Al ver este flujo, ellos saben exactamente cómo los usuarios están cambiando y / o reformulando los datos. Esta información es increíblemente difícil de poner en palabras o de documentar pero es fácil de entender visualmente debido a la forma en que se presenta en el flujo.

Por último, el proceso de preparación de datos puede ser complejo y llevar mucho tiempo. Digamos que el trabajo a continuación se realizó directamente en Tableau Desktop y el analista/desarrollador tardó un día en llevarlo a cabo. Al final del día, no disponía de una sola vista o cuadro de mando para mostrar su trabajo. Defender el tiempo que pasó solo con el libro de trabajo como evidencia es muy difícil porque el trabajo no es nada aparente. Pero con Tableau Prep, hay un "output" visible del trabajo realizado. Esto ayuda a justificar el tiempo que se ha pasado trabajando en el proyecto. El proceso de preparación de datos en sí mismo es valioso, no solo por las razones ya comentadas, sino también porque puede compartirse con otros para reducir un trabajo similar que pudiera necesitarse en el futuro.

Pasos múltiples de transformación de datos

La capacidad de Tableau Prep que más impresiona es su capacidad para crear múltiples flujos (o capas) de lógica y de preparación de datos. Últimamente, gran parte del trabajo de preparación de datos que se necesitan en proyectos implica la implementación de múltiples flujos, cada uno con su propia lógica para adaptarse al análisis requerido.

Si bien Tableau Desktop puede llevar a cabo algunas de estas tareas, no fue diseñado para esto. En consecuencia, cuando hago esto con Tableau Desktop, termino utilizando multitud de atajos y campos calculados que se podrían evitar. Por lo general, esto implica una combinación de cálculos, como el uso de muchos cálculos fuera de contexto (o cálculos LOD de Tableau) especificados en diferentes niveles de detalle o la incorporación de datos adicionales en una visualización para obtener un cálculo de tabla para calcular correctamente, pero luego se ocultan algunos datos (utilizando un cálculo de tabla diferente como filtro) o separar una fuente de datos para permitir la implementación de diferentes operaciones para cada sub-fuente, solo para volver a unirlas. ¡El resultado final es siempre un libro de trabajo tan difícil de entender como la frase anterior!

Flexibilidad y adaptabilidad de los libros de trabajo

Otra consecuencia de no separar la limpieza del análisis (aparte de la mayor complejidad) es que hacen que el libro de trabajo sea menos flexible para adaptarse a futuros cambios. El uso de métodos como estos puede significar que simplemente cambiar un tipo de gráfico requiere un trabajo significativo porque quizás todos los cálculos de la tabla subyacente necesiten un ajuste, o es necesario crear un nuevo conjunto de cálculos LOD.

En algunos casos, es simplemente imposible implementar todas las capas solo en Tableau Desktop. En el pasado, he solicitado acceso a la base de datos SQL del cliente, si tienen una, para poder implementar la preparación de varios pasos allí. Sin embargo, los clientes suelen negar esta solicitud; a veces por razones de seguridad, pero la mayoría de las veces porque no tienen las habilidades para usar o los permisos para acceder a la base de datos, lo que significa que perderían el control de todo el proceso.

Utiliza Tableau Prep!

Tableau Prep resuelve este problema en su mayor parte. Todavía hay algunas formas de preparación de datos que son prohibitivamente desafiantes o que actualmente no se pueden hacer en Tableau Prep, pero para la gran mayoría de las solicitudes que encuentro, Tableau Prep me da todo lo que necesito:

  • Puedo crear los cálculos intermedios necesarios sin llevarlos al conjunto de datos final.
  • Puedo ejecutar operaciones especiales a subconjuntos de mis datos fácilmente.
  • Puedo crear muchas capas de lógica donde los resultados de los cálculos fluyen hacia los cálculos de la siguiente capa.
  • Puedo unir diferentes conjuntos de datos en cualquier nivel de agregación que elija.
  • Puedo rotar, unir, renombrar, dividir, crear un nuevo campo, etc. en cualquier paso del proceso de preparación que desee.

Y esto es todo en cuanto a la 2ª herramienta imprescindible para la preparación y limpieza de datos para preparar su análisis. Os agradecemos que hayáis llegado hasta el final de este post.

¡ Nos vemos en el siguiente artículo !