Curso de Principios de Visualización de Datos para Business Intelligence
¿Qué es la visualización de datos?
Input: la información que entra Output: la visualización de esta información
Reto
¿Cuál fue el papel de Florence Nightingale en la guerra de Crimea? ¿Cuál fue su aporte en la historia de la visualización de datos?
El papel/aporte de Florence Nightindale en la guerra de Crimea fue ...
una enfermera que curo a los soldados durante la guerra de Crime debido a su dedicacion y logros fue la insparicion del fundador de la cruz roja y recibio el apodo de la dama de la lampara
fue una pionera en el uso de graficas de visualización de datos como el histograma circular o diagrama de la rosa con el cual pudo representar efectivamente las condiciones de los soldados heridos a las peronas que no estaban familiarizadas con estadisticas.
Comprobando asi que condiciones como agua sucia y falta de ventilacion eran causa directa de la muerte de los soldados heridos
sus estudios y el uso de graficas salvo miles de vidas, por esto fue elegida como la primera mujer miembro de la Roya Statistical Society (Inglaterra) y miembro honoraria de la American Statistical Association
Importancia de la visualización de datos: disminuye la carga cognitiva
para los humanos es muy difícil retener información de una manera no estructurada, por lo cual utilizamos patrones o distintos métodos de percepción visual que nos permiten retener de una forma mas sencilla la información que se nos esta presentando.
Carga cognitiva
Es el esfuerzo que tenemos que hacer para retener la información. A mayor carga cognitiva, mayor esfuerzo para retener información, y a menor carga menor esfuerzo para retener. Existen varios métodos para reducir la carga.
La visualización efectiva y una carga cognitiva baja, nos ayuda a entender nuestra información. Y poder entregar a nuestra audiencia un mensaje adecuado y de forma eficiente, ademas de poder retenerlo de una manera muy sencilla.
Ben Shneiderman (informático estadounidense ): “La visualización te da respuestas a preguntas que no sabias que tenias”.
Es importante entender que al momento de hacer visualizaciones de datos, asumimos un rol importante, ya que cada vez que comunicamos los datos, existe una audiencia que va a recibir de forma directa o indirecta nuestro mensaje. Siempre debemos evitar el sesgo en todo momento.
Reto
¿Qué es la carga cognitiva? ¿Es normal cambiar de hipótesis o suposiciones después de trabajar con nuestra fuente de datos? ¿Qué grandes visualizaciones de datos han impactado en la historia de la humanidad?
La carga cognitiva es ...
es la cantidad de concentracion o carga mental que debemos dedicar para poder realizar una tarea
Cambiar de hipótesis o suposiciones después de interactuar con la fuente de datos ... al obtener una nueva fuente datos no se cambia de hipotesis, los datos nos ayudan a comprobar si la hipotesis es correcta o esta equivocada
Lista de visualizaciones que tuvieron un gran impacto en la historia: ...
El Caso de John Snow y el estudio del origen del Cólera en Londres en 1848 quien descubrió que los casos aumentaban alrededor de una de las fuentes de agua.
Basándose en el registro de las defunciones por cólera ocurridas en la epidemia de 1848-49, Snow observó que los distritos de la zona sur de Londres presentaban la mayor cantidad de casos en términos absolutos y registraban la más alta tasa de mortalidad, muy superior a la del resto de la ciudad. Snow observó que los habitantes del sur de Londres obtenían agua para beber río abajo del Támesis, lugar donde las aguas estaban altamente contaminadas por recibir las alcantarillas de la ciudad, a diferencia de los habitantes de las otras zonas de Londres, quienes la obtenían de un sector menos contaminado, aguas arriba. Fue pionero en el uso de metodologías de investigación epidemiológica moderna, como la implementación de encuestas y la epidemiología espacial, mediante el mapeo.
Fuente: https://eldiariodesalud.com/catedra/epidemiologia-y-anestesia-john-snow
Herramientas para visualizar datos:
Reto
Otra herramienta para hacer visualización de datos sería ...
He usado ...
librerias de javascript como ApexCharts y de python como matplotlib y seaborn, las cuales son librerias que a base de codigo permiten la visualizacion de datos que maneja el programa para que el usuario pueda visualizarlos.
¿Cómo usar correctamente una gráfica? Ejemplos y usos de visualizaciones
Reto
Comenta 3 visualizaciones de datos que te parecieron fantásticas:
Buenas prácticas para visualización de datos: user personas, mentiras estadísticas y principios de Gestalt
- Define un a audiencia y un motivo
- Utiliza la percepción visual
- Estandarizar
- Mostrar graficas en escala real
- Simplifica pero no recortes
- Disminuye el sesgo: No al cherry-picking
- Recuerda: principios de Gestalt Ley de proximidad Ley de Similitud Ley de Continuidad
Reto
Da un ejemplo de cada uno de los principios de Gestalt:
Principios de la Gestalt
1.- Proximidad
Si unos elementos se encuentran próximos entre sí, se perciben como un grupo. En la figura, percibimos los elementos circulares alineados verticalmente agrupados como si fueran columnas debido a la proximidad entre ellos, y no agrupados en filas
2.- Semejanza
Los elementos con atributos similares (color, forma, tamaño u orientación) se perciben como un grupo. Asociamos los triángulos de color ámbar bajo un mismo grupo pese a estar distanciados entre sí y más próximos a los elementos circulares de color coral.
3.- Cierre
Los elementos que parecen tener un contorno o borde alrededor de ellos, forman parte de un grupo. Aunque estén cerca y tengan semejanza con otros elementos fuera del borde, el hecho de existir un borde alrededor de varios de ellos hace que los percibamos como un grupo, aún sin ser semejantes.
4.- Compleción
Nuestra percepción tiende a completar las partes que faltan rellenándolas con los elementos que faltan, siempre que sea razonable. La figura no está completa, le faltan partes, y sin embargo vemos un círculo.
5.- Continuidad
Los elementos que están uno a continuación de otro, se perciben como elementos continuos aunque haya un espacio entre sí. Pese a la semejanza en forma, color y tamaño, percibimos una línea recta que se cruza con una línea curva debido a la continuidad de las mismas.
6.- Conectividad
Los elementos conectados físicamente entre sí se perciben como un grupo de manera más fuerte que el hecho de tener una semejanza (color, forma, tamaño, etc) similar. Existen elementos semejantes y próximos entre ellos, y sin embargo los percibimos agrupados con aquellos a los que están unidos mediante una línea debido al principio de conectividad pese a tener formas completamente distintas. El cuadrado gris lo percibimos agrupado al círculo rojo coral y no al cuadrado próximo.
- Principio de similitud
La mente agrupa los elementos similares en una entidad
- Principio de proximidad
Habla del agrupamiento parcial o secuencial de elementos que lleva a cabo la mente, con base en la distancia.
-
Principio de simetría Las imágenes simétricas son percibidas como iguales, como un solo elemento, en la distancia.
-
Principio de continuidad Los detalles que mantienen un patrón o dirección tienden a agruparse juntos, como parte de un modelo.
-
Principio de dirección común Implica que los elementos que parecen construir un patrón o un flujo en la misma dirección se perciben como una figura.
-
Principio de simplicidad Afirma que el individuo organiza sus campos perceptuales con rasgos simples, regulares y tiende a formas buenas.
-
Principio de igualdad o equivalencia Dice que, cuando concurren varios elementos de diferentes clases, hay una tendencia a constituir grupos con los que son iguales.
-
Principio del cerramiento o del cierre Las líneas que circundan una superficie se captan, en igualdad de circunstancias, más fácilmente como unidad o como figura, en comparación con aquellas otras que se unen entre sí.
-
Principio de experiencia Asegura que, desde el punto de vista biológico, el propio sistema nervioso se ha ido formando por el condicionamiento del mundo exterior.
Caso Target: conflictos de ética en la ciencia de datos y Big Data
Nuestro papel con la audiencia de responsabilidad ya que la audiencia tendra a creer todo lo que le digamos. Por lo cual si el mensaje no es claro podemos llegar a perder la credibilidad de la audiencia.
https://elpais.com/elpais/2015/08/11/icon/1439304143_858615.html
Reto
¿Crees que es correcto o incorrecto que Target haya utilizado la ciencia de datos para identificar patrones de comportamiento de mujeres embarazadas con el fin de promocionarles productos de bebé?
En el caso target, ofrecer cupones a los usuarios de cosas que esten proximos a comprar es muy benefisioso para ambas partes.
Aun así antes de realizar una recomendacion de este tipo Target deberia agregar un filtro de impacto de estas recomendaciones porque recomendaciones como este caso de recomendar productos de bebe para una menor de edad tienen un impacto fuerte que puede ser visto como Target incitando el embarazo adolecente, cosa que los algoritmos no diferencian ellos solo ven patrones de compra y recomendaciones posibles.
Por lo cual antes de enviar los cupones al usuario que el modelo predictivo escogio se deberia hacer una evaluacion de que se le esta recomendando a esta persona y cual es su perfil, a modo de no realizar recomendaciones que se puedan considerar invasivas o insultantes para la persona.
Gráfica de barras
Caso Incremento Google Reservation a la hora de reservar una habitacion se cambio el nombre del boton de "Reserver habitacion" a "Comprobar Disponibilidad" esto incremento la cantidad de reservas efectivas en un 17%
Intro a los data viz (visualizaciones de datos)
Data viz(Nombre aceptado de la representacion grafica de datos en el Bussiness Intelligence) Grafica de barras
Qué hacer
Existen verticales , horizontales y estaqueadas o apiladas
Usar colores diferentes por cada medida
De no haber escala en el tiempo mostrar los datos de menor a mayor
Iniciar las escalas desde el cero
Marcar las graficas con colores
https://www.fusioncharts.com/blog/bar-charts-or-column-charts/
Qué NO hacer
- todo unicolor
- iniciar la escala en un punto que no sea el 0
Reto
Encuentra un caso de uso correcto de la gráfica de barras y realiza una visualización de ejemplo.
Gráfica de Pie
debe usarse con cuidado ya que Se recomienda no tener mas de 5 categorias
tambien puede ser de dona por simplicidad
Que NO hacer
- representarla grafica en 3D
- usar mas de 5 categorias si es posible maximo 4
Grafica de dispersion
Grafica de dispersion o scatter plot
en el eje x contamos con un valor o variable y en el eje y contamos con otro valor o variable
Que hacer
-
usar colores
-
entender la correlacion de los datos , si la correlacion es positiva , negativo o no hay correlacion
Tips: https://visme.co/blog/scatter-plot/
usar un scatter plot para demostrar la correlacion de los datos
Que NO hacer
- tener cuidado con las anotaciones ya que al haber muchos puntos los nombres podrian evitar que se vean los puntos
- no usar cuando en los datos no hay ningun tipo de correlacion
- no usar scatter plot cuando hay tantos datos que no es posible interpretar la enorme cantidad de puntos
- correlacion NO es causalidad
Peores visualizaciones de datos posible
Grafica de burbujas
es una variacion del scatter plot, en la cual el tamaño del punto o burbuja representa una nueva dimension que es el tamaño de esa poblacion
Que hacer
- usar colores
- representar con correlacion como scatter plot
- representar como grafica unica sin considerar la correlacion, ya que lo que se busca mostrar es el tamaño de las poblaciones
Que NO hacer
- NO usar graficos 3D ya que dificultan la visualizacion de los Datos
- tener cuidado con las burbujas mas pequeñas pues pueden ser dificiles e ver
Grafica de Mapas
Son datos con peso geografico y cada dato esta atado a su ubicacion en el mapa
Tipos de mapas: isolíneas, coropletas, diagramas, anamórficos
Que hacer
- Simplificar la representacion de los datos, aprobechando el uso del mapa
- los mapas no son necesarios que sean 100% realistas
Que NO hacer
- tener cuidado con las anotaciones y el exceso de ellas para evitar superposiciones
Mapas de calor o Heat map
nos permite superponer sobre un mapa, grafica de tabla o una imagen colores que representan donde la frecuencia de los sucesos de nuestros eventos es mayor
tambien se pueden usar en una pagina web para ver las zonas mas interactuadas por los usuarios
Que hacer
- pueden ser usados sobre graficas de tablas, imagenes y mapas
- demuetra tendencias
- usar heatmaps sobre interfaces para entender lo que mas usan los usuarios
Que NO hacer
- la mala calibracion de los colores puede hacer que el mapa sea inutil e imposible de leer
Reto
uso de un mapa de calor en una tienda
Un heatmap se puede usar en una tienda para mostrar cuales son las zonas de los estantes de productos con la cual interactuan mas los clientes y cuales son los pasillos con los cuales interactuan mas los clientes.
Gráfica de tablas
Representacion de informacion en filas y columnas
Que hacer
- la data visualization de tablas se suele usar acompañado de otro data visualization, porque es mas facil entender en grafica y con las tablas se pueden resolver las dudas que pueda haber
- se pueden usar colores para resaltar valores y patrones que se encuentran en los datos
Que NO hacer
- a menos que la audiencia sea cientifica y te lo hayan pedido explicitamente , no mostrar datos execivamente extensos (ejemplo: datos numericos con hasta 8 numeros decimales de exactitud)
- mostrar enorme cantidad de datos sin apoyo visual de una grafica
Importancia del storytelling en la visualización de datos
Contar historias (storytelling) con nuestros datos es una manera maravillosa para poder difundir nuestro mensaje hacia una audiencia.
Para poder identificar a un gran contador de historias simplemente debemos pensar en esas personas, maestros, científicos o amigos que son capaces de relatar sucesos con una sencillez que nos mantienen enganchados en todo momento y de quienes podemos aprender mucho.
Tips para el Story telling con los datos
¿Cómo afecta la visualización de datos en tu negocio?
recordar siempre buscar reducir la carga cognitiva
lo que no se puede medir no se puede mejorar
Reto
Comenta cómo te ayudó o cómo te podría ayudar la visualización de datos para:
- Comunicar resultados a la dirección y gerencia de la empresa
- Comunicar nuestros objetivos con compañeros y el resto del equipo
- Comunicarte a ti mismo la eficiencia y mejora en tus propios objetivos
La visualización de datos efectiva nos ayuda a:
- nos ayuda a que direccion y gerencia entiendan claramente el mensaje que buscamos transmitirles y la conclusion a la que llegamos tras analizar los datos
- nos permite que nuestro mensaje sea claro y facil de interpretar por lo cual miembros de nuestro equipo pueden facilmente estar al dia con la información que estamos trabajando
- Nos permite comunicar de mejor manera lo que pensamos, inclusive nos permite poner en palabras conclusiones a las que no podiamos llegar sin verlas plamadas en una forma mas comprensible como una grafica
Notas estudiante David Josué Paz Ordoñez Cómo la data visualization beneficia a diferentes áreas laborales:
Marketing Con data visualization, puedes ver si tu estrategia de marketing funciona a través de visualizaciones de las tendencias de tráfico a tu página web en cierto tiempo. También puedes monitorear campañas específicas y las diferentes métricas.
Logística La logística se sirve de las visualizaciones para localizar mejores rutas de envío, cuál zona de la ciudad tiene menos tránsito, comparar tiempos de entrega, entre otras cosas.
Finanzas Como financiero, puedes realizar el seguimiento de cómo se desempeñan tus diferentes decisiones en cuanto a compra y venta de activos. Puedes analizar el movimiento de los precios y predecir situaciones futuras.
Investigaciones científicas La visualización de datos es muy útil para comprender datos experimentales, identificar patrones, comparar variables en el tiempo, cómo cambió cierto valor antes y después de un experimento.
Explora, descubre, pregunta: toma decisiones inteligentes con análisis de datos
como agregar valor a los datos?
los datos por si solos son numeros y letras
nosotros le agregamos valor a los datos para lo cual es importante agregar información relevante que nos apoye para alcanzar objetivos, plantear metas y tomar desiciones
Explora, descubre y pregunta
Es muy importante explorar los datos ya que en la verdad de ellos podemos ver si nuestras hipotesis estan en lo correcto
Descubre en los datos información relevante
Pregunta a nosotros mismos porque los datos se comportan de esta forma o llegan a estas conclusiones, hacer este tipo de preguntas y mas nos permite llegar a informacion que nos ayuda a darle forma a la historia que queremos contar con los datos.
El Trabajo en Equipo es sumamente importante
Toma de decisiones Pemitir que los datos nos ayude a la Toma de decisiones debe ser de los objetivos principales
Reto
Aplicar el analisis de datos en la base de datos adjunta de superstore
ejemplo de clase google data studio
mi analisis con google data studio
Caso Walmart: integra visualización de datos y Big Data con inteligencia de negocios
El Bussiness Inteligence se enfoca mucho en la Data Visualization
BI en el data science
el BI puede interpretar los resultados de los experimentos de Data Science
https://www.youtube.com/watch?v=hDJdkcdG1iA
Reto
¿Qué es Business Intelligence?
Es el uso de graficas, Data Viz y Story Telling en conjunto con grandes conjuntos de datos, con el objetivo de poder llevarlos a un lenguaje entendible por los humanos, permitiendo asi observar la verdad que hay en los datos , interpretarlos y permitir sacar conclusiones de los mismos que nos ayuden a la toma de desiciones.
¿Cómo se relaciona el Business Intelligence con la ciencia y visualización de datos?
El BI se relaciona con la ciencia de datos ya que los resultados de los experimentos de Data Science son entendibles por el Cientifico de Datos que los realizo y con el BI lleva estos resultados a un lenguage ententible por todas las personas.
El BI se relaciona con la visualización de datos ya que la visualización de datos es una de las herramientas principales y mas utiles a la hora de hacer un Data Biz.
Recolección de datos
https://www.youtube.com/watch?v=bAyrObl7TYE
la informacion a analizar suele ser muy diversa
pueden ser base de datos publicas o privadas
de hacerse un proyecto sobre una base privada debe pedirse permiso de forma explicita
bases de datos publicas
puede ser informacion estructurada o no estructurada
pueden estar en distintos tipos de archivos y/o fuentes de archivos
https://data.nasa.gov https://www.makeovermonday.co.uk/data/ https://maxar.com https://podaac.jpl.nasa.gov/datasetlist https://science.nasa.gov/citizenscience https://kaggle.com/datasets https://developers.google.com/earth-engine/datasets . Y un blog con más: interviewqs.com/blog/free-online-data-sets
Retos
¿Qué base de datos te gustaría analizar como proyecto personal para tu portafolio personal?
Me gustaria analizar bases de datos de los resultados tras las acciones tomadas para ayudar al medio ambiente y mitigar el calentamiento global
Limpieza de datos
Es uno de los procesos principales para lograr analizar los datos
Es el proceso de estandarizar la estructura y datos de nuestra fuente de datos para que nuestro software pueda analizarlos apropiadamente
GIGO/RIRO Garbage In Garbage Out
Preparacion Se acomoda toda la informacion para que este lista para ser utilizada en cualquier analisis o visualizacion
Reto
¿Qué herramienta te permite realizar limpieza de datos?
En python uso librerias como pandas y numpy, que permiten facilmente realizar funciones sobre todo el conjunto de datos a pesar de que sean un conjunto de datos de gran tamaño.
Exploración de datos
Es un proceso muy importante donde concentraremos la mayoria de nuestro tiempo
Descubre, pregunta, reformula, analiza
Cuenta historias
Es en este parte del proceso cuando nuestras hipotesis seran confirmadas o negadas, asi permitiendonos llegar mas a la verdad.
Evita errores de sesgo, parcialidad, o hacer cherry picking enfoncandote en solo una fraccion del total de datos
También es importante no detenernos al encontrar algo que no nos gusta, recordemos, la información habla, nosotros solo somos los intermediarios.
https://public.tableau.com/profile/luis.novelo6593#!/vizhome/week1_15944308284500/Hoja1
https://towardsdatascience.com/an-extensive-guide-to-exploratory-data-analysis-ddd99a03199e
Reto
¿Cuáles son los tipos de datos con los que más estás familiarizado?
Los datos con los que estoy mas familiarizado son los datos de precios y ventas de tiendas y empresas Debido a que son los tipos de datos que mas suelo analizar para aprender ciencia de datos
Creación de gráficas y visualizaciones
¿ Qué quiero comunicar ?
que se adapta mejor a mi mensaje ?
Quien es mi audiencia ? Cual es el lenguaje que mejor se adapta a ellos
No olvides las buenas practicas
Reto
¿ Cuales son los tipos de graficas correctas para comunicar tus hallazgos sobre Super Store Data ?
-
graficas de barra para ver las categorias y subcateforias mas vendidas
-
graficas de barra para ver los mejores clientes
-
scatter plots para ver la correlacion entre sales, profit y discount
-
graficas de mapa para ver las zonas con mejores ventas, peores ventas, y mayores descuentos
-
graficas de dona, barra y lineales para ver en que trimestres del año hay mayores ventas y profit
-
graficas de barra y scatter plots para ver en que meses hay mayores ventas y profit
Graficas en google data studio
Generación de reportes con storytelling
¿ Que son los reportes ?
Son un aconglomerado de las mejores data visualizations obtenidas del analisis, que mejor entregan el mensaje, que se muestran en un lugar para permitir facilmente la toma de desiciones
¿ Para que son los reportes ?
para permitir que los altos mandos tomen las desiciones mas rapida y efectivamente
Concentra tus resultados
Mayor Retencion por menos Esfuerzo, reduciendo la carga cognitiva
Reto
¿ Que son los reportes ?
Haz un reporte sobre tus hallazgos de Super Store Data
Define objetivos SMART con KPIs o Key Performance Indicators
Key Performance Indicator
Lo que no podemos medir no lo podemos mejorar
¿ que es un KPI ?
https://platzi.com/blog/key-performance-indicators/
https://www.youtube.com/watch?v=syI-oRnjROU
Que son los KPI ?
Algunas de las métricas más populares para medir el impacto que diferentes acciones y estrategias están teniendo en tu negocio son los KPI, que significa “Key Performance Indicators”; en español “indicadores claves de desempeño”, es decir, aquellas variables, factores o unidades de medida que consideramos “estratégicas” en nuestra empresa, y que por ende influyen directamente en las decisiones que tomemos respecto a ella.
Recuerda S.M.A.R.T.
- S: especificos
- M: Medible
- A: alcanzables
- R: Relevantes
- T: Escalable en el tiempo
SMART: Specific Measurable Achievable Relevant Time-bound
Para ver cuales son tus KPI una practica es imaginar que tienes un asistente como Siri en tu empresa que mide TODO , entonces que preguntas le quisieras hacer, y en base a esas preguntas puedes deducir tus KPI
Reto
Escribe una propuesta de KPIs para:
- Tu negocio (general de toda la empresa)
- Tu equipo (más específico de tu área)
- Ti mismo (uno personal y otro profesional)
Los KPIs que plantearía para una empresa de venta software:
- Clientes nuevos de cada Aplicacion
- Clientes nuevos obtenidos por los vendedores
- Clientes nuevos obtenidos por publicidad
- Cantidad de usuarios activos en las plataformas
- Features completadas por el equipo de desarrollo categorizadas por complejidad
- Cargas de trabajo por desarrollador y total de la empresa
- Cantidad de features que cumplieron con las fechas estimadas y Cantidad de features que se les asigno una fecha estimada
- Cantidad de asignaciones que los desarrolladores completan antes de la fecha asignada, cuantos justo en la misma fecha y cuantos después o con retraso
Caso Orbitz: beneficios de una cultura data-driven o basada en datos
Mejora continua basada en visualización de datos y BI
tenemos que hacer projectos, buscar bases de datos publicas para encontrar las historias a contar
Realizar reportes, no todos los Data Visualization llegan a la etapa final de reporte por lo cual es muy importante hacerlo
Muestra tus reportes con los resultados obtenidos
Siempre Crea Historias
https://www.youtube.com/watch?v=-I23qGB6JdY
https://platzi.com/cursos/tableau/
Reto
Mejora tu Storytelling
Continúa aprendiendo Data Science, Business Intelligence y Visualización de Datos
https://www.nytimes.com/2004/11/14/business/yourmoney/what-walmart-knows-about-customers-habits.html
https://digital.hbs.edu/platform-digit/submission/big-data-and-retail/
https://business.time.com/2012/06/26/orbitz-shows-higher-prices-to-mac-users/
Otras notas
tableu es una comunidad grade de visualización de datos y tiene eventos como el iron viz