Clase 01 — Datos que no mienten

1 — Introducción · Por qué importa la calidad de datos

En ciencia de datos hay un principio que se repite siempre: un modelo es tan bueno como los datos con los que se entrena. GAGO — basura que entra, basura que sale. Pero hay algo más profundo. Incluso sin modelos — solo con reportes, dashboards o análisis descriptivos — los datos de mala calidad producen decisiones equivocadas. Y lo más peligroso es que esas decisiones parecen justificadas porque están respaldadas por números.

Un dato no es bueno o malo en abstracto. Es confiable o no confiable para una pregunta específica. Los precios con outliers son basura para calcular ticket promedio, pero son señal para auditar errores de carga.

La calidad de datos no es una tarea técnica de limpieza que se hace al principio y se olvida. Es una disciplina transversal que atraviesa todo el ciclo de vida del dato.

Las tres preguntas de esta clase

El recorrido sigue el orden lógico de una auditoría real: profiling exploratorio → reglas formales con Great Expectations → limpieza documentada → validación final.

2 — Contexto: el dato como activo · Gobierno de Datos

La calidad de datos no existe en el vacío. Es una de las disciplinas del Gobierno de Datos — el conjunto de prácticas, procesos y estructuras organizacionales que permiten gestionar los datos como un activo estratégico.

El marco DAMA-DMBOK2 define el Gobierno de Datos como "el ejercicio de la autoridad, el control y la toma de decisiones compartida sobre la gestión de los activos de datos". En términos prácticos: quién decide qué, cómo se garantiza la calidad, quién es responsable de qué datos.

Metas de un programa de calidad

3 — El dataset · Olist Brazilian E-Commerce

Olist es una empresa brasileña de tecnología para e-commerce, fundada en 2015 en Curitiba. Modelo de negocio: marketplace que actúa como intermediario entre vendedores pequeños y medianos y los grandes marketplaces brasileños (Mercado Libre, Americanas, Submarino).

Olist publicó datos reales de transacciones entre 2016 y 2018 en Kaggle. Aproximadamente 100.000 órdenes procesadas en ese período. Los problemas de calidad ocurren naturalmente — no fueron inyectados artificialmente.

Los 9 archivos del dataset

4 — Estructura de los datos

Olist distribuye sus datos siguiendo un esquema normalizado: cada tabla tiene una responsabilidad única. Las tablas se relacionan a través de claves identificadoras (IDs).

Tipos de datos en pandas

5 — Las 6 dimensiones de calidad de datos

El framework más extendido en la industria (DAMA UK / ISO 8000) define dimensiones para medir la calidad de datos. Cada dimensión responde una pregunta distinta y requiere técnicas de detección distintas.

# Python
df.isnull().sum() / len(df) * 100  # % de nulos por columna

# Power Query
Transformar > Estadísticas > Contar valores en blanco

# Python — duplicados exactos
df.duplicated().sum()

# Por clave de negocio
df.duplicated(subset=['order_id']).sum()

# Power Query
Agrupar por id_orden > Contar filas > filtrar donde conteo > 1

# Normalización básica — siempre primer paso
df['categoria'] = df['categoria'].str.lower().str.strip()

# Distancia de edición (Levenshtein)
from thefuzz import fuzz
fuzz.ratio('electornics', 'electronics')  # → 95

Dimensiones complementarias

La Integridad referencial y la Actualidad (Freshness) complementan las 6 dimensiones core en entornos de producción.

6 — ydata-profiling · auditoría exploratoria automática

Genera un reporte HTML completo con estadísticas descriptivas, distribuciones, correlaciones y alertas de calidad. Para datasets con más de 100.000 filas, siempre usar minimal=True primero.

from ydata_profiling import ProfileReport

profile = ProfileReport(df, title="Olist — Auditoría Clase 01", minimal=True)
profile.to_file("reporte_calidad.html")

Tipos de alertas que genera

Comparar datasets — detección de drift

profile_actual.compare(profile_anterior).to_file('comparacion.html')

7 — Great Expectations · contratos de datos en producción

ydata-profiling te dice QUÉ encontró en los datos. Great Expectations te dice si los datos CUMPLEN o NO CUMPLEN lo que esperabas. El primero es exploratorio. El segundo es operacional.

# Flujo de validación en producción
Datos nuevos → Pipeline → [GE valida] → ¿Cumple las reglas?
                                          Sí: continúa
                                          No: alerta + detención

Los 4 componentes clave de GE 1.x

Expectations más usadas

8 — Pipeline de limpieza · principios y decisiones

Un pipeline de limpieza sin documentación es tan peligroso como datos sucios. Eliminar un registro es una decisión de negocio, no solo una decisión técnica.

Los 5 pasos del pipeline de esta clase

Decisiones típicas por tipo de problema

9 — Excel y Power Query como herramientas de diagnóstico

Power Query es el motor de transformación de datos integrado en Excel desde la versión 2016. Cada paso queda registrado como un paso aplicado — lo que en Python llamaríamos un pipeline documentado.

Equivalencias clave: Python vs Power Query

¿Cuándo usar cada herramienta?

10 — Sesgos de representatividad · la dimensión invisible

El dataset de datos técnicamente impecables que produce conclusiones equivocadas porque no representa bien la realidad es el escenario más difícil de detectar y el más costoso para el negocio.

11 — Resumen · Las 3 ideas centrales

12 — Glosario

13 — Recursos para seguir estudiando

Documentación oficial

Materiales de esta clase

Dataset

Lecturas recomendadas