Cómo se construye este dataset

1. Fuentes de datos

Son 11 fuentes de licitaciones (1 estatal, 1 europea, 9 autonómicas/locales) más BORME (Registro Mercantil) usado para enriquecer. Pulsa cada una para ver detalle, periodo, qué cubre y qué no.

3. Cruces entre fuentes

Lo que hace el sitio actualmente

El único cruce que se aplica de forma activa en el screener es la deduplicación por id_canonical. Cuando un mismo contrato aparece en dos fuentes (típicamente: una autonómica y PLACSP por adhesión), se cuenta solo una vez para no inflar las agregaciones.

No se aplica matching automático contra TED ni contra BORME en tiempo real. Los datos por fuente se sirven tal y como vienen normalizados — el screener no añade flags ni anotaciones derivadas.

PLACSP ↔ TED — pipeline de validación SARA análisis offline

Los contratos por encima de los umbrales europeos (SARA) deben publicarse obligatoriamente en TED. Hay un pipeline que cruza ambas fuentes con 5 estrategias secuenciales para detectar SARAs que no llegan a TED. Los resultados se publican como dataset descargable (crossval_sara_v2.parquet) pero el sitio no los muestra todavía.

Reglas SARA (umbrales por bienio)

Los umbrales de publicación obligatoria no son fijos — varían por bienio, tipo de contrato y tipo de comprador (AGE / resto / sectores especiales).

5 estrategias de matching (secuenciales)

Cada estrategia actúa solo sobre los registros que las anteriores no encontraron — la más ambigua se reserva para el final:

Hallazgo clave del análisis: la estrategia E3 (NIF del órgano contratante) explica el 17,6% de matches por sí sola — más que las otras cuatro juntas. TED registra el NIF del comprador; PLACSP, el del adjudicatario. Sin cruzar ambos se pierde casi 1 de cada 5 matches.

Validación por año

La tasa de validación ha mejorado significativamente desde 2018, alcanzando un máximo del 64,6% en 2024:

Los años 2020-2021 muestran caídas significativas debido al efecto COVID (cambios en patrones de contratación) combinado con baja cobertura del CSV bulk de TED en ese periodo. La transición a la API v3 eForms desde 2020 también introdujo discrepancias temporales.

Análisis sectorial: Salud

El sector salud representa el 17% de contratos SARA con una tasa de validación del 42,3%. El 38% del missing se explica por patrones de lotes: un único anuncio TED corresponde a N adjudicaciones individuales en PLACSP. La cobertura real ajustada por lotes es ~54%.

Top órganos con más SARAs missing en el análisis:

PLACSP × BORME — detector de anomalías análisis offline

Otro pipeline cruza BORME (Registro Mercantil) con PLACSP para generar 5 flags de posibles irregularidades. Resultados publicados como dataset, no aplicados en el screener todavía.

5. Sistema de indicadores Hay Derecho marco de referencia

Hay Derecho publica un Sistema de Indicadores de Transparencia en Contratación Pública que evalúa el cumplimiento legal y la calidad de los datos publicados por las administraciones. Es el marco más completo y exigente que existe en España para medir transparencia en contratación pública. Define 110 indicadores agrupados en tres criterios con pesos ponderados:

Score total = 0,5 · Legal + 0,3 · Calidad + 0,2 · BPP. Cada indicador tiene una salida binaria por contrato (presente/ausente, válido/inválido) y una salida agregada por organismo (% de contratos que cumplen).

5.1 Criterio Legal — 48 indicadores (peso 50%)

Indicadores derivados de la LCSP y la LTAIBG. Cada incumplimiento conlleva un desmérito del 10% en la puntuación final del organismo. La salida es siempre Presente / Ausente por contrato.

5.2 Calidad del dato — 48 indicadores (peso 30%)

Subdividido en tres dimensiones: Validez (formato y plausibilidad de los campos), Consistencia (coherencia entre campos relacionados) y Fiabilidad (rangos razonables y deduplicación).

5.3 Buenas prácticas de publicidad — 14 indicadores (peso 20%)

Indicadores que no son obligación legal, pero reflejan compromiso con la transparencia: anuncio de fiscalización, datos en formato reutilizable, conservación a 5 años, publicación de penalidades y prórrogas, etc. Aquí está el verdadero diferencial entre organismos que cumplen el mínimo y los que van más allá.

¿Por qué este marco importa?

• Es la referencia más exigente que existe en España. Combina la base legal (LCSP, LTAIBG) con buenas prácticas observadas en países con mejores prácticas.
• Permite comparar organismos de manera estandarizada. Hoy es muy difícil decir si el SAS publica peor o mejor que el SERMAS — con un score Hay Derecho sería un número directamente comparable.
• Identifica patrones estructurales de opacidad: los indicadores BPP miden lo que no es obligatorio pero se podría hacer. Ahí se ve quién tiene voluntad real de transparencia.
• Es metodológicamente sólido: cada indicador tiene fuente legal, descripción, fase del ciclo de vida, y salidas micro/agregada definidas formalmente.

6. Política de outliers

Por defecto se excluyen los contratos con importe > 1.000 M€ de las agregaciones del screener. Esto afecta a 27 registros con importes hasta 3,4 billones de euros (sí, billones — claramente errores de carga: importes con decimales mal interpretados, sumas de acuerdos marco no segregadas, o lotes mal estructurados).

Caso típico: un acuerdo marco de Sanofi en Andalucía aparece con un importe acumulado de 568 mil millones de euros. Sumar eso en cualquier ranking lo convierte en ruido. La política de exclusión es la misma que aplica la home del sitio.

Fechas y el sentinela year=9999

El campo year del dataset unificado es la clave de partición usada por el ETL para distribuir los contratos en el almacén columnar. Cuando un contrato no trae fecha de adjudicación en origen — o trae una fuera de un rango razonable (años pre-2000 o post-2030) — el ETL lo deposita en la partición year=9999 para mantener la integridad del particionado.

El sentinela 9999 no es un dato: es el equivalente a un NULL que el formato Parquet no puede almacenar como clave de partición. Lo exponemos crudo en el dataset descargable para que cualquier auditor pueda identificar qué contratos no traen año en origen y de qué fuente proceden.

En la interfaz, el sentinela se traduce a etiquetas legibles:

year_first y year_last ambos sin dato

Se muestra —. Caso típico: CATALUNYA_MENORS, donde el 100% de los contratos carecen de fecha en origen.

year_last es el sentinela pero year_first tiene fecha real

Se muestra YYYY–presente*. El asterisco indica que el grupo incluye algún contrato sin fecha; "presente" no implica actividad reciente confirmada, solo que no se puede acotar el extremo superior del rango.

Ambos extremos con fecha real

Se muestra YYYY–YYYY tal cual. Caso normal.

Volumen del sentinela (a fecha de la última construcción del dataset):

• CATALUNYA_MENORS: 171.295 contratos (100% de la fuente)
• MADRID_CAM: 24.304 contratos (0,95% de la fuente)
• PLACSP: 5.254 contratos (0,11%)
• EUSKADI: 859 contratos (0,13%)
• CATALUNYA_PSCP: 248 contratos (0,02%)

En todos los casos verificados, los contratos con year=9999 también tienen fecha_adj IS NULL. Es decir, el sentinela no oculta información: cuando aparece, la fuente original tampoco trae fecha. Si en el futuro detectamos casos donde la fecha sí esté disponible en otro campo (por ejemplo, parseable desde el código de expediente), el ETL extraerá esa fecha y reasignará la partición correctamente.

8. Actualización

Frecuencia con la que se ejecutan los scrapers contra cada fuente:

La fecha de la última actualización se indica en el pie de cada página. Para detalle por fuente, consultar el último Release en GitHub.

10. Descarga de los datos

Todos los datasets están publicados en formato Parquet en GitHub Releases . Los scripts de scraping y procesamiento son código abierto.

ZIPs disponibles (última release)

Licencias

• España (PLACSP, autonomías): Licencia de Reutilización del Sector Público
• Galicia: Ley 1/2016 de transparencia y buen gobierno de Galicia
• Asturias: Portal de Transparencia del Principado de Asturias
• TED (UE): EU Open Data Licence
• BORME: Condiciones de Reutilización BOE — Fuente: Agencia Estatal Boletín Oficial del Estado

Cómo usar los datos descargados (pandas)

Una vez descargado el ZIP correspondiente, los Parquet se leen con pandas en una línea:

# Nacional (PLACSP)
df_nacional = pd.read_parquet('nacional/licitaciones_espana.parquet')

# TED España
df_ted = pd.read_parquet('ted/ted_es_can.parquet')

# Catalunya — contratos menores (3M registros)
df_cat = pd.read_parquet('catalunya/contratacion/contractacio_menors.parquet')

# BORME — actos mercantiles anonimizados
df_borme = pd.read_parquet('borme/data/borme_empresas_pub.parquet')

# Calidad — 8.7M contratos × 70 columnas
df_q = pd.read_parquet('calidad/calidad_licitaciones_resultado.parquet')

Ejemplos de análisis típicos:

# Top 10 adjudicatarios nacionales por importe
df_nacional.groupby('adjudicatario')['importe_sin_iva'].sum().nlargest(10)

# Contratos SARA no publicados en TED
df_q[df_q['INT-CONS-20'] == False].groupby('organo_contratante').size().nlargest(10)

# Score medio de calidad por órgano
df_q.groupby('organo_contratante')['score_calidad'].mean().nlargest(20)

# Constituciones de empresas en BORME por año
constit = df_borme[df_borme['actos'].str.contains('Constitución', na=False)]
constit.groupby(constit['fecha_borme'].dt.year).size()

# BORME: administradores en más de una empresa (red de cargos)
df_cargos = pd.read_parquet('borme/data/borme_cargos_pub.parquet')
multi = df_cargos.groupby('persona_hash')['empresa_norm'].nunique()
print(f"Personas en >1 empresa: {(multi > 1).sum():,}")

Más ejemplos y rutas de archivos en el README del repo.