Descargas y datos en CSV y JSON

Descargas y datos

Qué es (y qué no)

Las direcciones de abajo cuelgan de /api/ o de su página; ninguna pide registro. Cada descarga lleva los contratos tal como los publica cada fuente, con su IVA y sus marcas de calidad, y sin datos de personas físicas. Qué es cada columna, de qué fuente llega y con qué IVA, en el diccionario.

Una búsqueda

En el buscador, «Descargar» baja las primeras 1.000 filas de la búsqueda en su orden. La dirección de la descarga es la búsqueda: los mismos parámetros que la página (lo que va detrás de /buscar?), así que guardada la repite, con los datos de cada semana; el menú la da para copiarla. El fichero lleva en su nombre la fecha de los datos, y las cabeceras X-Busqueda (la búsqueda en la web) y X-Datos-Actualizados. Hace falta un texto o algún filtro.

curl -s -o madrid-menores-2024.csv \
  'https://buscalicitaciones.com/api/buscar/exportar/csv?ccaa=MD&year_from=2024&year_to=2024&only_menor=1'

import pandas as pd

url = 'https://buscalicitaciones.com/api/buscar/exportar/csv?ccaa=MD&year_from=2024&year_to=2024&only_menor=1'
menores = pd.read_csv(url, sep=';', decimal=',', encoding='utf-8-sig')
print(len(menores), 'filas;', menores['imp_adj_eur_corregido'].sum(), '€ que cuentan')

Sin texto, las filas van en el orden de la página con desempate por fuente, año e identificador: la misma dirección da las mismas filas mientras no cambien los datos. Con texto, en el orden del buscador de texto. Con texto, el CSV trae los campos de la tarjeta del buscador; sin texto, todas las columnas de la descarga.

Una ficha

Cada ficha de empresa y de órgano baja sus contratos, los más recientes primero, hasta 10.000. clave es la de la ficha (el NIF o, sin NIF, el nombre normalizado); cuenta=todas, cada publicación. Las fichas de personas físicas no se descargan.

import json, urllib.request

url = 'https://buscalicitaciones.com/api/exportar/organo/json?clave=P2807900B'
with urllib.request.urlopen(url) as r:
    d = json.load(r)
print(d['meta']['contratos_total'], 'contratos;', d['meta']['licencia'])
for c in d['contratos'][:5]:
    print(c['fecha_adj'], c['imp_adj_eur'], c['imp_adj_iva'], c['objeto'][:60])

Indicadores por órgano

Las tablas de los indicadores de cumplimiento y descriptores de cada ficha de órgano, para todos los órganos y años, en CSV y Parquet, con su propio diccionario: en Descargas de indicadores.

import duckdb   # pip install duckdb

duckdb.sql("SELECT * FROM 'https://buscalicitaciones.com/api/exportar/indicadores/descriptores_organo_anio.parquet' LIMIT 5").show()

import duckdb   # pip install duckdb

# Licitaciones y ofertas publicadas por fuente y año
duckdb.sql("""
    SELECT fuente, anio, count(DISTINCT lote_clave) AS licitaciones, count(*) AS ofertas
    FROM 'https://buscalicitaciones.com/api/exportar/licitadores/ofertas.parquet'
    GROUP BY ALL ORDER BY ALL
""").show()

Los datos de los gráficos

Cada gráfico de Cómo se contrata tiene en «Ver los datos» la tabla de lo que enseña, su CSV y el CSV completo. Son los ficheros que lee la página: cambian con ella.

Precio frente a una referencia oficial

Pagado ÷ referencia oficial del mes en los contratos de carburantes y de papel A4 que dicen la cantidad en el objeto: por mercado, producto, provincia y año, y por órgano de contratación con 10 compras medibles o más. Ninguna fila es un contrato ni una empresa. Método y cobertura, en su metodología; las tablas, en Descargas.

RSS

Lo demás que hay bajo /api/ (las sugerencias de la caja de búsqueda, los trozos de las fichas que llegan aparte) es de las páginas: no está pensado para reutilizarse.

Diccionario de columnas

Qué es cada columna de los contratos, su tipo, su IVA, sus valores posibles y de qué fuentes llega, en el diccionario. Se genera del esquema de la tabla única y del informe de cada actualización semanal, así que no se desfasa.

Privacidad y límites

• Un contrato adjudicado a una persona física va sin su nombre («[persona física]»), su NIF, su identificador ni su enlace; su ficha no se descarga. Un órgano que publica con el NIF de una persona física sale como «otros», sin NIF ni nombre (política de privacidad).
• Una búsqueda baja como mucho 1.000 filas y una ficha 10.000 contratos: lo que pasa de ahí, en los datos completos.
• Si lo automatizas, pide de una en una y deja al menos un segundo entre peticiones: la web es un proyecto pequeño. Los rastreadores no recorren /api/ (robots.txt).

Licencia y cita

Datos de fuentes oficiales reutilizables (Ley 37/2007). Cita la fuente oficial y buscalicitaciones.com. Las licencias de cada fuente (la del sector público español, la del TED, la del BOE), en la metodología. Cita la página o la descarga con su dirección y la fecha de los datos.

Los datos completos

Los datos de cada fuente, tal como los descarga el repositorio público, en Parquet y con sus versiones, en el último release de GitHub; cómo leerlos con DuckDB o pandas, en la metodología.