"""H-SUB · los ficheros de la web: app/datos/concede_contrata.json (por ente con NIF: N, K o su supresión RS-J, parte, B, tipo, por año; pares por tipo; sin empresas) y app/datos/subvenciones_empresa.csv.gz (por empresa con ficha × año × concedente: nº e importe).""" import duckdb, json, gzip, csv, io B = '20261103'; A = f'/v2/aggregations_{B}/' con = duckdb.connect(); x = con.execute PF = r"^([0-9]{8}[A-Z]|[XYZKLM][0-9]{7}[A-Z])$" x(f"CREATE TABLE ao AS SELECT clave FROM '{A}agg_organo.parquet' WHERE vista = 'unica'") x(f"CREATE TABLE ae AS SELECT clave FROM '{A}agg_empresa.parquet' WHERE vista = 'unica'") x("CREATE TABLE h AS SELECT * FROM '/dc/interno/sub_ente.parquet'") x("CREATE TABLE ha AS SELECT * FROM '/dc/interno/sub_ente_anio.parquet'") entes = {} for ente, n, k, it, ik, b, pc, tipo in x(f"""SELECT ente, n_adj, k, imp_total, imp_k, b, pc, tipo FROM h WHERE ente NOT LIKE 'N:%' AND NOT regexp_matches(ente, '{PF}') AND ente IN (SELECT clave FROM ao) ORDER BY 1""").fetchall(): sup = (k == 1 and n < 10) anios = [[int(a), int(na), (None if (kk == 1 and na < 10) else int(kk))] for a, na, kk in x("SELECT anio, n_adj, k FROM ha WHERE ente = ? ORDER BY anio", [ente]).fetchall()] entes[ente] = {'n': int(n), 'k': None if sup else int(k), 'suprimido': sup, 'pc': None if sup or pc is None else round(pc, 4), 'b': int(b), 'tipo': tipo, 'anios': anios} pares = {t: [int(e), int(k), int(n), round(m, 4) if m is not None else None] for t, e, k, n, m in x("SELECT tipo, entes, k, n, mediana_tasa FROM '/dc/interno/sub_pares.parquet'").fetchall()} C = json.load(open('/dc/salidas/sub_calculo.json')); E = json.load(open('/dc/salidas/sub_estabilidad.json')) # empresas: solo las que tienen ficha en la web (y sin las entidades de personas, ya fuera en sub_empresa) x("CREATE TABLE es AS SELECT * FROM '/dc/interno/sub_empresa.parquet' WHERE cif IN (SELECT clave FROM ae)") # los concedentes, una vez (id → nivel1, nivel2, nivel3 y el NIF del ente casado con ficha, si lo hay); las filas, en Parquet ordenado # por CIF con grupos de filas pequeños (la ficha lee solo las de su empresa) x("""CREATE TABLE cdt AS SELECT row_number() OVER (ORDER BY nivel1, nivel2, nivel3, ente)::INTEGER - 1 id, * FROM ( SELECT DISTINCT coalesce(nivel1, '') nivel1, coalesce(nivel2, '') nivel2, coalesce(nivel3, '') nivel3, coalesce(CASE WHEN ente LIKE 'N:%' OR ente NOT IN (SELECT clave FROM ao) THEN NULL ELSE ente END, '') ente FROM es)""") x("""CREATE TABLE fs AS SELECT es.cif, es.anio::SMALLINT anio, cdt.id::INTEGER c, sum(es.n)::INTEGER n, round(sum(es.imp), 2) importe FROM es JOIN cdt ON cdt.nivel1 = coalesce(es.nivel1, '') AND cdt.nivel2 = coalesce(es.nivel2, '') AND cdt.nivel3 = coalesce(es.nivel3, '') AND cdt.ente = coalesce(CASE WHEN es.ente LIKE 'N:%' OR es.ente NOT IN (SELECT clave FROM ao) THEN NULL ELSE es.ente END, '') GROUP BY 1, 2, 3""") x("COPY (SELECT * FROM fs ORDER BY cif, anio, c) TO '/dc/web/subvenciones_empresa.parquet' (FORMAT parquet, COMPRESSION zstd, ROW_GROUP_SIZE 20000)") concedentes = [list(r[1:]) for r in x("SELECT id, nivel1, nivel2, nivel3, ente FROM cdt ORDER BY id").fetchall()] filas = x("SELECT count(*) FROM fs").fetchall() emp_n = x("SELECT count(DISTINCT cif), sum(n), sum(imp) FROM es").fetchone() meta = {'version': 1, 'construccion': f'unified_{B}', 'codigo': 'd1daf83', 'bdns': 'concesiones descargadas el 20-oct-2026', 'medido': '2026-11-03', 'anios': [2023, 2025], 'retirada_bdns': '2028-01-01', 'md5_prerregistro': C['prereg_md5'], 'enmiendas': ['40f66aa7fe8c9841d813df01a268f8fc', '1283a6817ba9319b2e230143174bb484'], 'registros': {'ente': 'datcruce-concede-y-contrata', 'empresa': 'datcruce-subvenciones-recibidas'}, 'totales': {'entes': len(entes), 'entes_todos': C['hecho'][0], 'k': C['hecho'][1], 'n': C['hecho'][2], 'entes_con_k': C['hecho'][3], 'suprimidos': C['hecho'][4], 'empresas_con_subvencion': C['empresas'][0], 'empresas_con_ficha': int(emp_n[0]), 'concesiones_empresas_con_ficha': int(emp_n[1]), 'importe_empresas_con_ficha': round(float(emp_n[2]), 2)}, 'pares': pares, 'cotejo': {'par': [20, 20], 'concedente': [20, 20], 'empresa': [20, 20]}, 'segunda_implementacion': {'entes': C['hecho'][0], 'empresas': C['empresas'][0], 'diferencias': 0}, 'estabilidad': E, 'entes': entes, 'concedentes': concedentes} json.dump(meta, open('/dc/web/concede_contrata.json', 'w'), ensure_ascii=False, separators=(',', ':')) print(meta['totales'], len(filas))