"""D5b · Paso 2b (impl1, antes del sello). La fila que cuenta de vínculos es a menudo la fuente autonómica sin nº de ofertas (las copias de la PLACSP con ofertas quedan como duplicadas): con esa deduplicación salen del todo carreteras 2020, ACREA S/07/2021 y AVC 682 (salidas/30_c0_recuentos.md). Por eso la población principal NO deduplica entre fuentes (como D1, que era una sola fuente, y como los recuentos de D5) y cada fila se mide en el mercado de su fuente; la etiqueta se extiende a toda la unidad de vínculos (fila que cuenta + sus duplicadas) y la exclusión de controles se queda por grupo. La deduplicación queda como sensibilidad. Sin screens. Salidas: tablas labu y p0 (sustituye a la de c0_base.py) en tmp/c0.duckdb, salidas/30b_c0_recuentos.md.""" import duckdb, json, time T0 = time.time() def log(*a): print(*a, round(time.time() - T0), flush=True) con = duckdb.connect('/c/tmp/c0.duckdb') con.execute("SET memory_limit='8GB'; SET threads=6; SET temp_directory='/c/tmp/duck'; SET max_temp_directory_size='60GB'; SET preserve_insertion_order=false;") con.execute("""CREATE OR REPLACE TABLE labu AS WITH l AS (SELECT DISTINCT cl, var, banco, id_canonical FROM labr WHERE id_canonical IS NOT NULL), un AS (SELECT id_canonical, CASE WHEN cuenta THEN id_canonical ELSE dup_de END unidad FROM b) SELECT DISTINCT l.cl, l.var, l.banco, u2.id_canonical FROM l JOIN un u1 ON u1.id_canonical = l.id_canonical JOIN un u2 ON u2.unidad = u1.unidad""") log('labu', con.execute("SELECT count(*), count(DISTINCT id_canonical) FROM labu").fetchone(), 'labr', con.execute("SELECT count(DISTINCT id_canonical) FROM labr").fetchone()) con.execute("""CREATE OR REPLACE TABLE p0 AS SELECT b.* FROM b WHERE NOT b.es_menor AND b.tipo_contrato IN ('Obras','Servicios','Suministros') AND NOT b.persona_fisica AND coalesce(b.num_ofertas, 0) >= 3 AND NOT (b.source = 'CATALUNYA_PSCP' AND b.procedimiento IS NULL) AND coalesce(b.adj > 0, false) AND b.anio IS NOT NULL""") log('p0', con.execute("SELECT count(*), count(*) FILTER (WHERE cuenta), count(pbl_lote), count(*) FILTER (WHERE pbl_lote > 0 AND adj / pbl_lote <= 1.25) FROM p0").fetchone()) L = ['# D5b · Capa 0: recuentos antes del sello, población principal sin deduplicar entre fuentes (sin screens, sin empresas)\n', 'Positivas = filas de las unidades de vínculos (fila que cuenta + duplicadas) que contienen un lote del banco. Controles: mercado del clúster, años con positivas, fuera de la exclusión (por grupo de vínculos).\n'] rec = {} for banco, filtro in (('previo', "banco = 'previo'"), ('ampliado', 'true')): rows = con.execute(f""" WITH pos AS (SELECT DISTINCT p.*, x.cl FROM p0 p JOIN (SELECT DISTINCT cl, id_canonical FROM labu WHERE {filtro}) x USING (id_canonical)), an AS (SELECT DISTINCT cl, anio FROM pos), ctl AS (SELECT p.*, mk.cl FROM p0 p JOIN mk USING (id_canonical) JOIN an ON an.cl = mk.cl AND an.anio = p.anio WHERE p.id_canonical NOT IN (SELECT id_canonical FROM xc)) SELECT a.cl, (SELECT count(*) FROM pos WHERE pos.cl = a.cl) pos_lotes, (SELECT count(DISTINCT source||lic) FROM pos WHERE pos.cl = a.cl) pos_lics, (SELECT count(DISTINCT coalesce(organo_clave, 'n:'||coalesce(organo_nombre,''))) FROM pos WHERE pos.cl = a.cl) pos_org, (SELECT count(*) FROM pos WHERE pos.cl = a.cl AND pbl_lote > 0 AND adj / pbl_lote <= 1.25) pos_pbl, (SELECT count(DISTINCT source||lic) FROM pos WHERE pos.cl = a.cl AND pbl_lote > 0 AND adj / pbl_lote <= 1.25) pos_pbl_lics, (SELECT count(*) FROM pos WHERE pos.cl = a.cl AND cuenta) pos_cuenta, (SELECT count(*) FROM ctl WHERE ctl.cl = a.cl) ctl_lotes, (SELECT count(*) FROM ctl WHERE ctl.cl = a.cl AND pbl_lote > 0 AND adj / pbl_lote <= 1.25) ctl_pbl, (SELECT string_agg(DISTINCT source, ',' ORDER BY source) FROM pos WHERE pos.cl = a.cl) fuentes FROM (SELECT DISTINCT cl FROM pos) a ORDER BY pos_pbl_lics DESC""").fetchall() rec[banco] = rows L += [f'\n## Banco {banco}\n', '| Clúster | Pos. lotes | Pos. licit. | Pos. órganos | Pos. con PBL | Licit. con PBL | Pos. que cuentan | Controles | Controles con PBL | Fuentes |', '|---|--:|--:|--:|--:|--:|--:|--:|--:|---|'] for x in rows: L.append('| ' + ' | '.join('' if v is None else str(v) for v in x) + ' |') L.append(f"\nClústeres con ≥ 10 licitaciones positivas con PBL: {sum(1 for x in rows if x[5] >= 10)}") json.dump(rec, open('/c/interno/c0_recuentos_b.json', 'w'), ensure_ascii=False, indent=1, default=str) open('/c/salidas/30b_c0_recuentos.md', 'w').write('\n'.join(L) + '\n') log('fin')