"""MUNI-1 · auditoría de los 409 (pre-registro §3): U = padrón 2024 > 20.000 hab. y liquidación 2024 (CONPREL). Con la cobertura de main (tmp/m: el mapa publicado + MUNI-0) y la de la rama (tmp/r: la tabla nueva), por municipio y año (2024; 2025 aparte): cociente, contratos, menores, casado de MUNI-0; L = calculable y (cociente < 10 % o 0 menores). La causa de cada condición sale del orden del pre-registro con las pruebas de interno/41_causas_fuente.csv (escritas a mano con su fuente). → salidas/40_auditoria.json, salidas/40_auditoria_409.csv. Uso: q.sh 40_auditoria.py [m r]""" import csv, json, sys, os import duckdb M, R = (sys.argv[1:3] if len(sys.argv) > 2 else ('m', 'r')) c = duckdb.connect(); x = c.execute x(f"CREATE VIEW vm AS SELECT * FROM '/w/tmp/{M}/cobertura/municipios.parquet'") x(f"CREATE VIEW vr AS SELECT * FROM '/w/tmp/{R}/cobertura/municipios.parquet'") x("CREATE VIEW pub AS SELECT * FROM '/d/aggregations_20261103/cobertura/municipios.parquet'") x("""CREATE TEMP TABLE U AS SELECT municipio_ine FROM vr WHERE anio = 2024 AND poblacion > 20000 AND con_liquidacion""") causas = {} p = '/w/interno/41_causas_fuente.csv' if os.path.exists(p): for r in csv.DictReader(open(p, encoding='utf-8')): causas.setdefault(r['ine'], []).append(r) ORDEN = ('mapa', 'fuente_en_disco_sin_etl', 'fuente_bloqueada', 'fuente_no_existe', 'fuente_no_leida', 'sin_causa') def fila(v, anio): return {r[0]: dict(zip([d[0] for d in x(f"SELECT * FROM {v} LIMIT 0").description], r[1:])) for r in x(f"SELECT municipio_ine, * FROM {v} WHERE anio = {anio} AND municipio_ine IN (SELECT municipio_ine FROM U)").fetchall()} def L(f): if not f or not f['calculable']: return {'cociente': False, 'menores': False} return {'cociente': (f['cociente'] or 0) < 0.10, 'menores': (f['menores'] or 0) == 0} out, res = [], {} for anio in (2024, 2025): fm, fr = fila('vm', anio), fila('vr', anio) cuenta = {} for ine in sorted(fr): a, b = fm.get(ine), fr[ine] la, lb = L(a), L(b) o = {'anio': anio, 'ine': ine, 'municipio': b['municipio'], 'poblacion': b['poblacion'], 'calculable': b['calculable'], 'gasto_bsi': b['gasto_bsi'], 'cociente_antes': (a or {}).get('cociente'), 'cociente': b['cociente'], 'contratos_antes': (a or {}).get('contratos'), 'contratos': b['contratos'], 'menores_antes': (a or {}).get('menores'), 'menores': b['menores'], 'casado_antes': (a or {}).get('casado'), 'casado': b.get('casado'), 'sin_asignar': b.get('sin_asignar_contratos'), 'sin_asignar_causa': b.get('sin_asignar_causa')} for cond in ('cociente', 'menores'): o[f'L_{cond}_antes'], o[f'L_{cond}'] = la[cond], lb[cond] causa, detalle, prueba = None, None, None if la[cond] and not lb[cond]: causa = 'mapa_arreglado' elif lb[cond]: cands = [r for r in causas.get(ine, []) if r['condicion'] in (cond, 'ambas')] if b.get('casado') in ('roto', 'parcial'): causa, detalle = 'mapa', f"{b.get('sin_asignar_contratos')} contratos de órganos del ayuntamiento sin asignar ({b.get('sin_asignar_causa')})" else: cands.sort(key=lambda r: ORDEN.index(r['causa'])) if cands: causa, detalle, prueba = cands[0]['causa'], cands[0]['detalle'], cands[0]['prueba'] else: causa = 'sin_causa' o[f'causa_{cond}'], o[f'detalle_{cond}'], o[f'prueba_{cond}'] = causa, detalle, prueba if causa: cuenta.setdefault(cond, {}).setdefault(causa, 0) cuenta[cond][causa] += 1 out.append(o) res[str(anio)] = {'U': len(fr), 'L_cociente_antes': sum(L(fm.get(i))['cociente'] for i in fr), 'L_cociente': sum(L(fr[i])['cociente'] for i in fr), 'L_menores_antes': sum(L(fm.get(i))['menores'] for i in fr), 'L_menores': sum(L(fr[i])['menores'] for i in fr), 'L_alguna': sum(L(fr[i])['cociente'] or L(fr[i])['menores'] for i in fr), 'cociente_0': sum(1 for i in fr if fr[i]['calculable'] and not (fr[i]['cociente'] or 0)), 'cociente_0_antes': sum(1 for i in fr if fm.get(i) and fm[i]['calculable'] and not (fm[i]['cociente'] or 0)), 'rotos': sum(1 for i in fr if fr[i].get('casado') == 'roto'), 'parciales': sum(1 for i in fr if fr[i].get('casado') == 'parcial'), 'rotos_antes': sum(1 for i in fr if (fm.get(i) or {}).get('casado') == 'roto'), 'parciales_antes': sum(1 for i in fr if (fm.get(i) or {}).get('casado') == 'parcial'), 'por_causa': cuenta} # Toda España, todos los años: mediana municipal del cociente, municipios con cociente, rotos (A4) res['A4'] = {v: x(f"""SELECT anio, count(*) FILTER (WHERE calculable), count(cociente), median(cociente), count(*) FILTER (WHERE calculable AND cociente = 0), count(*) FILTER (WHERE calculable AND casado = 'roto'), count(*) FILTER (WHERE calculable AND casado = 'parcial'), sum(contratos) FROM {v} GROUP BY 1 ORDER BY 1""").fetchall() for v in ('vm', 'vr')} res['A4']['publicado'] = x("""SELECT anio, count(*) FILTER (WHERE calculable), count(cociente), median(cociente), count(*) FILTER (WHERE calculable AND cociente = 0), NULL, NULL, sum(contratos) FROM pub GROUP BY 1 ORDER BY 1""").fetchall() res['cambian_cociente_2024'] = x("""SELECT count(*) FILTER (WHERE abs(coalesce(r.cociente,0) - coalesce(m.cociente,0)) > 1e-9), count(*) FILTER (WHERE abs(coalesce(r.cociente,0) - coalesce(m.cociente,0)) >= 0.05), max(abs(coalesce(r.cociente,0) - coalesce(m.cociente,0))) FROM vr r JOIN vm m USING (municipio_ine, anio) WHERE r.anio = 2024 AND r.calculable""").fetchone() json.dump(res, open('/w/salidas/40_auditoria.json', 'w'), indent=1, ensure_ascii=False, default=str) with open('/w/salidas/40_auditoria_409.csv', 'w', newline='', encoding='utf-8') as f: w = csv.DictWriter(f, fieldnames=list(out[0])); w.writeheader(); w.writerows(out) print(json.dumps({k: v for k, v in res.items() if k != 'A4'}, ensure_ascii=False, default=str))