"""06b. POSTERIOR (escrito después de ver 06): comprobaciones y exploración rotulada, sin cambiar ninguna definición previa. 1. Comprobación del cálculo de la AUC de 06: AUC por pares (fuerza bruta) frente a la de rangos en las combinaciones principales, y casos sintéticos con resultado conocido (incluido el de cero positivos). 2. Exploratorio posterior: AUC solo en ayuntamientos (el banco se concentra en ellos), variante 'sin', percentil, elegibilidad >= 1, con los 27 «sin constancia», versiones a-d, con el mismo bootstrap. 3. Exploratorio posterior: composición del banco (etiqueta × tipo × órgano de control) y medias de M6 por tipo y etiqueta, para explicar por qué M6 con el valor bruto y >= 20 menores pasa en (a) y (c) y no en (b) y (d). Uso: python3 /w/sql/06b_posterior.py /w/salidas/06b_posterior.md """ import sys, importlib.util, duckdb spec = importlib.util.spec_from_file_location("a6", "/w/sql/06_auc.py") # No se ejecuta 06 entero: se copian sus funciones leyendo el fichero y quedándose con las definiciones. src = open("/w/sql/06_auc.py").read() ns = {} exec(src.split("resultados, precision = [], []")[0].replace("OUT = sys.argv[1]", "OUT = None"), ns) auc, boot_estrat, filas, VERSIONES = ns["auc"], ns["boot_estrat"], ns["filas"], ns["VERSIONES"] out = ["# Resultado de `06b_posterior.py` (POSTERIOR a ver 06)\n\n"] # 1. Comprobaciones def auc_pares(p, q): s = 0.0 for a in p: for b in q: s += 1.0 if a > b else (0.5 if a == b else 0.0) return s / (len(p) * len(q)) if p and q else None casos = [([1, 2, 3], [0, 0, 0], 1.0), ([0, 0], [1, 2], 0.0), ([1], [1], 0.5), ([1, 2], [1, 2], 0.5), ([], [1, 2], None), ([3, 1], [2], 0.5)] out.append("## 1. Comprobación del cálculo\n\n| caso | esperado | rangos | pares |\n|---|---|---|---|\n") for p, q, e in casos: out.append(f"| pos={p} neg={q} | {e} | {auc(p, q)} | {auc_pares(p, q)} |\n") dif_max = 0.0 n_comb = 0 for ind in ["m1e", "m1r", "m2", "c1", "c1_p3", "m1a", "m6", "m4"]: for vk, vf in VERSIONES.items(): for con_sc in [True, False]: sub = [r for r in filas if r["var"] == "sin" and r["indicador"] == ind and r["eleg1"] and r["pct"] is not None and vf(r) and (con_sc or not r["sin_constancia"])] p = [r["pct"] for r in sub if r["etiqueta"] == "positivo"] q = [r["pct"] for r in sub if r["etiqueta"] == "negativo"] dif_max = max(dif_max, abs(auc(p, q) - auc_pares(p, q))) n_comb += 1 out.append(f"\nCombinaciones principales comparadas: {n_comb}; diferencia máxima rangos − pares: {dif_max:.2e}\n") # 2. Ayuntamientos con = duckdb.connect() tipos = dict(((e, a), t) for e, a, t in con.execute( "SELECT DISTINCT entidad_clave, anio, tipo FROM read_parquet('/w/salidas/banco_indicadores.parquet')").fetchall()) out.append("\n## 2. Exploratorio posterior: solo ayuntamientos (variante 'sin', percentil, elegibilidad >= 1, con los 27)\n\n") out.append("| indicador | versión | n pos | n neg | AUC | IC 95 % |\n|---|---|---:|---:|---:|---|\n") for ind in ["m1e", "m1r", "m2", "c1", "m1a", "m6"]: for vk, vf in VERSIONES.items(): sub = [r for r in filas if r["var"] == "sin" and r["indicador"] == ind and r["eleg1"] and r["pct"] is not None and vf(r) and tipos.get((r["entidad_clave"], r["anio"])) == "ayuntamiento"] p = [r["pct"] for r in sub if r["etiqueta"] == "positivo"] q = [r["pct"] for r in sub if r["etiqueta"] == "negativo"] a = auc(p, q) lo, hi = boot_estrat(p, q) if a is not None else (None, None) out.append(f"| {ind} | {vk} | {len(p)} | {len(q)} | {a:.3f} | [{lo:.3f}, {hi:.3f}] |\n".replace(".", ",")) # 3. Composición out.append("\n## 3. Composición del banco con dato (variante 'sin', M1e elegibilidad >= 1): etiqueta × tipo\n\n| tipo | positivos | negativos | % positivos |\n|---|---:|---:|---:|\n") for t, p, n in con.execute("""SELECT tipo, count(*) FILTER (WHERE etiqueta = 'positivo'), count(*) FILTER (WHERE etiqueta = 'negativo') FROM read_parquet('/w/salidas/banco_indicadores.parquet') WHERE var = 'sin' AND indicador = 'm1e' AND eleg1 AND etiqueta <> 'discrepante' GROUP BY 1 ORDER BY 2 + 3 DESC""").fetchall(): out.append(f"| {t} | {p} | {n} | {100.0 * p / (p + n):.0f} |\n") out.append("\n### Etiqueta × órgano de control\n\n| órgano de control | positivos | negativos | % positivos |\n|---|---:|---:|---:|\n") for t, p, n in con.execute("""SELECT oc, count(*) FILTER (WHERE etiqueta = 'positivo'), count(*) FILTER (WHERE etiqueta = 'negativo') FROM read_parquet('/w/salidas/banco_indicadores.parquet') WHERE var = 'sin' AND indicador = 'm1e' AND eleg1 AND etiqueta <> 'discrepante' GROUP BY 1 ORDER BY 2 + 3 DESC""").fetchall(): out.append(f"| {t} | {p} | {n} | {100.0 * p / (p + n):.0f} |\n") out.append("\n### M6 (% con una oferta, valor bruto, >= 20 menores): media por tipo y etiqueta\n\n| tipo | CLM | media positivos | n | media negativos | n |\n|---|---|---:|---:|---:|---:|\n") for t, c, mp, np_, mn, nn in con.execute("""SELECT tipo, clm, round(avg(val) FILTER (WHERE etiqueta = 'positivo'), 1), count(*) FILTER (WHERE etiqueta = 'positivo'), round(avg(val) FILTER (WHERE etiqueta = 'negativo'), 1), count(*) FILTER (WHERE etiqueta = 'negativo') FROM read_parquet('/w/salidas/banco_indicadores.parquet') WHERE var = 'sin' AND indicador = 'm6' AND eleg20 AND etiqueta <> 'discrepante' GROUP BY 1, 2 ORDER BY 1, 2""").fetchall(): out.append(f"| {t} | {c} | {mp} | {np_} | {mn} | {nn} |\n") open(sys.argv[1], "w").write("".join(out))