"""06. AUC entidad-año y precisión en el decil superior (DEFINICIONES_PREVIAS D5-D7), sobre salidas/banco_indicadores.parquet (05). Uso (dentro del contenedor afp6-06): python3 /w/sql/06_auc.py /w/salidas/06_auc.md Escribe además salidas/06_auc.csv y salidas/06_precision.csv. - Unidad: entidad-año del universo con menores en la PLACSP; positivos = 'positivo', negativos = 'negativo'; discrepantes fuera. - Puntuación PRINCIPAL = percentil en su tipo y año (`pct`); SECUNDARIA = valor agregado (`val`). - Elegibilidad PRINCIPAL = denominador >= 1 (`eleg1`); sensibilidad = >= 20 (`eleg20`). - AUC = Mann-Whitney con empates a 0,5 (rangos medios). IC 95 %: bootstrap estratificado por etiqueta, 1.000 remuestras, semilla 20261013 (un generador nuevo por combinación: cada fila es reproducible por sí sola), percentiles 2,5 y 97,5. - Exploratorios: IC por conglomerados de informe (se remuestrean informes) y AUC solo con pares del mismo órgano de control. - Versiones: a completo; b sin CLM; c sin matriz/NIF compartido; d sin CLM ni matriz; cada una con y sin los 27 «sin constancia». - Pasa (AUC) si en las 8 combinaciones: AUC >= 0,65, n_pos >= 60 y IC_inf > 0,5. Precisión: decil superior = pct >= 90; pasa si precisión >= 2 × tasa base en las 8. """ import sys, random, csv, duckdb OUT = sys.argv[1] B = 1000 SEMILLA = 20261013 con = duckdb.connect() filas = con.execute(""" SELECT var, indicador, entidad_clave, anio, etiqueta, sin_constancia, clm, matriz, oc, informe1, val, pct, eleg1, eleg20 FROM read_parquet('/w/salidas/banco_indicadores.parquet') WHERE etiqueta IN ('positivo', 'negativo')""").fetchall() cols = ["var", "indicador", "entidad_clave", "anio", "etiqueta", "sin_constancia", "clm", "matriz", "oc", "informe1", "val", "pct", "eleg1", "eleg20"] filas = [dict(zip(cols, f)) for f in filas] PRINCIPALES = ["m1e", "m1r", "m2", "c1"] OTROS = ["c1_p3", "m1a", "m6", "m4", "m2_250", "m2_500", "m1a_nat", "m1r_nat"] ROTULO = {"m1e": "principal", "m1r": "principal", "m2": "principal", "c1": "principal", "c1_p3": "2.ª implementación de C1", "m1a": "exploratorio", "m6": "exploratorio", "m4": "exploratorio", "m2_250": "robustez de M2", "m2_500": "robustez de M2", "m1a_nat": "robustez (año natural)", "m1r_nat": "robustez (año natural)"} VERSIONES = {"a": lambda r: True, "b": lambda r: not r["clm"], "c": lambda r: not r["matriz"], "d": lambda r: not r["clm"] and not r["matriz"]} def auc(pos, neg): if not pos or not neg: return None todos = sorted([(v, 1) for v in pos] + [(v, 0) for v in neg], key=lambda t: t[0]) rangos, i, n = [0.0] * len(todos), 0, len(todos) while i < n: j = i while j + 1 < n and todos[j + 1][0] == todos[i][0]: j += 1 r = (i + j + 2) / 2.0 for k in range(i, j + 1): rangos[k] = r i = j + 1 sp = sum(r for r, (v, e) in zip(rangos, todos) if e == 1) npos, nneg = len(pos), len(neg) return (sp - npos * (npos + 1) / 2.0) / (npos * nneg) def cuantil(xs, q): xs = sorted(xs) if not xs: return None k = (len(xs) - 1) * q f = int(k) c = min(f + 1, len(xs) - 1) return xs[f] + (xs[c] - xs[f]) * (k - f) def boot_estrat(pos, neg): g = random.Random(SEMILLA) res = [] for _ in range(B): p = [pos[g.randrange(len(pos))] for _ in pos] q = [neg[g.randrange(len(neg))] for _ in neg] res.append(auc(p, q)) return cuantil(res, 0.025), cuantil(res, 0.975) def boot_cluster(unidades): """unidades: lista de (cluster, score, es_pos).""" g = random.Random(SEMILLA) grupos = {} for c, s, e in unidades: grupos.setdefault(c, []).append((s, e)) claves = sorted(grupos) res = [] for _ in range(B): p, q = [], [] for _k in claves: for s, e in grupos[claves[g.randrange(len(claves))]]: (p if e else q).append(s) a = auc(p, q) if a is not None: res.append(a) return cuantil(res, 0.025), cuantil(res, 0.975), len(claves) def auc_intra(unidades): """unidades: (oc, score, es_pos). AUC solo con pares del mismo órgano de control.""" gr = {} for oc, s, e in unidades: gr.setdefault(oc, ([], []))[0 if e else 1].append(s) num, den = 0.0, 0 for oc, (p, q) in gr.items(): for a in p: for b in q: num += 1.0 if a > b else (0.5 if a == b else 0.0) den += len(p) * len(q) return (num / den if den else None), den resultados, precision = [], [] for var in ["sin", "con"]: for ind in PRINCIPALES + OTROS: for punt in ["pct", "val"]: for eleg in ["eleg1", "eleg20"]: principal_comb = (var == "sin" and punt == "pct" and eleg == "eleg1") if var == "con" and not (punt == "pct" and eleg == "eleg1"): continue base = [r for r in filas if r["var"] == var and r["indicador"] == ind and r[eleg] and r[punt] is not None] for vk, vf in VERSIONES.items(): for con_sc in [True, False]: sub = [r for r in base if vf(r) and (con_sc or not r["sin_constancia"])] pos = [r[punt] for r in sub if r["etiqueta"] == "positivo"] neg = [r[punt] for r in sub if r["etiqueta"] == "negativo"] a = auc(pos, neg) lo, hi = boot_estrat(pos, neg) if a is not None else (None, None) fila = dict(var=var, indicador=ind, rotulo=ROTULO[ind], puntuacion=punt, elegibilidad=eleg, version=vk, con_sin_constancia=con_sc, n_pos=len(pos), n_neg=len(neg), auc=a, ic_inf=lo, ic_sup=hi, pasa=(a is not None and a >= 0.65 and len(pos) >= 60 and lo > 0.5)) if principal_comb: u_cl = [(r["informe1"], r[punt], r["etiqueta"] == "positivo") for r in sub] clo, chi, ncl = boot_cluster(u_cl) if a is not None else (None, None, 0) ai, npares = auc_intra([(r["oc"], r[punt], r["etiqueta"] == "positivo") for r in sub]) fila.update(ic_cluster_inf=clo, ic_cluster_sup=chi, informes=ncl, auc_intra_oc=ai, pares_intra_oc=npares) resultados.append(fila) if punt == "pct" and eleg == "eleg1": top = [r for r in sub if r["pct"] >= 90] tp = sum(1 for r in top if r["etiqueta"] == "positivo") tasa = len(pos) / (len(pos) + len(neg)) if (pos or neg) else None prec = tp / len(top) if top else None precision.append(dict(var=var, indicador=ind, version=vk, con_sin_constancia=con_sc, n=len(pos) + len(neg), n_pos=len(pos), tasa_base=tasa, n_decil=len(top), pos_decil=tp, precision=prec, razon=(prec / tasa if prec is not None and tasa else None), umbral_2x=(2 * tasa if tasa else None), pasa=(prec is not None and tasa is not None and prec >= 2 * tasa))) claves = list(resultados[0].keys()) + ["ic_cluster_inf", "ic_cluster_sup", "informes", "auc_intra_oc", "pares_intra_oc"] claves = list(dict.fromkeys(claves)) with open("/w/salidas/06_auc.csv", "w", newline="") as f: w = csv.DictWriter(f, fieldnames=claves) w.writeheader() for r in resultados: w.writerow(r) with open("/w/salidas/06_precision.csv", "w", newline="") as f: w = csv.DictWriter(f, fieldnames=list(precision[0].keys())) w.writeheader() for r in precision: w.writerow(r) def f3(x): return "∅" if x is None else (f"{x:.3f}".replace(".", ",") if isinstance(x, float) else str(x)) out = ["# Resultado de `06_auc.py`\n\n", f"DuckDB {duckdb.__version__} · bootstrap {B} remuestras, semilla {SEMILLA}\n\n"] out.append("## AUC principal: variante 'sin', percentil en el tipo, elegibilidad >= 1, ocho combinaciones\n\n") out.append("| indicador | rótulo | versión | con 27 sin constancia | n pos | n neg | AUC | IC 95 % | pasa | IC por informe (explor.) | n informes | AUC intra-OC (explor.) | pares intra-OC |\n") out.append("|---|---|---|---|---:|---:|---:|---|---|---|---:|---:|---:|\n") for r in resultados: if r["var"] == "sin" and r["puntuacion"] == "pct" and r["elegibilidad"] == "eleg1": out.append(f"| {r['indicador']} | {r['rotulo']} | {r['version']} | {'sí' if r['con_sin_constancia'] else 'no'} | {r['n_pos']} | {r['n_neg']} | " f"{f3(r['auc'])} | [{f3(r['ic_inf'])}, {f3(r['ic_sup'])}] | {'SÍ' if r['pasa'] else 'no'} | " f"[{f3(r.get('ic_cluster_inf'))}, {f3(r.get('ic_cluster_sup'))}] | {r.get('informes')} | {f3(r.get('auc_intra_oc'))} | {r.get('pares_intra_oc')} |\n") out.append("\n## Resumen: ¿pasa en las 8 combinaciones? (por puntuación, elegibilidad y variante)\n\n") out.append("| var | indicador | puntuación | elegibilidad | combinaciones que pasan | AUC mín | AUC máx | n pos mín | IC inf mín |\n|---|---|---|---|---:|---:|---:|---:|---:|\n") grupos = {} for r in resultados: grupos.setdefault((r["var"], r["indicador"], r["puntuacion"], r["elegibilidad"]), []).append(r) for k, rs in grupos.items(): aucs = [r["auc"] for r in rs if r["auc"] is not None] los = [r["ic_inf"] for r in rs if r["ic_inf"] is not None] out.append(f"| {k[0]} | {k[1]} | {k[2]} | {k[3]} | {sum(1 for r in rs if r['pasa'])} de {len(rs)} | {f3(min(aucs) if aucs else None)} | " f"{f3(max(aucs) if aucs else None)} | {min(r['n_pos'] for r in rs)} | {f3(min(los) if los else None)} |\n") out.append("\n## Precisión en el decil superior (percentil >= 90 en su tipo y año), variante 'sin' y 'con', elegibilidad >= 1\n\n") out.append("| var | indicador | versión | con 27 sin constancia | n | tasa base | n en el decil | positivos en el decil | precisión | razón | umbral 2× | pasa |\n") out.append("|---|---|---|---|---:|---:|---:|---:|---:|---:|---:|---|\n") for r in precision: out.append(f"| {r['var']} | {r['indicador']} | {r['version']} | {'sí' if r['con_sin_constancia'] else 'no'} | {r['n']} | {f3(r['tasa_base'])} | {r['n_decil']} | " f"{r['pos_decil']} | {f3(r['precision'])} | {f3(r['razon'])} | {f3(r['umbral_2x'])} | {'SÍ' if r['pasa'] else 'no'} |\n") open(OUT, "w").write("".join(out)) print("hecho", len(resultados), "filas AUC,", len(precision), "filas de precisión", file=sys.stderr)