"""X2b · segunda implementación (DEFINICIONES_PREVIAS §7): pyarrow + Python puro, sin duckdb. Desde ut/up exportados: Šidák por familia, Fisher con la gamma incompleta regularizada (serie / fracción continua de Lentz), sigma por bisección sobre erfc, AUC por pares explícitos. Compara con interno/sigma_impl1.parquet e interno/20_res.json.""" import json, math, pyarrow.parquet as pq EXCLUIR = {'EM2B': ('R-SUMA',), 'L1': ('R-SUMA', 'R-DIARIO')} def leer(f, cols): t = pq.read_table(f, columns=cols); return list(zip(*[t.column(c).to_pylist() for c in cols])) unid = leer('/w/interno/ut.parquet', ['verdad', 'uid', 'y', 'w', 'estrato']) filas = leer('/w/interno/up.parquet', ['verdad', 'uid', 'sig', 'p', 'fam']) def gamma_pq(a, x): """(P, Q) regularizadas; la pequeña se calcula directamente [cambio posterior técnico].""" if x <= 0: return 0.0, 1.0 lg = a * math.log(x) - x - math.lgamma(a) if x < a + 1: s = t = 1.0 / a; n = a for _ in range(10000): n += 1; t *= x / n; s += t if abs(t) < abs(s) * 1e-17: break P = s * math.exp(lg); return P, 1.0 - P Q = gamma_q(a, x); return 1.0 - Q, Q def gamma_q(a, x): """Q(a, x) = Γ(a, x)/Γ(a) regularizada superior.""" if x <= 0: return 1.0 lg = a * math.log(x) - x - math.lgamma(a) if x < a + 1: s = t = 1.0 / a; n = a for _ in range(10000): n += 1; t *= x / n; s += t if abs(t) < abs(s) * 1e-17: break return 1.0 - s * math.exp(lg) tiny = 1e-300; b = x + 1 - a; c = 1 / tiny; d = 1 / b; h = d for i in range(1, 10000): an = -i * (i - a); b += 2 d = an * d + b; d = tiny if abs(d) < tiny else d c = b + an / c; c = tiny if abs(c) < tiny else c d = 1 / d; de = d * c; h *= de if abs(de - 1) < 1e-16: break return math.exp(lg) * h def z_de_p(p): p = min(max(p, 1e-300), 1 - 1e-16); lp = math.log(p) lo, hi = -40.0, 40.0 for _ in range(200): mid = (lo + hi) / 2; v = 0.5 * math.erfc(mid / math.sqrt(2)) if (math.log(v) if v > 0 else -1e9) > lp: lo = mid else: hi = mid return (lo + hi) / 2 por = {} for v, u, s, p, f in filas: if s in EXCLUIR.get(v, ()): continue por.setdefault((v, u), {}).setdefault(f, []).append(p) def z_de_cola_inferior(P): """z tal que Φ(z) = P (P ≤ 0,5), bisección sobre erfc.""" lp = math.log(max(P, 1e-300)); lo, hi = -40.0, 0.0 for _ in range(200): mid = (lo + hi) / 2; v = 0.5 * math.erfc(-mid / math.sqrt(2)) if (math.log(v) if v > 0 else -1e9) < lp: lo = mid else: hi = mid return (lo + hi) / 2 def sigma(fams): if not fams: return -40.0 X = 0.0 for ps in fams.values(): m = len(ps); pm = max(min(ps), 1e-300) pf = 1.0 if pm >= 1 else 1 - math.exp(m * math.log1p(-pm)) X -= 2 * math.log(max(pf, 1e-300)) if X == 0: return -38.0 P, Q = gamma_pq(len(fams), X / 2) return z_de_p(Q) if Q <= 0.5 else z_de_cola_inferior(P) S2 = {(v, u): sigma(por.get((v, u), {})) for v, u, y, w, e in unid} S2r = {k: round(v, 10) for k, v in S2.items()} S1 = {(v, u): s for v, u, s in leer('/w/interno/sigma_impl1.parquet', ['verdad', 'uid', 'sigma'])} dif = [abs(S1[k] - S2[k]) for k in S2 if k in S1 and abs(S1[k]) < 37 and abs(S2[k]) < 37] falta = [k for k in S2 if k not in S1] sat = sum(1 for k in S2 if abs(S2[k]) >= 37 or abs(S1.get(k, 0)) >= 37) sat_ig = sum(1 for k in S2 if (abs(S2[k]) >= 37 or abs(S1.get(k, 0)) >= 37) and S1.get(k) == S2[k]) def auc_pares(pos, neg): """Σ_i Σ_j w_i w_j [s_i > s_j] + ½ [=] por pares explícitos.""" num = den = 0.0 for si, wi in pos: for sj, wj in neg: num += wi * wj * (1.0 if si > sj else 0.5 if si == sj else 0.0); den += wi * wj return num, den res = json.load(open('/w/interno/20_res.json')) out = ['# 07 · Cotejo de la segunda implementación (Fisher por bloques y AUC)', '', f'- Unidades: {len(S2)}; sin sigma en impl1: {len(falta)}; con sigma fijo (sin evidencia: −38 si X² = 0, −40 sin familias) en alguna: {sat}, idénticas en las dos: {sat_ig}.', f'- **|Δsigma| máximo** (no saturadas): **{max(dif):.3e}**; medio {sum(dif)/len(dif):.3e}. Criterio < 1e-6: **{"pasa" if max(dif) < 1e-6 else "NO pasa"}**.', '', '| Verdad | AUC Fisher impl1 | AUC Fisher impl2 (pares explícitos) | |Δ| |', '|---|---|---|---|'] ok = max(dif) < 1e-6 for V in ('EM2B', 'L1', 'P6', 'LOTE'): est = {} for v, u, y, w, e in unid: if v != V: continue est.setdefault(e if V == 'LOTE' else 'todo', ([], []))[0 if y else 1].append((S2r[(v, u)], w)) num = den = 0.0 for pos, neg in est.values(): a, b = auc_pares(pos, neg); num += a; den += b a2 = num / den; a1 = res['verdades'][V]['auc']['FISHER']; ok &= abs(a1 - a2) < 1e-9 * 10 out.append(f'| {V} | {a1:.10f} | {a2:.10f} | {abs(a1-a2):.2e} |') out += ['', f'**Resultado**: {"coincide" if ok else "NO coincide"} (criterio |Δsigma| < 1e-6 y |ΔAUC| < 1e-9 salvo redondeo de la suma).', 'Mismo ejecutor para las dos; la impl2 se escribió desde el texto sellado (§4.1, §5, §7) con otros algoritmos: gamma', 'incompleta (serie y fracción continua de Lentz) en vez de la forma cerrada, bisección sobre erfc en vez de inv_cdf, y AUC', 'por pares explícitos en vez de grupos de empate ordenados.'] open('/w/salidas/07_cotejo_impl2.md', 'w').write('\n'.join(out) + '\n'); print('\n'.join(out))