"""EJ2 · 30 · SEGUNDA implementación (pandas + numpy + pyarrow, sin DuckDB), escrita desde DEFINICIONES_PREVIAS §1, §3, §4, sin importar comun.py. Compara con salidas/20_exceso.json y densidad_sobrecoste.csv -> salidas/30_impl2.json""" import json, time import numpy as np, pandas as pd, pyarrow.dataset as ds, pyarrow.compute as pc T0 = time.time() def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) D = '/d/unified_20261018' cols = ['id_canonical', 'tabla_origen', 'licitacion_id', 'anio_ref', 'tipo_contrato', 'procedimiento', 'vigente', 'es_contrato', 'es_menor', 'unidad', 'rol_am', 'tramitacion', 'imp_adj_eur_comparable', 'copia_de', 'correccion_imp_adj'] t = ds.dataset(D + '/source=PLACSP', format='parquet', partitioning='hive').to_table(columns=cols, filter=(pc.field('tabla_origen') == 'resultados_licitaciones') & (pc.field('anio_ref') >= 2018) & (pc.field('anio_ref') <= 2025)).to_pandas() keep = (t.vigente.eq(True) & t.es_contrato.eq(True) & t.unidad.eq('adjudicacion') & t.es_menor.eq(False) & t.procedimiento.isin(['Abierto', 'Restringido', 'Negociado_publicidad', 'Negociado_sin_publicidad', 'Dialogo_competitivo', 'Asociacion_innovacion']) & ~t.rol_am.isin(['acuerdo', 'sda', 'basado', 'basado_sda']) & ~t.tramitacion.eq('emergencia')) t = t[keep] vin = pd.read_parquet(D + '.vinculos/filas.parquet', columns=['source', 'id_canonical', 'cuenta']) nocuenta = set(vin.loc[(vin.source == 'PLACSP') & vin.cuenta.eq(False), 'id_canonical']) t = t[t.copia_de.isna() & ~t.correccion_imp_adj.eq('copia_otra_fuente') & ~t.id_canonical.isin(nocuenta)] t = t.sort_values('id_canonical') lic = t.groupby('licitacion_id').agg(tc=('tipo_contrato', 'first'), A=('imp_adj_eur_comparable', lambda z: z.sum(min_count=1))) lic['tipo'] = np.where(lic.tc.isin(['Obras', 'Servicios', 'Suministros']), lic.tc, 'Otros') log('licitaciones', len(lic)) mo = pd.read_parquet(D + '.modificaciones/modificaciones.parquet', columns=['licitacion_id', 'tipo', 'importe_modificacion_sin_iva', 'cambia_importe', 'cambia_plazo']) esM = mo.cambia_importe.eq(True) & (mo.tipo.isin(['modificacion', 'otro']) | (mo.tipo.isna() & mo.cambia_plazo.eq(False))) sm = mo[esM & mo.licitacion_id.isin(lic.index)].groupby('licitacion_id').importe_modificacion_sin_iva.sum(min_count=1) U = lic.join(sm.rename('sM'), how='inner') U = U[U.A > 0] U['s'] = U.sM / U.A log('U', len(U)) # histograma: 0..119 bins; masas en múltiplos de 5 % (|s-m| <= 0,00005) aparte def hist(s): s = s[~np.isnan(s)] masa = np.zeros(len(s), dtype=bool) for j in range(1, 12): masa |= np.abs(s - j / 20) <= 0.00005 sb = s[~masa & (s >= 0) & (s < 0.6)] k = np.floor(np.round(sb * 200, 9)).astype(int) return np.array([np.sum(k == i) for i in range(120)]) def rango(a, b): return list(range(int(a * 2 + 0.5), int(b * 2 + 0.5))) ZONAS = set(rango(9.5, 13)) | set(rango(19, 26)) | set(rango(49, 56)) def ventanas(c): tabla = {20: (rango(19, 20), rango(20, 26), rango(12, 19) + rango(26, 34)), 10: (rango(9.5, 10), rango(10, 13), rango(5, 9.5) + rango(13, 18)), 50: (rango(49, 50), rango(50, 56), rango(40, 49) + rango(56, 60))} if c in tabla: return tabla[c] E, H = rango(c - 1, c), rango(c, c + 1) return E, H, [k for k in rango(c - 7, c + 7) if k not in E and k not in H and k not in ZONAS] def poisson_newton(xs, ys, grado=2): """máxima verosimilitud de Poisson log-polinómica por Newton-Raphson (no IRLS)""" X = np.column_stack([xs ** p for p in range(grado + 1)]) b = np.zeros(grado + 1); b[0] = np.log(ys.mean()) for _ in range(200): mu = np.exp(X @ b); g = X.T @ (ys - mu); Hs = X.T @ (X * mu[:, None]) paso = np.linalg.solve(Hs, g); b = b + paso if np.abs(paso).max() < 1e-12: break return b def exceso(h, c): E, H, F = ventanas(c) mid = np.arange(120) * 0.5 + 0.25 - c b = poisson_newton(mid[F], h[F].astype(float)) curva = np.exp(sum(b[p] * mid ** p for p in range(3))) return h[E].sum() / curva[E].sum() R = {'n_U': len(U)}; P = json.load(open('/w/salidas/20_exceso.json')); dens = pd.read_csv('/w/salidas/densidad_sobrecoste.csv') R['n_U_principal'] = P['total']['n']; dif = [] for celda, g in [('total', U)] + [(k, v) for k, v in U.groupby('tipo') if k != 'Otros']: h = hist(g.s.values) d = dens[(dens.celda == celda) & dens.tramo_c20.isin(['E', 'H', 'F', 'otro'])].sort_values('bin_desde_pct').n.values R[f'bins_distintos_{celda}'] = int((h != d).sum()) ref = P['total'] if celda == 'total' else P['tipo'][celda] for c in (10, 15, 20, 25, 50): x2 = exceso(h, c); x1 = ref[f'c{c}']['X'] dif.append({'celda': celda, 'c': c, 'X_principal': x1, 'X_impl2': float(x2), 'dif_rel': abs(x2 - x1) / x1}) R['comparacion'] = dif R['max_dif_rel'] = max(d['dif_rel'] for d in dif) R['pasa'] = R['n_U'] == R['n_U_principal'] and all(R[k] == 0 for k in R if k.startswith('bins_distintos')) and R['max_dif_rel'] <= 0.005 json.dump(R, open('/w/salidas/30_impl2.json', 'w'), ensure_ascii=False, indent=1, default=float) log({k: v for k, v in R.items() if k != 'comparacion'})