"""E1c · implementación 2, independiente (DEFINICIONES_PREVIAS §6 criterio 9): el descriptor «desierto previsto», su puntuación, la AUC, los deciles y el IC por bootstrap, escritos desde el texto del pre-registro con pandas + numpy sobre los parquet crudos de unified (sin DuckDB ni el módulo). Y el reajuste de la logística con un Newton propio en numpy sobre la matriz de diseño que exporta la implementación 1. Imagen licitaciones-scrapers:vps, sin red. Escribe /out/02_impl2.json y /tmpw/impl2/{celdas,puntuacion}.parquet.""" import glob, json, math, re, time, unicodedata from pathlib import Path import numpy as np import pandas as pd import pyarrow as pa import pyarrow.parquet as pq t0 = time.time() U = '/d/unified_20261018' OUT = Path('/tmpw/impl2'); OUT.mkdir(parents=True, exist_ok=True) I1 = Path('/tmpw/impl1') PROC = {'Abierto', 'Restringido', 'Negociado_publicidad', 'Dialogo_competitivo', 'Asociacion_innovacion'} COLS = ['id_canonical', 'vigente', 'es_contrato', 'es_menor', 'tabla_origen', 'procedimiento', 'procedimiento_native', 'rol_am', 'tramitacion', 'anio_ref', 'unidad', 'estado', 'num_ofertas', 'fecha_adj', 'fecha_pub', 'licitacion_id', 'lote_id', 'organo_nif', 'organo_nombre', 'dir3', 'cpv_division'] def log(*a): print(f'[{time.time() - t0:6.1f}s]', *a, flush=True) # --- filas de la población (§2) --------------------------------------------------------------------------------------- partes = [] for f in sorted(glob.glob(f'{U}/source=PLACSP/*/*.parquet')): sch = pq.read_schema(f) t = pq.read_table(f, columns=[c for c in COLS if c in sch.names]).to_pandas() for c in COLS: if c not in t.columns: t[c] = None t = t[t['tabla_origen'] == 'resultados_licitaciones'] t = t[(t['vigente'] == True) & (t['es_contrato'] == True) & (t['es_menor'] == False)] # noqa: E712 t = t[t['procedimiento'].isin(PROC) & ~t['rol_am'].fillna('').isin(['basado', 'basado_sda']) & (t['tramitacion'].fillna('') != 'emergencia')] t = t[(t['anio_ref'] >= 2012) & (t['anio_ref'] <= 2026)] partes.append(t[COLS]) filas = pd.concat(partes, ignore_index=True) del partes log('filas feed propio de la población', len(filas)) # --- lotes --------------------------------------------------------------------------------------------------------------- for c in ('fecha_adj', 'fecha_pub'): filas[c] = pd.to_datetime(filas[c]) filas['lote_u'] = filas['lote_id'].where(filas['lote_id'].notna(), filas['licitacion_id']) filas['es_adj'] = filas['unidad'] == 'adjudicacion' filas['es_des'] = (filas['unidad'] == 'desierto') & (filas['estado'] == 'Desierta') filas = filas.sort_values('id_canonical', kind='stable') g = filas.groupby(['licitacion_id', 'lote_u'], sort=False) lotes = g.agg(adjudicado=('es_adj', 'any'), desierto=('es_des', 'any'), anio_ref=('anio_ref', 'max'), fecha_adj=('fecha_adj', 'min'), num_ofertas=('num_ofertas', 'max')) primeros = g[['fecha_pub', 'organo_nif', 'organo_nombre', 'dir3', 'cpv_division', 'procedimiento_native']].first() # primer no nulo por id_canonical lotes = lotes.join(primeros).reset_index() del filas, g, primeros log('lotes', len(lotes)) fp = pd.to_datetime(lotes['fecha_pub']); fa = pd.to_datetime(lotes['fecha_adj']) ok_pub = fp.notna() & (fa.isna() | (fp <= fa)) & fp.dt.year.between(2012, 2026) lotes['anio_anuncio'] = np.where(ok_pub, fp.dt.year, lotes['anio_ref']).astype(int) lotes['cpv_cel'] = lotes['cpv_division'].fillna('??') lotes['resuelto'] = lotes['adjudicado'] | lotes['desierto'] lotes['y'] = (lotes['desierto'] & ~lotes['adjudicado']).astype(int) def normaliza(s): if s is None or (isinstance(s, float) and math.isnan(s)): s = '' s = unicodedata.normalize('NFD', str(s).lower()) # ronda 2: NFD (NFKD convertía «º» en «o»; ver 07) s = ''.join(ch for ch in s if not unicodedata.combining(ch)) s = re.sub(r'[^a-z0-9]+', ' ', s).strip() s = re.sub(r' +', ' ', s) return s or None nombres = pd.Series(lotes['organo_nombre'].dropna().unique()) mapa = dict(zip(nombres, nombres.map(normaliza))) lotes['organo_nom'] = lotes['organo_nombre'].map(mapa) # órgano: organos_filas por la terna (nif, nombre, dir3), nulos iguales a nulos (merge de pandas) of = pq.read_table(f'{U}.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']).to_pandas() assert not of.duplicated(['organo_nif', 'organo_nombre', 'dir3']).any() for c in ('organo_nif', 'organo_nombre', 'dir3'): lotes[c] = lotes[c].astype(object).where(lotes[c].notna(), None); of[c] = of[c].astype(object).where(of[c].notna(), None) n0 = len(lotes) lotes = lotes.merge(of, on=['organo_nif', 'organo_nombre', 'dir3'], how='left') assert len(lotes) == n0 log('con órgano', int(lotes['organo_clave'].notna().sum())) # CPV: todos los CPV del lote (fila 'lote' con CPV) o, si no, de la licitación (fila 'expediente') cp = pq.read_table('/sat/unified_20261018.cpvs/cpvs.parquet', columns=['licitacion_id', 'lote_id', 'ambito', 'n_cpvs', 'n_divisiones', 'divisiones']).to_pandas() cl = cp[(cp['ambito'] == 'lote') & (cp['n_cpvs'] > 0)][['lote_id', 'n_divisiones', 'divisiones']].rename(columns={'lote_id': 'lote_u', 'n_divisiones': 'nd_l', 'divisiones': 'dv_l'}) ce = cp[cp['ambito'] == 'expediente'][['licitacion_id', 'n_divisiones', 'divisiones']].rename(columns={'n_divisiones': 'nd_e', 'divisiones': 'dv_e'}) assert not cl['lote_u'].duplicated().any() and not ce['licitacion_id'].duplicated().any() del cp lotes = lotes.merge(cl, on='lote_u', how='left').merge(ce, on='licitacion_id', how='left') assert len(lotes) == n0 nd = lotes['nd_l'].where(lotes['dv_l'].notna(), lotes['nd_e']); dv = lotes['dv_l'].where(lotes['dv_l'].notna(), lotes['dv_e']) lotes['cpv_ok'] = ((nd == 1) & (dv == lotes['cpv_cel'])).fillna(False).astype(bool) # --- §3 celdas: N y X por (órgano, nombre, CPV, año T) con anio_ref en T-3..T-1 ----------------------------------------- base = lotes[lotes['organo_clave'].notna() & lotes['resuelto'] & lotes['cpv_ok']] anual = base.groupby(['organo_clave', 'organo_nom', 'cpv_cel', 'anio_ref'], dropna=False).agg(n=('y', 'size'), k=('y', 'sum')).reset_index() celdas = [] for T in range(2016, 2027): v = anual[(anual['anio_ref'] >= T - 3) & (anual['anio_ref'] <= T - 1)] c = v.groupby(['organo_clave', 'organo_nom', 'cpv_cel'], dropna=False)[['n', 'k']].sum().reset_index() c['anio'] = T celdas.append(c) celdas = pd.concat(celdas, ignore_index=True) celdas.to_parquet(OUT / 'celdas.parquet', index=False) log('celdas', len(celdas)) # mercado: CPV × procedimiento_native, feed propio, resueltos (sin condición de órgano ni de CPV); global: anio_ref = T-1 res = lotes[lotes['resuelto']] merc_anual = res[res['procedimiento_native'].notna()].groupby(['cpv_cel', 'procedimiento_native', 'anio_ref']).agg(n=('y', 'size'), k=('y', 'sum')).reset_index() glob_anual = res.groupby('anio_ref')['y'].mean() # --- §4 puntuación y métricas -------------------------------------------------------------------------------------------- def auc(y, s, w=None): y = np.asarray(y); s = np.asarray(s, dtype=float) w = np.ones(len(y)) if w is None else np.asarray(w, dtype=float) orden = np.argsort(s, kind='mergesort'); s, y, w = s[orden], y[orden], w[orden] corte = np.r_[True, s[1:] != s[:-1]] gid = np.cumsum(corte) - 1 w1 = np.bincount(gid, weights=w * (y == 1)); w0 = np.bincount(gid, weights=w * (y == 0)) debajo = np.r_[0.0, np.cumsum(w0)[:-1]] return float((w1 * (debajo + 0.5 * w0)).sum() / (w1.sum() * w0.sum())) def deciles(y, s): s = np.asarray(s, dtype=float); y = np.asarray(y) o = np.sort(s); cortes = [] # quantile_cont: lo + f·(hi − lo) (ronda 2; ver 07) for q in [i / 10 for i in range(1, 10)]: pos = q * (len(o) - 1); lo = int(math.floor(pos)); hi = min(lo + 1, len(o) - 1) cortes.append(o[lo] + (pos - lo) * (o[hi] - o[lo])) cortes = np.array(cortes) d = (s[:, None] > cortes[None, :]).sum(1) + 1 return [{'decil': int(k), 'n': int((d == k).sum()), 'predicha': float(s[d == k].mean()), 'observada': float(y[d == k].mean())} for k in sorted(set(d.tolist()))] rng = np.random.default_rng(20261021) def bootstrap(y, s, grupo, reps=1000): codigos, inv = np.unique(np.asarray(grupo), return_inverse=True) out = [] for _ in range(reps): cuenta = np.bincount(rng.integers(0, len(codigos), len(codigos)), minlength=len(codigos)) out.append(auc(y, s, cuenta[inv])) out.sort() return [out[int(0.025 * reps) - 1], out[int(0.975 * reps) - 1]] resultado = {'pre_registro_md5': 'e1341f1789baf341fd9b513cf104412a', 'descriptor': {}} puntos = [] for T in (2023, 2024, 2025): ev = lotes[(lotes['anio_anuncio'] == T) & lotes['resuelto']].copy() c = celdas[celdas['anio'] == T][['organo_clave', 'organo_nom', 'cpv_cel', 'n', 'k']].rename(columns={'n': 'n_celda', 'k': 'k_celda'}) ev = ev.merge(c, on=['organo_clave', 'organo_nom', 'cpv_cel'], how='left') ev.loc[ev['organo_clave'].isna(), ['n_celda', 'k_celda']] = np.nan # sin órgano no hay celda mv = merc_anual[(merc_anual['anio_ref'] >= T - 3) & (merc_anual['anio_ref'] <= T - 1)].groupby(['cpv_cel', 'procedimiento_native'])[['n', 'k']].sum().reset_index() mv = mv.rename(columns={'n': 'n_merc', 'k': 'k_merc'}) ev = ev.merge(mv, on=['cpv_cel', 'procedimiento_native'], how='left') usa_celda = ev['organo_clave'].notna() & ev['cpv_ok'] & (ev['n_celda'] >= 10) usa_merc = ~usa_celda & (ev['n_merc'] >= 10) ev['via'] = np.where(usa_celda, 'celda', np.where(usa_merc, 'mercado', 'global')) ev['s'] = np.where(usa_celda, ev['k_celda'] / ev['n_celda'], np.where(usa_merc, ev['k_merc'] / ev['n_merc'], glob_anual.loc[T - 1])) ev['cl'] = np.where(ev['organo_clave'].notna(), ev['organo_clave'].astype(str) + '|' + ev['organo_nom'].fillna(''), 'L|' + ev['licitacion_id']) r = {'n': len(ev), 'base': float(ev['y'].mean()), 'auc': auc(ev['y'], ev['s']), 'deciles': deciles(ev['y'], ev['s']), 'pct_via_celda': float((ev['via'] == 'celda').mean()), 'por_via': ev['via'].value_counts().to_dict()} m = ev['via'] == 'celda' r['auc_solo_celda'] = auc(ev.loc[m, 'y'], ev.loc[m, 's']) r['ic95'] = bootstrap(ev['y'].values, ev['s'].values, ev['cl'].values) resultado['descriptor'][str(T)] = r puntos.append(ev[['licitacion_id', 'lote_u', 'y', 's', 'via', 'n_celda', 'k_celda']].assign(anio=T)) log('descriptor', T, r['n'], round(r['auc'], 4), r['ic95']) pd.concat(puntos).to_parquet(OUT / 'puntuacion.parquet', index=False) # --- modelo: reajuste con Newton propio (numpy) sobre la matriz de diseño de la implementación 1 ------------------------- aj = json.load(open(I1 / 'ajuste_2025.json')) tr = pd.read_parquet(I1 / 'diseno_train_2025.parquet'); te = pd.read_parquet(I1 / 'diseno_test_2025.parquet') k = len(aj['nombres']); L = len(aj['niveles']) def matriz(d): X = np.zeros((len(d), 1 + k + L)); X[:, 0] = 1.0 for i in range(k): X[:, 1 + i] = d[f'z_{i}'].to_numpy(dtype=float) for j in range(7): pos = d[f'c_{j}'].to_numpy(dtype=float) ok = ~np.isnan(pos) X[np.nonzero(ok)[0], (k + pos[ok]).astype(int)] = 1.0 # nivel en la columna 1 + k + (pos - 1) return X X = matriz(tr); y = tr['y'].to_numpy(dtype=float) pen = np.ones(X.shape[1]) / aj['C']; pen[0] = 0.0 # L2 con C, sin el intercepto beta = np.zeros(X.shape[1]); beta[0] = math.log(y.mean() / (1 - y.mean())) for it in range(100): p = 1 / (1 + np.exp(-np.clip(X @ beta, -35, 35))) grad = X.T @ (p - y) + pen * beta H = (X * (p * (1 - p))[:, None]).T @ X + np.diag(pen) paso = np.linalg.solve(H, grad); beta -= paso if np.abs(paso).max() < 1e-10: break Xt = matriz(te); pt = 1 / (1 + np.exp(-np.clip(Xt @ beta, -35, 35))) p1 = pd.read_parquet(I1 / 'pred_modelo_2025.parquet') resultado['modelo_2025'] = {'iteraciones': it + 1, 'n_train': len(tr), 'n_test': len(te), 'auc_impl2': auc(te['y'], pt), 'auc_impl1_mismos_datos': auc(p1['y'], p1['p']), 'max_dif_beta': float(np.abs(beta - np.array(aj['beta'])).max()), 'max_dif_p_test': float(np.abs(1 / (1 + np.exp(-np.clip(Xt @ np.array(aj['beta']), -35, 35))) - pt).max())} resultado['segundos'] = round(time.time() - t0, 1) json.dump(resultado, open('/out/02_impl2.json', 'w'), indent=1, default=str) log(json.dumps({T: {k2: v[k2] for k2 in ('n', 'auc', 'ic95', 'pct_via_celda')} for T, v in resultado['descriptor'].items()}), resultado['modelo_2025'])