"""MOD-EJEC · 33 · secundarias declaradas en PREREG_1 §9 (md5 ddf7da57…), sin decidir nada: (s1) historial con la etiqueta completa de los contratos anteriores (como MOD-REC: deja ver modificaciones aprobadas después del día 1 del mes); (s2) entrenamiento solo con cohortes <= t-2; (s6) qué parte de los contratos con modificación inscrita en el RPC (12 meses) tiene alguna modificación publicada por la PSCP o la PLACSP para el mismo contrato (vinculado), con y sin anuncio vinculado. -> salidas/33_secundarias.json""" import json, sys, time sys.path.insert(0, '/w/py') import numpy as np, pandas as pd from scipy.special import logit from sklearn.linear_model import LogisticRegression from sklearn.model_selection import GroupKFold import rpc_comun as rc T0 = time.time(); SEM = 20261104; B = 1000 d = rc.leer(); y = d['y'].to_numpy(float); grp = d['org'].fillna('∅').to_numpy() def auc(s, yy, ww=None): ww = np.ones(len(s)) if ww is None else ww u, g = np.unique(s, return_inverse=True); n = len(u) wp = np.bincount(g, ww * yy, n); wn = np.bincount(g, ww * (1 - yy), n); below = np.cumsum(wn) - wn return float(np.sum(wp * (below + 0.5 * wn)) / (wp.sum() * wn.sum())) def historial_completo(dd): """Como rc.historial_mes, pero con la etiqueta completa de los contratos anteriores (s1).""" H = pd.DataFrame(np.nan, index=dd.index, columns=['h_amb', 'h_org', 'h_oc', 'h_ot', 'hn', 'hnoc']) mes = dd['fecha_adj'].dt.to_period('M') for pm in sorted(mes[dd['T'] >= 2018].unique()): corte = pm.to_timestamp(); cur = (mes == pm).to_numpy(); prev = (dd['fecha_adj'] < corte).to_numpy() if cur.sum() == 0 or prev.sum() < 100: continue h = dd.loc[prev]; f = dd.loc[cur]; yh = h['y'].astype(int).to_numpy() o = rc.cadena(h, yh, f, rc.N1); o2 = rc.cadena(h, yh, f, rc.N2) H.loc[cur, 'h_amb'] = o['h_amb'][0]; H.loc[cur, 'h_org'] = o['h_org'][0]; H.loc[cur, 'h_oc'] = o['h_oc'][0]; H.loc[cur, 'h_ot'] = o2['h_ot'][0] H.loc[cur, 'hn'] = np.log1p(o['h_org'][1]); H.loc[cur, 'hnoc'] = np.log1p(o['h_oc'][1]) return H def evaluar(F, t, desde_tr, hasta_tr): TR = ((d['T'] >= desde_tr) & (d['T'] <= hasta_tr)).to_numpy(); TE = (d['T'] == t).to_numpy() X, _ = rc.diseno(d, F, TR); Xtr, Xte = X(TR), X(TE) fit = lambda A, b: LogisticRegression(C=rc.C_L2, solver='lbfgs', max_iter=5000).fit(A, b) m = fit(Xtr, y[TR]); oof = np.zeros(TR.sum()) for a, b in GroupKFold(n_splits=5).split(Xtr, y[TR], grp[TR]): oof[b] = fit(Xtr[a], y[TR][a]).predict_proba(Xtr[b])[:, 1] platt = LogisticRegression(C=1e6).fit(logit(np.clip(oof, 1e-6, 1 - 1e-6))[:, None], y[TR]) p = platt.predict_proba(logit(np.clip(m.predict_proba(Xte)[:, 1], 1e-6, 1 - 1e-6))[:, None])[:, 1] b1 = rc.cadena(d.loc[TR], y[TR], d.loc[TE], (('amb', ['ambit']), ('o', ['ambit', 'org']), ('oc', ['ambit', 'org', 'cpv_div'])))['oc'][0] yt = y[TE]; cl = pd.factorize(d.loc[TE, 'org'].fillna('∅'))[0]; Cn = cl.max() + 1; rng = np.random.default_rng(SEM); ra, rd = [], [] for _ in range(B): w = np.bincount(rng.integers(0, Cn, Cn), minlength=Cn)[cl].astype(float) if (yt * w).sum() == 0 or ((1 - yt) * w).sum() == 0: continue a1 = auc(p, yt, w); ra.append(a1); rd.append(a1 - auc(b1, yt, w)) q = pd.qcut(p, 10, labels=False, duplicates='drop') dec = pd.DataFrame({'p': p, 'y': yt, 'q': q}).groupby('q').agg(pr=('p', 'mean'), ob=('y', 'mean')) dif = 100 * (dec['pr'] - dec['ob']).abs() return {'entrena': [desde_tr, hasta_tr], 'n_test': int(TE.sum()), 'auc': auc(p, yt), 'auc_ic': [float(np.percentile(ra, 2.5)), float(np.percentile(ra, 97.5))], 'auc_b1': auc(b1, yt), 'delta_b1': auc(p, yt) - auc(b1, yt), 'delta_b1_ic': [float(np.percentile(rd, 2.5)), float(np.percentile(rd, 97.5))], 'o_e': float(yt.sum() / p.sum()), 'max_dif_deciles_1_9': float(dif.iloc[:-1].max()), 'dif_decil_10': float(dif.iloc[-1])} R = {'prerregistro': 'ddf7da57a51b91953cf929195ac62a15', 'nota': 'secundarias declaradas, sin decidir: no mueven la portería'} Hm = pd.read_csv('/w/priv/hist_rpc.csv', index_col=0) # el historial del modelo principal (30_modelo.py), conocido al día 1 del mes assert len(Hm) == len(d) Fm = rc.variables(d, Hm) R['s2_entrena_hasta_t_menos_2'] = {str(t): evaluar(Fm, t, 2018, t - 2) for t in (2024, 2023)}; print('s2', R['s2_entrena_hasta_t_menos_2'], round(time.time() - T0), flush=True) Hc = historial_completo(d); Fc = rc.variables(d, Hc) R['s1_historial_etiqueta_completa'] = {str(t): evaluar(Fc, t, 2018, t - 1) for t in (2024, 2023)}; print('s1', R['s1_historial_etiqueta_completa'], round(time.time() - T0), flush=True) # s6: publicado por la PSCP o la PLACSP (conjunto ampliado, con las columnas de publicación) try: e = pd.read_csv('/w/priv/ds_rpc_2026.csv', usecols=['id_canonical', 'T', 'y', 'link_src', 'f_pub_pscp', 'f_pub_placsp', 'fecha_adj', 'dias_mod'], dtype={'id_canonical': 'string', 'link_src': 'string'}, keep_default_na=False, na_values=['']) e = e[(e['T'] >= 2021) & (e['T'] <= 2024) & (e['y'] == 1)] pubq = e['f_pub_pscp'].notna() | e['f_pub_placsp'].notna() s6 = {'contratos_con_modificacion_inscrita_12m_2021_2024': int(len(e)), 'con_anuncio_vinculado': int(e['link_src'].notna().sum()), 'publicada_pscp_o_placsp': int(pubq.sum()), 'publicada_pscp': int(e['f_pub_pscp'].notna().sum()), 'publicada_placsp': int(e['f_pub_placsp'].notna().sum()), 'parte_publicada': float(pubq.mean()), 'parte_publicada_con_anuncio': float(pubq[e['link_src'].notna()].mean()), 'por_anio': {str(t): [int(((e['T'] == t) & pubq).sum()), int((e['T'] == t).sum())] for t in range(2021, 2025)}} R['s6_publicadas_por_el_organo'] = s6; print('s6', s6, flush=True) except FileNotFoundError: R['s6_publicadas_por_el_organo'] = None json.dump(R, open('/w/salidas/33_secundarias.json', 'w'), ensure_ascii=False, indent=1, default=float) print('fin', round(time.time() - T0), 's')