"""MOD-EJEC · funciones de la implementación 1 del modelo de modificación en el RPC (PREREG_1, md5 ddf7da57…): lectura del conjunto, cadena empírico bayesiana, historial conocido al día 1 del mes de la adjudicación, variables y diseño. Lo importan 30_modelo.py, 32_exante.py, 33_secundarias.py y 35_produccion.py; la segunda implementación (31_impl2.py) NO lo importa.""" import numpy as np, pandas as pd from scipy.special import logit, betaln CATS = ['tipo_contrato', 'proc_nat', 'cpv_div', 'ambit'] BASE = ['log_imp', 'dur', 'dur_na', 'log_dur', 'log_nlotes', 'log_nadj', 'lote_gt1'] HIST = ['h_amb', 'h_amb_na', 'h_org', 'h_org_na', 'h_oc', 'h_oc_na', 'h_ot', 'h_ot_na', 'hn', 'hnoc'] NUM = BASE + HIST C_L2 = 0.1 def leer(path='/w/priv/ds_rpc.csv'): d = pd.read_csv(path, dtype={'org': 'string', 'agrup': 'string', 'ambit': 'string', 'cpv_div': 'string', 'proc_nat': 'string', 'tipo_contrato': 'string', 'tram': 'string', 'link_src': 'string', 'licitacion_id': 'string', 'id_canonical': 'string'}, keep_default_na=False, na_values=['']) d['fecha_adj'] = pd.to_datetime(d['fecha_adj']) d['f_mod'] = d['fecha_adj'] + pd.to_timedelta(d['dias_mod'], unit='D') # primera modificación (tipos de la etiqueta) en o tras la adjudicación return d def m_ml(k, n, mu): k, n, mu = np.asarray(k, float), np.asarray(n, float), np.clip(np.asarray(mu, float), 1e-9, 1 - 1e-9) best, mm = -np.inf, None for lm in np.arange(0, 12.0001, 0.05): m = np.exp(lm); a, b = m * mu, m * (1 - mu); ll = np.sum(betaln(k + a, n - k + b) - betaln(a, b)) if ll > best: best, mm = ll, m return float(mm) def _key(df, cols): return pd.Series(list(zip(*[df[c].astype('string').fillna('∅') for c in cols])), index=df.index) def cadena(h, yh, f, niveles): """h: filas de historial con su etiqueta yh; f: filas a las que se da la tasa. Devuelve {nivel: (tasa en f, n en f)}.""" g = float(np.mean(yh)); mh = pd.Series(g, index=h.index); mf = pd.Series(g, index=f.index); out = {} for nm, cols in niveles: kh, kf = _key(h, cols), _key(f, cols) agg = pd.DataFrame({'k': np.asarray(yh, float), 'n': 1.0, 'mu': mh.to_numpy(), 'key': kh}).groupby('key').agg(k=('k', 'sum'), n=('n', 'sum'), mu=('mu', 'mean')) m = m_ml(agg['k'], agg['n'], agg['mu']); post = (agg['k'] + m * agg['mu']) / (agg['n'] + m) mh = kh.map(post).astype(float); mf = kf.map(post).astype(float).fillna(mf) out[nm] = (mf.to_numpy(), kf.map(agg['n']).fillna(0).to_numpy(), m) return out N1 = (('h_amb', ['ambit']), ('h_org', ['ambit', 'org']), ('h_oc', ['ambit', 'org', 'cpv_div'])) N2 = (('a', ['ambit']), ('b', ['ambit', 'org']), ('h_ot', ['ambit', 'org', 'tipo_contrato'])) def historial_mes(dd, meses=None): """§3.3: para las filas adjudicadas en cada mes c (de `meses`, o todos desde 2018), con los contratos adjudicados antes del día 1 de c y su etiqueta con solo las modificaciones aprobadas antes de ese día. Devuelve DataFrame de variables HIST (índice de dd).""" H = pd.DataFrame(np.nan, index=dd.index, columns=['h_amb', 'h_org', 'h_oc', 'h_ot', 'hn', 'hnoc']) mes = dd['fecha_adj'].dt.to_period('M') todos = sorted(mes[dd['T'] >= 2018].unique()) if meses is None else meses for pm in todos: corte = pm.to_timestamp() cur = (mes == pm).to_numpy(); prev = (dd['fecha_adj'] < corte).to_numpy() if cur.sum() == 0 or prev.sum() < 100: continue h = dd.loc[prev]; f = dd.loc[cur] yh = ((h['y'] == 1) & (h['f_mod'] < corte)).astype(int).to_numpy() o = cadena(h, yh, f, N1); o2 = cadena(h, yh, f, N2) H.loc[cur, 'h_amb'] = o['h_amb'][0]; H.loc[cur, 'h_org'] = o['h_org'][0]; H.loc[cur, 'h_oc'] = o['h_oc'][0]; H.loc[cur, 'h_ot'] = o2['h_ot'][0] H.loc[cur, 'hn'] = np.log1p(o['h_org'][1]); H.loc[cur, 'hnoc'] = np.log1p(o['h_oc'][1]) return H def variables(d, H): f = pd.DataFrame(index=d.index) f['log_imp'] = np.log10(np.maximum(d['imp_adj'], 1)) f['dur'] = np.minimum(d['dur'].fillna(-1), 120); f['dur_na'] = d['dur'].isna().astype(float); f['log_dur'] = np.log1p(np.maximum(d['dur'].fillna(0), 0)) f['log_nlotes'] = np.log1p(d['n_lotes']); f['log_nadj'] = np.log1p(d['n_adj_exp']); f['lote_gt1'] = (d['lote_num'].fillna(1) > 1).astype(float) for c in ('h_amb', 'h_org', 'h_oc', 'h_ot'): v = H[c].to_numpy(float); fill = np.nanmean(v) if np.isfinite(v).any() else 0.04 f[c] = logit(np.clip(np.where(np.isnan(v), fill, v), 1e-4, 1 - 1e-4)); f[c + '_na'] = np.isnan(v).astype(float) f['hn'] = H['hn'].fillna(0).to_numpy(); f['hnoc'] = H['hnoc'].fillna(0).to_numpy() return f def diseno(d, F, TR): niv = {}; Cd = {} for c in CATS: v = d[c].astype('string').fillna('∅'); cnt = v[TR].value_counts(); niv[c] = sorted([a for a, n in cnt.items() if n >= 30]); Cd[c] = v.where(v.isin(niv[c]), 'otros') MU = F.loc[TR, NUM].mean().to_numpy(); SD = F.loc[TR, NUM].std(ddof=0).to_numpy(); SD[SD == 0] = 1 def X(mask): Z = (F.loc[mask, NUM].to_numpy(float) - MU) / SD return np.column_stack([Z] + [np.column_stack([(Cd[c][mask].to_numpy() == lv).astype(float) for lv in niv[c] + ['otros']]) for c in CATS]) return X, {'niv': niv, 'MU': MU.tolist(), 'SD': SD.tolist()}