"""UE1 · 60 · (c) segunda implementación: pandas + pyarrow, SIN DuckDB, escrita desde DEFINICIONES_PREVIAS (no importa nada de la principal). Recalcula U, los 9 indicadores emparejados (D total), el embudo de los tres hechos (base UE, por año) y β de (2a); al final compara con las salidas de la principal. Escribe salidas/60_impl2.json.""" import json, math, time import numpy as np, pandas as pd, pyarrow.dataset as ds, pyarrow.parquet as pq, pyarrow.compute as pc T0 = time.time() def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) COLS = ['id_canonical', 'tabla_origen', 'licitacion_id', 'lote_id', 'unidad', 'anio_ref', 'financiacion_ue', 'organo_nif', 'organo_nombre', 'dir3', 'cpv_division', 'tipo_contrato', 'procedimiento', 'procedimiento_native', 'rol_am', 'tramitacion', 'num_ofertas', 'imp_lic_eur', 'imp_adj_eur_sin_iva', 'fecha_pub', 'fecha_adj', 'fecha_fin_ofertas', 'vigente', 'es_contrato', 'es_menor', 'copia_de', 'correccion_imp_adj'] d = ds.dataset('/d/unified_20261018/source=PLACSP', format='parquet') f = d.to_table(columns=COLS, filter=(pc.field('tabla_origen') == 'resultados_licitaciones') & (pc.field('anio_ref') >= 2016) & (pc.field('anio_ref') <= 2026)).to_pandas() log('leído', len(f)) for k in ['fecha_pub', 'fecha_adj', 'fecha_fin_ofertas']: f[k] = pd.to_datetime(f[k]) f = f[f.vigente.fillna(False) & f.es_contrato.fillna(False) & ~f.es_menor.fillna(False).astype(bool) & f.unidad.isin(['adjudicacion', 'desierto'])] f = f[f.copia_de.isna() & (f.correccion_imp_adj.fillna('') != 'copia_otra_fuente')] vf = pq.read_table('/d/unified_20261018.vinculos/filas.parquet', columns=['source', 'id_canonical', 'cuenta']).to_pandas() vf = vf[vf.source == 'PLACSP'][['id_canonical', 'cuenta']] f = f.merge(vf, on='id_canonical', how='left') f = f[f.cuenta.fillna(True).astype(bool)] of = pq.read_table('/d/unified_20261018.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']).to_pandas() for k in ['organo_nif', 'organo_nombre', 'dir3']: f[k] = f[k].astype(object).where(f[k].notna(), '\x00NULO'); of[k] = of[k].astype(object).where(of[k].notna(), '\x00NULO') n0 = len(f); f = f.merge(of, on=['organo_nif', 'organo_nombre', 'dir3'], how='left'); assert len(f) == n0 ot = pq.read_table('/d/unified_20261018.identidad/organos_tipo.parquet', columns=['organo_clave', 'tipo']).to_pandas().rename(columns={'tipo': 'tipo_org'}) raw = pq.read_table('/n/salida/licitaciones_completo.parquet', columns=['id', 'programas_financiacion', 'es_ultima_version']).to_pandas() raw = raw[raw.es_ultima_version.fillna(False)] raw['lid'] = 'PLACSP:' + raw['id'].str.extract(r'([^/]+/[^/]+)$')[0] prog = raw.drop_duplicates('lid')[['lid', 'programas_financiacion']] del raw; import gc; gc.collect() mods = set(pq.read_table('/d/unified_20261018.modificaciones/modificaciones.parquet', columns=['licitacion_id']).to_pandas().licitacion_id) log('uniones', len(f)) def construir(f): f['lote'] = f.lote_id.where(f.lote_id.notna(), f.licitacion_id) f['div'] = f.cpv_division.fillna('??') f['tipo'] = f.tipo_contrato.where(f.tipo_contrato.isin(['Obras', 'Servicios', 'Suministros']), 'Otros') f['adj'] = f.unidad == 'adjudicacion' f = f.sort_values('id_canonical') g = f.groupby(['licitacion_id', 'lote'], sort=False) L = f.drop_duplicates(['licitacion_id', 'lote'], keep='first')[['licitacion_id', 'lote', 'id_canonical', 'financiacion_ue', 'organo_clave', 'div', 'tipo', 'procedimiento', 'procedimiento_native', 'rol_am', 'tramitacion', 'imp_lic_eur']].set_index(['licitacion_id', 'lote']) L['anio'] = g.anio_ref.max(); L['adjudicado'] = g.adj.any() fa = f[f.adj]; ga = fa.groupby(['licitacion_id', 'lote']) L['nof'] = ga.num_ofertas.max(); L['imp_adj'] = ga.imp_adj_eur_sin_iva.sum(min_count=1); L['fecha_adj'] = ga.fecha_adj.min() L['fecha_pub'] = g.fecha_pub.min(); L['fecha_fin'] = g.fecha_fin_ofertas.min() L = L.reset_index() L['p_comp'] = L.procedimiento.isin(['Abierto', 'Restringido', 'Negociado_publicidad', 'Dialogo_competitivo', 'Asociacion_innovacion']) & \ ~L.rol_am.fillna('').isin(['basado', 'basado_sda']) & (L.tramitacion.fillna('') != 'emergencia') ev = L.adjudicado & L.p_comp & (L.nof >= 1) L['nof_c'] = np.where(ev, np.minimum(L.nof, 100), np.nan); L['ou'] = np.where(ev, (L.nof == 1).astype(float), np.nan) okb = L.adjudicado & L.p_comp & (L.imp_lic_eur > 0) & (L.imp_adj > 0) & (L.imp_adj <= 1.5 * L.imp_lic_eur) L['baja'] = np.where(okb, 1 - L.imp_adj / L.imp_lic_eur, np.nan) L['desierto'] = np.where(L.p_comp, (~L.adjudicado).astype(float), np.nan) L = L.merge(prog, left_on='licitacion_id', right_on='lid', how='left') L['programa'] = np.select([~L.financiacion_ue.fillna(False).astype(bool), L.programas_financiacion == 'EU;PRTR', L.programas_financiacion == 'EU;FEDER', L.programas_financiacion == 'EU;FEADER'], ['no-UE', 'PRTR', 'FEDER', 'FEADER'], 'otros UE') # licitaciones con algún lote adjudicado La = L[L.adjudicado].sort_values('id_canonical') C = La.drop_duplicates('licitacion_id', keep='first')[['licitacion_id', 'financiacion_ue', 'programa', 'organo_clave', 'div', 'tipo', 'procedimiento', 'procedimiento_native', 'rol_am', 'tramitacion', 'anio']].set_index('licitacion_id') gl = La.groupby('licitacion_id') C['fecha_pub'] = gl.fecha_pub.min(); C['fecha_adj'] = gl.fecha_adj.min(); C['fecha_fin'] = gl.fecha_fin.min() C = C.reset_index() C['urgente'] = (C.tramitacion.fillna('') == 'urgente').astype(float); C['emergencia'] = (C.tramitacion.fillna('') == 'emergencia').astype(float) C['modificada'] = C.licitacion_id.isin(mods).astype(float) dd = (pd.to_datetime(C.fecha_adj) - pd.to_datetime(C.fecha_pub)).dt.days C['plazo_adj'] = np.where((C.procedimiento == 'Abierto') & dd.between(0, 730), dd, np.nan) do = (pd.to_datetime(C.fecha_fin) - pd.to_datetime(C.fecha_pub)).dt.days C['plazo_ofertas'] = np.where((C.procedimiento == 'Abierto') & do.between(0, 120), do, np.nan) return L, C L_U, C_U = construir(f[f.anio_ref.between(2022, 2025)].copy()) log('U', len(L_U), len(C_U)) L, C = construir(f) del f; gc.collect() log('todo', len(L), len(C)) O = {} U_L = L_U; U_C = C_U O['n_lotes'] = len(U_L); O['n_lic'] = len(U_C); O['n_lic_ue'] = int(U_C.financiacion_ue.fillna(False).sum()) def D(df, v): q = df[df.organo_clave.notna() & df[v].notna()].copy(); q['ue'] = q.financiacion_ue.astype(bool) q['estr'] = q.organo_clave + '|' + q['div'] + '|' + q.tipo + '|' + q.anio.astype(str) s = q.groupby(['estr', 'ue'])[v].agg(['size', 'mean']).unstack('ue').dropna() n1, n0, m1, m0 = s[('size', True)], s[('size', False)], s[('mean', True)], s[('mean', False)] w = n1 * n0 / (n1 + n0) return dict(D=float((w * (m1 - m0)).sum() / w.sum()), estratos=int(len(s)), n_ue_emp=int(n1.sum())) O['D'] = {v: D(U_L, v) for v in ['ou', 'nof_c', 'baja', 'desierto']} O['D'].update({v: D(U_C, v) for v in ['urgente', 'emergencia', 'modificada', 'plazo_adj', 'plazo_ofertas']}) log('D', {k: round(v['D'], 5) for k, v in O['D'].items()}) # embudo (base UE, por año) def tau2(r, e, s, wins): z = ((r - e) / s).to_numpy(); I = len(z) if I < 2: return 0.0 if wins: lo, hi = np.percentile(z, 10), np.percentile(z, 90); z = np.clip(z, lo, hi) phi = (z * z).mean(); w = 1 / (s.to_numpy() ** 2); sw = w.sum(); sw2 = (w * w).sum() return max((I * phi - (I - 1)) / (sw - sw2 / sw), 0.0) if I * phi > I - 1 else 0.0 uni = pd.concat([U_L.loc[U_L.ou.notna(), ['organo_clave', 'div', 'tipo', 'anio', 'financiacion_ue', 'ou']].rename(columns={'ou': 'y'}).assign(ind='OU'), U_C[['organo_clave', 'div', 'tipo', 'anio', 'financiacion_ue', 'urgente']].rename(columns={'urgente': 'y'}).assign(ind='URG'), U_C[['organo_clave', 'div', 'tipo', 'anio', 'financiacion_ue', 'modificada']].rename(columns={'modificada': 'y'}).assign(ind='MOD')]) ue = uni[uni.financiacion_ue.astype(bool)].copy(); ue['org'] = ue.organo_clave.fillna('\x00NULO') cel = ue.groupby(['ind', 'div', 'tipo', 'anio']).y.agg(n='size', k='sum').reset_index() par = cel.groupby(['ind', 'tipo', 'anio']).apply(lambda t: t.k.sum() / t.n.sum(), include_groups=False).rename('pT').reset_index() celo = ue.groupby(['ind', 'div', 'tipo', 'anio', 'org']).y.agg(no='size', ko='sum').reset_index() e = ue.merge(cel, on=['ind', 'div', 'tipo', 'anio']).merge(par, on=['ind', 'tipo', 'anio']).merge(celo, on=['ind', 'div', 'tipo', 'anio', 'org']) e['p'] = (e.k - e.ko + 50 * e.pT) / (e.n - e.no + 50) e = e[e.organo_clave.notna()] oa = e.groupby(['ind', 'organo_clave', 'anio']).apply(lambda t: pd.Series(dict(n=len(t), k=t.y.sum(), E=t.p.sum(), V=(t.p * (1 - t.p)).sum())), include_groups=False).reset_index() oa['r'] = oa.k / oa.n; oa['e'] = oa.E / oa.n; oa['s'] = np.sqrt(oa.V) / oa.n oa['zD_w'] = np.nan; oa['zD_nw'] = np.nan for (ind, a), t in oa.groupby(['ind', 'anio']): el = t[(t.n >= 20) & (t.V > 0)] tw = tau2(el.r, el.e, el.s, True); tn = tau2(el.r, el.e, el.s, False) oa.loc[t.index, 'zD_w'] = (t.r - t.e) / np.sqrt(t.s ** 2 + tw); oa.loc[t.index, 'zD_nw'] = (t.r - t.e) / np.sqrt(t.s ** 2 + tn) oa['hecho'] = (oa.n >= 20) & (oa.zD_w > 3.090232) & (oa.zD_nw > 3.090232) log('embudo', oa.groupby('ind').hecho.sum().to_dict()) # β (2a) # atributos de la licitación: los de su fila de menor id_canonical entre TODOS sus lotes (adjudicados o no) Lall = L.sort_values('id_canonical').drop_duplicates('licitacion_id')[['licitacion_id', 'organo_clave', 'programa']] fp = L.groupby('licitacion_id').fecha_pub.min().rename('fp').reset_index() SS = Lall.merge(fp, on='licitacion_id') SS['yy'] = pd.to_datetime(SS.fp).dt.year SS = SS[SS.organo_clave.notna() & SS.yy.isin([2019, 2022, 2023, 2024])] SS['esP'] = (SS.programa == 'PRTR').astype(int) cnt = SS.groupby(['organo_clave', 'yy']).agg(n=('licitacion_id', 'size'), p=('esP', 'sum')).reset_index() base = cnt[(cnt.yy == 2019) & (cnt.n >= 10)][['organo_clave', 'n']].rename(columns={'n': 'n0'}) pan = base.merge(pd.DataFrame({'yy': [2022, 2023, 2024]}), how='cross').merge(cnt, on=['organo_clave', 'yy'], how='left').fillna({'n': 0, 'p': 0}) pan = pan.merge(ot, on='organo_clave', how='left'); pan['tipo_org'] = pan.tipo_org.fillna('sin_tipo') pan['d'] = pan.n - pan.n0 gm = pan.groupby(['yy', 'tipo_org']) pt = pan.p - gm.p.transform('mean'); dt = pan.d - gm.d.transform('mean') O['beta'] = float((pt * dt).sum() / (pt * pt).sum()); O['beta_organos'] = int(pan.organo_clave.nunique()) log('beta', O['beta'], O['beta_organos']) # ── comparación con la principal ───────────────────────────────────────────────────────────────────── P20 = json.load(open('/w/salidas/20_emparejado.json'))['emparejado'] P25 = json.load(open('/w/salidas/25_eventos.json'))['2a'] cmpD = {} for r in P20: if r['subgrupo'] == 'total' and r['indicador'] in O['D']: a, b = r['D'], O['D'][r['indicador']]['D'] cmpD[r['indicador']] = dict(principal=a, impl2=b, dif_rel=abs(a - b) / abs(a) if a else abs(b), estratos_p=r['estratos'], estratos_2=O['D'][r['indicador']]['estratos'], n_ue_emp_p=r['n_ue_emparejadas'], n_ue_emp_2=O['D'][r['indicador']]['n_ue_emp']) po = pq.read_table('/w/interno/oa_ue.parquet').to_pandas() po = po.rename(columns={'org': 'organo_clave', 'per': 'anio'}); po['anio'] = po.anio.astype(int) m = po.merge(oa, on=['ind', 'organo_clave', 'anio'], how='outer', suffixes=('_p', '_2'), indicator=True) bp = [r for r in P25 if r['tipo'] == 'Todos'][0]['beta'] cmp = dict(D=cmpD, oa_filas_p=len(po), oa_filas_2=len(oa), oa_solo_una=int((m._merge != 'both').sum()), n_dif=int((m.n_p != m.n_2).sum()), k_dif=int((m.k_p != m.k_2).sum()), E_dif_rel_max=float((abs(m.E_p - m.E_2) / m.E_p).max()), zD_nw_dif_gt_001=int((abs(m.zD_nw_p - m.zD_nw_2) > 0.01).sum()), zD_w_dif_gt_001=int((abs(m.zD_w_p - m.zD_w_2) > 0.01).sum()), hecho_dif=int((m.hecho_p.astype(bool) != m.hecho_2.astype(bool)).sum()), hechos_2=oa.groupby('ind').hecho.sum().astype(int).to_dict(), beta=dict(principal=bp, impl2=O['beta'], dif_rel=abs(bp - O['beta']) / abs(bp))) okD = all(v['dif_rel'] <= 0.005 for v in cmpD.values()) n20 = int((m.n_p >= 20).sum()) cmp['pasa'] = bool(okD and cmp['oa_solo_una'] == 0 and cmp['n_dif'] == 0 and cmp['k_dif'] == 0 and cmp['E_dif_rel_max'] <= 0.005 and cmp['zD_nw_dif_gt_001'] <= 0.005 * len(po) and cmp['hecho_dif'] <= 0.005 * max(1, n20) and cmp['beta']['dif_rel'] <= 0.005) O['comparacion'] = cmp json.dump(O, open('/w/salidas/60_impl2.json', 'w'), default=str, indent=1, ensure_ascii=False) print(json.dumps(cmp, default=str, indent=1, ensure_ascii=False))