"""EJ1 · 30 · SEGUNDA implementación (pandas + pyarrow, sin DuckDB), escrita desde DEFINICIONES_PREVIAS §1-4, sin importar nada de la principal. Escribe interno/impl2_oa_.parquet y la comparación con la principal en salidas/30_impl2.json.""" import json, math, time import numpy as np, pandas as pd, pyarrow.dataset as ds, pyarrow.compute as pc T0 = time.time() def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) D = '/d/unified_20261018' cols = ['id_canonical', 'tabla_origen', 'licitacion_id', 'anio_ref', 'cpv_division', 'tipo_contrato', 'organo_nif', 'organo_nombre', 'dir3', 'procedimiento', 'vigente', 'es_contrato', 'es_menor', 'unidad', 'rol_am', 'tramitacion', 'imp_adj_eur_comparable', 'fecha_formalizacion', 'fecha_adj', 'copia_de', 'correccion_imp_adj'] f = ds.dataset(D + '/source=PLACSP', format='parquet', partitioning='hive').to_table(columns=cols, filter=(pc.field('tabla_origen') == 'resultados_licitaciones') & (pc.field('unidad') == 'adjudicacion') & (pc.field('anio_ref') >= 2018) & (pc.field('anio_ref') <= 2025)).to_pandas() PROC = {'Abierto', 'Restringido', 'Negociado_publicidad', 'Negociado_sin_publicidad', 'Dialogo_competitivo', 'Asociacion_innovacion'} m = (f.vigente.fillna(False).astype(bool) & f.es_contrato.fillna(False).astype(bool) & (f.es_menor == False) & f.procedimiento.isin(PROC) & ~f.rol_am.fillna('').isin(['acuerdo', 'sda', 'basado', 'basado_sda']) & (f.tramitacion.fillna('') != 'emergencia')) f = f[m].copy() v = ds.dataset(D + '.vinculos/filas.parquet').to_table(columns=['source', 'id_canonical', 'cuenta'], filter=pc.field('source') == 'PLACSP').to_pandas() v = v.drop_duplicates('id_canonical') f = f.merge(v[['id_canonical', 'cuenta']], on='id_canonical', how='left') copia = f.copia_de.notna() | (f.correccion_imp_adj.fillna('') == 'copia_otra_fuente') | (f.cuenta == False) log('filas', len(f), 'copias', int(copia.sum())) f = f[~copia].copy() f['fref'] = pd.to_datetime(f.fecha_formalizacion).fillna(pd.to_datetime(f.fecha_adj)) f = f.sort_values('id_canonical') g = f.groupby('licitacion_id', sort=False) L = g.agg(anio=('anio_ref', 'max'), cpv=('cpv_division', 'first'), tc=('tipo_contrato', 'first'), onif=('organo_nif', 'first'), onom=('organo_nombre', 'first'), dir3=('dir3', 'first'), A=('imp_adj_eur_comparable', 'sum'), F=('fref', 'min')).reset_index() L['A'] = g['imp_adj_eur_comparable'].sum(min_count=1).values L['cpv'] = L.cpv.fillna('??'); L['tipo'] = L.tc.where(L.tc.isin(['Obras', 'Servicios', 'Suministros']), 'Otros') of = pd.read_parquet(D + '.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']) k3 = lambda a, b, c: list(zip(a.fillna('\x00'), b.fillna('\x00'), c.fillna('\x00'))) mp = dict(zip(k3(of.organo_nif, of.organo_nombre, of.dir3), of.organo_clave)) L['organo_clave'] = [mp.get(t) for t in k3(L.onif, L.onom, L.dir3)] ot = pd.read_parquet(D + '.identidad/organos_tipo.parquet', columns=['organo_clave', 'tipo']).rename(columns={'tipo': 'tipo_organo'}) L = L.merge(ot, on='organo_clave', how='left'); L['tipo_organo'] = L.tipo_organo.fillna('sin_tipo') log('licitaciones', len(L)) M = pd.read_parquet(D + '.modificaciones/modificaciones.parquet', columns=['licitacion_id', 'tipo', 'importe_modificacion_sin_iva', 'cambia_importe', 'cambia_plazo', 'fecha_primera_version']) M = M[M.licitacion_id.isin(set(L.licitacion_id))].copy() ci = M.cambia_importe.fillna(False).astype(bool); cp = M.cambia_plazo.fillna(False).astype(bool); t = M.tipo esM = ci & (t.isin(['modificacion', 'otro']) | (t.isna() & ~cp)) esP = ~esM & ((t == 'prorroga') | (t.isna() & cp)) MM = M[esM] agM = MM.groupby('licitacion_id').agg(sM=('importe_modificacion_sin_iva', 'sum'), fM=('fecha_primera_version', 'min'), nM=('tipo', 'size')) agP = M[esP].groupby('licitacion_id').size().rename('nP') L = L.merge(agM, on='licitacion_id', how='left').merge(agP, on='licitacion_id', how='left') L['nM'] = L.nM.fillna(0); L['nP'] = L.nP.fillna(0); L['sM'] = L.sM.fillna(0) L['y1'] = (L.nM > 0).astype(int) pos = L.A > 0 L['y2'] = np.where(pos, (L.sM / L.A.where(pos) > 0.20).astype(float), np.nan) F = pd.to_datetime(L.F); fM = pd.to_datetime(L.fM) en3 = (F >= '2021-01-01') & (F <= '2025-10-10') L['y3'] = np.where(en3, (fM.notna() & ((fM - F).dt.days <= 365)).astype(float), np.nan) L['yP'] = (L.nP > 0).astype(int) NMIN, Z998, A = 30, 3.090232, 50 def pct(v, q): s = np.sort(v); n = len(s); h = (n - 1) * q; i = int(math.floor(h)); fr = h - i return s[i] if i + 1 >= n else s[i] + fr * (s[i + 1] - s[i]) def tau2(r, e, s, wins): z = (r - e) / s; I = len(z) if I < 2: return 0.0 if wins: z = np.clip(z, pct(z, .1), pct(z, .9)) phi = (z ** 2).mean(); w = 1 / s ** 2 return max((I * phi - (I - 1)) / (w.sum() - (w ** 2).sum() / w.sum()), 0.0) if I * phi > I - 1 else 0.0 OUT = {} for H, col in (('H1', 'y1'), ('H2', 'y2'), ('H3', 'y3'), ('P', 'yP')): b = L[L[col].notna()][['licitacion_id', 'cpv', 'tipo', 'anio', 'organo_clave', col]].rename(columns={col: 'y'}).copy() b['oc'] = b.organo_clave.fillna('\x00') cm = b.groupby(['cpv', 'tipo', 'anio']).y.agg(['size', 'sum']).rename(columns={'size': 'nm', 'sum': 'km'}) cmo = b.groupby(['cpv', 'tipo', 'anio', 'oc']).y.agg(['size', 'sum']).rename(columns={'size': 'nmo', 'sum': 'kmo'}) pt = b.groupby(['tipo', 'anio']).y.mean().rename('pt') b = b.join(cm, on=['cpv', 'tipo', 'anio']).join(cmo, on=['cpv', 'tipo', 'anio', 'oc']).join(pt, on=['tipo', 'anio']) b['p'] = (b.km - b.kmo + A * b.pt) / (b.nm - b.nmo + A); b['v'] = b.p * (1 - b.p) oa = b.groupby(['oc', 'anio']).agg(n=('y', 'size'), k=('y', 'sum'), E=('p', 'sum'), V=('v', 'sum')).reset_index() oa['r'] = oa.k / oa.n; oa['e'] = oa.E / oa.n; oa['s'] = np.sqrt(oa.V) / oa.n oa['hecho'] = False; oa['zd_w'] = np.nan; oa['zd_nw'] = np.nan for a in oa.anio.unique(): ia = oa.anio == a; q = oa[ia & (oa.n >= NMIN) & (oa.s > 0)] tw = tau2(q.r.values, q.e.values, q.s.values, True); tn = tau2(q.r.values, q.e.values, q.s.values, False) oa.loc[ia, 'zd_w'] = (oa.r - oa.e)[ia] / np.sqrt(oa.s[ia] ** 2 + tw); oa.loc[ia, 'zd_nw'] = (oa.r - oa.e)[ia] / np.sqrt(oa.s[ia] ** 2 + tn) oa['hecho'] = (oa.n >= NMIN) & (oa.zd_w > Z998) & (oa.zd_nw > Z998) oa['organo_clave'] = oa.oc.where(oa.oc != '\x00', None) oa.drop(columns=['oc']).to_parquet(f'/w/interno/impl2_oa_{H}.parquet') # comparación con la principal p1 = pd.read_parquet(f'/w/interno/oa_{H}.parquet') j = p1.merge(oa, on=['organo_clave', 'anio'], how='outer', suffixes=('_1', '_2'), indicator=True) both = j[j._merge == 'both'] dE = (both.E_1 - both.E_2).abs() / both.E_1.where(both.E_1 > 0, 1) n30 = both.n_1 >= NMIN OUT[H] = {'organoanio_1': len(p1), 'organoanio_2': len(oa), 'solo_en_uno': int((j._merge != 'both').sum()), 'n_distinto': int((both.n_1 != both.n_2).sum()), 'k_distinto': int((both.k_1 != both.k_2).sum()), 'E_rel_max': float(dE.max()), 'E_rel_gt_0_5pct': int((dE > 0.005).sum()), 'zd_nw_absdif_max': float((both.zd_nw_1 - both.zd_nw_2).abs().max()), 'zd_w_absdif_max': float((both.zd_w_1 - both.zd_w_2).abs().max()), 'hecho_distinto': int((both.hecho_1 != both.hecho_2).sum()), 'n30': int(n30.sum()), 'hecho_distinto_pct_n30': float((both.hecho_1 != both.hecho_2)[n30].mean() * 100), 'hechos_1': int(both.hecho_1.sum()), 'hechos_2': int(both.hecho_2.sum())} ok = OUT[H]['solo_en_uno'] == 0 and OUT[H]['n_distinto'] == 0 and OUT[H]['k_distinto'] == 0 and OUT[H]['E_rel_gt_0_5pct'] == 0 and OUT[H]['hecho_distinto_pct_n30'] <= 0.5 OUT[H]['veredicto'] = 'pasa' if ok else 'no pasa' log(H, OUT[H]) OUT['_version'] = {'pandas': pd.__version__, 'numpy': np.__version__} json.dump(OUT, open('/w/salidas/30_impl2.json', 'w'), ensure_ascii=False, indent=1, default=str)