"""OU1 · 30 · SEGUNDA implementación, pandas + pyarrow, sin DuckDB, escrita desde DEFINICIONES_PREVIAS §1-3 (no importa nada de la principal). Escribe interno/impl2_oa.parquet y salidas/30_impl2.json (la comparación la hace 31_cotejo_impl2.py).""" import json, math, time import numpy as np, pandas as pd, pyarrow.dataset as ds, pyarrow.compute as pc T0 = time.time() cols = ['id_canonical', 'tabla_origen', 'licitacion_id', 'lote_id', 'num_ofertas', 'anio_ref', 'cpv_division', 'tipo_contrato', 'organo_nif', 'organo_nombre', 'dir3', 'procedimiento', 'vigente', 'es_contrato', 'es_menor', 'unidad', 'rol_am', 'tramitacion'] d = ds.dataset('/d/unified_20261018/source=PLACSP', format='parquet', partitioning='hive') f = d.to_table(columns=cols, filter=(pc.field('unidad') == 'adjudicacion') & (pc.field('anio_ref') >= 2018) & (pc.field('anio_ref') <= 2025)).to_pandas() print('leídas', len(f), round(time.time() - T0), flush=True) PROC = {'Abierto', 'Restringido', 'Negociado_publicidad', 'Dialogo_competitivo', 'Asociacion_innovacion'} m = (f.tabla_origen.isin(['resultados_licitaciones', 'resultados_agregacion']) & f.vigente.fillna(False).astype(bool) & f.es_contrato.fillna(False).astype(bool) & (f.es_menor == False) & f.procedimiento.isin(PROC) & ~f.rol_am.fillna('').isin(['basado', 'basado_sda']) & (f.tramitacion.fillna('') != 'emergencia')) f = f[m].copy(); print('U filas', len(f), flush=True) f['feed'] = np.where(f.tabla_origen == 'resultados_licitaciones', 'propio', 'agregacion') f['lote_u'] = f.lote_id.where(f.lote_id.notna(), f.licitacion_id) f = f.sort_values('id_canonical') g = f.groupby(['feed', 'licitacion_id', 'lote_u'], sort=False, dropna=False) L = g.agg(nof=('num_ofertas', 'max'), anio=('anio_ref', 'max'), cpv=('cpv_division', 'first'), tc=('tipo_contrato', 'first'), onif=('organo_nif', 'first'), onom=('organo_nombre', 'first'), dir3=('dir3', 'first')).reset_index() # 'first' de pandas salta nulos; la regla es el valor de la fila de menor id_canonical (arg_min, que sí respeta nulos? no: # arg_min de DuckDB ignora filas donde el valor es NULL). Las dos ignoran nulos: equivalente. prop = set(zip(L.licitacion_id[L.feed == 'propio'], L.lote_u[L.feed == 'propio'])) dup = (L.feed == 'agregacion') & pd.Series([(a, b) in prop for a, b in zip(L.licitacion_id, L.lote_u)], index=L.index) L = L[~dup] L = L[L.nof >= 1].copy() L['cpv'] = L.cpv.fillna('??'); L['tipo'] = L.tc.where(L.tc.isin(['Obras', 'Servicios', 'Suministros']), 'Otros') L['u'] = (L.nof == 1).astype(int) of = pd.read_parquet('/d/unified_20261018.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']) k3 = ['onif', 'onom', 'dir3'] of = of.rename(columns={'organo_nif': 'onif', 'organo_nombre': 'onom'}) for c in k3: # IS NOT DISTINCT FROM: nulo casa con nulo of[c] = of[c].fillna('\x00NULO'); L[c] = L[c].fillna('\x00NULO') L = L.merge(of, on=k3, how='left', validate='many_to_one') L['organo_clave'] = L.organo_clave.fillna('\x00SIN') print('lotes evaluables', len(L), 'únicas', int(L.u.sum()), round(time.time() - T0), flush=True) A = 50.0 pt = L.groupby(['tipo', 'anio']).u.agg(['sum', 'count']).rename(columns={'sum': 'kt', 'count': 'nt'}).reset_index() cm = L.groupby(['cpv', 'tipo', 'anio']).u.agg(['sum', 'count']).rename(columns={'sum': 'km', 'count': 'nm'}).reset_index() co = L.groupby(['organo_clave', 'cpv', 'tipo', 'anio']).u.agg(['sum', 'count']).rename(columns={'sum': 'kmo', 'count': 'nmo'}).reset_index() co = co.merge(cm, on=['cpv', 'tipo', 'anio']).merge(pt, on=['tipo', 'anio']) co['p'] = (co.km - co.kmo + A * co.kt / co.nt) / (co.nm - co.nmo + A) co['E'] = co.nmo * co.p; co['V'] = co.nmo * co.p * (1 - co.p) def tau2(df): q = df[df.n >= 30] r = q.k / q.n; e = q.E / q.n; s = np.sqrt(q.V) / q.n z = ((r - e) / s).to_numpy(); I = len(z) lo, hi = np.percentile(z, 10), np.percentile(z, 90) phi = float(np.mean(np.clip(z, lo, hi) ** 2)); w = 1 / s.to_numpy() ** 2 t = (I * phi - (I - 1)) / (w.sum() - (w ** 2).sum() / w.sum()) if I * phi > I - 1 else 0.0 return max(t, 0.0) def periodo(gcols, tcol): o = co.groupby(gcols).agg(n=('nmo', 'sum'), k=('kmo', 'sum'), E=('E', 'sum'), V=('V', 'sum')).reset_index() t = {key: tau2(sub) for key, sub in o.groupby(tcol)} o['tau2'] = o[tcol].map(t) o['zd'] = (o.k / o.n - o.E / o.n) / np.sqrt(o.V / o.n ** 2 + o.tau2) o['hecho'] = (o.n >= 30) & (o.zd > 3.090232) return o, t oa, ta = periodo(['organo_clave', 'anio'], 'anio') co['bloque'] = np.where(co.anio <= 2021, 'B1', 'B2') ob, tb = periodo(['organo_clave', 'bloque'], 'bloque') oa.to_parquet('/w/interno/impl2_oa.parquet'); ob.to_parquet('/w/interno/impl2_ob.parquet') json.dump({'motor': f'pandas {pd.__version__} + numpy {np.__version__}, sin DuckDB', 'lotes': int(len(L)), 'unicas': int(L.u.sum()), 'organo_anio': int(len(oa)), 'hecho_oa': int(oa.hecho.sum()), 'hecho_ob': int(ob.hecho.sum()), 'tau2_anio': {str(k): v for k, v in ta.items()}, 'tau2_bloque': tb, 'segundos': round(time.time() - T0)}, open('/w/salidas/30_impl2.json', 'w'), indent=1) print(open('/w/salidas/30_impl2.json').read())