"""VC1 · 35 · SEGUNDA implementación (pandas + pyarrow, sin DuckDB; no importa comun*.py ni lee interno/ de la principal). Lee unified_20261018 + .versiones y el fichero del scraper; clasifica cada lote (DEFINICIONES_PREVIAS §1-2), calcula el embudo (§3) y escribe tmp/impl2_lotes.parquet, tmp/impl2_oa.parquet y salidas/35_impl2.json.""" import pyarrow as pa, pyarrow.dataset as ds, pyarrow.parquet as pq, pyarrow.compute as pc import pandas as pd, numpy as np, re, json, math, time, gc T0 = time.time() def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) H = '/h/nacional/salida/_historico/' RES = H + 'licitaciones_completo_resultados__20261011T235807Z.parquet'; MAIN = H + 'licitaciones_completo__20261011T235755Z.parquet' # 1. scraper: fecha de versión, código y lote por número de fila t = pq.read_table(RES, columns=['fecha_updated', 'resultado_code', 'lote']) s_ts = t.column('fecha_updated').cast(pa.timestamp('ms', tz='UTC')).cast(pa.int64()).to_numpy(zero_copy_only=False) s_code = t.column('resultado_code').combine_chunks(); s_lote = t.column('lote').combine_chunks(); del t m_ts = pq.read_table(MAIN, columns=['fecha_updated']).column('fecha_updated').cast(pa.timestamp('ms', tz='UTC')).cast(pa.int64()).to_numpy(zero_copy_only=False) log('scraper', len(s_ts), len(m_ts)) def leer(base, tablas, cols, dig, extra=None): d = ds.dataset(f'/d/{base}/source=PLACSP', format='parquet', partitioning='hive') f = pc.field('tabla_origen').isin(tablas) & pc.Expression._call('match_substring_regex', [pc.field('licitacion_id')], pc.MatchSubstringOptions(f'[{dig}]$')) if extra is not None: f = f & extra return d.to_table(columns=cols, filter=f) C1 = ['id_canonical', 'licitacion_id', 'fila_origen', 'tabla_origen', 'unidad', 'adjudicatario_nif', 'adjudicatario_nombre', 'imp_adj_eur_sin_iva', 'imp_adj_eur_con_iva', 'fecha_adj', 'fecha_formalizacion', 'anulado_en_origen'] TR = ['resultados_licitaciones', 'resultados_agregacion'] VALRE = re.compile(r'([A-HJNP-SUVW][0-9]{7}[0-9A-J])|([0-9]{8}[A-Z])|([XYZKLM][0-9]{7}[A-Z])') def valido(n): return VALRE.fullmatch(n) is not None def lev(a, b): if a == b: return 0 p = list(range(len(b) + 1)) for i, ca in enumerate(a, 1): q = [i] for j, cb in enumerate(b, 1): q.append(min(p[j] + 1, q[j - 1] + 1, p[j - 1] + (ca != cb))) p = q return p[-1] def nulo(x): return x is None or (isinstance(x, float) and math.isnan(x)) or x is pd.NA or x is pd.NaT def igual(a, b): return (nulo(a) and nulo(b)) or (not nulo(a) and not nulo(b) and a == b) def ute(ns): return sum(1 for n in ns if n[:1] == 'U' or (n.startswith('N:') and 'UTE' in n[2:])) IVA = [1.21, 1.10, 1.07, 1.04, 1.095, 1.065, 1.03] def clasifica(f, ren): if f.fin_anul: return 'T1', 'anulada_borrado' key = (f.licitacion_id, f.feed, f.lote_k) if nulo(f.adjF): if key in ren: return 'sin_cambio', 'renumerado' if not f.fin_con_res: if f.fin_est == 'Anulada': return 'T1', 'anulada_estado' return 'T1', 'vuelve_' + (f.fin_est if not nulo(f.fin_est) else '?') return 'T1', 'lote_ausente' if not f.adjF: return 'T1', {'4': 'desistimiento', '5': 'renuncia', '10': 'mejor_valorado'}.get(f.codF, 'desierto') if f.nifsF != f.nifs0: if ute(f.nifsF) > ute(f.nifs0): return 'T3', 'ute' i0 = sum(1 for n in f.nifs0 if not valido(n)); iF = sum(1 for n in f.nifsF if not valido(n)) if i0 > 0 and len(f.nifs0) == len(f.nifsF) and iF < i0: return 'T3', 'completa_nif' if f.nn0 == 1 and f.nnF == 1 and ((f.nomsF == f.noms0 and f.noms0[0] != '') or lev(f.nifs0[0], f.nifsF[0]) <= 2): return 'T3', 'errata_nif' if f.nn0 > 1 or f.nnF > 1: return 'T3', 'varios_adjudicatarios' return 'T3', ('fondo_readjudica' if (not nulo(f.fadjF) and not nulo(f.fadj0) and f.fadjF > f.fadj0) else 'fondo') if not igual(f.impF, f.imp0): if f.nn0 > 1 or f.nnF > 1: return 'T2', 'varios_adjudicatarios' if nulo(f.imp0) or f.imp0 == 0: return 'T2', 'completa_importe' if nulo(f.impF) or f.impF == 0: return 'T2', 'borra_importe' if abs(f.impF - f.imp0) <= 1: return 'T2', 'redondeo' q = f.impF / f.imp0 if abs(q - 1) < 0.01: return 'T2', 'menor_1pc' if (not nulo(f.impc0) and f.impF == f.impc0) or (not nulo(f.impcF) and f.imp0 == f.impcF) or any(abs(q - k) < 0.005 or abs(1 / q - k) < 0.005 for k in IVA): return 'T2', 'iva' if abs(math.log10(q)) >= 1: return 'T2', 'desproporcion' if any(abs(q - k) < 0.005 * k or abs(1 / q - k) < 0.005 * k for k in range(2, 10)): return 'T2', 'multiplo' return 'T2', ('fondo_sube' if f.impF > f.imp0 else 'fondo_baja') if not igual(f.fadjF, f.fadj0): if nulo(f.fadj0): return 'T4', 'completa_fecha' if nulo(f.fadjF): return 'T4', 'borra_fecha' return 'T4', ('fecha_31d' if abs((f.fadjF - f.fadj0).days) <= 31 else 'fecha_mas_31d') return 'sin_cambio', '-' def procesa(dig): partes = [] for base, src in (('unified_20261018', 'web'), ('unified_20261018.versiones', 'ver')): tb = leer(base, TR, C1, dig).to_pandas(); tb['src'] = src; partes.append(tb) r = pd.concat(partes, ignore_index=True); del partes; gc.collect() log('filas resultados', len(r)) fo = r['fila_origen'].to_numpy() r['ts'] = s_ts[fo] ver = r['src'] == 'ver' ts_id = r.loc[ver, 'id_canonical'].str.extract(r'@(\d{4}-\d{2}-\d{2}T[\d:.]+)', expand=False) ts_id = pd.to_datetime(ts_id, format='%Y-%m-%dT%H:%M:%S.%f', utc=True).astype('datetime64[ms, UTC]').astype('int64') assert (ts_id.to_numpy() == r.loc[ver, 'ts'].to_numpy()).all(), 'fecha del id distinta de la del scraper' r.loc[ver, 'ts'] = ts_id.to_numpy() r['code'] = s_code.take(pa.array(fo)).to_pandas(); r['lote_k'] = s_lote.take(pa.array(fo)).to_pandas().fillna('') r['feed'] = np.where(r['tabla_origen'] == 'resultados_licitaciones', 'propio', 'agregacion') nif = r['adjudicatario_nif'].fillna('').str.upper().str.replace(r'[^A-Z0-9]', '', regex=True) nom = r['adjudicatario_nombre'].fillna('').str.strip().str.upper().str.replace(r'[^A-Z0-9]', '', regex=True) r['nif_k'] = np.where(nif != '', nif, np.where(r['adjudicatario_nombre'].fillna('').str.strip() != '', 'N:' + nom, '?')) import unicodedata def sin_acentos(x): return ''.join(ch for ch in unicodedata.normalize('NFD', x) if unicodedata.category(ch) != 'Mn') nomu = r['adjudicatario_nombre'].fillna('').str.upper() r['nom_k'] = nomu.map(sin_acentos).str.replace(r'[^A-Z0-9]', '', regex=True) r['fecha_adj'] = pd.to_datetime(r['fecha_adj']); r['fecha_formalizacion'] = pd.to_datetime(r['fecha_formalizacion']) r['imp'] = r['imp_adj_eur_sin_iva'].round(2); r['imp_con'] = r['imp_adj_eur_con_iva'].round(2) r['adj'] = r['code'].isin(['1', '2', '8', '9']) | (r['code'].isna() & (r['unidad'] == 'adjudicacion')) r['anul'] = r['anulado_en_origen'].fillna(False).astype(bool) r = r.drop(columns=['adjudicatario_nif', 'adjudicatario_nombre', 'imp_adj_eur_sin_iva', 'imp_adj_eur_con_iva', 'anulado_en_origen', 'tabla_origen']) gc.collect(); log('normalizado') K = ['licitacion_id', 'feed', 'lote_k', 'ts'] # 2. estado de cada lote en cada versión a = r[r['adj']] pn = a.groupby(K + ['nif_k'], sort=False).agg(nom_k=('nom_k', 'max'), imp=('imp', 'max'), imp_con=('imp_con', 'max')).reset_index() pn = pn.sort_values(K + ['nif_k']) def tup(s): return tuple(s) lva = pn.groupby(K, sort=False).agg(nifs=('nif_k', tup), n_nif=('nif_k', 'size'), imp=('imp', lambda v: v.sum(min_count=1)), imp_con=('imp_con', lambda v: v.sum(min_count=1)), noms=('nom_k', lambda v: tuple(sorted(v)))).reset_index() del pn; gc.collect() g = r.groupby(K, sort=False) lv = g.agg(adj=('adj', 'any'), anul=('anul', 'any'), formalizado=('code', lambda v: (v == '9').any())).reset_index() neg = r[~r['adj']].groupby(K, sort=False)['code'].min().rename('cod_neg') fa = a.groupby(K, sort=False).agg(fadj=('fecha_adj', 'max'), fform=('fecha_formalizacion', 'max')) lv = lv.join(neg, on=K).join(fa, on=K).merge(lva, on=K, how='left') del lva, neg, fa, g; gc.collect(); log('lv', len(lv), int(lv['adj'].sum())) # 3. versiones de la licitación (también las de sin resultado) sr = pd.concat([leer(b, ['licitaciones_sin_resultado'], ['licitacion_id', 'fila_origen', 'estado_native', 'anulado_en_origen'], dig).to_pandas() for b in ('unified_20261018', 'unified_20261018.versiones')], ignore_index=True) sr = sr[~sr['licitacion_id'].str.startswith('PLACSP:datosAbiertosMenores/')] sr['ts'] = m_ts[sr['fila_origen'].to_numpy()] vs = sr.groupby(['licitacion_id', 'ts'], sort=False).agg(est_sr=('estado_native', 'first'), anul=('anulado_en_origen', lambda v: bool(v.fillna(False).any()))).reset_index() vs['con_res'] = False vr = r.groupby(['licitacion_id', 'ts'], sort=False)['anul'].any().reset_index(); vr['con_res'] = True; vr['est_sr'] = None v = pd.concat([vs, vr], ignore_index=True).groupby(['licitacion_id', 'ts'], sort=False).agg(con_res=('con_res', 'any'), est_sr=('est_sr', 'first'), anul=('anul', 'any')).reset_index() v = v.sort_values(['licitacion_id', 'ts']) vl = v.groupby('licitacion_id', sort=False).tail(1).rename(columns={'ts': 't_fin', 'con_res': 'fin_con_res', 'est_sr': 'fin_est', 'anul': 'fin_anul'}) del sr, vs, vr; gc.collect(); log('versiones', len(v), len(vl)) # 4. A0 y F lv = lv.sort_values(K) a0 = lv[lv['adj']].groupby(['licitacion_id', 'feed', 'lote_k'], sort=False).head(1) a0 = a0[['licitacion_id', 'feed', 'lote_k', 'ts', 'nifs', 'n_nif', 'imp', 'imp_con', 'noms', 'fadj']].rename( columns={'ts': 't0', 'nifs': 'nifs0', 'n_nif': 'nn0', 'imp': 'imp0', 'imp_con': 'impc0', 'noms': 'noms0', 'fadj': 'fadj0'}) fz = a0.merge(vl, on='licitacion_id', how='inner') fin = lv.rename(columns={'ts': 't_fin', 'adj': 'adjF', 'cod_neg': 'codF', 'nifs': 'nifsF', 'n_nif': 'nnF', 'imp': 'impF', 'imp_con': 'impcF', 'noms': 'nomsF', 'fadj': 'fadjF'}) fz = fz.merge(fin[['licitacion_id', 'feed', 'lote_k', 't_fin', 'adjF', 'codF', 'nifsF', 'nnF', 'impF', 'impcF', 'nomsF', 'fadjF']], on=['licitacion_id', 'feed', 'lote_k', 't_fin'], how='left') # renumeración aus = fz[fz['adjF'].isna() & fz['fin_con_res']] cand = fin[fin['adjF']][['licitacion_id', 'feed', 't_fin', 'lote_k', 'nifsF', 'impF']].rename(columns={'lote_k': 'lote_g'}) mm = aus[['licitacion_id', 'feed', 'lote_k', 't_fin', 'nifs0', 'imp0']].merge(cand, on=['licitacion_id', 'feed', 't_fin']) ok = (mm['lote_g'] != mm['lote_k']) & (mm['nifsF'] == mm['nifs0']) & ((mm['impF'] == mm['imp0']) | (mm['impF'].isna() & mm['imp0'].isna())) ren = set(map(tuple, mm.loc[ok, ['licitacion_id', 'feed', 'lote_k']].drop_duplicates().to_numpy())) del aus, cand, mm; gc.collect(); log('fz', len(fz), 'renum', len(ren)) res = [clasifica(f, ren) for f in fz.itertuples(index=False)] fz['tipo_cambio'] = [x[0] for x in res]; fz['subtipo'] = [x[1] for x in res] FONDO = {('T1', 'anulada_borrado'), ('T1', 'anulada_estado'), ('T1', 'desierto'), ('T1', 'desistimiento'), ('T1', 'renuncia'), ('T3', 'fondo'), ('T3', 'fondo_readjudica'), ('T2', 'fondo_sube'), ('T2', 'fondo_baja')} fz['fondo'] = [x in FONDO for x in res] log('clasificado', fz['tipo_cambio'].value_counts().to_dict()) # 5. atributos de la fila A0 (entre las filas adjudicadas de A0, el valor no nulo de menor id_canonical, como arg_min) a0r = r[r['adj']].merge(a0[['licitacion_id', 'feed', 'lote_k', 't0']], left_on=['licitacion_id', 'feed', 'lote_k', 'ts'], right_on=['licitacion_id', 'feed', 'lote_k', 't0']) filas = set(a0r['fila_origen'].tolist()) del r, lv, fin; gc.collect() C2 = ['fila_origen', 'id_canonical', 'organo_nif', 'organo_nombre', 'dir3', 'procedimiento', 'tipo_contrato', 'cpv_division', 'anio_ref', 'rol_am', 'tramitacion', 'es_menor', 'es_contrato'] fl = pa.array(sorted(filas), pa.int64()) at = pd.concat([leer(b, TR, C2, dig, pc.field('fila_origen').isin(fl)).to_pandas() for b in ('unified_20261018', 'unified_20261018.versiones')], ignore_index=True) at = at.merge(a0r[['fila_origen', 'licitacion_id', 'feed', 'lote_k']], on='fila_origen').sort_values('id_canonical') G3 = ['licitacion_id', 'feed', 'lote_k'] agg = {c: (c, 'first') for c in ['organo_nif', 'organo_nombre', 'dir3', 'procedimiento', 'tipo_contrato', 'cpv_division', 'rol_am', 'tramitacion']} # first() salta nulos agg.update(anio=('anio_ref', 'max'), es_menor=('es_menor', lambda v: bool(v.dropna().any()) if v.notna().any() else None), es_contrato=('es_contrato', lambda v: bool(v.dropna().all()) if v.notna().any() else None)) at = at.groupby(G3, sort=False).agg(**agg).reset_index() fz = fz.merge(at, on=G3, how='inner') PROC = {'Abierto', 'Restringido', 'Negociado_publicidad', 'Dialogo_competitivo', 'Asociacion_innovacion'} u = (fz['es_menor'] == False) & (fz['es_contrato'] == True) & fz['procedimiento'].isin(PROC) & ~fz['rol_am'].fillna('').isin(['basado', 'basado_sda']) \ & (fz['tramitacion'].fillna('') != 'emergencia') & fz['anio'].between(2018, 2025) U = fz[u].copy(); log('U', len(U), int(U['fondo'].sum())) return U Us = [] for dig in '0123456789': Us.append(procesa(dig)); log('cubeta', dig, len(Us[-1])); gc.collect() U = pd.concat(Us, ignore_index=True); del Us G3 = ['licitacion_id', 'feed', 'lote_k'] U[G3 + ['tipo_cambio', 'subtipo', 'fondo', 'anio']].to_parquet('/w/tmp/impl2_lotes.parquet') # 6. embudo of = pq.read_table('/d/unified_20261018.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']).to_pandas() for cc in ['organo_nif', 'organo_nombre', 'dir3']: of[cc] = of[cc].fillna('\x00'); U[cc] = U[cc].fillna('\x00') U = U.merge(of, on=['organo_nif', 'organo_nombre', 'dir3'], how='left') U['cpv'] = U['cpv_division'].fillna('??'); U['tipo'] = np.where(U['tipo_contrato'].isin(['Obras', 'Servicios', 'Suministros']), U['tipo_contrato'], 'Otros') U['oc'] = U['organo_clave'].fillna('\x00NULO'); U['k1'] = U['fondo'].astype(int) pt = U.groupby(['tipo', 'anio']).agg(n_t=('k1', 'size'), k_t=('k1', 'sum')).reset_index() cm = U.groupby(['cpv', 'tipo', 'anio']).agg(n_m=('k1', 'size'), k_m=('k1', 'sum')).reset_index() co = U.groupby(['oc', 'cpv', 'tipo', 'anio']).agg(n_mo=('k1', 'size'), k_mo=('k1', 'sum')).reset_index() co = co.merge(cm, on=['cpv', 'tipo', 'anio']).merge(pt, on=['tipo', 'anio']) co['p'] = (co['k_m'] - co['k_mo'] + 50.0 * co['k_t'] / co['n_t']) / (co['n_m'] - co['n_mo'] + 50.0) co = co[co['oc'] != '\x00NULO'] co['E'] = co['n_mo'] * co['p']; co['V'] = co['n_mo'] * co['p'] * (1 - co['p']) oa = co.groupby(['oc', 'anio']).agg(n=('n_mo', 'sum'), k=('k_mo', 'sum'), E=('E', 'sum'), V=('V', 'sum')).reset_index() def tau2_impl2(df): d = df[df['n'] >= 30] r_ = d['k'] / d['n']; e_ = d['E'] / d['n']; s_ = np.sqrt(d['V']) / d['n'] m = s_ > 0; z = ((r_ - e_) / s_)[m].to_numpy(); I = len(z) if I < 2: return 0.0 lo, hi = np.percentile(z, 10), np.percentile(z, 90); zw = np.clip(z, lo, hi); phi = float(np.mean(zw ** 2)) w = 1 / s_[m].to_numpy() ** 2 return max((I * phi - (I - 1)) / (w.sum() - (w ** 2).sum() / w.sum()), 0.0) if I * phi > I - 1 else 0.0 taus = {a_: tau2_impl2(g_) for a_, g_ in oa.groupby('anio')} oa['tau2'] = oa['anio'].map(taus) oa['zd'] = (oa['k'] / oa['n'] - oa['E'] / oa['n']) / np.sqrt(oa['V'] / oa['n'] ** 2 + oa['tau2']) oa['hecho'] = (oa['n'] >= 30) & (oa['k'] >= 3) & (oa['zd'] > 3.090232) oa.rename(columns={'oc': 'organo_clave'}).to_parquet('/w/tmp/impl2_oa.parquet') R = {'lotes_U': len(U), 'fondo': int(U['fondo'].sum()), 'organos_anio': len(oa), 'n30': int((oa['n'] >= 30).sum()), 'hecho': int(oa['hecho'].sum()), 'tau2': taus, 'tipos': {f'{a}|{b}': int(v) for (a, b), v in U.groupby(['tipo_cambio', 'subtipo']).size().items()}} json.dump(R, open('/w/salidas/35_impl2.json', 'w'), ensure_ascii=False, indent=1, default=str); log(json.dumps({k: R[k] for k in ('lotes_U', 'fondo', 'organos_anio', 'n30', 'hecho')}, default=str))