"""MOD-EJEC · 41 · SEGUNDA implementación del PREREG_2 (md5 de3e22b1…), escrita desde el texto sin importar la primera ni su base: pandas + pyarrow (sin DuckDB) sobre los parquet de unified_20261103 y sus satélites, sus propios filtros y su propio casado con la identidad. Compara n y k por órgano × fuente con priv/sob_organos.parquet (de 40). -> salidas/41_impl2.json""" import json, re, time import numpy as np, pandas as pd, pyarrow.dataset as ds, pyarrow.compute as pc T0 = time.time() def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) D = '/d/unified_20261103' of = pd.read_parquet(D + '.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']) k3 = lambda a, b, c: list(zip(a.fillna('\x00'), b.fillna('\x00'), c.fillna('\x00'))) MAPA = dict(zip(k3(of.organo_nif, of.organo_nombre, of.dir3), of.organo_clave)); del of ot = pd.read_parquet(D + '.identidad/organos_tipo.parquet', columns=['organo_clave', 'tipo', 'nif_persona_fisica']) TIPO = dict(zip(ot.organo_clave, ot.tipo)); PFO = set(ot.organo_clave[ot.nif_persona_fisica.fillna(False).astype(bool)]); del ot RE_PF = re.compile(r"^([0-9]{8}[A-Z]|[XYZKLM][0-9]{7}[A-Z])\|") def organo(df): return pd.Series([MAPA.get(t) for t in k3(df.organo_nif, df.organo_nombre, df.dir3)], index=df.index) def bool_(s): return s.fillna(False).astype(bool) partes = [] # ---- PLACSP por licitación (universo de EJ1) cols = ['id_canonical', 'tabla_origen', 'licitacion_id', 'anio_ref', 'organo_nif', 'organo_nombre', 'dir3', 'procedimiento', 'vigente', 'es_contrato', 'es_menor', 'unidad', 'rol_am', 'tramitacion', 'imp_adj_eur_comparable', 'copia_de', 'correccion_imp_adj'] f = ds.dataset(D + '/source=PLACSP', format='parquet', partitioning='hive').to_table(columns=cols, filter=(pc.field('tabla_origen') == 'resultados_licitaciones') & (pc.field('unidad') == 'adjudicacion') & (pc.field('anio_ref') >= 2018) & (pc.field('anio_ref') <= 2025)).to_pandas() PROC = ['Abierto', 'Restringido', 'Negociado_publicidad', 'Negociado_sin_publicidad', 'Dialogo_competitivo', 'Asociacion_innovacion'] f = f[bool_(f.vigente) & bool_(f.es_contrato) & (f.es_menor == False) & f.procedimiento.isin(PROC) & ~f.rol_am.fillna('').isin(['acuerdo', 'sda', 'basado', 'basado_sda']) & (f.tramitacion.fillna('') != 'emergencia')] v = ds.dataset(D + '.vinculos/filas.parquet').to_table(columns=['id_canonical', 'cuenta'], filter=pc.field('source') == 'PLACSP').to_pandas().drop_duplicates('id_canonical') f = f.merge(v, on='id_canonical', how='left'); del v f = f[f.copia_de.isna() & (f.correccion_imp_adj.fillna('') != 'copia_otra_fuente') & (f.cuenta != False)].sort_values('id_canonical') g = f.groupby('licitacion_id', sort=False) L = pd.DataFrame({'anio': g.anio_ref.max(), 'organo_nif': g.organo_nif.first(), 'organo_nombre': g.organo_nombre.first(), 'dir3': g.dir3.first(), 'A': g.imp_adj_eur_comparable.sum(min_count=1)}) # el órgano de la licitación: por columna, el primer valor no nulo en el orden del id (como el texto de EJ1: «el de su primera fila») del f, g M = pd.read_parquet(D + '.modificaciones/modificaciones.parquet', columns=['licitacion_id', 'tipo', 'importe_modificacion_sin_iva', 'cambia_importe', 'cambia_plazo']) M = M[M.licitacion_id.isin(L.index)] ci = bool_(M.cambia_importe); cp = bool_(M.cambia_plazo) M = M[ci & (M.tipo.isin(['modificacion', 'otro']) | (M.tipo.isna() & ~cp))] agg = M.groupby('licitacion_id').importe_modificacion_sin_iva.agg(['sum', 'size']) L['s_mod'] = agg['sum'].reindex(L.index).fillna(0); L['nmod'] = agg['size'].reindex(L.index).fillna(0) L['organo_clave'] = organo(L); L = L[(L.anio <= 2024) & (L.A > 0)] L['fuente'] = 'PLACSP'; partes.append(L.reset_index()[['fuente', 'licitacion_id', 'organo_clave', 'anio', 'A', 's_mod', 'nmod']].rename(columns={'licitacion_id': 'id'})) log('PLACSP', len(L)); del L, M # ---- RPC, PSCP y Madrid por contrato C = pd.read_parquet(D + '.cambios/cambios.parquet', columns=['fuente', 'tipo', 'id_canonical', 'fecha', 'importe_cambio']) C = C[C.fuente.isin(['CATALUNYA', 'CATALUNYA_PSCP', 'MADRID_AYTO']) & (C.tipo == 'modificacion') & C.importe_cambio.notna() & (C.importe_cambio != 0) & C.id_canonical.notna()] C = C.drop_duplicates(['fuente', 'id_canonical', 'fecha', 'importe_cambio']) for src, nom, tabla, col in (('CATALUNYA', 'RPC', 'contratos_registro', 'imp_adj_eur'), ('CATALUNYA_PSCP', 'PSCP', 'publicaciones_pscp', 'imp_adj_eur_sin_iva'), ('MADRID_AYTO', 'MADRID', 'actividad_contractual_madrid_completo', 'imp_adj_eur')): cols = ['id_canonical', 'tabla_origen', 'unidad', 'organo_nif', 'organo_nombre', 'dir3', 'fecha_adj', col, 'es_contrato', 'vigente', 'es_menor', 'copia_de', 'correccion_imp_adj', 'rol_am', 'tramitacion', 'procedimiento_native'] u = ds.dataset(f'{D}/source={src}', format='parquet', partitioning='hive').to_table(columns=cols, filter=(pc.field('tabla_origen') == tabla) & (pc.field('unidad') == 'adjudicacion')).to_pandas() a = pd.to_datetime(u.fecha_adj).dt.year u = u[bool_(u.es_contrato) & bool_(u.vigente) & ~bool_(u.es_menor) & u.copia_de.isna() & (u.correccion_imp_adj.fillna('') != 'copia_otra_fuente') & u.rol_am.isna() & (u.tramitacion.fillna('') != 'emergencia') & (u.procedimiento_native.fillna('') != "Contractes d'emergències") & a.between(2018, 2024) & (u[col] > 0)].copy() u['anio'] = pd.to_datetime(u.fecha_adj).dt.year; u['A'] = u[col] cc = C[C.fuente == src].groupby('id_canonical').importe_cambio.agg(['sum', 'size']) u['s_mod'] = cc['sum'].reindex(u.id_canonical).fillna(0).values; u['nmod'] = cc['size'].reindex(u.id_canonical).fillna(0).values u['organo_clave'] = organo(u); u['fuente'] = nom partes.append(u[['fuente', 'id_canonical', 'organo_clave', 'anio', 'A', 's_mod', 'nmod']].rename(columns={'id_canonical': 'id'})) log(nom, len(u)); del u T = pd.concat(partes, ignore_index=True); del partes T = T[T.organo_clave.notna()] T = T[~T.organo_clave.isin(PFO) & ~T.organo_clave.str.match(RE_PF)] T['y'] = (T.s_mod - 0.20 * T.A) > 0.01 O2 = T.groupby(['fuente', 'organo_clave']).agg(n=('y', 'size'), k=('y', 'sum')).reset_index() O1 = pd.read_parquet('/w/priv/sob_organos.parquet', columns=['fuente', 'organo_clave', 'n', 'k']) J = O1.merge(O2, on=['fuente', 'organo_clave'], how='outer', suffixes=('_1', '_2'), indicator=True) dif = J[(J._merge != 'both') | (J.n_1 != J.n_2) | (J.k_1 != J.k_2)] R = {'prerregistro': 'de3e22b12fae39ffc63756d008b892a1', 'organos_fuente': int(len(J)), 'diferencias': int(len(dif)), 'diferencias_n30': int(len(dif[(dif.n_1.fillna(0) >= 30) | (dif.n_2.fillna(0) >= 30)])), 'por_fuente': {f: {'contratos': int((T.fuente == f).sum()), 'k': int(T.y[T.fuente == f].sum()), 'organos': int((O2.fuente == f).sum()), 'organos_n30': int(((O2.fuente == f) & (O2.n >= 30)).sum())} for f in sorted(T.fuente.unique())}, 'muestra_diferencias': dif.head(10).astype(str).to_dict(orient='records'), 'segundos': round(time.time() - T0)} json.dump(R, open('/w/salidas/41_impl2.json', 'w'), ensure_ascii=False, indent=1) log(json.dumps(R, ensure_ascii=False)[:1500])