"""RES-1 · 30 · SEGUNDA implementación del PREREG_RES1 (md5 522d4b7b…), escrita desde el texto, sin importar la primera ni leer sus salidas salvo para comparar al final: pandas + pyarrow (sin DuckDB) sobre los parquet de unified_20261103, el satélite .cambios y la identidad; sus propios filtros, casado y clasificación de causas. Compara n, k, k_inc y k_mut por órgano × fuente-hecho. -> salidas/30_impl2.json""" import datetime as dt, json, re, time, unicodedata import pandas as pd, pyarrow.dataset as ds, pyarrow.compute as pc T0 = time.time() def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) D = '/d/unified_20261103' FD, F0 = pd.Timestamp('2026-11-03'), pd.Timestamp('2000-01-01') of = pd.read_parquet(D + '.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']) k3 = lambda a, b, c: list(zip(a.fillna('\x00'), b.fillna('\x00'), c.fillna('\x00'))) MAPA = dict(zip(k3(of.organo_nif, of.organo_nombre, of.dir3), of.organo_clave)); del of ot = pd.read_parquet(D + '.identidad/organos_tipo.parquet', columns=['organo_clave', 'tipo', 'nif_persona_fisica']) PFO = set(ot.organo_clave[ot.nif_persona_fisica.fillna(False).astype(bool)]); del ot RE_PF = re.compile(r"^([0-9]{8}[A-Z]|[XYZKLM][0-9]{7}[A-Z])\|") def sin_tildes(s): return ''.join(ch for ch in unicodedata.normalize('NFKD', s) if not unicodedata.combining(ch)).lower() def clase(t): d = sin_tildes(t) if isinstance(t, str) else '' if re.search('incumpl|incompl|impag', d) or ('demora' in d and re.search('contratista|contractista', d)): return 'inc' if re.search('mutuo acuerdo|comu acord|mutu acord', d): return 'mut' return 'otra' if d.strip() else 'sin' cam = pd.read_parquet(D + '.cambios/cambios.parquet', columns=['fuente', 'tipo', 'id_canonical', 'fecha', 'descripcion', 'tipo_fuente']) cam = cam[cam.tipo.isin(['resolucion', 'penalidad']) & cam.id_canonical.notna()].drop_duplicates() # Enmienda B (b3eecf93…): un acto que desiste, renuncia, deja sin efecto, revoca o anula la imposición o la penalidad no es una penalidad impuesta RETIRA = re.compile(r'(desisti|desestiment|renunci|sense efecte|sin efecto|revoca|anulla|anula).{0,60}(imposici|penalit|penalidad|sancio)', re.S) def retirada(tf, de): t = ((tf if isinstance(tf, str) else '') + ' · ' + (de if isinstance(de, str) else '')).replace('l·l', 'll') return bool(RETIRA.search(sin_tildes(t))) cam['ret'] = [t == 'penalidad' and retirada(tf, de) for t, tf, de in zip(cam.tipo, cam.tipo_fuente, cam.descripcion)] R_RET = {f: int(cam.ret[cam.fuente == f].sum()) for f in sorted(cam.fuente.unique())} cam = cam[~cam.ret].drop(columns=['ret', 'tipo_fuente']).drop_duplicates() cam['fecha'] = pd.to_datetime(cam.fecha) cam['cl'] = cam.descripcion.map(clase) COLS = ['id_canonical', 'tabla_origen', 'unidad', 'es_contrato', 'vigente', 'es_menor', 'copia_de', 'correccion_imp_adj', 'rol_am', 'tramitacion', 'procedimiento_native', 'imp_adj_eur', 'fecha_adj', 'organo_nif', 'organo_nombre', 'dir3'] DEF = {'RPC-RES': ('CATALUNYA', ['contratos_registro'], 'resolucion', 2021, 2024), 'REGCON-RES': ('VALENCIA', ['regcon', 'regcon_dana'], 'resolucion', 2014, 2022), 'MADRID-RES': ('MADRID_AYTO', ['actividad_contractual_madrid_completo'], 'resolucion', 2021, 2024), 'MADRID-PEN': ('MADRID_AYTO', ['actividad_contractual_madrid_completo'], 'penalidad', 2021, 2024), 'PSCP-PEN': ('CATALUNYA_PSCP', ['publicaciones_pscp'], 'penalidad', 2021, 2024)} filas = [] cache = {} for fh, (src, tablas, tipo, a0, a1) in DEF.items(): key = (src, tuple(tablas)) if key not in cache: t = ds.dataset(f'{D}/source={src}', format='parquet', partitioning='hive').to_table( columns=COLS, filter=pc.field('tabla_origen').isin(tablas) & (pc.field('unidad') == 'adjudicacion') & (pc.field('es_menor') != True)).to_pandas() cache.clear(); cache[key] = t u = cache[key].copy() u['fecha_adj'] = pd.to_datetime(u.fecha_adj) ok = (u.es_contrato.fillna(False).astype(bool) & u.vigente.fillna(False).astype(bool) & (u.es_menor.fillna(False) == False) & u.copia_de.isna() & (u.correccion_imp_adj.fillna('') != 'copia_otra_fuente') & u.rol_am.isna() & (u.tramitacion.fillna('') != 'emergencia') & (u.procedimiento_native.fillna('') != "Contractes d'emergències") & (u.imp_adj_eur > 0) & u.fecha_adj.dt.year.between(a0, a1)) u = u[ok].copy() u['oc'] = [MAPA.get(z) for z in k3(u.organo_nif, u.organo_nombre, u.dir3)] u = u[u.oc.notna() & ~u.oc.isin(PFO) & ~u.oc.astype(str).str.match(RE_PF)] e = cam[(cam.fuente == src) & (cam.tipo == tipo)].merge(u[['id_canonical', 'fecha_adj']], on='id_canonical') malas = e.fecha.notna() & ((e.fecha > FD) | (e.fecha < F0) | (e.fecha < e.fecha_adj)) e = e[~malas] g = e.groupby('id_canonical').cl.agg(lambda s: set(s)) u['y'] = u.id_canonical.isin(g.index) u['yi'] = u.id_canonical.map(lambda i: 'inc' in g.get(i, set())) u['ym'] = u.id_canonical.map(lambda i: 'mut' in g.get(i, set())) if tipo == 'penalidad' or src == 'MADRID_AYTO': u['yi'] = False; u['ym'] = False o = u.groupby('oc').agg(n=('y', 'size'), k=('y', 'sum'), k_inc=('yi', 'sum'), k_mut=('ym', 'sum')).reset_index() o['fh'] = fh filas.append(o) log(fh, len(u), int(u.y.sum()), int(u.yi.sum()), int(u.ym.sum()), 'fechas que no cuentan', int(malas.sum())) I2 = pd.concat(filas).rename(columns={'oc': 'organo_clave'}) I1 = pd.read_parquet('/w/priv/lineas.parquet', columns=['fh', 'organo_clave', 'n', 'k', 'k_inc', 'k_mut']) C = I1.merge(I2, on=['fh', 'organo_clave'], how='outer', suffixes=('_1', '_2'), indicator=True) dif = C[(C._merge != 'both') | (C.n_1 != C.n_2) | (C.k_1 != C.k_2) | (C.k_inc_1 != C.k_inc_2) | (C.k_mut_1 != C.k_mut_2)] R = {'prerregistro': '522d4b7be8dc000fea4e6de620b27798', 'enmienda_B': 'b3eecf93e769247abd5ea01d348c1476', 'retiradas_en_el_satelite': R_RET, 'lineas_impl1': len(I1), 'lineas_impl2': len(I2), 'diferencias': len(dif), 'por_fh': {fh: {'lineas': int((I2.fh == fh).sum()), 'n': int(I2.n[I2.fh == fh].sum()), 'k': int(I2.k[I2.fh == fh].sum()), 'k_inc': int(I2.k_inc[I2.fh == fh].sum()), 'k_mut': int(I2.k_mut[I2.fh == fh].sum())} for fh in DEF}, 'ejemplos_diferencia': dif.head(20).astype(str).to_dict(orient='records')} json.dump(R, open('/w/salidas/30_impl2.json', 'w'), ensure_ascii=False, indent=1) log('diferencias', len(dif), R['por_fh'])