"""Segunda implementación (§6.2): pandas + pyarrow, sin DuckDB, desde los parquet. Compara fila a fila con la impl1.""" import csv, re, unicodedata, datetime as dt, os, json import pandas as pd, pyarrow.dataset as ds, pyarrow.compute as pc, pyarrow.parquet as pq D = '/d/unified_20261018' def sa(x): if x is None or (isinstance(x, float) and x != x): return '' return ''.join(ch for ch in unicodedata.normalize('NFD', str(x)) if unicodedata.category(ch) != 'Mn').lower() FORMAS = re.compile(r'(?:\s(?:SOCIEDAD|SOCIETAT)\s(?:LIMITADA|ANONIMA|COOPERATIVA|CIVIL)(?:\s(?:UNIPERSONAL|LABORAL|PROFESIONAL))?|\sS ?L ?U|\sS ?A ?U|\sS ?L ?L|\sS ?L ?P|\sS ?L ?N ?E|\sS ?C ?C ?L|\sS ?C ?P|\sS ?C ?L|\sS ?A ?L|\sS ?L|\sS ?A|\sS ?C|\sS ?COOP(?: AND)?|\sCOOP|\sSOCIEDAD UNIPERSONAL|\sSOCIETAT UNIPERSONAL|\sUNIPERSONAL|\sA ?I ?E|\sU ?T ?E)+$') def norm_empresa(x): s = ''.join(ch for ch in unicodedata.normalize('NFD', str(x).upper()) if unicodedata.category(ch) != 'Mn') s = re.sub(r'[^A-Z0-9]+', ' ', s).strip() s = FORMAS.sub('', s); s = re.sub(r'^(UTE|U T E|UNION TEMPORAL DE EMPRESAS) ', 'UTE ', s).strip() return s or None nif_ok = lambda n: bool(n) and bool(re.fullmatch(r'[A-Z][0-9]{8}|[A-Z][0-9]{7}[A-Z]', n)) dic = pd.read_parquet(f'{D}.identidad/diccionario_nombres.parquet', columns=['nombre_norm', 'nif_inferido']).dropna() dic = dict(zip(dic.nombre_norm, dic.nif_inferido)) def resolver(nif, nombre): return nif if nif_ok(nif) else dic.get(norm_empresa(nombre)) R = list(csv.DictReader(open('/p/interno/registro.csv'))) for r in R: r['nif_res'] = resolver(r['nif'], r['entidad']) V = list(csv.DictReader(open('/p/interno/v12_entidades.csv'))) for v in V: v['nif_res'] = resolver(v['nif'], v['entidad']) NIFS = {x['nif_res'] for x in R + V if x['nif_res']} print('NIF resueltos', len(NIFS)) af = pd.read_parquet(f'{D}.identidad/adjudicatarios_filas.parquet', columns=['adjudicatario_nif_raw', 'adjudicatario_nif', 'adjudicatario_nombre', 'empresa_clave', 'persona_fisica']) af = af[af.empresa_clave.isin(NIFS) | af.adjudicatario_nif.isin(NIFS)] nombres = set(af.adjudicatario_nombre.dropna()) of = pd.read_parquet(f'{D}.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']) vf = pd.read_parquet(f'{D}.vinculos/filas.parquet', columns=['source', 'id_canonical', 'cuenta']) nocuenta = set(zip(vf.source[vf.cuenta == False], vf.id_canonical[vf.cuenta == False])); del vf COLS = ['id_canonical', 'unidad', 'es_menor_dudoso', 'anulado_en_origen', 'copia_de', 'correccion_imp_adj', 'fecha_adj', 'fecha_formalizacion', 'imp_adj_eur_comparable', 'imp_adj_eur_sin_iva', 'imp_adj_eur', 'organo_nif', 'organo_nombre', 'dir3', 'adjudicatario_nif_raw', 'adjudicatario_nif', 'adjudicatario_nombre', 'objeto', 'cpv_code', 'es_menor'] partes = [] for src in sorted(os.listdir(D)): S = src.split('=')[1] d = ds.dataset(f'{D}/{src}', format='parquet', partitioning='hive') cols = [c for c in COLS if c in d.schema.names] f = (pc.field('unidad') == 'adjudicacion') & (pc.field('adjudicatario_nif').isin(list(NIFS)) | pc.field('adjudicatario_nombre').isin(list(nombres))) t = d.to_table(columns=cols, filter=f).to_pandas() for c in COLS: if c not in t: t[c] = None t['source'] = S; partes.append(t) u = pd.concat(partes, ignore_index=True); del partes u = u[~u.es_menor_dudoso.fillna(False).astype(bool) & ~u.anulado_en_origen.fillna(False).astype(bool) & u.copia_de.isna() & ~u.correccion_imp_adj.fillna('').isin(['copia_otra_fuente', 'repetido', 'inverosimil'])] u = u[[(s, i) not in nocuenta for s, i in zip(u.source, u.id_canonical)]] u = u.merge(af, on=['adjudicatario_nif_raw', 'adjudicatario_nif', 'adjudicatario_nombre'], how='inner') u = u.merge(of, on=['organo_nif', 'organo_nombre', 'dir3'], how='left') u = u[u.organo_clave.notna() & u.empresa_clave.notna() & ~u.persona_fisica.fillna(False).astype(bool)] u['F'] = pd.to_datetime(u.fecha_adj.fillna(u.fecha_formalizacion), errors='coerce').dt.date u = u[u.F.notna()] u = u[(u.F >= dt.date(2010, 1, 1)) & (u.F <= dt.date(2026, 10, 18))] u = u.drop_duplicates(['source', 'id_canonical', 'empresa_clave']) print('filas candidatas', len(u)) def amb_t(r, row): a = r['ambito_territorial']; o = sa(row.organo_nombre) if a in ('Administraciones Públicas', 'sector público', 'todo el territorio nacional'): return True if a == 'Ayuntamiento de Barakaldo': return 'barakaldo' in o if a == 'SMC': return 'meteorol' in o and ('catalun' in o or 'smc' in o) return False def amb_m(r, row): g = r['regla_material']; ob = sa(row.objeto); cpv = str(row.cpv_code or ''); o = sa(row.organo_nombre) if g == '': return True if g == 'viajes': return cpv.startswith('6351') or 'agencia de viaj' in ob or 'viajes' in ob if g == 'eolico': return 'eolic' in ob if g == 'contador': return 'contador' in ob or 'equipos de medida' in ob if g == 'capilar': return cpv.startswith('33711') or cpv.startswith('33741') or any(k in ob for k in ('capilar', 'cabello', 'peluquer')) if g == 'smc': return ('radar' in ob or 'estacion' in ob) and ('meteorol' in ob or 'meteorol' in o) return False H = [] for r in R: if r['estrato'] not in ('A', 'B') or not r['nif_res']: continue i0, i1 = dt.date.fromisoformat(r['inicio']), dt.date.fromisoformat(r['fin']) m = u[((u.empresa_clave == r['nif_res']) | (u.adjudicatario_nif == r['nif_res'])) & (u.F >= i0) & (u.F <= i1)] for row in m.itertuples(): H.append(dict(source=row.source, id_canonical=row.id_canonical, hecho='H-' + r['estrato'], expediente=r['expediente'], en_ambito=amb_t(r, row) and amb_m(r, row))) H = pd.DataFrame(H) VV = {} for v in sorted(V, key=lambda v: v['fecha_resolucion']): if not v['nif_res']: continue f0 = dt.date.fromisoformat(v['fecha_resolucion']) m = u[((u.empresa_clave == v['nif_res']) | (u.adjudicatario_nif == v['nif_res'])) & (u.F > f0) & (u.F <= f0 + dt.timedelta(days=365))] for row in m.itertuples(): VV.setdefault((row.source, row.id_canonical), v['fecha_resolucion']) print('impl2: H', len(H), H.groupby('hecho').size().to_dict() if len(H) else {}, 'en_ambito', int(H.en_ambito.sum()) if len(H) else 0, '| V12', len(VV)) h1 = pq.read_table('/p/interno/hechos_INTERNO.parquet', columns=['source', 'id_canonical', 'hecho', 'expediente', 'en_ambito']).to_pandas() v1 = pq.read_table('/p/interno/v12_INTERNO.parquet', columns=['source', 'id_canonical']).to_pandas() k = ['source', 'id_canonical', 'hecho', 'expediente'] mH = h1.merge(H, on=k, how='outer', suffixes=('_1', '_2'), indicator=True) dif_H = mH[(mH._merge != 'both') | (mH.en_ambito_1 != mH.en_ambito_2)] s1 = set(zip(v1.source, v1.id_canonical)); s2 = set(VV) res = dict(H_impl1=len(h1), H_impl2=len(H), dif_H=len(dif_H), dif_H_ambito=int(((mH._merge == 'both') & (mH.en_ambito_1 != mH.en_ambito_2)).sum()), V12_impl1=len(s1), V12_impl2=len(s2), V12_solo_1=len(s1 - s2), V12_solo_2=len(s2 - s1), filas_con_algun_hecho=len(set(zip(h1.source, h1.id_canonical)) | set(zip(H.source, H.id_canonical)) | s1 | s2)) res['pct_dif'] = round(100 * (res['dif_H'] + res['V12_solo_1'] + res['V12_solo_2']) / max(1, res['filas_con_algun_hecho']), 3) print(json.dumps(res, indent=1)) json.dump(res, open('/p/salidas/07_impl2.json', 'w'), indent=1) if len(dif_H): dif_H.head(50).to_csv('/p/interno/impl2_dif_H.csv', index=False) pd.DataFrame(sorted((s1 ^ s2)), columns=['source', 'id_canonical']).head(200).to_csv('/p/interno/impl2_dif_V12.csv', index=False)