"""H-RGA · segunda implementación (PREREG_RGA §4b): pyarrow + pandas, sin DuckDB, desde unified (filas de la Comunitat Valenciana), la identidad y el CSV de REGIA: la regla GVA, N, K y p, en total y por año, sin menores.""" import pyarrow.dataset as ds, pyarrow.compute as pc, pyarrow.parquet as pq, pandas as pd, json, re, unicodedata U = '/v2/unified_20261103'; I = f'{U}.identidad/' cols = ['source', 'id_canonical', 'anio_ref', 'ccaa', 'organo_nif', 'organo_nombre', 'dir3', 'adjudicatario_nif_raw', 'adjudicatario_nif', 'adjudicatario_nombre', 'es_menor', 'es_menor_dudoso', 'rol_am', 'imp_adj_eur_corregido', 'unidad', 'copia_de', 'correccion_imp_adj', 'anulado_en_origen'] d = ds.dataset(U, format='parquet', partitioning='hive') present = set(d.schema.names) t = d.to_table(columns=[c for c in cols if c in present], filter=(pc.field('ccaa') == 'VC') & (pc.field('unidad') == 'adjudicacion') & (pc.field('anio_ref') >= 2022) & (pc.field('anio_ref') <= 2025)) u = t.to_pandas() u = u[u['copia_de'].isna() & (u['correccion_imp_adj'].fillna('') != 'copia_otra_fuente') & ~u['anulado_en_origen'].fillna(False).astype(bool)] v = pq.read_table(f'{U}.vinculos/filas.parquet', columns=['id_canonical', 'cuenta']).to_pandas() u = u[~u['id_canonical'].isin(set(v.loc[~v['cuenta'].astype(bool), 'id_canonical']))] of = pq.read_table(I + 'organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave', 'entidad_clave']).to_pandas() ot = pq.read_table(I + 'organos_tipo.parquet', columns=['organo_clave', 'tipo']).to_pandas() en = pq.read_table(I + 'entidades.parquet', columns=['entidad_clave', 'administracion']).to_pandas() af = pq.read_table(I + 'adjudicatarios_filas.parquet', columns=['adjudicatario_nif_raw', 'adjudicatario_nif', 'adjudicatario_nombre', 'empresa_tipo', 'empresa_clave']).to_pandas() K3 = ['organo_nif', 'organo_nombre', 'dir3']; A3 = ['adjudicatario_nif_raw', 'adjudicatario_nif', 'adjudicatario_nombre'] for df, ks in ((u, K3 + A3), (of, K3), (af, A3)): for k in ks: df[k] = df[k].astype(object).where(df[k].notna(), '\x00') u = u.merge(of, on=K3, how='inner').merge(ot, on='organo_clave', how='left').merge(en, on='entidad_clave', how='left').merge(af, on=A3, how='inner') pf = re.compile(r'^([0-9]{8}[A-Z]|[XYZKLM][0-9]{7}[A-Z])$') u = u[(u['empresa_tipo'] == 'empresa') & u['empresa_clave'].notna()] u = u[~u['empresa_clave'].map(lambda n: bool(pf.match(n))) & ~u['empresa_clave'].str[:1].isin(['P', 'S'])] def sin(s): return ''.join(c for c in unicodedata.normalize('NFKD', (s or '').upper()) if not unicodedata.combining(c)) nomb = u['organo_nombre'].where(u['organo_nombre'] != '\x00', '').map(sin) gva = ((u['administracion'] == 'Generalitat Valenciana') | (u['source'] == 'VALENCIA') | u['dir3'].str.startswith('A10') | u['organo_nif'].str.startswith('S46')) \ & ~u['tipo'].fillna('').isin(['ayuntamiento', 'local_supramunicipal', 'age']) & ~nomb.str.match(r'^(UNIVERSITAT|UNIVERSIDAD)') u = u[gva] u['menor'] = u['es_menor'].fillna(False).astype(bool) | u['es_menor_dudoso'].fillna(False).astype(bool) u['imp'] = u['imp_adj_eur_corregido'].where(~(u['rol_am'].isin(['acuerdo', 'sda']) | (u['imp_adj_eur_corregido'].abs() > 1e9))) g = pq.read_table('/rs/arreglos/dat3/interno/vivo/regia/grupos.parquet', columns=['nif']).to_pandas() rg = set(g['nif'].dropna().map(lambda s: re.sub('[^A-Za-z0-9]', '', s).upper())) def hecho(df): e = df.groupby('empresa_clave')['imp'].sum(min_count=0) k = e[e.index.isin(rg)] return int(len(e)), int(len(k)), (round(100 * k.sum() / e.sum(), 2) if e.sum() else None) sm = u[~u['menor']] R = {'sin_menores': hecho(sm), 'con_menores': hecho(u), 'por_anio': [[a, *hecho(sm[sm['anio_ref'] == a])] for a in range(2022, 2026)]} I1 = json.load(open('/dc/salidas/rga_calculo.json')) R['igual'] = (R['sin_menores'][0] == I1['sin_menores']['n'] and R['sin_menores'][1] == I1['sin_menores']['k'] and abs(R['sin_menores'][2] - I1['sin_menores']['pct_importe']) <= 0.5 and all(r[1] == s[1] and r[2] == s[2] for r, s in zip(R['por_anio'], I1['por_anio']))) json.dump(R, open('/dc/salidas/rga_impl2.json', 'w'), indent=1); print(json.dumps(R, indent=1))