"""H-CNV · segunda implementación (PREREG_CNV §4b): pandas + pyarrow sin DuckDB desde los insumos (menciones casadas con su ministerio; filas de C con NIF de empresa, NIF y DIR3 de órgano): ministerio de cada fila (DIR3 principal o NIF de la raíz), K y N por ministerio.""" import pandas as pd, pyarrow.parquet as pq, json d3 = pq.read_table('/v2/unified_20261103.identidad/dir3_unidades.parquet', columns=['codigo', 'principal', 'listado']).to_pandas() d3 = d3[d3['listado'] == 'AGE'].set_index('codigo')['principal'].to_dict() raiz = pq.read_table('/dc/interno/cnv_raiz.parquet').to_pandas() cnt = raiz.dropna(subset=['nif']).groupby('nif')['codigo'].nunique() nifraiz = {n: raiz.loc[raiz['nif'] == n, 'codigo'].min() for n in cnt[cnt == 1].index} codigos = set(raiz['codigo']) c = pq.read_table('/dc/interno/cnv_c_filas.parquet').to_pandas() c['ministerio'] = c['d'].map(d3) c.loc[c['ministerio'].isna(), 'ministerio'] = c.loc[c['ministerio'].isna(), 'onif'].map(nifraiz) c = c[c['ministerio'].isin(codigos)] adj = set(zip(c['emp'], c['ministerio'])) m = pq.read_table('/dc/interno/cnv_menciones.parquet', columns=['nif', 'min_codigo', 'privada']).to_pandas() m = m[m['privada'].fillna(False).astype(bool) & m['min_codigo'].notna()][['nif', 'min_codigo']].drop_duplicates() m['k'] = [(a, b) in adj for a, b in zip(m['nif'], m['min_codigo'])] h2 = m.groupby('min_codigo').agg(n=('nif', 'size'), k=('k', 'sum')).reset_index() h1 = pq.read_table('/dc/interno/cnv_hecho.parquet').to_pandas() mm = h1.merge(h2, left_on='ministerio', right_on='min_codigo', how='outer', suffixes=('_1', '_2')) dif = mm[(mm['n_1'] != mm['n_2']) | (mm['k_1'] != mm['k_2'])] R = {'ministerios_1': len(h1), 'ministerios_2': len(h2), 'diferencias': len(dif), 'total_2': [int(h2['n'].sum()), int(h2['k'].sum())], 'ejemplos': dif.to_dict('records')} json.dump(R, open('/dc/salidas/cnv_impl2.json', 'w'), indent=1, default=str); print(json.dumps(R, indent=1, default=str))