"""H-SUB · segunda implementación (PREREG_SUB §5d): pandas + pyarrow sin DuckDB desde los insumos (filas de C con ente y empresa; filas de S con concedente y CIF; el casado concedente → ente de SUB1 con el ente comprobado en la identidad nueva): N, K, B, importes y pc por ente; nº e importe por empresa.""" import pandas as pd, pyarrow.parquet as pq, json c = pq.read_table('/dc/interno/sub_c_filas.parquet').to_pandas() s = pq.read_table('/dc/interno/sub_s_filas.parquet').to_pandas() ce = pq.read_table('/dc/interno/sub_concedente_ente.parquet').to_pandas() ce = ce[ce['via'].notna() & ce['existe'].fillna(False).astype(bool)] k4 = ['nivel1', 'nivel2', 'nivel3', 'inv'] for col in k4: s[col] = s[col].fillna('\x00'); ce[col] = ce[col].fillna('\x00') s = s.merge(ce[k4 + ['ente']], on=k4, how='left') se = s[s['ente'].notna()].groupby(['ente', 'cif'], as_index=False).size() conc = se.groupby('ente')['cif'].nunique().rename('b') cc = c.groupby(['ente', 'emp'], as_index=False)['importe'].sum(min_count=1) cc = cc[cc['ente'].isin(conc.index)] par = set(zip(se['ente'], se['cif'])) cc['k'] = [(e, x) in par for e, x in zip(cc['ente'], cc['emp'])] cc['imp'] = cc['importe'].fillna(0.0) h = cc.groupby('ente').agg(n_adj=('emp', 'size'), k=('k', 'sum'), imp_total=('imp', 'sum')).reset_index() h['imp_k'] = cc[cc['k']].groupby('ente')['imp'].sum().reindex(h['ente']).fillna(0.0).values h['b'] = h['ente'].map(conc) h['pc'] = h['imp_k'] / h['imp_total'].where(h['imp_total'] > 0) h1 = pq.read_table('/dc/interno/sub_ente.parquet').to_pandas() m = h1.merge(h, on='ente', how='outer', suffixes=('_1', '_2')) dif = m[(m['n_adj_1'] != m['n_adj_2']) | (m['k_1'] != m['k_2']) | (m['b_1'] != m['b_2']) | ((m['imp_total_1'] - m['imp_total_2']).abs() > 1) | ((m['pc_1'].fillna(-1) - m['pc_2'].fillna(-1)).abs() > 0.005)] # empresas (§4): nº de concesiones e importe por CIF, sin las entidades de personas e2 = s[~s['ent_pers'].astype(bool)].groupby('cif').agg(n=('id', 'size'), imp=('importe', 'sum')).reset_index() e1 = pq.read_table('/dc/interno/sub_empresa.parquet').to_pandas().groupby('cif').agg(n=('n', 'sum'), imp=('imp', 'sum')).reset_index() me = e1.merge(e2, on='cif', how='outer', suffixes=('_1', '_2')) dife = me[(me['n_1'] != me['n_2']) | ((me['imp_1'] - me['imp_2']).abs() > 1)] R = {'entes_1': len(h1), 'entes_2': len(h), 'diferencias_entes': len(dif), 'empresas_1': len(e1), 'empresas_2': len(e2), 'diferencias_empresas': len(dife), 'k_2': int(h['k'].sum()), 'n_2': int(h['n_adj'].sum()), 'ejemplos': dif.head(5).to_dict('records'), 'ejemplos_empresas': dife.head(5).to_dict('records')} json.dump(R, open('/dc/salidas/sub_impl2.json', 'w'), indent=1, default=str); print(json.dumps(R, indent=1, default=str)[:3000])