"""NE1 · 30 · segunda implementación (pandas + pyarrow + numpy, SIN DuckDB), escrita desde DEFINICIONES_PREVIAS §1-§7, sin importar nada de la principal. Calcula los puntuales (n_v, O, Ê; balance; ROR; DiD) y escribe interno/celdas_impl2.json.""" import os, re, time, json, unicodedata import numpy as np, pandas as pd, pyarrow.dataset as ds T0 = time.time() def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) COLS = ['id_canonical', 'tipo_contrato', 'imp_adj_eur_comparable', 'organo_nif', 'organo_nombre', 'dir3', 'iva_base', 'fecha_adj', 'unidad', 'vigente', 'es_contrato', 'copia_de', 'es_menor', 'correccion_imp_adj', 'objeto'] import datetime as dt partes = [] for d in sorted(os.listdir('/d/unified_20261018')): if not d.startswith('source='): continue src = d.split('=', 1)[1] dset = ds.dataset(f'/d/unified_20261018/{d}', format='parquet', partitioning='hive'); have = set(dset.schema.names) if 'imp_adj_eur_comparable' not in have: continue f = (ds.field('unidad') == 'adjudicacion') & (ds.field('vigente') == True) & (ds.field('es_contrato') == True) \ & (ds.field('imp_adj_eur_comparable') > 0) & ds.field('tipo_contrato').isin(['Servicios', 'Suministros', 'Obras']) \ & (ds.field('fecha_adj') >= dt.date(2017, 3, 1)) & (ds.field('fecha_adj') <= dt.date(2019, 3, 31)) & ds.field('iva_base').isin(['sin', 'sin_medido']) t = dset.to_table(columns=[c for c in COLS if c in have], filter=f).to_pandas() for c in COLS: if c not in t: t[c] = None t['source'] = src; partes.append(t) df = pd.concat(partes, ignore_index=True); del partes fa = pd.to_datetime(df['fecha_adj']) df = df[~((fa >= pd.Timestamp('2018-03-01')) & (fa <= pd.Timestamp('2018-03-31')))] df = df[df['copia_de'].isna() & (df['correccion_imp_adj'].fillna('') != 'copia_otra_fuente')] df = df[~((df['source'] == 'ARAGON') & (df['iva_base'] == 'sin_medido'))] vf = pd.read_parquet('/d/unified_20261018.vinculos/filas.parquet', columns=['source', 'id_canonical', 'cuenta']) df = df.merge(vf, on=['source', 'id_canonical'], how='left'); df = df[df['cuenta'].fillna(True).astype(bool)] of = pd.read_parquet('/d/unified_20261018.identidad/organos_filas.parquet', columns=['organo_nif', 'organo_nombre', 'dir3', 'organo_clave']) n0 = len(df); df = df.merge(of, on=['organo_nif', 'organo_nombre', 'dir3'], how='left'); assert len(df) == n0 df = df[df['organo_clave'].notna()] ot = pd.read_parquet('/d/unified_20261018.identidad/organos_tipo.parquet', columns=['organo_clave', 'tipo', 'agente_secti']).rename(columns={'tipo': 'tt'}) df = df.merge(ot, on='organo_clave', how='left') df['cents'] = np.round(df['imp_adj_eur_comparable'].to_numpy() * 100).astype(np.int64) df['ventana'] = np.where(pd.to_datetime(df['fecha_adj']) < pd.Timestamp('2018-03-01'), 'antes', 'despues') df['grupo'] = np.where(df['tipo_contrato'] == 'Obras', 'O', np.where(df['agente_secti'].fillna(False).astype(bool), 'SSI', 'SS')) df['torg'] = df['tt'].map({'ayuntamiento': 'ayuntamientos', 'autonomica': 'autonomicos', 'age': 'AGE'}).fillna('otros') df['menor'] = df['es_menor'].fillna(False).astype(bool) log('universo', len(df)) mn = df[df['menor']] cnt = mn.groupby(['organo_clave', 'grupo', 'source']).size().rename('n').reset_index() cnt['pri'] = (cnt['source'] != 'PLACSP').astype(int) el = cnt.sort_values(['organo_clave', 'grupo', 'n', 'pri', 'source'], ascending=[True, True, False, True, True]).drop_duplicates(['organo_clave', 'grupo']) men = mn.merge(el[['organo_clave', 'grupo', 'source']], on=['organo_clave', 'grupo', 'source']) nlo = np.where(men['grupo'] == 'O', 1000000, 500000); nhi = np.where(men['grupo'] == 'O', 3000000, 1200000) inN = (men['cents'] >= nlo) & (men['cents'] < nhi) pc_ = men[inN].groupby(['organo_clave', 'grupo', 'ventana']).size().unstack(fill_value=0) pan = pc_[(pc_.get('antes', 0) >= 5) & (pc_.get('despues', 0) >= 5)].reset_index()[['organo_clave', 'grupo']] men = men.merge(pan.assign(panel=True), on=['organo_clave', 'grupo'], how='left'); men['panel'] = men['panel'].fillna(False).astype(bool) log('menores dedup', len(men), 'panel', pan.groupby('grupo').size().to_dict()) # firma N2 S = set("del las los con para por una unos unas sus que sin sobre entre segun desde hasta mediante durante tras ante bajo cada este esta estos estas dicho dicha dels les per amb als pel pels els das dos nas nos cos coa aos eta".split()) G = set("servicio suministro contrato contratacion adquisicion compra obra prestacion menor expediente ejecucion realizacion trabajo vario diverso otro general municipal ayuntamiento concello ajuntament servei subministrament contracte adquisicio servizo subministracion zerbitzu hornidura kontratu lote anualidad ano mes enero febrero marzo abril mayo junio julio agosto septiembre setiembre octubre noviembre diciembre".split()) def fz(o): if not isinstance(o, str) or not o: return None s = unicodedata.normalize('NFD', o.lower()); s = ''.join(ch for ch in s if not unicodedata.combining(ch)) toks = [] for t in re.split(r'[^a-z0-9ñç]+', s): if len(t) < 3 or t in S: continue if len(t) >= 5 and t[-2:] == 'es' and t[-3] in 'rnldjy': t = t[:-2] elif len(t) >= 4 and t[-1] == 's' and t[-2:] != 'ss': t = t[:-1] if t in G or t in toks: continue toks.append(t) if len(toks) == 2: return ' '.join(toks) return None uo = pd.Series(men['objeto'].unique()); fm = dict(zip(uo, uo.map(fz))) men['firma'] = men['objeto'].map(fm) sz = men[men['firma'].notna()].groupby(['organo_clave', 'grupo', 'ventana', 'firma']).size().rename('ns').reset_index() men = men.merge(sz, on=['organo_clave', 'grupo', 'ventana', 'firma'], how='left'); men['serie'] = men['ns'].fillna(0) >= 2 nm = df[(df['source'] == 'PLACSP') & ~df['menor']] log('firmas', len(fm)) # ---------- medidas P = men[men['panel']] UV = {'SS': 1800000, 'O': 5000000}; UN = {'SS': 1500000, 'O': 4000000} TIP = {'SS': ['Servicios', 'Suministros'], 'O': ['Obras']} XS = 0.70 + (np.arange(30) + 0.5) * 0.01; A = np.column_stack([np.ones(25), XS[:25]]) srcs = {g: P[P['grupo'] == g].groupby('organo_clave')['source'].first() for g in ('SS', 'O')} torg = {g: P[P['grupo'] == g].groupby('organo_clave')['torg'].first() for g in ('SS', 'O')} def sub(tab, g, ctx, tipos=None): t = tab[(tab['grupo'] == g) & tab['tipo_contrato'].isin(tipos or TIP[g])] keys = srcs[g].index if ctx == 'conjunto': ks = keys elif ctx.startswith('src:'): ks = srcs[g].index[srcs[g] == ctx[4:]] else: ks = torg[g].index[torg[g] == ctx[4:]] return t[t['organo_clave'].isin(ks)] def nOE(t, cc): lo, w = 70 * cc // 100, cc // 100 z = t[(t['cents'] >= lo) & (t['cents'] < cc)]; nv = len(z); z = z[z['cents'] % 50000 != 0] c = np.bincount(((z['cents'] - lo) // w).to_numpy(), minlength=30).astype(float) co = np.linalg.lstsq(A, c[:25], rcond=None)[0]; E = np.clip(co[0] + co[1] * XS[25:], 0, None).sum(); E = 0.0 if E < 1e-9 else E return nv, float(c[25:].sum()), float(E) R = {} cov = {} for g in ('SS', 'O'): for s in sorted(srcs[g].unique()): a = sub(P[P['ventana'] == 'antes'], g, 'src:' + s); d = sub(P[P['ventana'] == 'despues'], g, 'src:' + s) cov[(g, s)] = ((a['cents'] >= 70 * UV[g] // 100) & (a['cents'] < UV[g])).sum() >= 500 and ((d['cents'] >= 70 * UN[g] // 100) & (d['cents'] < UN[g])).sum() >= 500 NOMS = {g: ['conjunto'] + ['src:' + s for (gg, s), ok in sorted(cov.items()) if gg == g and ok] + ['org:' + t for t in ('ayuntamientos', 'autonomicos', 'AGE', 'otros')] for g in ('SS', 'O')} for g in ('SS', 'O'): for tipo in (TIP[g] + ['todos'] if g == 'SS' else ['Obras']): tps = TIP[g] if tipo == 'todos' else [tipo] for ctx in NOMS[g]: for v in ('antes', 'despues'): for cc in (UV[g], UN[g]): nv, O, E = nOE(sub(P[P['ventana'] == v], g, ctx, tps), cc); R[f"{g}|{tipo}|{ctx}|{v}|{cc // 100}"] = {'n_v': nv, 'O': O, 'E': E} # placebos for g, cc in (('SS', 1200000), ('O', 1200000), ('O', 2100000)): for ctx in [n for n in NOMS[g] if not n.startswith('org:')]: for v in ('antes', 'despues'): nv, O, E = nOE(sub(P[P['ventana'] == v], g, ctx), cc); R[f"{g}|{'todos' if g == 'SS' else 'Obras'}|{ctx}|{v}|{cc // 100}"] = {'n_v': nv, 'O': O, 'E': E} # balance BAND = {'SS': {'N': (500000, 1200000), 'D': (1500000, 1800000), 'G': (1200000, 1500000), 'H': (3600000, 18000000), 'L2': (1500000, 3600000)}, 'O': {'N': (1000000, 3000000), 'D': (4000000, 5000000), 'G': (3000000, 4000000), 'H': (10000000, 50000000), 'L2': (4000000, 10000000)}} for g in ('SS', 'O'): ks = srcs[g].index for v in ('antes', 'despues'): pm = P[(P['grupo'] == g) & (P['ventana'] == v)]; nn = nm[(nm['grupo'] == g) & (nm['ventana'] == v) & nm['organo_clave'].isin(ks)] for q in ('N', 'D', 'G'): lo, hi = BAND[g][q]; R[f"bal|{g}|{q}|{v}"] = float(((pm['cents'] >= lo) & (pm['cents'] < hi)).sum()) for q, (lo, hi) in (('L', BAND[g]['D']), ('L2', BAND[g]['L2']), ('H', BAND[g]['H'])): R[f"bal|{g}|{q}|{v}"] = float(((nn['cents'] >= lo) & (nn['cents'] < hi)).sum()) # ROR def odds(t, flo, fhi, clo, chi): F = t[(t['cents'] >= flo) & (t['cents'] < fhi)]; C = t[(t['cents'] >= clo) & (t['cents'] < chi)] a, b, c, d = F['serie'].sum(), (~F['serie']).sum(), C['serie'].sum(), (~C['serie']).sum() return (a * d) / (b * c) if b * c > 0 else np.nan for g in ('SS', 'O'): u = UN[g] for tipo in (TIP[g] + ['todos'] if g == 'SS' else ['Obras']): tps = TIP[g] if tipo == 'todos' else [tipo] for ctx in NOMS[g]: oa = odds(sub(P[P['ventana'] == 'antes'], g, ctx, tps), 95 * u // 100, u, 70 * u // 100, 95 * u // 100) od = odds(sub(P[P['ventana'] == 'despues'], g, ctx, tps), 95 * u // 100, u, 70 * u // 100, 95 * u // 100) R[f"c|{g}|{tipo}|{ctx}|ROR"] = float(od / oa) if oa and oa == oa else float('nan') # DiD todas = pd.concat([nm[['organo_clave', 'grupo', 'tipo_contrato', 'ventana', 'cents']], P[P['source'] == 'PLACSP'][['organo_clave', 'grupo', 'tipo_contrato', 'ventana', 'cents']]]) def lx(tab, g, ctx, v, cc): nv, O, E = nOE(sub(tab[tab['ventana'] == v], g, ctx), cc); return np.log(O / E) if E > 0 and O > 0 else np.nan for ctx in ['conjunto', 'org:ayuntamientos', 'org:autonomicos', 'org:AGE']: dss = lx(P, 'SS', ctx, 'despues', 1500000) - lx(P, 'SS', ctx, 'antes', 1500000); do = lx(P, 'O', ctx, 'despues', 1500000) - lx(P, 'O', ctx, 'antes', 1500000) do4 = lx(P, 'O', ctx, 'despues', 4000000) - lx(P, 'O', ctx, 'antes', 4000000); ds4 = lx(todas, 'SS', ctx, 'despues', 4000000) - lx(todas, 'SS', ctx, 'antes', 4000000) R[f"d|DiD_SS (SS15 - O15)|{ctx}"] = float(dss - do); R[f"d|DiD_O (O40 - SS40 PLACSP todas)|{ctx}"] = float(do4 - ds4) json.dump(R, open('/w/interno/celdas_impl2.json', 'w'), indent=0); log('fin', len(R))