"""MOD-EJEC · 56 · INFORMATIVO, después de la enmienda A y sin decidir nada (la PSCP sigue sin publicarse): por qué falla «todo el crudo» en la PSCP. (1) Las filas de más de los casos que fallan: ¿es la misma modificación con la fecha en otro formato (día/mes frente a mes/día)? (2) El comparador v4 con esa sola diferencia (la fecha sin orden día/mes) en las dos muestras. (3) De los contratos con y = 0 que pasan del 20 % en el original por órgano y expediente: si van por lote o si la clave cae al expediente entero, y si el expediente tiene varias adjudicaciones en el universo. -> salidas/56_pscp_fechas.json""" import duckdb, json, re from collections import Counter c = duckdb.connect(); x = c.execute x("SET threads=3; SET memory_limit='1800MB'; SET preserve_insertion_order=false") R = '/d/raw_preserved/20261103'; D = '/d/unified_20261103' fp = f'{R}/catalunya/parquet/contratacion/publicaciones_pscp.parquet' x(f"CREATE VIEW pp AS SELECT codi_organ, codi_expedient, numero_lot, import_adjudicacio_sense_iva, file_row_number fr FROM read_parquet('{fp}', file_row_number=true)") def num(v): if v is None: return None if isinstance(v, (int, float)): return float(v) t = str(v).strip().replace('€', '').strip() if not t: return None if ',' in t and '.' in t: t = t.replace('.', '').replace(',', '.') elif ',' in t: t = t.replace(',', '.') try: return float(t) except ValueError: return None RX = re.compile(r'^(\d{1,2})/(\d{1,2})/(\d{4})(.*)$') def sin_orden(d): m = RX.match(str(d or '').strip()) return (frozenset((int(m.group(1)), int(m.group(2)))), m.group(3), m.group(4)) if m else str(d) mods = {} for org, exp, da, im, lo, ul in x("""SELECT DISTINCT CAST("Codi òrgan" AS VARCHAR), trim("Codi expedient"), "Data", "Import sense iva", "Numero lot", _en_ultima_descarga FROM read_parquet('/h/catalunya/parquet/contratacion/fase_ejecucion.parquet') WHERE "Tipus actuació execució" IN ('Modificació (Objectiva)', 'Modificació')""").fetchall(): mods.setdefault((org, exp), []).append((da, im, lo, ul)) def lote(l): return None if str(l or '').strip() in ('', '0') else str(l).strip() def lista(fs, lot_, norm=True): v = {(sin_orden(r[0]) if norm else r[0], r[1], lote(r[2])) for r in fs} cl = [r for r in v if r[2] == lot_] us = cl if cl else list(v) return [num(r[1]) for r in us if num(r[1]) not in (None, 0.0)], bool(cl) def iguales(a, b): a, b = sorted(a), sorted(b) return len(a) == len(b) and all(abs(p - q) <= 1 for p, q in zip(a, b)) S = {} filas_viejas = cambian = 0 for nom in ('sob_muestra', 'sob_muestra_conf'): pri = [0, 0]; res = [0, 0] for m in json.load(open(f'/w/priv/{nom}.json'))['PSCP']: org, exp, lot, imp = x("SELECT CAST(codi_organ AS VARCHAR), trim(codi_expedient), numero_lot, import_adjudicacio_sense_iva FROM pp WHERE fr = ?", [m['fila_origen']]).fetchone() fs = mods.get((org, exp), []); L = lista(fs, lote(lot))[0]; A = num(imp); nuestras = [v for _, v in m['mods']] ok = A is not None and abs(A - m['A']) <= 1 and iguales(L, nuestras) and sum(L) - 0.2 * A > 0.01 t = res if m['reserva'] else pri; t[1] += 1; t[0] += ok u = {(r[0], r[1], r[2]) for r in fs if r[3]} for r in fs: if not r[3] and (r[0], r[1], r[2]) not in u: filas_viejas += 1; cambian += any(sin_orden(g[0]) == sin_orden(r[0]) and g[1] == r[1] for g in u) S[nom] = {'principal': pri, 'reserva': res} U = x(f"""SELECT c.id, c.A, c.y, c.nmod, u.fila_origen FROM (SELECT * FROM '/w/priv/sob_contratos.parquet' WHERE fuente = 'PSCP') c JOIN (SELECT id_canonical, fila_origen FROM read_parquet('{D}/source=CATALUNYA_PSCP/**/*.parquet', hive_partitioning=1, union_by_name=1)) u ON u.id_canonical = c.id""").fetchall() clave = {}; frs = [u[4] for u in U] for i in range(0, len(frs), 50000): for r in x("SELECT fr, CAST(codi_organ AS VARCHAR), trim(codi_expedient), numero_lot FROM pp WHERE fr IN (SELECT unnest(?))", [frs[i:i+50000]]).fetchall(): clave[r[0]] = r[1:] por_exp = Counter((clave[u[4]][0], clave[u[4]][1]) for u in U) t = Counter(); dis = Counter() for id_, A, y, nmod, fo in U: org, exp, lot = clave[fo]; L, cl = lista(mods.get((org, exp), []), lote(lot)); cr = sum(L) - 0.2 * A > 0.01 t[f'y{int(bool(y))}_crudo{int(cr)}'] += 1 if cr and not y: dis[('por_lote' if cl else 'cae_al_expediente') + ('_varias_adj' if por_exp[(org, exp)] > 1 else '_una_adj') + ('_con_algo_nuestro' if nmod else '_sin_nada_nuestro')] += 1 O = {'nota': 'informativo, sin sello y sin decidir nada', 'filas_de_mas': filas_viejas, 'misma_modificacion_otro_formato_de_fecha': cambian, 'muestras_con_fecha_sin_orden': S, 'universo_con_fecha_sin_orden': dict(t), 'y0_crudo1_por_tipo': dict(dis)} json.dump(O, open('/w/salidas/56_pscp_fechas.json', 'w'), ensure_ascii=False, indent=1); print(json.dumps(O, ensure_ascii=False))