"""E-M2b · bloques y lotes de lectura (DEFINICIONES_PREVIAS §2-§3) desde /w/tmp/em2b.duckdb (10_candidatos.py). Escribe lotes/lote_NN.txt, clave/unidades.csv, clave/parejas.csv (la clave no la ven los lectores) y salidas/20_lotes.txt.""" import csv import hashlib import math from pathlib import Path import duckdb W = Path("/w") con = duckdb.connect("/w/tmp/em2b.duckdb", read_only=True) q = lambda s, *a: con.execute(s, *a).fetchall() # noqa: E731 TOPE_CHARS = 60000 * 2.10 MAX_OBJ = 40 MAX_LINEAS_LIC = 20 MAX_LINEA = 1400 def eur(x): if x is None: return "¿?" s = f"{float(x):,.2f}" return s.replace(",", "X").replace(".", ",").replace("X", ".") + " €" def corta(t): t = " ".join((t or "").split()) return t if len(t) <= MAX_LINEA else t[:MAX_LINEA - 1] + "…" def md5(s): return hashlib.md5(s.encode()).hexdigest() unidades = q("""SELECT tipo_unidad, unidad, anio, organo_clave, en_lista, n, suma, fecha_ini, fecha_fin, e0b, de_2023, es_ancla FROM unidades""") cont = {} for r in q("""SELECT unidad, objeto, count(*) n, min(fecha_adj) f0, max(fecha_adj) f1, sum(base) s, list_sort(list_distinct(list(cpv) FILTER (WHERE cpv IS NOT NULL))) cpvs FROM contratos GROUP BY unidad, objeto ORDER BY unidad, f0, objeto"""): cont.setdefault(r[0], []).append(r[1:]) organo = dict(q("SELECT unidad, mode(organo_nombre) FROM contratos GROUP BY 1")) parejas = {} for r in q("""SELECT tipo_unidad, unidad, licitacion, e0b, filas_casadas, ancla_id, ancla_grupo, ancla_consenso FROM parejas ORDER BY unidad, licitacion"""): parejas.setdefault(r[1], []).append(r) lic = {} for r in q("""SELECT licitacion, id_canonical, fuente_lic, anio_lic, fecha_pub, procedimiento, expediente, objeto, cpv, imp_lic_eur, rol_am FROM lic_filas ORDER BY licitacion, id_canonical"""): lic.setdefault(r[0], []).append(r) tope_obj = 0 def bloque_unidad(uid, u): global tope_obj tipo, unidad, anio, _, _, n, suma, f0, f1 = u[:9] L = [f"### {uid}", f"Órgano: {corta(organo.get(unidad) or '¿?')}", f"Contratos menores: {n} · del {f0} al {f1} · suma {eur(suma)} sin IVA"] objs = cont[unidad] for o in objs[:MAX_OBJ]: obj, k, a, b, s, cpvs = o fechas = f"{a}" if a == b else f"{a} … {b}" cpv = f" · CPV {', '.join(cpvs[:3])}" if cpvs else "" L.append(corta(f"- [{k} contrato{'s' if k > 1 else ''} · {fechas} · {eur(s)}{cpv}] {obj}")) if len(objs) > MAX_OBJ: tope_obj += 1 L.append(f"- (+{len(objs) - MAX_OBJ} objetos más)") return L def bloque_lic(pid, p): filas = lic[p[2]] casadas = set(p[4] or []) f0 = filas[0] procs = sorted({f[5] for f in filas if f[5]}) fpub = min((f[4] for f in filas if f[4]), default=None) exps = sorted({f[6] for f in filas if f[6]}) cpvs = sorted({f[8] for f in filas if f[8]}) pres = max((f[9] for f in filas if f[9] is not None), default=None) basado = any((f[10] or "") in ("basado", "basado_sda") for f in filas) cab = (f">> {pid} · {'/'.join(procs) or '¿?'}{' (basado en acuerdo marco o sistema dinámico)' if basado else ''} · año {f0[3]}" f" · publicada {fpub or '¿?'} · expte. {', '.join(exps[:2]) or '¿?'}" f" · CPV {', '.join(cpvs[:5]) or '¿?'}{' …' if len(cpvs) > 5 else ''} · presupuesto {eur(pres)}") L = [corta(cab)] # objetos: primero las filas casadas, después las demás; distintos por objeto; presupuesto de la fila si difiere vistos, orden = {}, [f for f in filas if f[1] in casadas] + [f for f in filas if f[1] not in casadas] for f in orden: o = " ".join((f[7] or "").split()) if o not in vistos: vistos[o] = f[9] objs = list(vistos.items()) for o, imp in objs[:MAX_LINEAS_LIC]: extra = f" [presupuesto {eur(imp)}]" if (len(objs) > 1 and imp is not None and imp != pres) else "" L.append(corta(f" · {o or '(sin objeto)'}{extra}")) if len(objs) > MAX_LINEAS_LIC: L.append(f" · (+{len(objs) - MAX_LINEAS_LIC} lotes más)") return L # Orden (cambio de formato frente a §3, antes de leer: cada licitación se imprime una vez por órgano y lote). Órganos por # md5('em2b-lotes' || organo_clave), unidades dentro del órgano por md5('em2b-lotes' || unidad); los órganos con anclas, # repartidos en la primera mitad lic_ids = {l: f"L{k:04d}" for k, l in enumerate(sorted({p[2] for ps in parejas.values() for p in ps}, key=lambda l: md5("em2b-lic" + l)), 1)} lic_txt = {l: "\n".join(bloque_lic(lic_ids[l], (None, None, l, None, set().union(*[set(p[4] or []) for ps in parejas.values() for p in ps if p[2] == l])))) + "\n" for l in lic_ids} por_org = {} for u in unidades: por_org.setdefault(u[3], []).append(u) for k in por_org: por_org[k].sort(key=lambda u: md5("em2b-lotes" + u[1])) nom_org = dict(q("SELECT u.organo_clave, mode(k.organo_nombre) FROM contratos k JOIN unidades u USING (tipo_unidad, unidad) GROUP BY 1")) def texto_unidad(uid, u): lineas = bloque_unidad(uid, u) lineas = [lineas[0] + " · " + lineas[2]] + lineas[3:] # sin la línea del órgano (va en la sección) ids = [f"{uid}-{lic_ids[p[2]]}" for p in parejas[u[1]]] for k in range(0, len(ids), 12): lineas.append(("Parejas: " if k == 0 else " ") + ", ".join(ids[k:k + 12])) return "\n".join(lineas) + "\n\n" def tam_org(k): lics = {p[2] for u in por_org[k] for p in parejas[u[1]]} return sum(len(texto_unidad("U0000", u)) for u in por_org[k]) + sum(len(lic_txt[l]) for l in lics) + 200 org_anc = sorted([k for k in por_org if any(u[11] for u in por_org[k])], key=lambda k: md5("em2b-lotes" + k)) org_nor = sorted([k for k in por_org if k not in set(org_anc)], key=lambda k: md5("em2b-lotes" + k)) total = sum(tam_org(k) for k in por_org) L_est = math.ceil(total / (TOPE_CHARS * 0.95)) paso = total * 0.42 / (len(org_anc) + 1) seq, acum, ia = [], 0, 0 for k in org_nor: while ia < len(org_anc) and acum >= paso * (ia + 1): seq.append(org_anc[ia]); acum += tam_org(org_anc[ia]); ia += 1 seq.append(k); acum += tam_org(k) seq += org_anc[ia:] (W / "lotes").mkdir(exist_ok=True) (W / "clave").mkdir(exist_ok=True) for viejo in (W / "lotes").glob("lote_*.txt"): viejo.unlink() CAB = 420 TOPE_PARES = 300 # parejas por lote: la salida se escribe de una vez def lics_de(us): return list(dict.fromkeys(p[2] for u in us for p in parejas[u[1]])) def medida(us): return (160 + sum(len(texto_unidad("U0000", u)) for u in us) + sum(len(lic_txt[l]) for l in lics_de(us)), sum(len(parejas[u[1]]) for u in us)) # Átomos: un órgano entero si cabe en un lote; si no, trozos de sus unidades (cada trozo repite sus licitaciones) atomos = [] for k in seq: c, n = medida(por_org[k]) if c + CAB <= TOPE_CHARS and n <= TOPE_PARES: atomos.append((k, por_org[k], c, n)); continue trozo = [] for u in por_org[k]: c2, n2 = medida(trozo + [u]) if trozo and (c2 + CAB > TOPE_CHARS or n2 > TOPE_PARES): atomos.append((k, trozo, *medida(trozo))); trozo = [] trozo.append(u) atomos.append((k, trozo, *medida(trozo))) for a in atomos: assert a[2] + CAB <= TOPE_CHARS and a[3] <= TOPE_PARES, f"un átomo no cabe: {a[0]} {a[2]} {a[3]}" # Primer hueco, en el orden de los órganos (las anclas van delante en la secuencia) lotes = [] for a in atomos: for lt in lotes: if lt["chars"] + a[2] <= TOPE_CHARS and lt["pares"] + a[3] <= TOPE_PARES: break else: lt = {"atomos": [], "chars": CAB, "pares": 0} lotes.append(lt) lt["atomos"].append(a); lt["chars"] += a[2]; lt["pares"] += a[3] filas_u, filas_p, n_u = [], [], 0 for n, lt in enumerate(lotes, 1): lt["secciones"] = [] for k, us, _, _ in lt["atomos"]: sec = {"organo": k, "lics": dict.fromkeys(lics_de(us), True), "unidades": []} for u in us: n_u += 1 uid = f"U{n_u:04d}" sec["unidades"].append((uid, texto_unidad(uid, u), len(parejas[u[1]]))) filas_u.append([uid, u[0], u[1], u[2], u[3], int(bool(u[4])), int(u[10]), int(u[11]), int(bool(u[9])), u[5], len(parejas[u[1]]), n]) for p in parejas[u[1]]: filas_p.append([f"{uid}-{lic_ids[p[2]]}", uid, u[0], u[1], p[2], u[2], int(u[10]), int(bool(u[4])), int(bool(p[3])), p[5] or "", p[6] or "", p[7] or "", n]) lt["secciones"].append(sec) resumen = [] for n, lt in enumerate(lotes, 1): nu = sum(len(s["unidades"]) for s in lt["secciones"]) npar = sum(x[2] for s in lt["secciones"] for x in s["unidades"]) partes = [f"LOTE {n:02d} de {len(lotes)} · {len(lt['secciones'])} órganos · {nu} unidades · {npar} parejas\n", "Formato: el lote se divide en órganos («==== ÓRGANO …»). En cada órgano, primero sus licitaciones candidatas " "(«>> L…», con sus objetos y lotes en las líneas «·»), después sus unidades («### U…», con sus contratos menores " "en las líneas «-») y, bajo cada unidad, la lista de parejas que hay que etiquetar («Parejas: U…-L…»). " "El lote acaba en «=== FIN DEL LOTE ===».\n\n"] for s in lt["secciones"]: partes.append(f"==== ÓRGANO: {corta(nom_org.get(s['organo']) or '¿?')} ====\n") partes.append(f"Licitaciones candidatas de este órgano ({len(s['lics'])}):\n") partes += [lic_txt[l] for l in s["lics"]] partes.append(f"\nUnidades de este órgano ({len(s['unidades'])}):\n\n") partes += [x[1] for x in s["unidades"]] partes.append("=== FIN DEL LOTE ===\n") cuerpo = "".join(partes) (W / "lotes" / f"lote_{n:02d}.txt").write_text(cuerpo, encoding="utf-8") resumen.append((n, nu, npar, len(cuerpo), round(len(cuerpo) / 2.10), cuerpo.count("\n"), max(len(l) for l in cuerpo.splitlines()))) lote_de = {r[0]: r[-1] for r in filas_u} filas_u = [r[:-1] for r in filas_u] filas_p = [r[:-1] for r in filas_p] with open(W / "clave" / "unidades.csv", "w", newline="", encoding="utf-8") as f: w = csv.writer(f, delimiter=";") w.writerow(["uid", "tipo_unidad", "unidad", "anio", "organo_clave", "en_lista", "de_2023", "es_ancla", "e0b_unidad", "n", "parejas", "lote"]) for r in filas_u: w.writerow(r + [lote_de[r[0]]]) with open(W / "clave" / "parejas.csv", "w", newline="", encoding="utf-8") as f: w = csv.writer(f, delimiter=";") w.writerow(["par", "uid", "tipo_unidad", "unidad", "licitacion", "anio", "de_2023", "en_lista", "e0b", "ancla_id", "ancla_grupo", "ancla_consenso", "lote"]) for r in filas_p: w.writerow(r + [lote_de[r[1]]]) anc_lote = sorted({lote_de[r[0]] for r in filas_u if r[7]}) out = [f"Lotes: {len(lotes)} (tope {TOPE_CHARS:.0f} caracteres = 60.000 tokens ÷ 2,10)", f"Unidades: {len(filas_u)} · parejas: {len(filas_p)} · unidades con más de {MAX_OBJ} objetos (tope): {tope_obj}", f"Lotes con anclas: {anc_lote} (primera mitad = 1..{math.ceil(len(lotes) / 2)})", "lote | unidades | parejas | caracteres | tokens (÷2,10) | líneas | línea más larga"] out += [" | ".join(str(v) for v in r) for r in resumen] out.append(f"Total caracteres: {sum(r[3] for r in resumen)} · tokens (÷2,10): {sum(r[4] for r in resumen)}") (W / "salidas" / "20_lotes.txt").write_text("\n".join(out) + "\n", encoding="utf-8") print("\n".join(out)) assert max(anc_lote) <= math.ceil(len(lotes) / 2), "anclas fuera de la primera mitad" assert all(r[6] <= 1500 for r in resumen)