"""E-M2b · parte un lote en trozos (≤ 150 parejas y ≤ 30 unidades) por el límite de 64k tokens de salida de un subagente. Mismo contenido: cada trozo lleva sus órganos, las licitaciones que usan sus unidades y las unidades enteras. El original queda en lotes/partidos/. Actualiza la columna «lote» de clave/unidades.csv y clave/parejas.csv. Stdlib, en el host. Uso: python3 sql/21_partir.py seco|real 01 06 07 ...""" import csv import math import re import sys from pathlib import Path W = Path("/em2b") import os MAX_P, MAX_U = int(os.environ.get("MAX_P", 150)), int(os.environ.get("MAX_U", 30)) FORMATO = None nuevo_lote = {} SECO = sys.argv[1] == "seco" for num in sys.argv[2:]: f = W / f"lotes/lote_{num}.txt" lineas = f.read_text(encoding="utf-8").splitlines() FORMATO = lineas[1] secs, sec, modo, cur = [], None, None, None for l in lineas[2:]: m = re.match(r"==== ÓRGANO: (.*) ====$", l) if m: sec = {"cab": l, "lics": {}, "orden_lics": [], "unis": []}; secs.append(sec); modo = "L"; continue if l.startswith("=== FIN DEL LOTE"): break if l.startswith("Licitaciones candidatas") or not l.strip(): continue if l.startswith("Unidades de este"): modo = "U"; continue if modo == "L": if l.startswith(">> L"): cur = l[3:].split(" · ")[0]; sec["lics"][cur] = [l]; sec["orden_lics"].append(cur) else: assert l.lstrip().startswith("· "), l sec["lics"][cur].append(l) else: if l.startswith("### U"): cur = {"uid": l[4:].split(" · ")[0], "txt": [l], "pares": []}; sec["unis"].append(cur) else: cur["txt"].append(l) if l.startswith("Parejas:") or l.startswith(" "): cur["pares"] += [x.strip() for x in l.replace("Parejas:", "").split(",") if x.strip()] nu = sum(len(s["unis"]) for s in secs); npar = sum(len(u["pares"]) for s in secs for u in s["unis"]) k = max(math.ceil(npar / (MAX_P * 0.9)), math.ceil(nu / (MAX_U * 0.85))) # holgura para no dejar colas obj_p, obj_u = math.ceil(npar / k), math.ceil(nu / k) # reparto en orden, unidad a unidad, equilibrando a la vez parejas y unidades (peso acumulado), sin pasar de los topes trozos, t, acum = [], None, 0.0 for s_ in secs: for u in s_["unis"]: w = 0.5 * len(u["pares"]) / npar + 0.5 / nu frontera = (len(trozos)) / k if t is None or (t["np"] > 0 and (t["np"] + len(u["pares"]) > MAX_P or t["nu"] + 1 > MAX_U or (acum + w / 2 > frontera and len(trozos) < k))): t = {"secs": [], "np": 0, "nu": 0}; trozos.append(t) if not t["secs"] or t["secs"][-1]["src"] is not s_: t["secs"].append({"src": s_, "unis": []}) t["secs"][-1]["unis"].append(u); t["np"] += len(u["pares"]); t["nu"] += 1 acum += w letras = "abcdefgh" for i, t in enumerate(trozos): nombre = f"{num}{letras[i]}" out = [f"LOTE {nombre} · {len(t['secs'])} órganos · {t['nu']} unidades · {t['np']} parejas", FORMATO, ""] for ts in t["secs"]: s = ts["src"] usados = {p.split("-")[1] for u in ts["unis"] for p in u["pares"]} lics = [x for x in s["orden_lics"] if x in usados] out += [s["cab"], f"Licitaciones candidatas de este órgano ({len(lics)}):"] for x in lics: out += s["lics"][x] out += ["", f"Unidades de este órgano ({len(ts['unis'])}):", ""] for u in ts["unis"]: out += u["txt"] + [""] nuevo_lote[u["uid"]] = nombre out.append("=== FIN DEL LOTE ===") texto = "\n".join(out) + "\n" if not SECO: (W / f"lotes/lote_{nombre}.txt").write_text(texto, encoding="utf-8") print(f"lote_{nombre}: {t['nu']} unidades · {t['np']} parejas · {len(texto)} caracteres · {round(len(texto) / 2.1)} tokens ÷ 2,10") if not SECO: (W / "lotes/partidos").mkdir(exist_ok=True) f.rename(W / f"lotes/partidos/lote_{num}.txt") if SECO: sys.exit(0) for fn, col_uid in (("unidades.csv", "uid"), ("parejas.csv", "uid")): p = W / "clave" / fn filas = list(csv.DictReader(open(p, encoding="utf-8"), delimiter=";")) cab = list(filas[0].keys()) for r in filas: r["lote"] = nuevo_lote.get(r[col_uid], r["lote"].zfill(2)) with open(p, "w", newline="", encoding="utf-8") as fh: w = csv.DictWriter(fh, fieldnames=cab, delimiter=";"); w.writeheader(); w.writerows(filas) print("unidades reasignadas:", len(nuevo_lote))