"""SELLO-SEM · segunda implementación, fase A (etl:v2, DuckDB; sin importar nada de app/). Saca de la construcción las filas en plazo del día del sello y sus variables de recurso, escritas desde el pre-registro y las columnas del Parquet. uso: python3 20_impl2_a_sql.py /d /interno/impl2/pob.parquet 2026-11-08""" import sys, re, html, datetime as dt import duckdb, pyarrow as pa, pyarrow.parquet as pq DATA, SAL, DIA = sys.argv[1], sys.argv[2], dt.date.fromisoformat(sys.argv[3]) U = f"{DATA}/unified_20261108" con = duckdb.connect(); con.execute("SET threads TO 3"); con.execute("SET memory_limit='5GB'") filas = con.execute(f""" WITH base AS (SELECT * FROM read_parquet('{U}/source=PLACSP/**/*.parquet', hive_partitioning=true, union_by_name=true) WHERE source='PLACSP' AND unidad='licitacion:sin_resultado' AND estado='Publicada' AND copia_de IS NULL AND fecha_fin_ofertas >= DATE '{DIA}') SELECT b.id_canonical, b.licitacion_id, b.objeto, b.organo_nombre, b.expediente, b.fecha_pub, b.fecha_fin_ofertas, b.procedimiento, b.procedimiento_native proc_nat, b.tipo_contrato, b.tramitacion, b.imp_lic_eur, b.imp_lic_eur_expediente pbl_exp, b.valor_estimado_eur_expediente ve_exp, b.duracion_meses dur, b.sara, b.financiacion_ue ue, b.cpv_division cpv_div, b.ccaa, ot.tipo tipo_organo, o.organo_clave, b.url_origen FROM base b LEFT JOIN read_parquet('{U}.identidad/organos_filas.parquet') o ON o.organo_nif IS NOT DISTINCT FROM b.organo_nif AND o.organo_nombre IS NOT DISTINCT FROM b.organo_nombre AND o.dir3 IS NOT DISTINCT FROM b.dir3 LEFT JOIN read_parquet('{U}.identidad/organos_tipo.parquet') ot ON ot.organo_clave = o.organo_clave""").fetchall() cols = "id_canonical licitacion_id objeto organo_nombre expediente fecha_pub fecha_fin_ofertas procedimiento proc_nat tipo_contrato tramitacion imp_lic_eur pbl_exp ve_exp dur sara ue cpv_div ccaa tipo_organo organo_clave url_origen".split() D = [dict(zip(cols, f)) for f in filas] print("filas SQL brutas", len(D), "distintos", len({x['id_canonical'] for x in D})) # Reglas de la lista En plazo: fecha de relleno, negociado sin publicidad, objeto vacío, forma social ajena, marca (regex copiadas de la web: datos, no lógica) EMP = re.compile(r"\b(S\.\s?L\.?U?|S\.\s?A\.?U?|S\.?L\.?U\.|SLU|SLL|S\.\s?Coop\.?|Sociedad Limitada|Sociedad Anónima)(?=[\s,.;)]|$)|(?-i:,\s?(SA|SL|SAU|SLU)\b)") MARCA = re.compile(r"\b(microsoft|oracle|sap|siemens|caterpillar|philips|ibm|cisco|adobe|google|amazon|telef[oó]nica|endesa|iberdrola|naturgy|repsol|vodafone|orange|renfe|hewlett|dell|lenovo|toyota|renault|seat|volkswagen|mercedes|roche|abbott|medtronic|olympus|fujifilm|getinge|dr[aä]ger|stryker|zeiss|leica|agilent|thermo|bayer|pfizer|novartis|sanofi|esri|autodesk|vmware|citrix|fortinet|kyocera|ricoh|xerox|konica|epson|schindler|otis|kone|thyssen\w*|securitas|prosegur|clece|ferrovial|acciona|sacyr|indra|apple|samsung|huawei|airbus|boeing|iveco|scania|volvo|man\s+truck|john\s+deere|komatsu|liebherr|bosch|daikin|honeywell|johnson\s+controls|cegid|absys|sigep|espublico|wolters|aranzadi|lefebvre|elsevier|springer|wiley|ebsco|proquest|clarivate|scopus|uipath)\b", re.I) def limpia(t): t = str(t or "") if "<" in t or "&" in t: t = re.sub(r"<[^>]*>", " ", html.unescape(html.unescape(t))) return " ".join(t.split()) def nrm(t): import unicodedata t = unicodedata.normalize("NFKD", str(t or "")).encode("ascii", "ignore").decode().lower() return " ".join(re.sub(r"[^a-z0-9 ]", " ", t).split()) def organo_es(ob, m, org): if not org: return False ant = nrm(ob[:m.start()]).split(); o = f" {nrm(org)} " return bool(ant) and ((len(ant[-1]) >= 4 and f" {ant[-1]} " in o) or f" {' '.join(ant[-2:])} " in o) fuera = {} S = [] for r in D: ob = limpia(r["objeto"]) m = None if r["fecha_fin_ofertas"].year >= 2100: m = "relleno" elif r["procedimiento"] == "Negociado_sin_publicidad": m = "sinpub" elif not ob: m = "sinobj" elif any(not organo_es(ob, mm, r["organo_nombre"]) for mm in EMP.finditer(ob)): m = "empresa" elif MARCA.search(ob): m = "marca" # tipo de órgano de la lista de la web: solo los tipos reconocidos cuentan (ver indicadores.TIPOS): lo aplica la fase B if m: fuera[m] = fuera.get(m, 0) + 1; continue S.append(r) # repetidas: mismo órgano, expediente, objeto, fecha límite e importe; se queda el publicado más tarde (a igual fecha, el id más alto) g = {} for r in S: e = nrm(r["expediente"]) if e: g.setdefault((nrm(r["organo_nombre"]), e, nrm(limpia(r["objeto"])), r["fecha_fin_ofertas"], r["imp_lic_eur"]), []).append(r) rep = set() def num(i): m = re.search(r"(\d+)$", i or ""); return int(m.group(1)) if m else 0 for xs in g.values(): if len(xs) > 1: xs = sorted(xs, key=lambda r: (r["fecha_pub"] or dt.date.min, num(r["id_canonical"].rsplit("/", 1)[-1]))) rep |= {x["id_canonical"] for x in xs[:-1]} S = [r for r in S if r["id_canonical"] not in rep] print("tras reglas de la lista", len(S), "excluidas", fuera, "repetidas", len(rep)) ids = sorted({r["licitacion_id"] for r in S if r["licitacion_id"]}) con.execute("CREATE TEMP TABLE sel(licitacion_id VARCHAR)") con.executemany("INSERT INTO sel VALUES (?)", [(i,) for i in ids]) cri = {r[0]: r[1:] for r in con.execute(f"""SELECT licitacion_id, count(*), bool_or(pesos_suman_100), max(n_sin_tipo_ambito), max(peso_juicio_valor_ambito), max(peso_suma_ambito), sum(CASE WHEN subtipo_criterio_code='1' THEN peso END) FROM read_parquet('{U}.criterios/criterios.parquet') WHERE ambito='expediente' AND licitacion_id IN (SELECT licitacion_id FROM sel) GROUP BY 1""").fetchall()} doc = {r[0]: r[1:] for r in con.execute(f"""SELECT licitacion_id, bool_or(elemento='legal'), bool_or(elemento='tecnico') FROM read_parquet('{U}.documentos/documentos.parquet') WHERE licitacion_id IN (SELECT licitacion_id FROM sel) GROUP BY 1""").fetchall()} cdv = {r[0]: r[1] for r in con.execute(f"""SELECT licitacion_id, any_value(n_divisiones) FROM read_parquet('{U}.cpvs/cpvs.parquet') WHERE ambito='expediente' AND licitacion_id IN (SELECT licitacion_id FROM sel) GROUP BY 1""").fetchall()} nl = {r[0]: r[1] for r in con.execute(f"""SELECT licitacion_id, count(DISTINCT lote) FROM read_parquet('{U}.cpvs/cpvs.parquet') WHERE ambito='lote' AND lote IS NOT NULL AND licitacion_id IN (SELECT licitacion_id FROM sel) GROUP BY 1""").fetchall()} for r in S: i = r["licitacion_id"] c = cri.get(i, (None,) * 6) r.update(n_crit=c[0], suman100=c[1], n_sin_tipo=c[2], peso_jv=c[3], peso_suma=c[4], peso_precio=c[5]) d = doc.get(i, (None, None)); r.update(pcap=d[0], ppt=d[1]) r.update(cpv_n_div=cdv.get(i), n_lotes_an=nl.get(i)) r.pop("objeto", None); r.pop("expediente", None); r.pop("url_origen", None); r.pop("organo_nombre", None) tbl = pa.Table.from_pylist(S) import pyarrow.csv as pc pq.write_table(tbl, SAL) pc.write_csv(tbl, SAL.replace(".parquet",".csv")) pmp=con.execute(f"SELECT id_canonical, licitacion_id, p, p_lo, p_hi FROM read_parquet('{U}.exante/prediccion_mp1.parquet')").arrow() pc.write_csv(pmp, SAL.replace("pob.parquet","pmp1.csv")) print("escrito", SAL, tbl.num_rows)