"""UTE1 · 01 · PASO 0 (sin etiquetas). Marca UTE (definición estricta), miembros publicados (ute_socios) y miembros resueltos por el NOMBRE de la UTE (segmentación + diccionario nombre_norm -> empresa_clave, único con cuota >= 0,9). Escribe en /w/tmp/ute1.duckdb: ute_nom (clave, nombre), ute_pub, ute_res, ute_miembros; y /w/salidas/01_paso0.txt.""" import re, time, unicodedata, collections, duckdb T0 = time.time() con = duckdb.connect('/w/tmp/ute1.duckdb'); x = con.execute x("SET threads=4; SET memory_limit='6GB'; SET temp_directory='/w/tmp/duck'; SET max_temp_directory_size='5GB'; SET preserve_insertion_order=false") I = '/d/unified_20261018.identidad/' def log(*a): print(f"[{time.time()-T0:6.1f}s]", *a, flush=True) x(r"""CREATE OR REPLACE MACRO norm_nombre(x) AS nullif(trim(regexp_replace(upper(strip_accents(CAST(x AS VARCHAR))), '[^A-Z0-9]+', ' ', 'g')), ''); CREATE OR REPLACE MACRO norm_empresa(x) AS nullif(trim(regexp_replace(regexp_replace(norm_nombre(x), '( (SOCIEDAD|SOCIETAT) (LIMITADA|ANONIMA|COOPERATIVA|CIVIL)( (UNIPERSONAL|LABORAL|PROFESIONAL))?| S ?L ?U| S ?A ?U| S ?L ?L| S ?L ?P| S ?L ?N ?E| S ?C ?C ?L| S ?C ?P| S ?C ?L| S ?A ?L| S ?L| S ?A| S ?C| S ?COOP( AND)?| COOP| SOCIEDAD UNIPERSONAL| SOCIETAT UNIPERSONAL| UNIPERSONAL| A ?I ?E| U ?T ?E)+$', ''), '^(UTE|U T E|UNION TEMPORAL DE EMPRESAS) ', 'UTE ')), '');""") # ---- UTE estricta: NIF U válido o nombre de UTE (la 'lista' sin palabra UTE son adjudicatarias de un AM, fuera) x("""CREATE OR REPLACE TABLE ute_def AS SELECT DISTINCT adjudicatario_nif_raw, adjudicatario_nif, adjudicatario_nombre, empresa_clave ute_clave, empresa_via FROM read_parquet('{I}adjudicatarios_filas.parquet') WHERE empresa_tipo='ute' AND (empresa_via IN ('nif_ute','nombre_ute','nombre_ute_con_nif_socio') OR (empresa_via='lista' AND nombre_ute))""".format(I=I)) log('ute_def filas-clave', x("SELECT count(*), count(DISTINCT ute_clave) FROM ute_def").fetchone()) # ---- miembros publicados (NIF que trae la fuente), sin personas físicas x(f"""CREATE OR REPLACE TABLE ute_pub AS SELECT DISTINCT s.ute_clave, s.socio_nif emp, s.via FROM read_parquet('{I}ute_socios.parquet') s WHERE s.ute_clave IN (SELECT ute_clave FROM ute_def) AND s.socio_control_ok AND NOT coalesce(s.socio_persona_fisica, FALSE)""") log('ute_pub', x("SELECT via, count(*), count(DISTINCT ute_clave) FROM ute_pub GROUP BY 1").fetchall()) # ---- diccionario nombre_norm -> empresa_clave (empresas; único con cuota >= 0,9 de las filas) x(f"""CREATE OR REPLACE TABLE dic AS WITH a AS (SELECT nombre_norm, empresa_clave, sum(filas) f FROM read_parquet('{I}adjudicatarios_filas.parquet') WHERE empresa_tipo='empresa' AND NOT coalesce(persona_fisica,FALSE) AND NOT coalesce(nombre_ute,FALSE) AND NOT coalesce(varias_empresas,FALSE) AND nombre_norm IS NOT NULL GROUP BY 1, 2), b AS (SELECT *, sum(f) OVER (PARTITION BY nombre_norm) t, row_number() OVER (PARTITION BY nombre_norm ORDER BY f DESC, empresa_clave) r FROM a) SELECT nombre_norm, empresa_clave, f, t, f/t cuota FROM b WHERE r=1""") x(f"""CREATE OR REPLACE TABLE dic_pf AS SELECT DISTINCT nombre_norm FROM read_parquet('{I}adjudicatarios_filas.parquet') WHERE coalesce(persona_fisica,FALSE) AND nombre_norm IS NOT NULL""") log('dic', x("SELECT count(*), count(*) FILTER (WHERE cuota>=0.9) FROM dic").fetchone()) DIC = {n: (k, c) for n, k, c in x("SELECT nombre_norm, empresa_clave, cuota FROM dic").fetchall()} PF = set(r[0] for r in x("SELECT nombre_norm FROM dic_pf").fetchall()) GEN = set("""SERVICIOS OBRAS CONSTRUCCIONES INGENIERIA MANTENIMIENTO LIMPIEZA LIMPIEZAS PROYECTOS CONSTRUCCION SISTEMAS SOLUCIONES TECNOLOGIAS INSTALACIONES CONSULTORES CONSULTING GESTION GRUPO SEGURIDAD MEDIO AMBIENTE AGUA AGUAS ESPANA ESPANOLA INFRAESTRUCTURAS ASOCIADOS ARQUITECTOS ARQUITECTURA URBANISMO ESTUDIOS TRANSPORTES AUTOBUSES ENERGIA FORMACION DESARROLLO INNOVACION SALUD HOSPITAL MADRID BARCELONA VALENCIA SEVILLA ANDALUCIA CATALUNYA GALICIA MURCIA ARAGON ASTURIAS CANARIAS EUSKADI NAVARRA LOTE LOT""".split()) FJ = set('S A U L P C E N SA SL SAU SLU SLP SLL SAL SC SCCL SCP SCL COOP SDAD SOCIEDAD LIMITADA ANONIMA UNIPERSONAL AIE SRL NV BV GMBH AG SPA SAS LTD LIMITED INC'.split()) def sa(s): return ''.join(ch for ch in unicodedata.normalize('NFKD', s or '') if not unicodedata.combining(ch)).upper() LIMPIA = [(r'"[^"]*"|“[^”]*”', ' - '), (r'\bABREVIADAMENTE?\b.*$', ' '), (r'\b(LLEI|LEY)\s*18\s*/?\s*(19)?82\b[^-,;|]*', ' - '), (r'\bDE\s+26\s+DE\s+MAYO\b', ' '), (r'\bUNI[OÓ]N?\s+TEMPORAL(\s+DE\s+EMPRESAS|\s+D.?\s*EMPRESES)?\b', ' - '), (r'(? i: s = s + (sep[j-1] or ' ') + tok[j] out[(i, j)] = s return out nombres = x("SELECT DISTINCT ute_clave, adjudicatario_nombre FROM ute_def WHERE adjudicatario_nombre IS NOT NULL").fetchall() log('nombres', len(nombres)) todos = {}; por = [] for k, n in nombres: tok, sep = piezas(n); sp = spans(tok, sep); por.append((k, n, tok, sp)) for s in sp.values(): todos[s] = None log('spans distintos', len(todos)) x("CREATE OR REPLACE TEMP TABLE sp(s VARCHAR)"); import pyarrow as pa x("CREATE OR REPLACE TEMP TABLE sp AS SELECT * FROM t", ) if False else None t = pa.table({'s': list(todos)}); con.register('t_sp', t) NORM = {s: nn for s, nn in x("SELECT s, norm_empresa(s) FROM t_sp").fetchall()} log('normalizados') def match(s): nn = NORM.get(s) if not nn or len(nn) < 3: return None if nn in GEN or nn.startswith('UTE '): return None if ' ' not in nn and len(nn) < 4: return None if all(t in FJ for t in nn.split()): return None d = DIC.get(nn) if d and d[1] >= 0.9: return d[0] return None res = []; nseg = collections.Counter() for k, n, tok, sp in por: L = len(tok); best = [(0, 0, [])] * (L + 1) # (cubiertas, -spans, lista) hasta i best = [None] * (L + 1); best[0] = (0, 0, []) for i in range(L): if best[i] is None: continue c, ns, li = best[i] cand = [(i, i, None)] + [(i, j, match(sp[(i, j)])) for j in range(i, min(L, i + 8))] for a, b, m in cand: v = (c + (b - a + 1 if m else 0), ns - (1 if m else 0), li + ([(a, b, m)] if m else [])) if m is None and b != a: continue if best[b + 1] is None or (v[0], v[1]) > (best[b + 1][0], best[b + 1][1]): best[b + 1] = v mem = {} for a, b, m in best[L][2]: mem.setdefault(m, sp[(a, b)]) nseg[len(mem)] += 1 for m, s in mem.items(): res.append((k, n, m, s, NORM.get(s))) log('resueltos por nombre (miembros por nombre de UTE)', sorted(nseg.items())) x("CREATE OR REPLACE TABLE ute_res(ute_clave VARCHAR, nombre VARCHAR, emp VARCHAR, trozo VARCHAR, trozo_norm VARCHAR)") x("DELETE FROM ute_res"); con.executemany("INSERT INTO ute_res VALUES (?,?,?,?,?)", res) # miembros = publicados ∪ por nombre; la propia UTE nunca es miembro x("""CREATE OR REPLACE TABLE ute_miembros AS SELECT ute_clave, emp, bool_or(fuente='pub') pub, bool_or(fuente='nom') nom FROM ( SELECT ute_clave, emp, 'pub' fuente FROM ute_pub UNION ALL SELECT ute_clave, emp, 'nom' FROM ute_res) WHERE emp <> ute_clave GROUP BY 1, 2""") log('ute_miembros', x("SELECT count(*), count(DISTINCT ute_clave), sum(pub::INT), sum(nom::INT), sum((pub AND nom)::INT) FROM ute_miembros").fetchone()) log('fin')