# COB-NAC · utilidades comunes. es_copia SIEMPRE con app/copia.marcas_sql del código montado en /code (solo lectura) # y la vinculación de los agregados de la misma construcción. import sys, duckdb sys.path.insert(0, '/code') from app import copia # noqa: E402 def conectar(mem='3GB', hilos=3): con = duckdb.connect() con.execute("SET temp_directory='/w/tmp/duck'") con.execute(f"SET memory_limit='{mem}'") con.execute(f"SET threads={hilos}") con.execute("SET preserve_insertion_order=false") return con def vista(con, c, nombre=None, fuentes=None, aggs=None): """Vista `nombre` (u_) = unified_ con es_copia de app/copia.marcas_sql y la vinculación de aggregations_ (si no existe todavía, la de .vinculos/filas.parquet).""" import os nombre = nombre or f"u_{c}" if fuentes: src = "[" + ",".join(f"'/d/unified_{c}/source={f}/**/*.parquet'" for f in fuentes) + "]" else: src = f"'/d/unified_{c}/**/*.parquet'" base = f"read_parquet({src}, hive_partitioning=true, union_by_name=true)" hay = {r[0] for r in con.execute(f"DESCRIBE SELECT * FROM {base}").fetchall()} v = f"/d/aggregations_{aggs or c}/vinculos_filas.parquet" if not os.path.exists(v): v = f"/d/unified_{c}.vinculos/filas.parquet" vinc = f"read_parquet('{v}')" con.execute(f"CREATE OR REPLACE VIEW {nombre} AS SELECT *, {copia.marcas_sql(hay, vinc)} FROM {base}") return hay, v