"""MUNI-1 · A1 · lo leído de cada fuente del cotejo (interno/fuente/NNN_.*) junto al órgano y el municipio que le da la tabla: (a) el identificador frente al listado oficial (dir3_unidades, padrón) y (b) el órgano de contratación que dice la fuente. Corre en el host (sin red). Escribe interno/32_cotejo.json y una tabla para la revisión a mano (la decisión va en interno/33_veredictos.tsv, a mano).""" import csv, json, os, re, html, unicodedata, glob, sys W = '/muni1' os.umask(0o077) def nor(s): s = unicodedata.normalize('NFKD', str(s or '')).encode('ascii', 'ignore').decode().lower() return re.sub(r'[^a-z0-9]+', ' ', s).strip() def texto(s): s = re.sub(r'|', ' ', s, flags=re.S | re.I) return re.sub(r'\s+', ' ', html.unescape(re.sub(r'<[^>]+>', ' ', s))).strip() rows = list(csv.DictReader(open(f'{W}/interno/30_muestra.csv', encoding='utf-8'))) out = [] for i, r in enumerate(rows): fs = glob.glob(f"{W}/interno/fuente/{i:03d}_{r['via']}.*") leido, extracto = {}, '' if fs and os.path.getsize(fs[0]) > 0: s = open(fs[0], encoding='utf-8', errors='replace').read() if fs[0].endswith('.xml'): noms = re.findall(r'<(?:OFFICIALNAME|cbc:RegistrationName)[^>]*>([^<]+)', s) + re.findall(r'\s*]*>([^<]+)', s) towns = re.findall(r'<(?:TOWN|cbc:CityName)[^>]*>([^<]+)', s) ids = re.findall(r'<(?:NATIONALID|cbc:CompanyID)[^>]*>([^<]+)', s) extracto = f"comprador={noms[:3]} ciudad={towns[:3]} nif={ids[:3]}" else: t = texto(s) m = re.search(r'Contracting Party (.{0,260}?) File ', t) or re.search(r'Órgano de Contratación (.{0,260}?) (?:Expediente|Objeto)', t) if m: extracto = m.group(1) else: k = [x.start() for x in re.finditer(r'(?i)entidad|órgano|organo|ayuntamiento|concejo', t)][:3] extracto = ' | '.join(t[max(0, j - 40):j + 160] for j in k)[:700] leido['bytes'] = len(s) mun = r['municipio'] or '' partes = [nor(p) for p in re.split(r'[/,]', mun) if len(nor(p)) >= 3] auto = any(p in nor(extracto) for p in partes) out.append({'i': i, 'via': r['via'], 'sola': r['sola'], 'organo': r['organo'], 'municipio_ine': r['municipio_ine'], 'municipio': mun, 'dir3': r['dir3_oficial'], 'nif': r['nif_oficial'] or r['entidad_clave'], 'm_dir3': r['m_dir3'], 'm_nif': r['m_nif'], 'm_nombre': r['m_nombre'], 'source': r['source'], 'url': r['url_origen'], 'c_organo': r['c_organo_nombre'], 'objeto': r['objeto'], 'fichero': os.path.basename(fs[0]) if fs else None, 'extracto': extracto, 'auto_municipio_en_fuente': auto, **leido}) json.dump(out, open(f'{W}/interno/32_cotejo.json', 'w'), ensure_ascii=False, indent=1) via = sys.argv[1] if len(sys.argv) > 1 else None for o in out: if via and o['via'] != via: continue print(f"{o['i']:3d} {o['via'][:6]} {o['municipio_ine']} {o['municipio'][:28]:28} | org: {o['organo'][:70]} | fuente[{o['source']}]: {o['extracto'][:260]} | auto={o['auto_municipio_en_fuente']}")