"""07. Cotejo con la ficha de la PLACSP (RED, solo esto; una petición cada 5 s). Para cada licitación de la muestra (06) descarga su ficha (url_origen) y el documento html del último «Pliego» (los ficheros de pliegos y los criterios). Guarda el HTML en muestras/html/ (caché: no repite peticiones) y lo extraído en muestras/07_cotejo.json. Uso (en el host): python3 sql/07_cotejo_red.py""" import hashlib, html, json, re, sys, time, urllib.request from pathlib import Path W = Path('/p4b') H = W / 'muestras' / 'html' H.mkdir(parents=True, exist_ok=True) UA = 'Mozilla/5.0 (X11; Linux x86_64) buscalicitaciones-verificacion' PET = [0] def get(url, nombre): p = H / nombre if p.exists(): return p.read_text(encoding='utf-8') time.sleep(5) PET[0] += 1 req = urllib.request.Request(url, headers={'User-Agent': UA, 'Accept-Language': 'es-ES,es;q=0.9'}) try: with urllib.request.urlopen(req, timeout=90) as r: s = r.read().decode('utf-8', 'replace') except Exception as e: # noqa: BLE001 s = f'' p.write_text(s, encoding='utf-8') return s def clave(url): return hashlib.md5(url.encode()).hexdigest()[:12] def texto(s): t = re.sub(r'|', ' ', s, flags=re.S) t = html.unescape(re.sub(r'<[^>]+>', ' | ', t)) return re.sub(r'\s+', ' ', re.sub(r'(\s*\|\s*)+', ' | ', t)) def filas_ficha(s): """Filas de «Anuncios y documentos» (fecha, tipo, enlaces) y de «Otros documentos» (fecha y tipo).""" out = [] for tr in re.findall(r']*>(.*?)', s, flags=re.S): f = re.search(r'fechaPubLeft[^>]*>\s*]*>([^<]+)', tr) n = re.search(r'tipoDocumento[^>]*>\s*]*>(.*?)', tr, flags=re.S) if not f or not n: continue enl = {} for href, alt in re.findall(r']+href="([^"#][^"]*)"[^>]*>\s*]+alt="([^"]*)"', tr): enl[alt.replace('Documento ', '').strip().lower()] = html.unescape(href) out.append({'fecha': f.group(1).strip(), 'nombre': re.sub(r'\s+', ' ', html.unescape(re.sub(r'<[^>]+>', '', n.group(1)))).strip(), 'enlaces': enl, 'tabla': 'anuncios'}) for fe, no in re.findall(r'textSfecha1PadreGen"[^>]*>([^<]+).*?textStipo1PadreGen"[^>]*>([^<]*)', s, flags=re.S): out.append({'fecha': fe.strip(), 'nombre': html.unescape(no).strip(), 'enlaces': {}, 'tabla': 'otros_documentos'}) return out def campo(t, rotulo): m = re.search(re.escape(rotulo) + r' \| ([^|]+) \|', t) return m.group(1).strip() if m else None muestra = json.load(open(W / 'muestras' / '06_muestra.json')) res = {} for m in muestra: url = m['url_origen'] ficha = get(url, f'ficha_{clave(url)}.html') t = texto(ficha) filas = filas_ficha(ficha) r = {'url': url, 'filas': filas, 'organo': campo(t, 'Órgano de Contratación'), 'expediente': campo(t, 'Expediente'), 'tipo_contrato': campo(t, 'Tipo de Contrato'), 'procedimiento': campo(t, 'Procedimiento de contratación'), 'error': ficha.startswith('