"""Descarga educada para PR1. Uso: red.py (lista: nombreurl) Pausa >= 5 s, UA del proyecto sin correo, sin reintentos, para con 403/429. Tope global 60 peticiones (contadas en registro_red.jsonl). Registra url, código, bytes y sha256 de cada petición.""" import sys, os, time, json, hashlib, urllib.request, urllib.error UA = 'buscalicitaciones.com-investigacion/1.0 (+https://buscalicitaciones.com; estudio de transparencia de la contratacion publica)' REG = '/trabajo/registro_red.jsonl'; TOPE = 60; PAUSA = 3.5 lista, dest = sys.argv[1], sys.argv[2] hechas = sum(1 for _ in open(REG)) if os.path.exists(REG) else 0 os.makedirs(dest, exist_ok=True) for linea in open(lista, encoding='utf-8'): linea = linea.strip() if not linea or linea.startswith('#'): continue nombre, url = linea.split('\t') if hechas >= TOPE: print('TOPE alcanzado; no se pide', url); break t0 = time.time(); cod = None; datos = b''; err = '' try: req = urllib.request.Request(url, headers={'User-Agent': UA, 'Accept-Language': 'es-ES,es;q=0.9,ca;q=0.8'}) with urllib.request.urlopen(req, timeout=60) as r: cod = r.status; datos = r.read(40_000_000); final = r.geturl() except urllib.error.HTTPError as e: cod = e.code; final = url; err = str(e) except Exception as e: final = url; err = repr(e)[:300] hechas += 1 sha = hashlib.sha256(datos).hexdigest() if datos else '' if datos: with open(os.path.join(dest, nombre), 'wb') as f: f.write(datos) reg = dict(n=hechas, ts=time.strftime('%Y-%m-%dT%H:%M:%S%z'), url=url, final=final, codigo=cod, bytes=len(datos), sha256=sha, fichero=os.path.join(os.path.basename(dest), nombre) if datos else '', error=err, segundos=round(time.time()-t0, 2)) with open(REG, 'a') as f: f.write(json.dumps(reg, ensure_ascii=False) + '\n') print(hechas, cod, len(datos), url, err[:120]) if cod in (403, 429): print('PARADA por', cod); sys.exit(4) time.sleep(PAUSA)