"""Cotejo A (pre-registro ยง5.2). Descarga en orden la lista /w/.csv (clave, url, destino) con >= 5 s entre peticiones, como mucho 150 peticiones EN TOTAL (contador persistente /w/peticiones.csv), un reintento a los 60 s solo por error de red o 5xx, y parada total ante 403/429. Un destino que ya existe no se vuelve a pedir.""" import csv, os, ssl, sys, time, urllib.request, urllib.error UA = 'Mozilla/5.0 (X11; Linux x86_64) buscalicitaciones-cotejo/1.0 (+https://buscalicitaciones.com)' CTX = ssl.create_default_context(); PAUSA = 5.0; CUPO = 40 lista = sys.argv[1] log_path = '/w/peticiones.csv' nuevo = not os.path.exists(log_path) log = open(log_path, 'a', newline=''); w = csv.writer(log) if nuevo: w.writerow(['n', 'hora', 'clave', 'url', 'estado', 'bytes', 'destino']) hechas = sum(1 for _ in open(log_path)) - 1 def pedir(url): req = urllib.request.Request(url, headers={'User-Agent': UA, 'Accept-Language': 'es-ES,es;q=0.9'}) try: with urllib.request.urlopen(req, timeout=60, context=CTX) as r: return r.status, r.read() except urllib.error.HTTPError as e: return e.code, e.read() except Exception as e: # noqa: BLE001 return f'error {type(e).__name__}', b'' ultima = 0.0 for fila in csv.DictReader(open(f'/w/{lista}.csv')): dest = '/w/' + fila['destino'] if os.path.exists(dest) and os.path.getsize(dest) > 0: continue for intento in (1, 2): if hechas >= CUPO: print('CUPO AGOTADO', flush=True); log.close(); sys.exit(0) espera = PAUSA - (time.time() - ultima) if espera > 0: time.sleep(espera) st, data = pedir(fila['url']); ultima = time.time(); hechas += 1 w.writerow([hechas, time.strftime('%Y-%m-%d %H:%M:%S'), fila['clave'], fila['url'], st, len(data), fila['destino']]); log.flush() print(hechas, fila['clave'], st, len(data), flush=True) if st == 200: os.makedirs(os.path.dirname(dest), exist_ok=True) open(dest, 'wb').write(data); break if st in (403, 429): print('PARADA: la fuente rechaza el cotejo', st, flush=True); log.close(); sys.exit(0) if intento == 1 and (isinstance(st, str) or (isinstance(st, int) and st >= 500)): time.sleep(60); continue break log.close()