"""BU1 · 53 · tabla del cotejo (§7d) a partir de atom.json, peticiones.csv y la lectura de las fichas (Euskadi: «Precio sin IVA» de la oferta adjudicataria). Escribe salidas/50_cotejo.md y salidas/50_cotejo.json.""" import csv, json, re, html, glob, math M = {m['cid']: m for m in csv.DictReader(open('/w/interno/cotejo/muestra.csv'))} A = json.load(open('/w/interno/cotejo/atom.json')) P = list(csv.reader(open('/w/interno/cotejo/peticiones.csv'))) def ficha_eus(cid): fs = sorted(glob.glob(f'/w/interno/cotejo/html/{cid}_*.html')) if not fs: return None, None s = open(fs[-1], encoding='utf-8', errors='replace').read() t = re.sub(r'\s+', ' ', html.unescape(re.sub(r'<[^>]+>', ' ', re.sub(r'|', '', s, flags=re.S)))) m = re.search(r'Precio sin IVA:? ([\d\.]+(?:,\d+)?) Precio con IVA:? ([\d\.]+(?:,\d+)?)', t) if not m: return None, None f = lambda v: float(v.replace('.', '').replace(',', '.')) return f(m.group(1)), f(m.group(2)) filas = [] pedidas = {p[2]: p[3] for p in P} for cid in [f'c{i:02d}' for i in range(1, 21)] + ['c36', 'c37', 'c38', 'c39', 'c55', 'c56', 'c57', 'c73', 'c74', 'c75', 'c40', 'c41', 'c42', 'c43', 'c44', 'c45']: m = M[cid]; nuestro = float(m['imp']); r = {'cid': cid, 'fuente': m['source'], 'anio': m['anio'], 'tipo': m['tipo'], 'nuestro': nuestro, 'reserva': m['reserva'] == 'True'} if m['source'] == 'PLACSP': a = A[cid]; r['codice_sin_iva'] = a.get('atom_sin_iva'); r['codice_con_iva'] = a.get('atom_con_iva') r['ficha'] = 'no legible (403, descarga parada)' if cid == 'c01' else 'no pedida (parada por 403)' r['resultado'] = 'confirmado' if a.get('estado') == 'correcto' else 'error' elif m['source'] == 'EUSKADI': s, c = ficha_eus(cid); r['ficha_sin_iva'] = s; r['ficha_con_iva'] = c r['resultado'] = 'confirmado' if s is not None and abs(s - nuestro) <= 1 else ('error' if s is not None else 'no legible') else: r['ficha'] = 'no legible (aplicación JavaScript; su API respondió 401 / no filtró)'; r['resultado'] = 'no legible' filas.append(r) estricta = [f for f in filas if not f['reserva']] sust = [f for f in filas if f['fuente'] in ('PLACSP', 'EUSKADI')] def wilson(k, n, z=1.96): p = k / n; d = 1 + z * z / n; c = p + z * z / (2 * n); h = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)); return (c - h) / d, (c + h) / d R = {'peticiones': len(P), 'parada_403': any(p[3] == '403' for p in P), 'estricta': {'n': len(estricta), 'confirmados': sum(f['resultado'] == 'confirmado' for f in estricta), 'errores': sum(f['resultado'] == 'error' for f in estricta), 'no_legibles': sum(f['resultado'] == 'no legible' for f in estricta)}, 'con_sustitucion': {'n': len(sust), 'confirmados': sum(f['resultado'] == 'confirmado' for f in sust), 'errores': sum(f['resultado'] == 'error' for f in sust)}} R['con_sustitucion']['wilson'] = wilson(R['con_sustitucion']['confirmados'], R['con_sustitucion']['n']) R['estricta']['wilson_sobre_legibles'] = wilson(R['estricta']['confirmados'], R['estricta']['confirmados'] + R['estricta']['errores']) json.dump({'resumen': R, 'filas': filas}, open('/w/salidas/50_cotejo.json', 'w'), ensure_ascii=False, indent=1) out = ['# BU1 · 50 · Cotejo de 30 menores en la franja [0,95u, u)', '', f"Peticiones: {len(P)} de 30 (parada por 403 de contrataciondelestado.es en la 17.ª). Detalle en `interno/cotejo/peticiones.csv`.", '', '| cid | fuente | año | tipo | nuestro (sin IVA) | origen sin IVA | origen con IVA | ficha | resultado |', '|---|---|---|---|--:|--:|--:|---|---|'] for f in filas: if f['fuente'] == 'PLACSP': s, c, fi = f['codice_sin_iva'], f['codice_con_iva'], 'CODICE en disco; ' + f['ficha'] elif f['fuente'] == 'EUSKADI': s, c, fi = f.get('ficha_sin_iva'), f.get('ficha_con_iva'), 'ficha: «Precio sin IVA / con IVA»' else: s, c, fi = None, None, f['ficha'] out.append(f"| {f['cid']}{' (reserva)' if f['reserva'] else ''} | {f['fuente']} | {f['anio']} | {f['tipo']} | {f['nuestro']:,.2f} | {s} | {c} | {fi} | {f['resultado']} |") out += ['', f"**Estricta (pre-registro)**: {R['estricta']}", f"**Con sustitución (desvío)**: {R['con_sustitucion']}"] open('/w/salidas/50_cotejo.md', 'w').write('\n'.join(out)); print('\n'.join(out[-2:]))