"""E3 · Veredicto del cotejo contra la API de TED (regla de cotejo/PREREGISTRO.md, md5 9bfab2a1...). Nota: en el pre-registro los nombres BT-759/BT-760 iban cambiados (BT-759 es el número y BT-760 el tipo, como devuelve la API); la regla compara código con código y número con número, y así se aplica.""" import csv import json import pyarrow.compute as pc import pyarrow.parquet as pq BASE = '/e3' muestra = list(csv.DictReader(open(f'{BASE}/cotejo/muestra.csv'))) ids = [m['ted_notice_id'] for m in muestra] api = {n['publication-number']: n for n in json.load(open(f'{BASE}/cotejo/resp/q1_muestra20.json'))['notices']} def filas(ruta): t = pq.read_table(ruta) t = t.filter(pc.is_in(t['ted_notice_id'], value_set=__import__('pyarrow').array(ids))) return t.to_pylist() res = filas(f'{BASE}/run/ted/ted_resultados_lote_es.parquet') lic = filas(f'{BASE}/run/ted/ted_licitadores_es.parquet') ST = [c for c in (res[0].keys() if res else []) if c.startswith('st_') and c != 'st_otros'] def num(x): try: return round(float(x), 2) except (TypeError, ValueError): return None def nombres_api(v): if isinstance(v, dict): return {x.strip() for vs in v.values() for x in (vs if isinstance(vs, list) else [vs])} return {x.strip() for x in (v or [])} salida, ok_total = [], 0 for m in muestra: n = m['ted_notice_id'] a = api.get(n, {}) r = [x for x in res if x['ted_notice_id'] == n] li = [x for x in lic if x['ted_notice_id'] == n] codigos = {c[3:].replace('_', '-') for x in r for c in ST if x[c]} codigos |= {kv.split('=', 1)[0] for x in r for kv in (x['st_otros'] or '').split(';') if kv} numeros = {x[c] for x in r for c in ST if x[c]} | {kv.split('=', 1)[1] for x in r for kv in (x['st_otros'] or '').split(';') if kv} e1 = codigos == set(a.get('BT-760-LotResult', [])) and numeros == set(a.get('BT-759-LotResult', [])) nuestros_nombres = {p.strip() for x in li for p in (x['tenderer_name'] or '').split('---') if p.strip()} nuestros_ids = {p for x in li for p in (x['tenderer_nationalid'] or '').split('---') if p} api_ids = set(a.get('organisation-identifier-tenderer', [])) e2 = nuestros_nombres == nombres_api(a.get('organisation-name-tenderer')) and nuestros_ids <= api_ids nuestros_imp = {num(x['tender_value']) for x in li if x['tender_value']} e3 = nuestros_imp == {num(v) for v in a.get('tender-value', [])} ok = e1 and e2 and e3 ok_total += ok ganadoras = {p for x in li if x['es_ganadora'] == 'true' for p in (x['tenderer_nationalid'] or '').split('---') if p} salida.append({ 'estrato': m['estrato'], 'aviso': n, 'veredicto': 'OK' if ok else 'NO', 'estadisticas': e1, 'licitadores': e2, 'importes': e3, 'resultados': len(r), 'ofertas_descritas': len(li), 'no_ganadoras': sum(x['es_ganadora'] == 'false' for x in li), 'codigos_nuestros': ';'.join(sorted(codigos)), 'codigos_api': ';'.join(sorted(set(a.get('BT-760-LotResult', [])))), 'numeros_nuestros': ';'.join(sorted(numeros)), 'numeros_api': ';'.join(sorted(set(a.get('BT-759-LotResult', [])))), 'licitadores_nuestros': len(nuestros_nombres), 'licitadores_api': len(nombres_api(a.get('organisation-name-tenderer'))), 'ids_nuestros_en_api': f"{len(nuestros_ids & api_ids)}/{len(nuestros_ids)}", 'importes_nuestros': len(nuestros_imp), 'importes_api': len({num(v) for v in a.get('tender-value', [])}), 'winner_identifier_api': len(set(a.get('winner-identifier', []))), 'ganadoras_nuestras': len(ganadoras), }) with open(f'{BASE}/cotejo/veredictos.csv', 'w', newline='') as fh: w = csv.DictWriter(fh, fieldnames=list(salida[0])) w.writeheader() w.writerows(salida) for s in salida: print(s['estrato'], s['aviso'], s['veredicto'], s['estadisticas'], s['licitadores'], s['importes'], s['ofertas_descritas'], s['no_ganadoras'], s['licitadores_nuestros'], s['licitadores_api'], s['ids_nuestros_en_api'], s['winner_identifier_api'], s['ganadoras_nuestras']) print('OK', ok_total, 'de', len(salida))