"""07b. Cotejo (sin red): lo que cuenta la tabla para cada licitación de la muestra (06) frente a lo que enseña su ficha de la PLACSP (07): los pliegos (los ficheros del documento «Pliego»), cada documento general (la tabla «Otros documentos», por su etiqueta exacta o, si el órgano le puso nombre, por el nombre que enseña la ficha), los criterios de juicio de valor (el documento «Pliego») y los anuncios de modificación. Las coincidencias por etiqueta se marcan solas; las de nombre se listan para leerlas. Salida: salidas/07b_cotejo.md""" import json, re, sys, unicodedata from pathlib import Path W = Path('/p4b') muestra = {m['licitacion_id']: m for m in json.load(open(W / 'muestras' / '06_muestra.json'))} # Los PCAP y PPT de las licitaciones cuya ficha no enseña el documento «Pliego» (07c): ¿el fichero está en la PLACSP? EN_PLACSP = {} for t, f in (('pcap', '07c_pliegos_head_pcap.md'), ('ppt', '07c_pliegos_head_ppt.md')): for linea in open(W / 'salidas' / f): m_ = re.match(r'- (\d+) \((HEAD|GET)\): HTTP 200 · ([^·]+)·.*filename=([^·]+)', linea) if m_: EN_PLACSP[('PLACSP:licitacionesPerfilContratante/' + m_.group(1), t)] = m_.group(4).strip() import hashlib, html as _html def texto_pliego(f): """El texto del documento html del «Pliego» (o del anuncio o la adjudicación) que se descargó en 07.""" pl = [x for x in f['filas'] if x['nombre'].lower() == (f.get('pliego_en') or 'pliego') and 'html' in x['enlaces']] if not pl: return '' u = pl[0]['enlaces']['html'] s = (W / 'muestras' / 'html' / f"pliego_{hashlib.md5(u.encode()).hexdigest()[:12]}.html").read_text(encoding='utf-8') t = re.sub(r'|', ' ', s, flags=re.S) return _html.unescape(re.sub(r'\s+', ' ', re.sub(r'<[^>]+>', ' | ', t))) ficha = json.load(open(W / 'muestras' / '07_cotejo.json')) ETIQ = {'memoria_justificativa': 'Memoria justificativa', 'aprobacion_expediente': 'Documento de aprobación del expediente', 'acta_mesa': 'Acta del órgano de asistencia', 'informe_valoracion_juicio_valor': 'Informe de valoración de los criterios de adjudicación cuantificables mediante juicio de valor', 'informe_insuficiencia_medios': 'Informe de insuficiencia de medios', 'informe_anormalidad': 'Informe sobre las ofertas incursas en presunción de anormalidad'} COL = {'memoria_justificativa': 'memoria', 'aprobacion_expediente': 'aprobación', 'acta_mesa': 'actas', 'informe_valoracion_juicio_valor': 'valoración JV', 'informe_insuficiencia_medios': 'insuficiencia', 'informe_anormalidad': 'anormalidad'} def norm(t): return ''.join(c for c in unicodedata.normalize('NFD', t or '') if not unicodedata.combining(c)).lower() L = ['# 07b · Cotejo de la muestra con la ficha de la PLACSP\n', 'Por licitación: lo que cuenta la tabla (T) frente a la ficha (F). «=» coincide; «≠» no; los documentos con nombre libre se', 'listan con el tipo que les da el satélite para leerlos.\n'] tot = {'si': 0, 'no': 0} dif = [] for k, m in muestra.items(): f = ficha[k] tipos = set(m['tipos_tabla']) # lo que cuenta la tabla (satélite + reglas de nombre de P4b) otros = [x['nombre'] for x in f['filas'] if x['tabla'] == 'otros_documentos'] anuncios = [x['nombre'] for x in f['filas'] if x['tabla'] == 'anuncios'] pl = f.get('pliego') or {} L.append(f"## {k} · {m['organo_nombre']} · {m['anio']} · estrato {m['estrato']}\n") L.append(f"- ficha: órgano «{f['organo']}», {f['tipo_contrato']}, {f['procedimiento']}; anuncios {anuncios}") L.append(f"- otros documentos de la ficha: {otros}") L.append(f"- documentos vigentes del satélite: " + "; ".join(f"{d['t']} ({d['via']}): {d['nombre']}" for d in (m['docs'] or []))) filas = [] def comp(nombre, t, fv, nota=''): ok = (t == fv) tot['si' if ok else 'no'] += 1 filas.append(f"| {nombre} | {'sí' if t else 'no'} | {'sí' if fv else ('no' if fv is not None else '¿?')} | {'=' if ok else '≠'} | {nota} |") if not ok: dif.append(f"{k} · {nombre}: T {t} · F {fv} · {nota}") comp('servicios', bool(m['servicios']), (f['tipo_contrato'] or '').startswith('Servicios'), f['tipo_contrato'] or '') if pl and not f.get('pliego_en'): comp('PCAP', 'pliego_administrativo' in tipos, pl['pcap'], 'documento «Pliego»') comp('PPT', 'pliego_tecnico' in tipos, pl['ppt'], 'documento «Pliego»') elif (k, 'pcap') in EN_PLACSP or (k, 'ppt') in EN_PLACSP: # La ficha no enseña el «Pliego», pero el fichero que trae el satélite está en la PLACSP (07c: HTTP 200, PDF) comp('PCAP', 'pliego_administrativo' in tipos, (k, 'pcap') in EN_PLACSP, f"sin «Pliego» en la ficha; el fichero, en la PLACSP: {EN_PLACSP.get((k, 'pcap'))}") comp('PPT', 'pliego_tecnico' in tipos, (k, 'ppt') in EN_PLACSP, f"sin «Pliego» en la ficha; el fichero, en la PLACSP: {EN_PLACSP.get((k, 'ppt'))}") else: # Sin «Pliego» en la ficha: los pliegos, si los hay, van en otros documentos con su nombre n_pcap = [o for o in otros if re.search(r'clausulas|pcap|administrativ', norm(o))] n_ppt = [o for o in otros if re.search(r'prescripciones|ppt|tecnic', norm(o))] comp('PCAP', 'pliego_administrativo' in tipos, bool(n_pcap), f'sin documento «Pliego»; por nombre: {n_pcap}') comp('PPT', 'pliego_tecnico' in tipos, bool(n_ppt), f'sin documento «Pliego»; por nombre: {n_ppt}') for t, etiqueta in ETIQ.items(): por_etiqueta = etiqueta in otros en_tabla = t in tipos via = [d['via'] for d in (m['docs'] or []) if d['t'] == t] nombres = [d['nombre'] for d in (m['docs'] or []) if d['t'] == t] if t not in m['tipos'] and en_tabla: via = ['regla de nombre de P4b'] nombres = [d['nombre'] for d in (m['docs'] or []) if d['t'] in ('otro', None)] if en_tabla and not por_etiqueta and all(v in ('nombre', 'regla de nombre de P4b') for v in via): # por nombre: ¿la ficha enseña ese nombre? tp = texto_pliego(f) fv = any(n in otros or n in tp for n in nombres) donde = 'otros documentos' if any(n in otros for n in nombres) else ('ficheros del «Pliego»' if fv else '') comp(COL[t], True, fv, f"{'regla de nombre de P4b' if via == ['regla de nombre de P4b'] else 'por nombre'}: {nombres} ({donde})") else: comp(COL[t], en_tabla, por_etiqueta, 'etiqueta' + (f'; vía {via}' if via else '')) if m['anio'] >= 2023: jv_f = pl.get('jv') if pl else None comp('criterios de juicio de valor', bool(m['con_jv']), jv_f, f"documento «{f.get('pliego_en') or 'Pliego'}»" if pl else 'sin documento') n_mod_f = sum(1 for a in anuncios if a.startswith('Modificación de Contrato')) comp('modificaciones (anuncios)', m['mod_filas'] > 0, n_mod_f > 0, f"satélite {m['mod_filas']} filas ({m['mod_tipos']}); ficha {n_mod_f} anuncios") L.append('\n| | T | F | | |\n|---|---|---|---|---|') L += filas L.append('') L.insert(3, f"**Comparaciones: {tot['si'] + tot['no']}; coinciden {tot['si']}; no {tot['no']}.**\n") L.append('## Las que no coinciden\n') L += [f'- {d}' for d in dif] open(W / 'salidas' / '07b_cotejo.md', 'w').write('\n'.join(L) + '\n') print(tot, file=sys.stderr) for d in dif: print(d, file=sys.stderr)