"""PG1 · 00 · BOE II (buscador): títulos de ceses y nombramientos -> filas (id, fecha_pub, departamento, tipo, nombre, cargo, clase). Lee interno/datos/boe/buscar/{cese,nombra,nombramiento}/*.html (descargados por fetch.sh). Escribe interno/00_boe.parquet (con nombres: interno 700).""" import re, glob, html, json, unicodedata, sys, collections import duckdb D = '/w/interno/datos/boe/buscar/' def sa(s): return ''.join(c for c in unicodedata.normalize('NFKD', s) if not unicodedata.combining(c)) RX_LI = re.compile(r'
  • (.*?)
  • \s*\s*', re.S) MOT = r'(?:,? (?:a petici[oó]n propia|por pase a otro destino|por pase a la situaci[oó]n[^,.]*|por jubilaci[oó]n|por renuncia|por fallecimiento|por pase a[^,.]*|por cambio de destino|por haber sido nombrad[oa][^.]*|por reestructuraci[oó]n[^.]*|por supresi[oó]n[^.]*|agradeci[eé]ndole[^.]*|con agradecimiento[^.]*|por modificaci[oó]n[^.]*))' # nombre: tras don/doña hasta ' como ' / ', como ' / ' en el cargo de ' RX_CESE = re.compile(r'(?:se dispone|se declara|se acuerda|se publica)\s+(?:el\s+)?cese' + r'(?:,?[^,]{0,80},)?' + r'\s+(?:(?:de|del|de la)\s+)?(?:[^.]{0,120}?\s)?(?:don|doña|D\.|Dª\.?)\s+(?P[^,]+?),?\s+(?:como|en el cargo de|de su cargo de|en su cargo de)\s+(?P.+?)' + MOT + r'?\.?\s*$', re.I) RX_CESE2 = re.compile(r'(?:se dispone|se declara)\s+el\s+cese\s+(?:como|en el cargo de)\s+(?P.+?)\s+de\s+(?:don|doña)\s+(?P[^,.]+?)' + MOT + r'?\.?\s*$', re.I) RX_NOM1 = re.compile(r'se nombra\s+(?!a\s+(?:don|doña)\b)(?P.+?)\s+a\s+(?:don|doña)\s+(?P[^,.]+?)\.?\s*$', re.I) RX_NOM2 = re.compile(r'se nombra\s+a\s+(?:don|doña)\s+(?P[^,]+?),?\s+(?:como\s+)?(?P.+?)\.?\s*$', re.I) RX_NOM3 = re.compile(r'se dispone el nombramiento de\s+(?:don|doña)\s+(?P[^,]+?),?\s+como\s+(?P.+?)\.?\s*$', re.I) def clase(cargo): c = sa(cargo).lower().strip() c = re.sub(r'^(el|la)\s+', '', c) if re.match(r'(sub)?director[a]? (adjunt[oa] )?del gabinete|jef[ea] del gabinete', c): return 'gabinete' if re.match(r'ministr[oa]\b', c) and not re.match(r'ministr[oa] consejer', c): return 'ministro' if re.match(r'secretari[oa] de estado\b', c): return 'secretario_estado' if re.match(r'subsecretari[oa]\b', c): return 'subsecretario' if re.match(r'secretari[oa] general\b', c) and not re.search(r'\b(universidad|del consejo escolar|de la delegacion|de la subdelegacion|de embajada|del tribunal|de la real academia)', c): return 'secretario_general' if re.match(r'director[a]? general\b', c): return 'director_general' if re.match(r'(interventor[a]? general de la administracion del estado|abogad[oa] general del estado)', c): return 'asimilado_subsecretario' if re.match(r'(president[ea]|vicepresident[ea]|vicepresident[ea] ejecutiv[oa]|director[a]?|director[a]? ejecutiv[oa]|director[a]? gerente|consejer[oa] delegad[oa]|gerente|administrador[a]?) (de|del)\b', c) \ and re.search(r'\b(agencia|instituto|organismo|entidad|sociedad|empresa|centro de investigaciones|consorcio|fondo|comision nacional|autoridad|ente\b|servicio|tesoreria|fundacion|puertos|aeropuertos|administrador|consejo superior|corporacion|enaire|aena|adif|renfe|sepi|ico\b|cdti|idae|correos|paradores|tragsa|ineco|seittsa|segipsa|isdefe|loterias|mutualidad|muface|isfas|mugeju|imserso|ingesa|sepe|oficina espanola|biblioteca nacional|museo|patrimonio nacional|parques nacionales|confederacion hidrografica|mancomunidad|canal|csic|ciemat|inta|ine\b|cis\b|boletin oficial|casa de la moneda|fabrica nacional|radio|television|rtve|efe\b|comision del mercado|cnmc|cnmv|banco de espana|csn|consejo de seguridad nuclear|sociedad estatal|entidad publica)', c) \ and not re.search(r'\b(universidad|subdirector|tribunal|colegio|real academia|escuela|hospital|area de|unidad de)', c): return 'presidente_director_organismo' if re.match(r'delegad[oa] del gobierno\b', c): return 'delegado_gobierno' if re.match(r'subdirector', c): return 'subdirector_general' if re.match(r'embajador', c): return 'embajador' return 'otro' filas = []; vistos = collections.Counter(); sinparse = collections.Counter() for tipo_dir in ('cese', 'nombra', 'nombramiento'): for f in sorted(glob.glob(D + tipo_dir + '/*.html')): s = open(f, encoding='utf-8', errors='replace').read() m = re.search(r'Resultados 1 a ([0-9.]+) de ([0-9.]+)', s) n_tot = int(m.group(2).replace('.', '')) if m else 0 lis = RX_LI.findall(s) assert len(lis) == n_tot and n_tot < 2000, (f, len(lis), n_tot) for li in lis: dem = html.unescape(re.search(r'linea-dem">([^<]*)', li).group(1)).strip() pub = re.search(r'BOE (\d+) de (\d\d)/(\d\d)/(\d{4})', li); fpub = f'{pub.group(4)}-{pub.group(3)}-{pub.group(2)}' tit = html.unescape(re.findall(r'

    ([^<]*)

    ', li)[0]).strip() bid = re.search(r'id=(BOE-A-\d{4}-\d+)', li).group(1) fd = re.search(r', de (\d{1,2}) de (\w+)(?: de (\d{4}))?,', tit) t = 'cese' if tipo_dir == 'cese' else 'nombramiento' mm = None if t == 'cese': mm = RX_CESE.search(tit) or RX_CESE2.search(tit) else: if re.search(r'\bcese\b', tit): t = 'cese_y_nombramiento' mm = RX_NOM3.search(tit) or RX_NOM1.search(tit) or RX_NOM2.search(tit) if mm and re.search(r'\b(y|e)\s+(?:a\s+)?(?:don|doña)\b', mm.group('nom') + ' ' + mm.group('cargo')): mm = None # varias personas nom = mm.group('nom').strip() if mm else None cargo = re.sub(r'\s+', ' ', mm.group('cargo')).strip(' ,.') if mm else None if cargo: cargo = re.sub(MOT + r'$', '', cargo, flags=re.I).strip(' ,.') cl = clase(cargo) if cargo else None filas.append((bid, fpub, dem, t, tit, nom, cargo, cl, tipo_dir)) con = duckdb.connect() con.execute("CREATE TABLE b (id VARCHAR, fecha_pub DATE, departamento VARCHAR, tipo VARCHAR, titulo VARCHAR, nombre VARCHAR, cargo VARCHAR, clase VARCHAR, consulta VARCHAR)") con.executemany("INSERT INTO b VALUES (?,?,?,?,?,?,?,?,?)", filas) con.execute("CREATE TABLE b1 AS SELECT id, any_value(fecha_pub) fecha_pub, any_value(departamento) departamento, any_value(tipo) tipo, any_value(titulo) titulo, any_value(nombre) nombre, any_value(cargo) cargo, any_value(clase) clase, string_agg(DISTINCT consulta, ',') consultas FROM b GROUP BY id") con.execute("COPY b1 TO '/w/interno/00_boe.parquet'") R = {'filas_brutas': len(filas), 'disposiciones': con.execute("SELECT count(*) FROM b1").fetchone()[0], 'por_tipo_parse': con.execute("SELECT tipo, nombre IS NOT NULL, count(*) FROM b1 GROUP BY 1,2 ORDER BY 1,2").fetchall(), 'por_clase': con.execute("SELECT tipo, clase, count(*) FROM b1 WHERE nombre IS NOT NULL GROUP BY 1,2 ORDER BY 1,3 DESC").fetchall(), 'ceses_primarios_por_anio': con.execute("SELECT year(fecha_pub), count(*) FROM b1 WHERE tipo='cese' AND clase IN ('ministro','secretario_estado','subsecretario','secretario_general','director_general','presidente_director_organismo','asimilado_subsecretario') GROUP BY 1 ORDER BY 1").fetchall()} json.dump(R, open('/w/salidas/00_boe.json', 'w'), indent=1, default=str, ensure_ascii=False); print(json.dumps(R, default=str, ensure_ascii=False))