"""PG1 · 00 · BOE II (buscador): títulos de ceses y nombramientos -> filas (id, fecha_pub, departamento, tipo, nombre, cargo, clase).
Lee interno/datos/boe/buscar/{cese,nombra,nombramiento}/*.html (descargados por fetch.sh). Escribe interno/00_boe.parquet (con nombres: interno 700)."""
import re, glob, html, json, unicodedata, sys, collections
import duckdb
D = '/w/interno/datos/boe/buscar/'
def sa(s): return ''.join(c for c in unicodedata.normalize('NFKD', s) if not unicodedata.combining(c))
RX_LI = re.compile(r'
(.*?)\s*\s*', re.S)
MOT = r'(?:,? (?:a petici[oó]n propia|por pase a otro destino|por pase a la situaci[oó]n[^,.]*|por jubilaci[oó]n|por renuncia|por fallecimiento|por pase a[^,.]*|por cambio de destino|por haber sido nombrad[oa][^.]*|por reestructuraci[oó]n[^.]*|por supresi[oó]n[^.]*|agradeci[eé]ndole[^.]*|con agradecimiento[^.]*|por modificaci[oó]n[^.]*))'
# nombre: tras don/doña hasta ' como ' / ', como ' / ' en el cargo de '
RX_CESE = re.compile(r'(?:se dispone|se declara|se acuerda|se publica)\s+(?:el\s+)?cese' + r'(?:,?[^,]{0,80},)?' + r'\s+(?:(?:de|del|de la)\s+)?(?:[^.]{0,120}?\s)?(?:don|doña|D\.|Dª\.?)\s+(?P[^,]+?),?\s+(?:como|en el cargo de|de su cargo de|en su cargo de)\s+(?P.+?)' + MOT + r'?\.?\s*$', re.I)
RX_CESE2 = re.compile(r'(?:se dispone|se declara)\s+el\s+cese\s+(?:como|en el cargo de)\s+(?P.+?)\s+de\s+(?:don|doña)\s+(?P[^,.]+?)' + MOT + r'?\.?\s*$', re.I)
RX_NOM1 = re.compile(r'se nombra\s+(?!a\s+(?:don|doña)\b)(?P.+?)\s+a\s+(?:don|doña)\s+(?P[^,.]+?)\.?\s*$', re.I)
RX_NOM2 = re.compile(r'se nombra\s+a\s+(?:don|doña)\s+(?P[^,]+?),?\s+(?:como\s+)?(?P.+?)\.?\s*$', re.I)
RX_NOM3 = re.compile(r'se dispone el nombramiento de\s+(?:don|doña)\s+(?P[^,]+?),?\s+como\s+(?P.+?)\.?\s*$', re.I)
def clase(cargo):
c = sa(cargo).lower().strip()
c = re.sub(r'^(el|la)\s+', '', c)
if re.match(r'(sub)?director[a]? (adjunt[oa] )?del gabinete|jef[ea] del gabinete', c): return 'gabinete'
if re.match(r'ministr[oa]\b', c) and not re.match(r'ministr[oa] consejer', c): return 'ministro'
if re.match(r'secretari[oa] de estado\b', c): return 'secretario_estado'
if re.match(r'subsecretari[oa]\b', c): return 'subsecretario'
if re.match(r'secretari[oa] general\b', c) and not re.search(r'\b(universidad|del consejo escolar|de la delegacion|de la subdelegacion|de embajada|del tribunal|de la real academia)', c): return 'secretario_general'
if re.match(r'director[a]? general\b', c): return 'director_general'
if re.match(r'(interventor[a]? general de la administracion del estado|abogad[oa] general del estado)', c): return 'asimilado_subsecretario'
if re.match(r'(president[ea]|vicepresident[ea]|vicepresident[ea] ejecutiv[oa]|director[a]?|director[a]? ejecutiv[oa]|director[a]? gerente|consejer[oa] delegad[oa]|gerente|administrador[a]?) (de|del)\b', c) \
and re.search(r'\b(agencia|instituto|organismo|entidad|sociedad|empresa|centro de investigaciones|consorcio|fondo|comision nacional|autoridad|ente\b|servicio|tesoreria|fundacion|puertos|aeropuertos|administrador|consejo superior|corporacion|enaire|aena|adif|renfe|sepi|ico\b|cdti|idae|correos|paradores|tragsa|ineco|seittsa|segipsa|isdefe|loterias|mutualidad|muface|isfas|mugeju|imserso|ingesa|sepe|oficina espanola|biblioteca nacional|museo|patrimonio nacional|parques nacionales|confederacion hidrografica|mancomunidad|canal|csic|ciemat|inta|ine\b|cis\b|boletin oficial|casa de la moneda|fabrica nacional|radio|television|rtve|efe\b|comision del mercado|cnmc|cnmv|banco de espana|csn|consejo de seguridad nuclear|sociedad estatal|entidad publica)', c) \
and not re.search(r'\b(universidad|subdirector|tribunal|colegio|real academia|escuela|hospital|area de|unidad de)', c):
return 'presidente_director_organismo'
if re.match(r'delegad[oa] del gobierno\b', c): return 'delegado_gobierno'
if re.match(r'subdirector', c): return 'subdirector_general'
if re.match(r'embajador', c): return 'embajador'
return 'otro'
filas = []; vistos = collections.Counter(); sinparse = collections.Counter()
for tipo_dir in ('cese', 'nombra', 'nombramiento'):
for f in sorted(glob.glob(D + tipo_dir + '/*.html')):
s = open(f, encoding='utf-8', errors='replace').read()
m = re.search(r'Resultados 1 a ([0-9.]+) de ([0-9.]+)', s)
n_tot = int(m.group(2).replace('.', '')) if m else 0
lis = RX_LI.findall(s)
assert len(lis) == n_tot and n_tot < 2000, (f, len(lis), n_tot)
for li in lis:
dem = html.unescape(re.search(r'linea-dem">([^<]*)', li).group(1)).strip()
pub = re.search(r'BOE (\d+) de (\d\d)/(\d\d)/(\d{4})', li); fpub = f'{pub.group(4)}-{pub.group(3)}-{pub.group(2)}'
tit = html.unescape(re.findall(r'([^<]*)
', li)[0]).strip()
bid = re.search(r'id=(BOE-A-\d{4}-\d+)', li).group(1)
fd = re.search(r', de (\d{1,2}) de (\w+)(?: de (\d{4}))?,', tit)
t = 'cese' if tipo_dir == 'cese' else 'nombramiento'
mm = None
if t == 'cese':
mm = RX_CESE.search(tit) or RX_CESE2.search(tit)
else:
if re.search(r'\bcese\b', tit): t = 'cese_y_nombramiento'
mm = RX_NOM3.search(tit) or RX_NOM1.search(tit) or RX_NOM2.search(tit)
if mm and re.search(r'\b(y|e)\s+(?:a\s+)?(?:don|doña)\b', mm.group('nom') + ' ' + mm.group('cargo')): mm = None # varias personas
nom = mm.group('nom').strip() if mm else None
cargo = re.sub(r'\s+', ' ', mm.group('cargo')).strip(' ,.') if mm else None
if cargo: cargo = re.sub(MOT + r'$', '', cargo, flags=re.I).strip(' ,.')
cl = clase(cargo) if cargo else None
filas.append((bid, fpub, dem, t, tit, nom, cargo, cl, tipo_dir))
con = duckdb.connect()
con.execute("CREATE TABLE b (id VARCHAR, fecha_pub DATE, departamento VARCHAR, tipo VARCHAR, titulo VARCHAR, nombre VARCHAR, cargo VARCHAR, clase VARCHAR, consulta VARCHAR)")
con.executemany("INSERT INTO b VALUES (?,?,?,?,?,?,?,?,?)", filas)
con.execute("CREATE TABLE b1 AS SELECT id, any_value(fecha_pub) fecha_pub, any_value(departamento) departamento, any_value(tipo) tipo, any_value(titulo) titulo, any_value(nombre) nombre, any_value(cargo) cargo, any_value(clase) clase, string_agg(DISTINCT consulta, ',') consultas FROM b GROUP BY id")
con.execute("COPY b1 TO '/w/interno/00_boe.parquet'")
R = {'filas_brutas': len(filas), 'disposiciones': con.execute("SELECT count(*) FROM b1").fetchone()[0],
'por_tipo_parse': con.execute("SELECT tipo, nombre IS NOT NULL, count(*) FROM b1 GROUP BY 1,2 ORDER BY 1,2").fetchall(),
'por_clase': con.execute("SELECT tipo, clase, count(*) FROM b1 WHERE nombre IS NOT NULL GROUP BY 1,2 ORDER BY 1,3 DESC").fetchall(),
'ceses_primarios_por_anio': con.execute("SELECT year(fecha_pub), count(*) FROM b1 WHERE tipo='cese' AND clase IN ('ministro','secretario_estado','subsecretario','secretario_general','director_general','presidente_director_organismo','asimilado_subsecretario') GROUP BY 1 ORDER BY 1").fetchall()}
json.dump(R, open('/w/salidas/00_boe.json', 'w'), indent=1, default=str, ensure_ascii=False); print(json.dumps(R, default=str, ensure_ascii=False))