# impl1: lee los 32 xlsx de EELL con openpyxl -> /w/tmp/pmp_trimestre.parquet + comprobación contra el global publicado import openpyxl, glob, re, json, pandas as pd filas=[]; glob_pub=[] for f in sorted(glob.glob('/w/datos/descargas/eell_*.xlsx')): y,m=map(int,re.findall(r'eell_(\d+)_(\d+)',f)[0]); q=m//3 wb=openpyxl.load_workbook(f,read_only=True,data_only=True) for hoja,modelo in (('Cesión','cesion'),('Variables','variables')): ws=wb[hoja]; hdr=None; nota=None for r in ws.iter_rows(values_only=True): r=list(r)+[None]*12 if r[1]=='Comunidad Autónoma': hdr=True; nota='*' in str(r[10]); continue if not hdr: continue if r[3] and re.match(r'^\d\d-\d\d-\d\d\d-[A-Z]{1,2}-[A-Z]{1,2}-\d{3}$',str(r[3]).strip()): filas.append(dict(anio=y,trim=q,modelo=modelo,ccaa=r[1],provincia=r[2],codigo=str(r[3]).strip(),tipo_ent=r[4], nombre=str(r[5]).strip(),ratio_pag=r[6],pagos=r[7],ratio_pend=r[8],pendientes=r[9],pmp=r[10], firmado_plazo=r[11] if modelo=='variables' else None,metodo_antiguo=nota)) elif r[4] and str(r[4]).startswith('EELL'): glob_pub.append(dict(anio=y,trim=q,modelo=modelo,pmp_pub=r[10],pagos_pub=r[7],pend_pub=r[9])) elif r[3] or r[5]: print('FILA NO RECONOCIDA',f,hoja,r[:11]) d=pd.DataFrame(filas) for c in ['ratio_pag','pagos','ratio_pend','pendientes','pmp']: d[c]=pd.to_numeric(d[c],errors='coerce') d.to_parquet('/w/tmp/pmp_trimestre.parquet',index=False) g=pd.DataFrame(glob_pub) # comprobación: PMP global = media ponderada de las filas (pesos pagos+pendientes) según RD 635/2014 d['w']=d.pagos.fillna(0)+d.pendientes.fillna(0) d['rp']=d.ratio_pag*d.pagos; d['rq']=d.ratio_pend*d.pendientes a=d.groupby(['anio','trim','modelo']).agg(n=('codigo','size'),pagos=('pagos','sum'),pend=('pendientes','sum'),rp=('rp','sum'),rq=('rq','sum'),pmp_nulo=('pmp',lambda s:s.isna().sum())).reset_index() a['pmp_calc']=(a.rp+a.rq)/(a.pagos+a.pend) a=a.merge(g,on=['anio','trim','modelo'],how='left') a['dif']=(a.pmp_calc-a.pmp_pub).round(3) print(a[['anio','trim','modelo','n','pmp_nulo','pmp_pub','pmp_calc','dif','pagos','pagos_pub']].to_string()) a.to_csv('/w/salidas/10_lectura_vs_global_publicado.csv',index=False) print('filas',len(d),'entidades',d.codigo.nunique()); print(d.tipo_ent.value_counts().to_string()); print(d.metodo_antiguo.value_counts()) print(d.pmp.describe())