Metodología · registro
Registro público de precisión
Aquí está cada medida que hemos comprobado contra una verdad que no es nuestra: qué mide, contra qué se comprobó, con cuántos casos y qué salió. «Pasa» significa que la comprobación salió bien con el mínimo que fijamos antes de medir; «no pasa», que no, y entonces la medida no se publica como señal ni como previsión: cada entrada dice qué se hizo con ella (no publicarla; publicarla solo como descripción, como resultado de la comprobación o sin lo que falló; o retirarla). Los demás resultados se explican abajo. Nada se borra: una medida que no pasa sigue aquí.
Seguir leyendo
Cada indicador de cumplimiento, cada descriptor y cada lectura de la misma necesidad que hemos medido contra una verdad que no es nuestra, con su pre-registro sellado y el código y los datos para repetirlo. También lo que no pasa. De cada uno, cuántos casos y su precisión o su AUC con el intervalo; un nulo se publica igual y no llega a las fichas. Es parte de la metodología; cómo se calcula cada indicador, en la de los indicadores por órgano.
- Para reproducirlas: código en 278 de 278
- pre-registro en 263 (143 tal cual)
- datos de validación en 234
- segunda implementación en 217
- Cómo se reproduce
El registro enteroDescargar el JSON, con las 278 entradas y todos sus campos (780 KB; md5 7a17230cbd357964)
El registro
278 entradas. Cada huella se volvió a calcular sobre su fichero sellado al preparar esta página (el 13/11/2026). Página 18 de 19: entradas 256-270.
Datos de los indicadores
Pasa: 10No pasa: 2No confirmada: 1
3 de 13 entradas
| Indicador o lectura | n | Resultado | Resultado | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Publicación de los menores (C1): recálculo y cotejo del dato c1-publicacion-menores-dato · 2019-2025 | 39.407 | Precisión cotejo: 20 de 20 menores de la Plataforma con las dos fechas iguales (100 %; IC 95 % 83,9-100 %), 0 sin poder verificary 1 más en el detalle | Pasa Publicado · Dónde está | Pre-registro tal cual 11 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| «¿Rinde cuentas?» en la ficha de municipio: el periodo medio de pago y la publicación de los menores de cada ayuntamiento muni1b-rinde-cuentas-municipio · 2025 | 6.780 | Precisión lectura a ciegas (un lector automático nuevo por pasada, pre-registro sellado antes de elegir los casos): periodo medio de pago: 30 de 30 aguantan (100,0 %); 0 no aguantan y 0 sin decidir; control 10 de 10; umbral 27 de 30y 1 más en el detalle | Pasa Publicado · Dónde está | Pre-registro en copia 9 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Hechos nuevos por suscripción: los mismos hechos que las fichas y lo nuevo de cada semana, con otro código avisos-hechos-nuevos · 2026 | 6.992 | Precisión lectura a ciegas de 30 casos de los tres bloques de «Esta semana» y del canal (un lector automático nuevo por pasada, Sonnet y Opus, mismo prompt sellado): 30 de 30 aguantan en las dos pasadas (100 %; IC 95 % 88,6-100 %); umbral 27 de 30y 3 más en el detalle | Pasa Publicado · Dónde está | Pre-registro tal cual 21 ficheros · segunda impl. | |
Para reproducirla
|
|||||
Datos abiertos
Pasa: 2No pasa: 1No confirmada: 1
4 entradas
| Indicador o lectura | n | Resultado | Resultado | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Ofertas por licitador, solo de empresas: cotejo de la regla que deja fuera a las personas licpub-regla-solo-empresas · 2017-2026 | 412 | Precisión uniones temporales, muestra nueva: 20 de 20 bien decididas (100 %): 9 con una persona como socia, fuera, y 11 de sociedades, publicadas; la primera muestra, 19 de 20 (un falso «fuera»)y 4 más en el detalle | No confirmada Publicado · Dónde está | Sin pre-registro 11 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Basados de acuerdo marco y específicos de sistema dinámico de adquisición sin procedimiento en la Plataforma de Serveis de Contractació Pública de Catalunya (PSCP) datos-pscp-2-basados-sda · 2003-2026 | 465.291 | Precisión lectura a ciegas (un lector automático nuevo por pasada, Sonnet y Opus, mismo prompt sellado): 29 de 30 aguantan en las dos pasadas (96,7 %); control 10 de 10; umbral 27 de 30y 2 más en el detalle | Pasa Publicado · Dónde está | Pre-registro en copia 19 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| NIF atribuido por el nombre a las filas publicadas sin NIF válido (vía «diccionario» de la identidad de las empresas) dic1-nif-atribuido-por-nombre · 2015-2026 | 5.188.566 | Precisión 26 de 30 aguantan (86,7 %): 3 sin evidencia en los registros y 1 con el NIF registrado con otra denominación; umbral 27 de 30y 1 más en el detalle | No pasa No publicado | Pre-registro tal cual 8 ficheros | |
Para reproducirla
|
|||||
| La marca «fecha publicada por la fuente; no es posible» en la ficha del contrato y en las listas fechas1-marca-fecha-imposible · 2015-2026 | 3.789 | Precisión lectura a ciegas, en la más dura de las dos pasadas: 28 de 30 aguantan (93,3 %) y los 2 restantes quedan sin comprobar porque el rótulo llamaba a la fecha de otra manera que la fuente (corregido); en la otra pasada, 30 de 30; control 10 de 10 en las dos; umbral 27 de 30 y 8 de 10 | Pasa Publicado · Dónde está | Pre-registro tal cual 16 ficheros | |
Para reproducirla
|
|||||
Publicación europea
Pasa: 2No pasa: 2
4 entradas
| Indicador o lectura | n | Resultado | Resultado | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Publicación en el DOUE de los contratos armonizados: cota baja es1-cota-doue · 2023-2025 | 73.327 | Precisión Por NIF del adjudicatario, importe y fecha: 12 de 12 (100 %; IC 95 % 76-100 %)y 3 más en el detalle | Pasa Publicado · Dónde está | Pre-registro en copia 24 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Publicación en el DOUE de los contratos armonizados: lo no localizado como no publicado es1-no-publicacion · 2023-2025 | 40 | Precisión 32 de 40 ausentes de verdad (80 %; IC 95 % 65-90 %): 29 ausentes y obligadas y 3 prórrogas que no llevan aviso | No pasa No publicado | Pre-registro en copia 15 ficheros | |
Para reproducirla
|
|||||
| Anuncio de formalización enviado al DOUE después del plazo de 10 días (perfiles alojados en la Plataforma de Contratación) doue-formalizacion-fuera-de-plazo · 2024-2025 | 18.913 | Recuento 3.207 de 18.913 contratos armonizados (17,0 %) formalizados en 2024-2025 en los perfiles alojados en la Plataforma de Contratación enviaron al DOUE su anuncio de formalización después del plazo | Pasa Publicado · Dónde está | Pre-registro tal cual 6 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Anuncio de formalización enviado al DOUE después del plazo, por entidad: no pasa el placebo doue-formalizacion-por-entidad · 2024-2025 | 198 | Recuento Placebo: 15 entidades por encima de la tasa general; al barajar, el percentil 99 da 6 y la media 4,1: más del 10 % de esa cabeza sale por composición | No pasa No publicado | Pre-registro: solo la huella 6 ficheros · segunda impl. | |
Para reproducirla
|
|||||
Acumulación de improbabilidad
No pasa: 2
2 entradas
| Indicador o lectura | n | Resultado | Resultado | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Improbabilidad acumulada (Fisher por bloques de familias) x2b-fisher · 2014-2025 | 97.965 | AUC Frente a la «misma necesidad» (E-M2b): AUC 0,524 (IC 95 % 0,449-0,607); calibración por deciles ρ = 0,08, lift del decil superior 1,80; frente a la mejor señal sola (U-BANDA, AUC 0,702): Δ −0,178 (IC 95 % −0,261 a −0,107); celda: nuloy 3 más en el detalle | No pasa No publicado | Pre-registro en copia 15 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Réplica del scoring v5.1 (abril de 2026) x2b-v51 · 2014-2025 | 97.965 | AUC Frente a la «misma necesidad» (E-M2b): AUC 0,515 (IC 95 % 0,447-0,577); calibración por deciles ρ = 0,08, lift del decil superior 1,16; frente a la mejor señal sola (U-BANDA, AUC 0,702): Δ −0,187 (IC 95 % −0,296 a −0,080); celda: nuloy 3 más en el detalle | No pasa No publicado | Pre-registro en copia 16 ficheros · segunda impl. | |
Para reproducirla
|
|||||
Precio unitario
Pasa: 2No pasa: 1No confirmada: 1
2 de 4 entradas
| Indicador o lectura | n | Resultado | Resultado | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Precio pagado por litro de carburante frente al precio medio de surtidor a1-precio-frente-a-comparables · 2022-2025 | 834 | Cociente mediana de la razón precio pagado ÷ surtidor en el núcleo (n = 850): 0,952 (umbral 0,85-1,15); en los 834 válidos, gasóleo C 1,002 (87,6 % dentro de ±15 %), gasóleo A 0,896, gasóleo B 0,864y 4 más en el detalle | No confirmada No publicado | Pre-registro tal cual 21 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Precio pagado por litro de carburante frente al precio oficial del mes (MITECO y Boletín Petrolero) e8-precio-carburantes · 2015-2026 | 1.375 | Cociente mediana de pagado ÷ referencia en los 1.375 contratos medibles: 0,944 (IC 95 % 0,936-0,951); el 4,7 % pagó más de un 15 % por encima (IC 3,7-6,0)y 3 más en el detalle | Pasa Publicado · Dónde está | Pre-registro en copia 21 ficheros · segunda impl. | |
Para reproducirla
|
|||||
Predicciones selladas13, escritas antes de que exista su verdad; la próxima se abre a partir del 12/04/2027 (faltan 141 días). Los sobres y su cuenta atrás
Cómo se midepre-registro sellado, segunda implementación, el nulo se publica, dos lecturas ciegas y jueces
- Pre-registro sellado antes de medir. Las definiciones y la regla que decide si algo pasa se escriben antes de mirar ningún resultado, y se guarda su huella md5 con la hora. La huella de cada entrada es la de ese texto: si después se cambia una coma, la huella ya no coincide. Lo que se decide después de ver datos se rotula como posterior y no decide el resultado.
- Segunda implementación. Otro código, escrito aparte desde las mismas definiciones y sin ver el primero, tiene que dar lo mismo; si hay una diferencia, se mide y se explica.
- El resultado nulo se publica. Si no se cumple la regla, la entrada dice «no pasa» con su cifra y no se mueve la portería. Si una regla de parada detiene la medida a mitad, dice «parado».
- Dos lecturas ciegas. Cuando hay que leer texto (si una licitación es para la misma necesidad que una serie de menores), lo leen por separado dos modelos de lenguaje distintos con las mismas instrucciones selladas, y solo cuenta lo que dicen los dos.
- Jueces. Una muestra nueva, elegida al azar, la juzgan a ciegas otros dos modelos distintos de los lectores; la precisión de esas entradas es la de esos jueces. Son modelos, no personas, y la entrada lo dice. Donde hay una verdad que no es un modelo (un cambio de ley, la ficha de origen, el número de ofertas publicado), se usa esa.
Cómo se reproduce una entradael texto sellado con su huella, el código, los datos agregados y lo que no se publica
- Comprobar el sello. El «texto sellado» de una entrada es el fichero del pre-registro tal cual: su md5
(
md5sumen Linux,md5en macOS,Get-FileHash -Algorithm MD5en Windows) tiene que dar la huella de la entrada. Cuando el texto llevaba rutas del servidor o la sal de una huella de persona, se publica una copia de lectura con esas partes tapadas: dice cuántas, y su huella ya no es la del sello. - Leer el código. Cada fichero es una copia de lectura del que hizo la medida, la segunda implementación
o el cotejo. Las rutas del servidor van sustituidas por marcas:
<datos>la construcción publicada de la web (contratos unificados, satélites y agregados)<crudo>las descargas de origen preservadas<datos-externos>otra carpeta de datos del servidor<mediciones>la carpeta de trabajo de las mediciones<trabajo>la carpeta de trabajo de los encargos<repo>el repositorio de la web<aplicacion>otra aplicación del servidor<casa>la carpeta del usuario del servidor<opt>la carpeta de aplicaciones del servidor<temporal>una carpeta temporal<ip>una dirección IP Los datos de partida son la construcción publicada, que se descarga en Datos abiertos. - Los datos de validación que se publican son agregados (AUC, tasas, recuentos por año o fuente, resultados de los cotejos). Lo que no se publica se dice en cada entrada, con su porqué: nada con personas (nombres, DNI o sus huellas), nada que sea una lista de empresas, ni el contenido de un sobre antes de abrirlo, ni los textos de los documentos leídos, ni las tablas de más de 1 MB.
Qué dice cada columnaverdad y n, métrica (precisión, AUC, lift, κ, cociente), resultado y publicación
- Verdad y n
- Contra qué se comparó (la etiqueta que no es nuestra) y cuántos casos entraron en la medida.
- Métrica
- Precisión: de los casos que el indicador o la lectura da por buenos, cuántos lo son según la verdad. AUC: la probabilidad de que un caso con la etiqueta quede por delante de uno sin ella (0,5 es el azar, 1 es perfecto). Lift: cuántas veces es más frecuente la etiqueta en lo señalado que en un grupo de comparación. κ (kappa de Cohen): acuerdo entre dos lecturas o dos jueces, descontado el que daría el azar. Cociente: cuántas veces es más frecuente algo en un grupo que en su comparación; 1 es la igualdad. Recoge la razón de odds (OR, entre casos y controles), observado entre esperado (O/E, frente a lo que daría el azar o un modelo) y la razón de proporciones (RR, como el test de Carril, donde más de 1 dice que el exceso bajo el límite está en las compras únicas). Concordancia y recuento: casos iguales a la fuente o que cumplen la regla. El intervalo es del 95 % cuando el informe lo da.
- Pre-registro (md5)
- La huella del texto con las definiciones y la regla, sellado antes de medir. «Sin pre-registro sellado» si no consta ese sello. En una predicción sellada, debajo va también la huella del sobre con la predicción.
- Resultado
- Pasa: cumple la regla sellada. No pasa: no la cumple (y se dice en qué). No confirmada: la regla escrita no se cumple del todo, o se midió sin regla, aunque una medida posterior apunte en el mismo sentido; hace falta sellarla y probarla con datos nuevos. Parado: una regla de parada sellada detuvo la medida antes de acabar (por ejemplo, sin potencia). Sellada, pendiente: una predicción escrita y sellada antes de que exista su verdad (por ejemplo, antes de que se resuelva un expediente); se abre cuando llega y su resultado se publica sea cual sea. La marca de cada resultado es una forma, no un color: ninguno es una alarma.
- Publicación
- Publicado: está en la web («Dónde está» lleva a su explicación). En revisión, sin publicar: el cambio está preparado y revisándose, y todavía no se ve en la web. No publicado: no está en la web, por su resultado o porque falta decidirlo; si pasa, dice por qué. Retirada de la web: estuvo en la web y se apagó; dice cuándo y por qué, y conserva su resultado, porque cambiarlo sin repetir la medida sería mover la portería.
Lo que no diceninguna entrada es un juicio sobre un órgano; un «pasa» vale para sus años y su fuente
Ninguna entrada es un juicio sobre un órgano: se mide si un indicador o una lectura describe bien lo que dice describir, nunca a quién. La precisión de las lecturas es la de jueces automáticos, no la de personas. Un resultado «pasa» vale para los años y la fuente medidos: cada año o fuente nueva necesita su propia medida. Y el registro crece: cada medida nueva entra aquí con su resultado, salga como salga.