Metodología · registro
Registro público de precisión
Aquí está cada medida que hemos comprobado contra una verdad que no es nuestra: qué mide, contra qué se comprobó, con cuántos casos y qué salió. «Pasa» significa que la comprobación salió bien con el mínimo que fijamos antes de medir; «no pasa», que no, y entonces la medida no se publica como señal ni como previsión: cada entrada dice qué se hizo con ella (no publicarla; publicarla solo como descripción, como resultado de la comprobación o sin lo que falló; o retirarla). Los demás resultados se explican abajo. Nada se borra: una medida que no pasa sigue aquí.
Seguir leyendo
Cada indicador de cumplimiento, cada descriptor y cada lectura de la misma necesidad que hemos medido contra una verdad que no es nuestra, con su pre-registro sellado y el código y los datos para repetirlo. También lo que no pasa. De cada uno, cuántos casos y su precisión o su AUC con el intervalo; un nulo se publica igual y no llega a las fichas. Es parte de la metodología; cómo se calcula cada indicador, en la de los indicadores por órgano.
- Para reproducirlas: código en 278 de 278
- pre-registro en 263 (143 tal cual)
- datos de validación en 234
- segunda implementación en 217
- Cómo se reproduce
El registro enteroDescargar el JSON, con las 278 entradas y todos sus campos (780 KB; md5 7a17230cbd357964)
El registro
278 entradas. Cada huella se volvió a calcular sobre su fichero sellado al preparar esta página (el 13/11/2026). Página 12 de 19: entradas 166-180.
La ley y los datos
Pasa: 5No pasa: 1No confirmada: 5Parado: 2
10 de 13 entradas
| Indicador o lectura | n | Resultado | Resultado | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Umbrales SARA 2018 (Orden HFP/1298/2017) lt1-l06 · 2017-2019 | 587 | Cociente diferencia en diferencias en 12 meses: ×0,085 [0,038-0,179]; tratado 27,7 % → 2,5 %; contraste 38,6 % → 41,3 %; 587 órganos (+1.149 de contraste)y 1 más en el detalle | Parado No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| Umbrales SARA 2020 (Orden HAC/1272/2019) lt1-l10 · 2019-2021 | 638 | Cociente diferencia en diferencias en 12 meses: ×35,7 [14,6-238,9]; tratado 0,88 % → 41,2 %; contraste 43,6 % → 56,9 %; 638 órganos (+1.584 de contraste)y 1 más en el detalle | Pasa Publicado · Dónde está | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| Umbrales SARA 2024 (Orden HFP/1352/2023) lt1-l19 · 2023-2025 | 842 | Cociente diferencia en diferencias en 12 meses: ×0,073 [0,032-0,163]; tratado 40,0 % → 2,8 %; contraste 55,6 % → 53,7 %; 842 órganos (+2.411 de contraste)y 1 más en el detalle | Pasa Publicado · Dónde está | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| DA 54.ª LCSP (Ley 6/2018): menores de hasta 50.000 € en agentes SECTI lt1-l07 · 2017-2019 | 83 | Cociente diferencia en diferencias en 12 meses: ×1,053 [0,218-12,007]; tratado 2,8 % → 2,2 %; contraste 4,0 % → 3,1 %; 83 órganos (+1.433 de contraste)y 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| RDL 3/2019: agentes SECTI fuera del tope del 118.3 lt1-l08 · 2018-2020 | 101 | Cociente diferencia en diferencias en 12 meses: ×0,921 [0,859-0,978]; tratado 94,3 % → 94,0 %; contraste 53,9 % → 58,3 %; 101 órganos (+655 de contraste)y 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| Instrucción 1/2019 de la OIReScon (7-mar-2019) lt1-l09 · 2018-2020 | 732 | Cociente cambio Δ en 12 meses: ×1,090 [1,035-1,156]; tratado 52,7 % → 57,4 %; 732 órganosy 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| RDL 3/2020 (6-feb-2020): sale el tope por contratista del art. 118 lt1-l11 · 2019-2021 | 1.506 | Cociente diferencia en diferencias en 12 meses: ×1,033 [0,908-1,069]; tratado 57,1 % → 58,6 %; contraste 79,3 % → 78,8 %; 1.506 órganos (+56 de contraste)y 1 más en el detalle | No pasa No publicado | Pre-registro tal cual 16 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| COVID: RDL 7/2020, RD 463/2020, RDL 8/2020 (mar-2020) lt1-l12 · 2019-2021 | 1.398 | Cociente cambio Δ en 12 meses: ×56,3 [35,8-93,0]; tratado 0,15 % → 8,7 %; 1.398 órganosy 1 más en el detalle | Pasa Publicado · Dónde está | Pre-registro tal cual 16 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| RDL 36/2020 y Ley 11/2020 (1-ene-2021): fondos del PRTR lt1-l14 · 2020-2022 | 621 | Cociente diferencia en diferencias en 12 meses: ×4,624 [2,223-10,355]; tratado 2,3 % → 8,1 %; contraste 3,4 % → 2,6 %; 621 órganos (+1.576 de contraste)y 1 más en el detalle | Pasa Publicado · Dónde está | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| Ley 2/2023 del informante (13-mar-2023), control negativo lt1-l18 · 2022-2024 | 1.729 | Cociente cambio Δ en 12 meses: ×0,996 [0,933-1,058]; tratado 34,2 % → 34,1 %; 1.729 órganosy 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
Ejecución del contrato
Pasa: 8No pasa: 10No confirmada: 2
5 de 20 entradas
| Indicador o lectura | n | Resultado | Resultado | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Contratos de servicios y suministros con una duración declarada por encima del máximo legal (Plataforma de Contratación, 2023) duracion-por-encima-del-maximo-legal · 2023-2025 | 56.779 | Recuento Lectura a ciegas contra los originales: aguantan 7 de 30 (se pedían 27) y el control 6 de 10 (se pedían 8)y 2 más en el detalle | No pasa No publicado | Pre-registro: solo la huella 8 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Modificaciones publicadas por órgano, fuera del embudo de su mercado ej1-modificaciones-organo · 2018-2025 | 4.754 | Precisión 29 de 30 modificaciones con importe confirmadas (96,7 %) contra la entrada ATOM/CODICE original (importe exacto en las 30; fecha de la primera versión en 29) y sin contradicción en la ficha pública, que fecha la «Modificación de Contrato» el mismo día en las 30. El error: una modificación republicada junto a otra con el mismo ID, que el satélite fecha 7 meses tarde.y 4 más en el detalle | Pasa Publicado · Dónde está | Pre-registro en copia 51 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Licitaciones con modificaciones publicadas por encima del 20 % de la adjudicación, por órgano ej1-sobrecoste-20-organo · 2018-2025 | 4.662 | Precisión 29 de 30 modificaciones con importe confirmadas (96,7 %) contra la entrada ATOM/CODICE original (importe exacto en las 30; fecha de la primera versión en 29) y sin contradicción en la ficha pública, que fecha la «Modificación de Contrato» el mismo día en las 30. El error: una modificación republicada junto a otra con el mismo ID, que el satélite fecha 7 meses tarde.y 1 más en el detalle | No pasa No publicado | Pre-registro en copia 19 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Licitaciones modificadas en su primer año, por órgano ej1-modificacion-primer-anio-organo · 2021-2025 | 3.240 | Precisión 29 de 30 modificaciones con importe confirmadas (96,7 %) contra la entrada ATOM/CODICE original (importe exacto en las 30; fecha de la primera versión en 29) y sin contradicción en la ficha pública, que fecha la «Modificación de Contrato» el mismo día en las 30. El error: una modificación republicada junto a otra con el mismo ID, que el satélite fecha 7 meses tarde.y 1 más en el detalle | No pasa No publicado | Pre-registro en copia 19 ficheros · segunda impl. | |
Para reproducirla
|
|||||
| Modificaciones, sobrecoste y modificación temprana frente a fiscalización y a los cárteles sancionados por la CNMC ej1-modificaciones-etiquetas · 2018-2025 | 84.206 | AUC fiscalización · H1 (modificadas): AUC 0,456 (IC 0,418-0,498)y 5 más en el detalle | No pasa Publicado · Dónde está | Pre-registro en copia 47 ficheros · segunda impl. | |
Para reproducirla
|
|||||
Predicciones selladas13, escritas antes de que exista su verdad; la próxima se abre a partir del 12/04/2027 (faltan 141 días). Los sobres y su cuenta atrás
Cómo se midepre-registro sellado, segunda implementación, el nulo se publica, dos lecturas ciegas y jueces
- Pre-registro sellado antes de medir. Las definiciones y la regla que decide si algo pasa se escriben antes de mirar ningún resultado, y se guarda su huella md5 con la hora. La huella de cada entrada es la de ese texto: si después se cambia una coma, la huella ya no coincide. Lo que se decide después de ver datos se rotula como posterior y no decide el resultado.
- Segunda implementación. Otro código, escrito aparte desde las mismas definiciones y sin ver el primero, tiene que dar lo mismo; si hay una diferencia, se mide y se explica.
- El resultado nulo se publica. Si no se cumple la regla, la entrada dice «no pasa» con su cifra y no se mueve la portería. Si una regla de parada detiene la medida a mitad, dice «parado».
- Dos lecturas ciegas. Cuando hay que leer texto (si una licitación es para la misma necesidad que una serie de menores), lo leen por separado dos modelos de lenguaje distintos con las mismas instrucciones selladas, y solo cuenta lo que dicen los dos.
- Jueces. Una muestra nueva, elegida al azar, la juzgan a ciegas otros dos modelos distintos de los lectores; la precisión de esas entradas es la de esos jueces. Son modelos, no personas, y la entrada lo dice. Donde hay una verdad que no es un modelo (un cambio de ley, la ficha de origen, el número de ofertas publicado), se usa esa.
Cómo se reproduce una entradael texto sellado con su huella, el código, los datos agregados y lo que no se publica
- Comprobar el sello. El «texto sellado» de una entrada es el fichero del pre-registro tal cual: su md5
(
md5sumen Linux,md5en macOS,Get-FileHash -Algorithm MD5en Windows) tiene que dar la huella de la entrada. Cuando el texto llevaba rutas del servidor o la sal de una huella de persona, se publica una copia de lectura con esas partes tapadas: dice cuántas, y su huella ya no es la del sello. - Leer el código. Cada fichero es una copia de lectura del que hizo la medida, la segunda implementación
o el cotejo. Las rutas del servidor van sustituidas por marcas:
<datos>la construcción publicada de la web (contratos unificados, satélites y agregados)<crudo>las descargas de origen preservadas<datos-externos>otra carpeta de datos del servidor<mediciones>la carpeta de trabajo de las mediciones<trabajo>la carpeta de trabajo de los encargos<repo>el repositorio de la web<aplicacion>otra aplicación del servidor<casa>la carpeta del usuario del servidor<opt>la carpeta de aplicaciones del servidor<temporal>una carpeta temporal<ip>una dirección IP Los datos de partida son la construcción publicada, que se descarga en Datos abiertos. - Los datos de validación que se publican son agregados (AUC, tasas, recuentos por año o fuente, resultados de los cotejos). Lo que no se publica se dice en cada entrada, con su porqué: nada con personas (nombres, DNI o sus huellas), nada que sea una lista de empresas, ni el contenido de un sobre antes de abrirlo, ni los textos de los documentos leídos, ni las tablas de más de 1 MB.
Qué dice cada columnaverdad y n, métrica (precisión, AUC, lift, κ, cociente), resultado y publicación
- Verdad y n
- Contra qué se comparó (la etiqueta que no es nuestra) y cuántos casos entraron en la medida.
- Métrica
- Precisión: de los casos que el indicador o la lectura da por buenos, cuántos lo son según la verdad. AUC: la probabilidad de que un caso con la etiqueta quede por delante de uno sin ella (0,5 es el azar, 1 es perfecto). Lift: cuántas veces es más frecuente la etiqueta en lo señalado que en un grupo de comparación. κ (kappa de Cohen): acuerdo entre dos lecturas o dos jueces, descontado el que daría el azar. Cociente: cuántas veces es más frecuente algo en un grupo que en su comparación; 1 es la igualdad. Recoge la razón de odds (OR, entre casos y controles), observado entre esperado (O/E, frente a lo que daría el azar o un modelo) y la razón de proporciones (RR, como el test de Carril, donde más de 1 dice que el exceso bajo el límite está en las compras únicas). Concordancia y recuento: casos iguales a la fuente o que cumplen la regla. El intervalo es del 95 % cuando el informe lo da.
- Pre-registro (md5)
- La huella del texto con las definiciones y la regla, sellado antes de medir. «Sin pre-registro sellado» si no consta ese sello. En una predicción sellada, debajo va también la huella del sobre con la predicción.
- Resultado
- Pasa: cumple la regla sellada. No pasa: no la cumple (y se dice en qué). No confirmada: la regla escrita no se cumple del todo, o se midió sin regla, aunque una medida posterior apunte en el mismo sentido; hace falta sellarla y probarla con datos nuevos. Parado: una regla de parada sellada detuvo la medida antes de acabar (por ejemplo, sin potencia). Sellada, pendiente: una predicción escrita y sellada antes de que exista su verdad (por ejemplo, antes de que se resuelva un expediente); se abre cuando llega y su resultado se publica sea cual sea. La marca de cada resultado es una forma, no un color: ninguno es una alarma.
- Publicación
- Publicado: está en la web («Dónde está» lleva a su explicación). En revisión, sin publicar: el cambio está preparado y revisándose, y todavía no se ve en la web. No publicado: no está en la web, por su resultado o porque falta decidirlo; si pasa, dice por qué. Retirada de la web: estuvo en la web y se apagó; dice cuándo y por qué, y conserva su resultado, porque cambiarlo sin repetir la medida sería mover la portería.
Lo que no diceninguna entrada es un juicio sobre un órgano; un «pasa» vale para sus años y su fuente
Ninguna entrada es un juicio sobre un órgano: se mide si un indicador o una lectura describe bien lo que dice describir, nunca a quién. La precisión de las lecturas es la de jueces automáticos, no la de personas. Un resultado «pasa» vale para los años y la fuente medidos: cada año o fuente nueva necesita su propia medida. Y el registro crece: cada medida nueva entra aquí con su resultado, salga como salga.