Metodología · registro
Registro público de precisión
Cada indicador de cumplimiento, cada descriptor y cada lectura de la misma necesidad que hemos medido contra una verdad que no es nuestra, con su pre-registro sellado y el código y los datos para repetirlo. También lo que no pasa.
Seguir leyendo
De cada uno, cuántos casos y su precisión o su AUC con el intervalo; un nulo se publica igual y no llega a las fichas. Es parte de la metodología; cómo se calcula cada indicador, en la de los indicadores por órgano.
- Para reproducirlas: código en 249 de 249
- pre-registro en 245 (130 tal cual)
- datos de validación en 212
- segunda implementación en 196
- Cómo se reproduce
El registro enteroDescargar el JSON, con las 249 entradas y todos sus campos (670 KB; md5 3e7294d7e63348c2)
El registro
249 entradas. Cada huella se volvió a calcular sobre su fichero sellado al preparar esta página (el 05/11/2026).
Solo las entradas con veredicto «no confirmada» y del tema «La ley y los datos»: 5 de 249. Ver todas
La ley y los datos
Pasa: 5No pasa: 1No confirmada: 5Parado: 2
5 de 13 entradas
| Indicador o lectura | n | Resultado | Veredicto | Para reproducirla | Detalle |
|---|---|---|---|---|---|
| Ley 19/2013 de transparencia (CCAA y EELL, dic-2015) lt1-l02b · 2014-2016 | 32 | Cociente cambio Δ en 12 meses: ×0,946 [0,738-1,097]; tratado 16.400 → 15.510 menores; 32 órganosy 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| DA 54.ª LCSP (Ley 6/2018): menores de hasta 50.000 € en agentes SECTI lt1-l07 · 2017-2019 | 83 | Cociente diferencia en diferencias en 12 meses: ×1,053 [0,218-12,007]; tratado 2,8 % → 2,2 %; contraste 4,0 % → 3,1 %; 83 órganos (+1.433 de contraste)y 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| RDL 3/2019: agentes SECTI fuera del tope del 118.3 lt1-l08 · 2018-2020 | 101 | Cociente diferencia en diferencias en 12 meses: ×0,921 [0,859-0,978]; tratado 94,3 % → 94,0 %; contraste 53,9 % → 58,3 %; 101 órganos (+655 de contraste)y 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| Instrucción 1/2019 de la OIReScon (7-mar-2019) lt1-l09 · 2018-2020 | 732 | Cociente cambio Δ en 12 meses: ×1,090 [1,035-1,156]; tratado 52,7 % → 57,4 %; 732 órganosy 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
| Ley 2/2023 del informante (13-mar-2023), control negativo lt1-l18 · 2022-2024 | 1.729 | Cociente cambio Δ en 12 meses: ×0,996 [0,933-1,058]; tratado 34,2 % → 34,1 %; 1.729 órganosy 1 más en el detalle | No confirmada No publicado | Pre-registro tal cual 12 ficheros | |
Para reproducirla
|
|||||
Predicciones selladas10, escritas antes de que exista su verdad; la próxima se abre a partir del 12/04/2027 (faltan 156 días). Los sobres y su cuenta atrás
Cómo se midepre-registro sellado, segunda implementación, el nulo se publica, dos lecturas ciegas y jueces
- Pre-registro sellado antes de medir. Las definiciones y la regla que decide si algo pasa se escriben antes de mirar ningún resultado, y se guarda su huella md5 con la hora. La huella de cada entrada es la de ese texto: si después se cambia una coma, la huella ya no coincide. Lo que se decide después de ver datos se rotula como posterior y no decide el veredicto.
- Segunda implementación. Otro código, escrito aparte desde las mismas definiciones y sin ver el primero, tiene que dar lo mismo; si hay una diferencia, se mide y se explica.
- El resultado nulo se publica. Si no se cumple la regla, la entrada dice «no pasa» con su cifra y no se mueve la portería. Si una regla de parada detiene la medida a mitad, dice «parado».
- Dos lecturas ciegas. Cuando hay que leer texto (si una licitación es para la misma necesidad que una serie de menores), lo leen por separado dos modelos de lenguaje distintos con las mismas instrucciones selladas, y solo cuenta lo que dicen los dos.
- Jueces. Una muestra nueva, elegida al azar, la juzgan a ciegas otros dos modelos distintos de los lectores; la precisión de esas entradas es la de esos jueces. Son modelos, no personas, y la entrada lo dice. Donde hay una verdad que no es un modelo (un cambio de ley, la ficha de origen, el número de ofertas publicado), se usa esa.
Cómo se reproduce una entradael texto sellado con su huella, el código, los datos agregados y lo que no se publica
- Comprobar el sello. El «texto sellado» de una entrada es el fichero del pre-registro tal cual: su md5
(
md5sumen Linux,md5en macOS,Get-FileHash -Algorithm MD5en Windows) tiene que dar la huella de la entrada. Cuando el texto llevaba rutas del servidor o la sal de una huella de persona, se publica una copia de lectura con esas partes tapadas: dice cuántas, y su huella ya no es la del sello. - Leer el código. Cada fichero es una copia de lectura del que hizo la medida, la segunda implementación
o el cotejo. Las rutas del servidor van sustituidas por marcas:
<datos>la construcción publicada de la web (contratos unificados, satélites y agregados)<crudo>las descargas de origen preservadas<datos-externos>otra carpeta de datos del servidor<mediciones>la carpeta de trabajo de las mediciones<trabajo>la carpeta de trabajo de los encargos<repo>el repositorio de la web<aplicacion>otra aplicación del servidor<casa>la carpeta del usuario del servidor<opt>la carpeta de aplicaciones del servidor<temporal>una carpeta temporal<ip>una dirección IP Los datos de partida son la construcción publicada, que se descarga en Datos abiertos. - Los datos de validación que se publican son agregados (AUC, tasas, recuentos por año o fuente, resultados de los cotejos). Lo que no se publica se dice en cada entrada, con su porqué: nada con personas (nombres, DNI o sus huellas), nada que sea una lista de empresas, ni el contenido de un sobre antes de abrirlo, ni los textos de los documentos leídos, ni las tablas de más de 1 MB.
Qué dice cada columnaverdad y n, métrica (precisión, AUC, lift, κ, cociente), veredicto y publicación
- Verdad y n
- Contra qué se comparó (la etiqueta que no es nuestra) y cuántos casos entraron en la medida.
- Métrica
- Precisión: de los casos que el indicador o la lectura da por buenos, cuántos lo son según la verdad. AUC: la probabilidad de que un caso con la etiqueta quede por delante de uno sin ella (0,5 es el azar, 1 es perfecto). Lift: cuántas veces es más frecuente la etiqueta en lo señalado que en un grupo de comparación. κ (kappa de Cohen): acuerdo entre dos lecturas o dos jueces, descontado el que daría el azar. Cociente: cuántas veces es más frecuente algo en un grupo que en su comparación; 1 es la igualdad. Recoge la razón de odds (OR, entre casos y controles), observado entre esperado (O/E, frente a lo que daría el azar o un modelo) y la razón de proporciones (RR, como el test de Carril, donde más de 1 dice que el exceso bajo el límite está en las compras únicas). Concordancia y recuento: casos iguales a la fuente o que cumplen la regla. El intervalo es del 95 % cuando el informe lo da.
- Pre-registro (md5)
- La huella del texto con las definiciones y la regla, sellado antes de medir. «Sin pre-registro sellado» si no consta ese sello. En una predicción sellada, debajo va también la huella del sobre con la predicción.
- Veredicto
- Pasa: cumple la regla sellada. No pasa: no la cumple (y se dice en qué). No confirmada: la regla escrita no se cumple del todo, o se midió sin regla, aunque una medida posterior apunte en el mismo sentido; hace falta sellarla y probarla con datos nuevos. Parado: una regla de parada sellada detuvo la medida antes de acabar (por ejemplo, sin potencia). Sellada, pendiente: una predicción escrita y sellada antes de que exista su verdad (por ejemplo, antes de que se resuelva un expediente); se abre cuando llega y su resultado se publica sea cual sea. La marca de cada veredicto es una forma, no un color: ninguno es una alarma.
- Publicación
- Publicado: está en la web («Dónde está» lleva a su explicación). En revisión, sin publicar: el cambio está preparado y revisándose, y todavía no se ve en la web. No publicado: no está en la web, por su veredicto o porque falta decidirlo; si pasa, dice por qué. Retirada de la web: estuvo en la web y se apagó; dice cuándo y por qué, y conserva su veredicto, porque cambiarlo sin repetir la medida sería mover la portería.
Lo que no diceninguna entrada es un juicio sobre un órgano; un «pasa» vale para sus años y su fuente
Ninguna entrada es un juicio sobre un órgano: se mide si un indicador o una lectura describe bien lo que dice describir, nunca a quién. La precisión de las lecturas es la de jueces automáticos, no la de personas. Un veredicto «pasa» vale para los años y la fuente medidos: cada año o fuente nueva necesita su propia medida. Y el registro crece: cada medida nueva entra aquí con su resultado, salga como salga.