Metodología · registro

Registro público de precisión

Cada indicador de cumplimiento, cada descriptor y cada lectura de la misma necesidad que hemos medido, con la verdad contra la que se midió, cuántos casos, su precisión o su AUC con el intervalo cuando lo hay, la huella del pre-registro y el veredicto. También lo que no pasa: un resultado nulo se publica igual que uno bueno, y lo que no pasa no llega a las fichas. Es parte de la metodología; cómo se calcula cada indicador de los órganos, en la metodología de los indicadores por órgano.

Registro público de precisión

Cómo se midepre-registro sellado, segunda implementación, el nulo se publica, dos lecturas ciegas y jueces

Pre-registro sellado antes de medir. Las definiciones y la regla que decide si algo pasa se escriben antes de mirar ningún resultado, y se guarda su huella md5 con la hora. La huella de cada entrada es la de ese texto: si después se cambia una coma, la huella ya no coincide. Lo que se decide después de ver datos se rotula como posterior y no decide el veredicto.
Segunda implementación. Otro código, escrito aparte desde las mismas definiciones y sin ver el primero, tiene que dar lo mismo; si hay una diferencia, se mide y se explica.
El resultado nulo se publica. Si no se cumple la regla, la entrada dice «no pasa» con su cifra y no se mueve la portería. Si una regla de parada detiene la medida a mitad, dice «parado».
Dos lecturas ciegas. Cuando hay que leer texto (si una licitación es para la misma necesidad que una serie de menores), lo leen por separado dos modelos de lenguaje distintos con las mismas instrucciones selladas, y solo cuenta lo que dicen los dos.
Jueces. Una muestra nueva, elegida al azar, la juzgan a ciegas otros dos modelos distintos de los lectores; la precisión de esas entradas es la de esos jueces. Son modelos, no personas, y la entrada lo dice. Donde hay una verdad que no es un modelo (un cambio de ley, la ficha de origen, el número de ofertas publicado), se usa esa.

El registro

81 entradas, medidas del 13/10/2026 al 22/10/2026. Cada huella se volvió a calcular sobre su fichero sellado al preparar esta página (el 22/10/2026).

Solo las entradas con veredicto «parado»: 2 de 81. Ver todas

Registro de precisión: una fila por indicador o lectura medidos, con su detalle debajo
Indicador o lectura	n	Métrica	Veredicto	Publicación
Lectura de la misma necesidad, PLACSP 2019 → 2020 em2b-2019 · Misma necesidad · años 2019-2020 · medido el 21/10/2026	65	Recuento 13 de 65 series con alguna «misma» en la primera lectura (20,0 %; la regla de parada pedía al menos el 30 %)	Parado	No publicado
Verdad y n Dos jueces automáticos a ciegas, distintos de los lectores, sobre parejas nuevas elegidas al azar (una por serie). n = 65 series leídas enteras en la primera lectura Métrica Recuento 13 de 65 series con alguna «misma» en la primera lectura (20,0 %; la regla de parada pedía al menos el 30 %) Lectura y jueces automáticos (modelos de lenguaje) Pre-registro (md5) `87a65460d1554a019dbe238db619349b` Qué mide Si la licitación del año siguiente es para la misma necesidad que la serie de menores, leída dos veces a ciegas por dos modelos de lenguaje distintos con las mismas instrucciones selladas («misma» solo si lo dicen los dos). Regla sellada «Otra prestación» ≤ 10 % y «la misma necesidad» ≥ 60 %; cobertura ≥ 40 % de las series de la regla de palabras; lift ≥ 2 Nota La regla de parada sellada detuvo la lectura a mitad: la cobertura no podía llegar al 40 %. Sin segunda lectura ni jueces; resultado nulo declarado. Informe de origen em2b_amplia/ESTADO.md (carpeta de trabajo de las mediciones)
Lectura de la misma necesidad, Comunidad de Madrid 2023 → 2024 em2b-madrid-cam-2023 · Misma necesidad · años 2023-2024 · medido el 22/10/2026	165	Recuento 0 de 165 parejas de series leídas (y 0 de las 200 de comparación)	Parado	No publicado
Verdad y n Dos jueces automáticos a ciegas, distintos de los lectores, sobre parejas nuevas elegidas al azar (una por serie). n = 165 parejas de series preparadas, sin leer Métrica Recuento 0 de 165 parejas de series leídas (y 0 de las 200 de comparación) Lectura y jueces automáticos (modelos de lenguaje) Pre-registro (md5) `15864c1ba3001a30af91c872c4cc75be` Qué mide Si la licitación del año siguiente es para la misma necesidad que la serie de menores, leída dos veces a ciegas por dos modelos de lenguaje distintos con las mismas instrucciones selladas («misma» solo si lo dicen los dos). Regla sellada «Otra prestación» ≤ 10 % y «la misma necesidad» ≥ 60 %; cobertura ≥ 40 % de las series de la regla de palabras; IC inferior del lift > 1 Nota No se leyó: con la parada dura de la sesión (4 millones de tokens entre lectores y jueces) no cabía después de 2024, 2021, 2022 y el ensayo de la cascada. Sin lectura no se publica; las parejas quedan preparadas. Informe de origen em2b_amplia/INFORME_BLOQUE2.md (carpeta de trabajo de las mediciones)

Qué dice cada columnaverdad y n, métrica (precisión, AUC, lift, κ, cociente), pre-registro, veredicto y publicación

Verdad y n: Contra qué se comparó (la etiqueta que no es nuestra) y cuántos casos entraron en la medida.
Métrica: Precisión: de los casos que el indicador o la lectura da por buenos, cuántos lo son según la verdad. AUC: la probabilidad de que un caso con la etiqueta quede por delante de uno sin ella (0,5 es el azar, 1 es perfecto). Lift: cuántas veces es más frecuente la etiqueta en lo señalado que en un grupo de comparación. κ (kappa de Cohen): acuerdo entre dos lecturas o dos jueces, descontado el que daría el azar. Cociente: cuántas veces es más frecuente algo en un grupo que en su comparación; 1 es la igualdad. Recoge la razón de odds (OR, entre casos y controles), observado entre esperado (O/E, frente a lo que daría el azar o un modelo) y la razón de proporciones (RR, como el test de Carril, donde más de 1 dice que el exceso bajo el límite está en las compras únicas). Concordancia y recuento: casos iguales a la fuente o que cumplen la regla. El intervalo es del 95 % cuando el informe lo da.
Pre-registro (md5): La huella del texto con las definiciones y la regla, sellado antes de medir. «Pendiente» si no consta ese sello. En una predicción sellada, debajo va también la huella del sobre con la predicción.
Veredicto: Pasa: cumple la regla sellada. No pasa: no la cumple (y se dice en qué). No confirmada: la regla escrita no se cumple, aunque una medida posterior apunte en el mismo sentido; hace falta sellarla y probarla con datos nuevos. Parado: una regla de parada sellada detuvo la medida antes de acabar. Sellada, pendiente: una predicción escrita y sellada antes de que exista su verdad (por ejemplo, antes de que se resuelva un expediente); se abre cuando llega y su resultado se publica sea cual sea.
Publicación: Publicado: está en la web («Dónde está» lleva a su explicación). En revisión, sin publicar: el cambio está preparado y revisándose, y todavía no se ve en la web. No publicado: no está en la web, por su veredicto o porque falta decidirlo.

Lo que no dice

Ninguna entrada es un juicio sobre un órgano: se mide si un indicador o una lectura describe bien lo que dice describir, nunca a quién. La precisión de las lecturas es la de jueces automáticos, no la de personas. Un veredicto «pasa» vale para los años y la fuente medidos: cada año o fuente nueva necesita su propia medida. Y el registro crece: cada medida nueva entra aquí con su resultado, salga como salga.