[Noticia] Model Leaderboard y Juez de competencia COBOL

[Eslopes]

PowerRustCOBOL 1.60.1

Hasta ahora, cada prueba de competencia COBOL terminaba en una ventana que se cerraba, y el resultado se perdia. Ahora termina en una clasificacion.

MODEL LEADERBOARD (Ajustes del proyecto -> IA -> Model Leaderboard)

Cuatro tablas: clasificacion general, modelos gratuitos en la nube, modelos de pago en la nube y modelos locales. Cada fila muestra puesto, modelo, proveedor y evaluacion general con estrellas, mas los botones Detalles, Ejecutar pruebas, Aplicar a Grace y Aplicar a especialistas.

El almacen es por maquina, junto a llm_config.json, asi que un modelo probado con un proyecto abierto sigue clasificado al abrir el siguiente. Al abrir un proyecto se recuperan ademas las pruebas guardadas en agentic_ai/model-benchmarks.jsonl: nadie repite, ni vuelve a pagar, una prueba ya realizada.

METRICAS NUEVAS

Ocho puntuaciones mas en la prueba: ficheros indexados, modificacion de codigo, depuracion, refactorizacion, diseno con tablas, inferencia de tipos, INVOKE en linea y explicacion de codigo. Y un recuento de alucinaciones, en numero entero y no en porcentaje.

La conexion informa ahora de los limites de tokens de entrada y salida, y en modelos locales del numero de parametros y la cuantizacion. Es especialmente util en los modelos gratuitos en la nube, cuyo limite de salida suele ser una fraccion del contexto que anuncian.

JUEZ DE COMPETENCIA COBOL

Un agente nuevo, y el primer revisor que no pertenece a ningun otro agente. Antes, una prueba lanzada desde la clasificacion se puntuaba a si misma: el modelo evaluado escribia el informe, las notas y los elogios, y la tabla ordenaba las tres cosas. El juez vuelve a puntuar el resultado partiendo del COBOL generado, y donde ambos discrepan mandan las notas del juez.

Al ejecutar una prueba sin modelo asignado al juez, el IDE pregunta antes de gastar nada: asignarlo ahora, ejecutar sin juez, o cancelar. Ejecutar sin juez se respeta, y despues se dice con claridad que el modelo se ha puntuado a si mismo y que el resultado puede no ser exacto.

SEPARACION DE MODELOS

Un modelo no puede juzgar, ni orquestar, un trabajo que tambien realizo. Un agente especialista no puede usar el modelo de Grace ni el del juez. El juez puede compartir el modelo de Grace, pero solo mientras ningun otro agente lo use. Lo ideal: Grace con un modelo, el juez con otro y los especialistas con los demas.

El asistente de configuracion de IA tiene ahora tres botones: Modelos, Agentes y Juez.

NOTAS

Las puntuaciones las estima el propio modelo en una prueba solo de chat; PowerRustCOBOL no compila ni ejecuta el codigo generado para verificarlas. Un modelo cuya prueba falla no recibe puesto ni estrellas y queda al final de la tabla, con el motivo del fallo a la vista.

Anthropic Claude Codex Agent