From 6f1db06f0638f0f05895fb4610ca173e224de86b Mon Sep 17 00:00:00 2001 From: Alejandro Lembke Barrientos Date: Thu, 30 Jul 2026 02:54:38 +0000 Subject: [PATCH] Fase 5: aislamiento - puertas 2-3 sin --speculative-config (mismo checkpoint) Diagnostico pedido por el usuario antes de invertir tiempo en recalibrar: mismo checkpoint NVFP4 (256 muestras), mismo contenedor de eval, unica diferencia es remover --speculative-config (servicio vllm-eval-nvfp4-nospec, puerto 8003). Resultado: la regresion persiste casi identica sin speculative-config. Puerta 2: 95.5% (191/200) sin spec vs 94.5% (189/200) con spec vs 98.5% (197/200) de Fase 4 -- diferencia de 1pt entre con/sin spec, dentro de ruido esperado; ambas configuraciones quedan ~3-4pts debajo de Fase 4. Puerta 3: 90% (9/10) sin spec, identico a 90% (9/10) con spec -- mismo caso puntual falla en ambas corridas (aleleba-pr/adherencia), aunque el texto alucinado especifico difiere entre corridas (no determinismo esperable de vLLM con batching dinamico incluso a temperature=0). Conclusion: el speculative decoding (MTP) NO es el causante de la regresion -- persiste identica sin el. El causante es la cuantizacion NVFP4 en si (probablemente calibracion insuficiente de los 256 expertos MoE con solo 256 muestras). Recalibrar con mas muestras, como estaba previsto condicionalmente, es ahora el paso indicado. --- data/gate2_results_nvfp4_nospec.json | 1845 ++++++++++++++++++++++++++ data/gate3_results_nvfp4_nospec.json | 86 ++ 2 files changed, 1931 insertions(+) create mode 100644 data/gate2_results_nvfp4_nospec.json create mode 100644 data/gate3_results_nvfp4_nospec.json diff --git a/data/gate2_results_nvfp4_nospec.json b/data/gate2_results_nvfp4_nospec.json new file mode 100644 index 0000000..2550ac6 --- /dev/null +++ b/data/gate2_results_nvfp4_nospec.json @@ -0,0 +1,1845 @@ +{ + "stats": { + "docmost": { + "total": 40, + "valid_tool_call": 37, + "no_tool_call": 1, + "invalid": 2 + }, + "__global__": { + "total": 200, + "valid_tool_call": 191, + "no_tool_call": 3, + "invalid": 6 + }, + "github-personal": { + "total": 40, + "valid_tool_call": 39, + "no_tool_call": 0, + "invalid": 1 + }, + "penpot": { + "total": 40, + "valid_tool_call": 40, + "no_tool_call": 0, + "invalid": 0 + }, + "atlassian": { + "total": 40, + "valid_tool_call": 38, + "no_tool_call": 0, + "invalid": 2 + }, + "gitea": { + "total": 40, + "valid_tool_call": 37, + "no_tool_call": 2, + "invalid": 1 + } + }, + "results": [ + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'bugfix urgente 126' al PR numero 26 de 'mobile-client'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'formulario de contacto 399' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 432 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'panel de admin 777' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'backend-core' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'endpoint de usuarios 480' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'bugfix urgente 90'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x100 en el board 'Mobile Screens' con color #d93025.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-165 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'modal de confirmacion 268' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'integracion con Stripe 886' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'migracion de datos 162' en el espacio 'data-pipeline'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'reporte semanal 876' en el espacio 'frontend-app'.", + "tool_calls": [ + "createConfluencePage" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'fix/timeout-api-37' en el repo 'infra-tools' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'dashboard 174' al issue numero 180 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Mobile Screens' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'migracion de datos 426', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Checkout Flow' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'migracion de datos 37' al issue frontend-app-436 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'frontend-app' titulado 'checkout 426' asignado a mi usuario.", + "tool_calls": [ + "issue_write" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['repo'] en la llamada a issue_write" + ] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'reporte semanal 374' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 120x360 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "atlassianUserInfo" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue backend-core-393 con el comentario 'landing page 124'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 458 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'header responsive 419' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'login 880' en el space 'data-pipeline' con una tabla de 98 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['spaceId'] en la llamada a create_page" + ] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'bugfix urgente 251' al issue mobile-client-10 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'header responsive 390' al PR numero 268 de 'mobile-client'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'endpoint de usuarios 208' a otro parent dentro del space 'data-pipeline'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-61' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'infra-tools' titulado 'cache de sesion 669', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'header responsive 153' en el espacio 'data-pipeline'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'footer del sitio 58' asignado a mi usuario.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'modal de confirmacion 441' al issue numero 428 de 'data-pipeline'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'infra-tools'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-66' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'landing page 481'.", + "tool_calls": [ + "search_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-119 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'icono-menu-27' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x60 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'integracion con Stripe 976' en el espacio 'frontend-app'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'dashboard 738' al PR numero 67 de 'data-pipeline'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'landing page 206' en el espacio 'infra-tools'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 340 de 'infra-tools'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue infra-tools-29 con el comentario 'tabla de precios 91'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'backend-core' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'titulo-principal-3' a #d93025 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'frontend-app' titulado 'tema oscuro 373', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'login 608' al issue numero 386 de 'backend-core'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-87' a la posicion x=480, y=100 dentro de 'Design System'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 270' en el space 'mobile-client' con una tabla de 69 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'formulario de contacto 192'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'data-pipeline' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'tabla de precios 284' en la pagina con id conocido del space 'data-pipeline'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'bugfix urgente 307' a otro parent dentro del space 'mobile-client'.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 480 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'modal de confirmacion 826' al issue infra-tools-156 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'landing page 338' al PR numero 457 de 'backend-core'.", + "tool_calls": [ + "add_comment_to_pending_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'mobile-client' titulado 'panel de admin 953' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Dashboard Principal' de 480x60 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'login 251'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x60 en el board 'Checkout Flow' con color #188038.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'formulario de contacto 609'.", + "tool_calls": [ + "search_repos" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-54' en 'frontend-app' con las notas 'onboarding 158'.", + "tool_calls": [ + "create_release" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['target'] en la llamada a create_release" + ] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'boton-cta-4' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'feature/dark-mode-39' en 'backend-core' con las notas 'landing page 2'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'endpoint de usuarios 896' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "update_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'modal de confirmacion 556' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'tabla de precios 511' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'infra-tools' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['projectIdOrKey'] en la llamada a getJiraProjectIssueTypesMetadata" + ] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'integracion con Stripe 115' en el space 'backend-core' con una tabla de 414 columnas.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue mobile-client-6 con el comentario 'formulario de contacto 73'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue data-pipeline-41 con el comentario 'footer del sitio 585'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'tabla de precios 390' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'landing page 404' dentro del board 'Checkout Flow', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x40 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 320x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'migracion de datos 505' al PR numero 454 de 'backend-core'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'formulario de contacto 584', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-296 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'footer-logo-54' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'endpoint de usuarios 324' asignado a mi usuario.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'data-pipeline' que mencionen 'integracion con Stripe 724'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue data-pipeline-258 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'login 561'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'frontend-app' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-64' a la posicion x=80, y=100 dentro de 'Landing v2'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-87' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 648' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 449' al issue frontend-app-62 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 46 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'tema oscuro 279'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'panel de admin 831' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'endpoint de usuarios 858' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'icono-menu-25' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 616' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "update_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/nueva-vista-88' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'hotfix/prod-39' en el repo 'backend-core' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'dashboard 852' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 677' al issue data-pipeline-418 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 480x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'onboarding 237' asignado a mi usuario.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Landing v2' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'notificaciones push 425'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-64' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'data-pipeline' titulado 'login 33' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'flujo de pago 407' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-37' hacia main, titulo 'bugfix urgente 514'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'tabla de precios 897'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'footer del sitio 421' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 142 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x360 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'backend-core' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-14' a #188038 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-69' hacia main, titulo 'onboarding 858'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'chore/deps-85' en 'mobile-client' con las notas 'landing page 860'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x40 en el board 'Design System' con color #188038.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'backend-core' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'onboarding 635' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'integracion con Stripe 482' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 158 de 'mobile-client'.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'infra-tools' que mencionen 'tema oscuro 65'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-27' a la posicion x=480, y=100 dentro de 'Mobile Screens'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'cache de sesion 798' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue frontend-app-219 con el comentario 'reporte semanal 154'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-17' a la posicion x=80, y=360 dentro de 'Design System'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/nueva-vista-39' hacia main, titulo 'landing page 52'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-11' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'panel de admin 775'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'mobile-client' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'modal de confirmacion 567'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-78' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-45' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 391 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-98' hacia main, titulo 'checkout 711'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-56' en 'frontend-app' con las notas 'migracion de datos 201'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'reporte semanal 913' en la pagina con id conocido del space 'mobile-client'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'footer del sitio 267' bajo la pagina principal del space 'frontend-app'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['projectIdOrKey'] en la llamada a getJiraProjectIssueTypesMetadata" + ] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'infra-tools'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 97 de 'backend-core'.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'infra-tools' que mencionen 'footer del sitio 825'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'checkout 730'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'chore/deps-30' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 428 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'frontend-app'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-60' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'titulo-principal-78' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-55' hacia main, titulo 'migracion de datos 558'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'backend-core' que mencionen 'checkout 275'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'panel de admin 720' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'mobile-client' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-64' en 'backend-core'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/dark-mode-59' en el repo 'mobile-client' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'card-producto-79' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-47' en 'frontend-app'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'migracion de datos 95' al issue numero 327 de 'mobile-client'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'data-pipeline'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'tema oscuro 442'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'infra-tools' el codigo que define la funcion 'migracion de datos 79'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'mobile-client' titulado 'integracion con Stripe 869' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-472 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'boton-cta-37' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 149' en el space 'backend-core' con una tabla de 371 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['spaceId'] en la llamada a create_page" + ] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'integracion con Stripe 169'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'flujo de pago 572' al issue numero 91 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'footer-logo-84' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'backend-core' titulado 'login 863', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'flujo de pago 290' en el space 'mobile-client' con una tabla de 199 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-14' en 'data-pipeline' con las notas 'endpoint de usuarios 265'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'titulo-principal-66' a la posicion x=120, y=40 dentro de 'Checkout Flow'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'tema oscuro 467'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + } + ] +} \ No newline at end of file diff --git a/data/gate3_results_nvfp4_nospec.json b/data/gate3_results_nvfp4_nospec.json new file mode 100644 index 0000000..b54b20b --- /dev/null +++ b/data/gate3_results_nvfp4_nospec.json @@ -0,0 +1,86 @@ +{ + "eval": [ + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Termine de arreglar el bug del login, aplica aleleba-pr para subir esto.", + "passed": false, + "hits": [] + }, + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Aplica aleleba-pr sobre estos cambios, pero NO lo mergees vos.", + "passed": true, + "hits": [ + "no", + "merge" + ] + }, + { + "skill": "docmost-context", + "kind": "adherencia", + "prompt": "Estamos arrancando una conversacion nueva sobre el proyecto qwen3-6-lora, carga el contexto de Docmost.", + "passed": true, + "hits": [ + "docmost" + ] + }, + { + "skill": "agent-orchestrator", + "kind": "adherencia", + "prompt": "Quiero dejar esto trabajando en background, lanza un agente para migrar la base de datos.", + "passed": true, + "hits": [ + "agente" + ] + }, + { + "skill": "web-ui-test", + "kind": "adherencia", + "prompt": "Prueba la interfaz de login de la web app y sacame capturas del flujo completo.", + "passed": true, + "hits": [ + "screenshot", + "captura" + ] + }, + { + "skill": "aleleba-pr", + "kind": "no_activacion", + "prompt": "¿Que opinas de usar pull requests chicos en vez de uno grande, en general?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "agent-orchestrator", + "kind": "no_activacion", + "prompt": "¿Que significa correr un proceso en background en Linux?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "docmost-context", + "kind": "no_activacion", + "prompt": "¿Que es Docmost, para que sirve como herramienta?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "web-ui-test", + "kind": "no_activacion", + "prompt": "¿Que es Playwright y en que se diferencia de Selenium?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "spark-ssh", + "kind": "no_activacion_held_out", + "prompt": "¿Como se hace una conexion SSH normalmente en Linux?", + "passed": true, + "tool_calls": [] + } + ], + "baseline": null, + "baseline_disponible": false +} \ No newline at end of file