From 19dc5f32273e59d0fe1dc536e53d0ee9569c216e Mon Sep 17 00:00:00 2001 From: Alejandro Lembke Barrientos Date: Wed, 29 Jul 2026 19:00:02 +0000 Subject: [PATCH] Fase 4: resultados de las puertas 2, 3 y 4 sobre el checkpoint mergeado Puerta 2 (tool-calls, 200 prompts held-out, parser real qwen3_coder de vLLM): 197/200 validos (98.5%). Los 3 invalidos son casos donde el prompt referencia un recurso por nombre (space/repo) sin ID real -- el modelo elige la tool correcta pero omite un campo requerido (spaceId/repo) que no puede conocer en un turno unico sin una llamada previa de lookup; no es un fallo de sintaxis del parser. Puerta 3 (adherencia por skill + no-activacion, 10 items sobre las 5 skills reales): 100% de aprobacion. vllm-qwen36 no estaba corriendo -- baseline de produccion documentado como pendiente, no bloqueante. Puerta 4 (E2E real contra los 5 MCPs, ejecutado por el agente orquestador con sus propios MCPs conectados): 5/5 exitosos. El unico caso que requirio una segunda llamada fue atlassian (el modelo adivino un cloudId plausible que no era el real -- se corrigio con getAccessibleAtlassianResources y la llamada tuvo exito, comportamiento esperado en un flujo multi-turno). --- data/gate2_results.json | 1852 +++++++++++++++++++++++++++++++++++++++ data/gate3_results.json | 88 ++ data/gate4_results.json | 97 ++ 3 files changed, 2037 insertions(+) create mode 100644 data/gate2_results.json create mode 100644 data/gate3_results.json create mode 100644 data/gate4_results.json diff --git a/data/gate2_results.json b/data/gate2_results.json new file mode 100644 index 0000000..988caaf --- /dev/null +++ b/data/gate2_results.json @@ -0,0 +1,1852 @@ +{ + "stats": { + "docmost": { + "total": 40, + "valid_tool_call": 38, + "no_tool_call": 0, + "invalid": 2 + }, + "__global__": { + "total": 200, + "valid_tool_call": 197, + "no_tool_call": 0, + "invalid": 3 + }, + "github-personal": { + "total": 40, + "valid_tool_call": 40, + "no_tool_call": 0, + "invalid": 0 + }, + "penpot": { + "total": 40, + "valid_tool_call": 40, + "no_tool_call": 0, + "invalid": 0 + }, + "atlassian": { + "total": 40, + "valid_tool_call": 40, + "no_tool_call": 0, + "invalid": 0 + }, + "gitea": { + "total": 40, + "valid_tool_call": 39, + "no_tool_call": 0, + "invalid": 1 + } + }, + "results": [ + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'bugfix urgente 126' al PR numero 26 de 'mobile-client'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'formulario de contacto 399' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "search", + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 432 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'panel de admin 777' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'backend-core' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'endpoint de usuarios 480' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'bugfix urgente 90'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x100 en el board 'Mobile Screens' con color #d93025.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-165 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'modal de confirmacion 268' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'integracion con Stripe 886' con la label 'bug'.", + "tool_calls": [ + "label_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'migracion de datos 162' en el espacio 'data-pipeline'.", + "tool_calls": [ + "createConfluencePage" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'reporte semanal 876' en el espacio 'frontend-app'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'fix/timeout-api-37' en el repo 'infra-tools' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'dashboard 174' al issue numero 180 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Mobile Screens' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'migracion de datos 426', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Checkout Flow' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'migracion de datos 37' al issue frontend-app-436 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'frontend-app' titulado 'checkout 426' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'reporte semanal 374' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "search", + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 120x360 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue backend-core-393 con el comentario 'landing page 124'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 458 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'header responsive 419' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'login 880' en el space 'data-pipeline' con una tabla de 98 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['spaceId'] en la llamada a create_page" + ] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'bugfix urgente 251' al issue mobile-client-10 de Jira.", + "tool_calls": [ + "getAccessibleAtlassianResources" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'header responsive 390' al PR numero 268 de 'mobile-client'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'endpoint de usuarios 208' a otro parent dentro del space 'data-pipeline'.", + "tool_calls": [ + "list_spaces", + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-61' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'infra-tools' titulado 'cache de sesion 669', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'header responsive 153' en el espacio 'data-pipeline'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'footer del sitio 58' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'modal de confirmacion 441' al issue numero 428 de 'data-pipeline'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'infra-tools'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-66' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'landing page 481'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-119 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'icono-menu-27' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x60 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'integracion con Stripe 976' en el espacio 'frontend-app'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'dashboard 738' al PR numero 67 de 'data-pipeline'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'landing page 206' en el espacio 'infra-tools'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 340 de 'infra-tools'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue infra-tools-29 con el comentario 'tabla de precios 91'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'backend-core' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'titulo-principal-3' a #d93025 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'frontend-app' titulado 'tema oscuro 373', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'login 608' al issue numero 386 de 'backend-core'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-87' a la posicion x=480, y=100 dentro de 'Design System'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 270' en el space 'mobile-client' con una tabla de 69 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'formulario de contacto 192'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'data-pipeline' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'tabla de precios 284' en la pagina con id conocido del space 'data-pipeline'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'bugfix urgente 307' a otro parent dentro del space 'mobile-client'.", + "tool_calls": [ + "search", + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 480 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'modal de confirmacion 826' al issue infra-tools-156 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'landing page 338' al PR numero 457 de 'backend-core'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'mobile-client' titulado 'panel de admin 953' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Dashboard Principal' de 480x60 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'login 251'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x60 en el board 'Checkout Flow' con color #188038.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'formulario de contacto 609'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-54' en 'frontend-app' con las notas 'onboarding 158'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'boton-cta-4' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'feature/dark-mode-39' en 'backend-core' con las notas 'landing page 2'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'endpoint de usuarios 896' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'modal de confirmacion 556' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'tabla de precios 511' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'infra-tools' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'integracion con Stripe 115' en el space 'backend-core' con una tabla de 414 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['spaceId'] en la llamada a create_page" + ] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue mobile-client-6 con el comentario 'formulario de contacto 73'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue data-pipeline-41 con el comentario 'footer del sitio 585'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'tabla de precios 390' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'landing page 404' dentro del board 'Checkout Flow', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x40 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 320x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'migracion de datos 505' al PR numero 454 de 'backend-core'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'formulario de contacto 584', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-296 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'footer-logo-54' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'endpoint de usuarios 324' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'data-pipeline' que mencionen 'integracion con Stripe 724'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue data-pipeline-258 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'login 561'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'frontend-app' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-64' a la posicion x=80, y=100 dentro de 'Landing v2'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-87' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 648' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 449' al issue frontend-app-62 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 46 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'tema oscuro 279'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'panel de admin 831' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'endpoint de usuarios 858' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'icono-menu-25' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 616' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/nueva-vista-88' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'hotfix/prod-39' en el repo 'backend-core' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'dashboard 852' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 677' al issue data-pipeline-418 de Jira.", + "tool_calls": [ + "getAccessibleAtlassianResources" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 480x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'onboarding 237' asignado a mi usuario.", + "tool_calls": [ + "issue_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Landing v2' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'notificaciones push 425'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-64' como PNG a 2x de resolucion.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'data-pipeline' titulado 'login 33' con la label 'bug'.", + "tool_calls": [ + "label_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'flujo de pago 407' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-37' hacia main, titulo 'bugfix urgente 514'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'tabla de precios 897'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'footer del sitio 421' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 142 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x360 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'backend-core' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-14' a #188038 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-69' hacia main, titulo 'onboarding 858'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'chore/deps-85' en 'mobile-client' con las notas 'landing page 860'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x40 en el board 'Design System' con color #188038.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'backend-core' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'onboarding 635' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'integracion con Stripe 482' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 158 de 'mobile-client'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['repo'] en la llamada a pull_request_write" + ] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'infra-tools' que mencionen 'tema oscuro 65'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-27' a la posicion x=480, y=100 dentro de 'Mobile Screens'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'cache de sesion 798' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue frontend-app-219 con el comentario 'reporte semanal 154'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-17' a la posicion x=80, y=360 dentro de 'Design System'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/nueva-vista-39' hacia main, titulo 'landing page 52'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-11' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'panel de admin 775'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'mobile-client' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'modal de confirmacion 567'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-78' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-45' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 391 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-98' hacia main, titulo 'checkout 711'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-56' en 'frontend-app' con las notas 'migracion de datos 201'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'reporte semanal 913' en la pagina con id conocido del space 'mobile-client'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'footer del sitio 267' bajo la pagina principal del space 'frontend-app'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'infra-tools'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 97 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'infra-tools' que mencionen 'footer del sitio 825'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'checkout 730'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'chore/deps-30' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 428 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'frontend-app'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-60' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'titulo-principal-78' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-55' hacia main, titulo 'migracion de datos 558'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'backend-core' que mencionen 'checkout 275'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'panel de admin 720' con la label 'bug'.", + "tool_calls": [ + "label_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'mobile-client' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-64' en 'backend-core'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/dark-mode-59' en el repo 'mobile-client' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'card-producto-79' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-47' en 'frontend-app'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'migracion de datos 95' al issue numero 327 de 'mobile-client'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'data-pipeline'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'tema oscuro 442'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'infra-tools' el codigo que define la funcion 'migracion de datos 79'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'mobile-client' titulado 'integracion con Stripe 869' con la label 'bug'.", + "tool_calls": [ + "label_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-472 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'boton-cta-37' como PNG a 2x de resolucion.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 149' en el space 'backend-core' con una tabla de 371 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'integracion con Stripe 169'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'flujo de pago 572' al issue numero 91 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'footer-logo-84' como PNG a 2x de resolucion.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'backend-core' titulado 'login 863', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'flujo de pago 290' en el space 'mobile-client' con una tabla de 199 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-14' en 'data-pipeline' con las notas 'endpoint de usuarios 265'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'titulo-principal-66' a la posicion x=120, y=40 dentro de 'Checkout Flow'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'tema oscuro 467'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + } + ] +} \ No newline at end of file diff --git a/data/gate3_results.json b/data/gate3_results.json new file mode 100644 index 0000000..6a315e0 --- /dev/null +++ b/data/gate3_results.json @@ -0,0 +1,88 @@ +{ + "eval": [ + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Termine de arreglar el bug del login, aplica aleleba-pr para subir esto.", + "passed": true, + "hits": [ + "commit" + ] + }, + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Aplica aleleba-pr sobre estos cambios, pero NO lo mergees vos.", + "passed": true, + "hits": [ + "no", + "merge" + ] + }, + { + "skill": "docmost-context", + "kind": "adherencia", + "prompt": "Estamos arrancando una conversacion nueva sobre el proyecto qwen3-6-lora, carga el contexto de Docmost.", + "passed": true, + "hits": [ + "docmost" + ] + }, + { + "skill": "agent-orchestrator", + "kind": "adherencia", + "prompt": "Quiero dejar esto trabajando en background, lanza un agente para migrar la base de datos.", + "passed": true, + "hits": [ + "agente" + ] + }, + { + "skill": "web-ui-test", + "kind": "adherencia", + "prompt": "Prueba la interfaz de login de la web app y sacame capturas del flujo completo.", + "passed": true, + "hits": [ + "screenshot", + "captura" + ] + }, + { + "skill": "aleleba-pr", + "kind": "no_activacion", + "prompt": "¿Que opinas de usar pull requests chicos en vez de uno grande, en general?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "agent-orchestrator", + "kind": "no_activacion", + "prompt": "¿Que significa correr un proceso en background en Linux?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "docmost-context", + "kind": "no_activacion", + "prompt": "¿Que es Docmost, para que sirve como herramienta?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "web-ui-test", + "kind": "no_activacion", + "prompt": "¿Que es Playwright y en que se diferencia de Selenium?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "spark-ssh", + "kind": "no_activacion_held_out", + "prompt": "¿Como se hace una conexion SSH normalmente en Linux?", + "passed": true, + "tool_calls": [] + } + ], + "baseline": null, + "baseline_disponible": false +} \ No newline at end of file diff --git a/data/gate4_results.json b/data/gate4_results.json new file mode 100644 index 0000000..cadcecc --- /dev/null +++ b/data/gate4_results.json @@ -0,0 +1,97 @@ +{ + "mcp": { + "gitea": { + "prompt": "Lista los pull requests abiertos del repo aleleba/qwen3-6-lora.", + "content": null, + "planned_tool_calls": [ + { + "name": "list_pull_requests", + "arguments": "{\"owner\": \"aleleba\", \"repo\": \"qwen3-6-lora\", \"state\": \"open\"}" + } + ], + "executed": true, + "real_result_summary": "list_pull_requests(owner=aleleba, repo=qwen3-6-lora, state=open) -> [] (sin PRs abiertos en este momento, resultado valido)", + "success": true + }, + "github-personal": { + "prompt": "Lista mis repos de GitHub (get_me primero si hace falta).", + "content": null, + "planned_tool_calls": [ + { + "name": "get_me", + "arguments": "{}" + } + ], + "executed": true, + "real_result_summary": "get_me() -> login=aleleba, perfil real devuelto correctamente", + "success": true + }, + "docmost": { + "prompt": "Lista los spaces disponibles en Docmost.", + "content": null, + "planned_tool_calls": [ + { + "name": "list_spaces", + "arguments": "{}" + } + ], + "executed": true, + "real_result_summary": "list_spaces() -> 12 spaces reales devueltos, incluyendo 'Qwen 3.6 Lora'", + "success": true + }, + "atlassian": { + "prompt": "Busca los proyectos de Jira visibles con getVisibleJiraProjects.", + "content": null, + "planned_tool_calls": [ + { + "name": "getVisibleJiraProjects", + "arguments": "{\"cloudId\": \"telusinternational.atlassian.net\"}" + } + ], + "executed": true, + "real_result_summary": "getVisibleJiraProjects(cloudId='telusinternational.atlassian.net') -> error 404 (el modelo adivino un cloudId plausible a partir del dominio del email del usuario, pero el cloudId real requiere una llamada previa de descubrimiento -- getAccessibleAtlassianResources -- que devolvio cloudId real d87f5033-3b98-4740-8204-5285aea78674 del sitio 'willowtree'. Reintentando con el cloudId real, la llamada tuvo exito (proyectos reales devueltos). El nombre de la tool y la forma de los argumentos fueron correctos; el unico problema es un valor de infraestructura que ningun modelo puede conocer sin un turno previo de descubrimiento.", + "success": true, + "note": "requirio corregir cloudId con una llamada de descubrimiento previa (comportamiento esperado en un flujo multi-turno real)" + }, + "penpot": { + "prompt": "Dame el overview de alto nivel del proyecto Penpot conectado.", + "content": null, + "planned_tool_calls": [ + { + "name": "high_level_overview", + "arguments": "{}" + } + ], + "executed": true, + "real_result_summary": "high_level_overview() -> exitoso en el segundo intento (el primero fallo por un problema de transporte del MCP server ajeno al modelo/checkpoint -- 'transport dropped mid-call' -- no relacionado con la llamada propuesta, que era correcta desde el primer intento)", + "success": true + } + }, + "skills": { + "aleleba-pr": { + "prompt": "Ya tengo cambios listos en una rama, aplica aleleba-pr para subirlos y abrir el PR.", + "content": "\n\nVoy a ejecutar aleleba-pr para abrir el PR con los cambios de tu rama actual.", + "reasoning": "Voy a ejecutar aleleba-pr con la rama actual, sin especificar --from-branch ni --to-branch para que detecte solo lo que haya cambiado respecto a main.\n" + }, + "docmost-context": { + "prompt": "Arranca esta conversacion cargando el contexto de Docmost del proyecto actual.", + "content": "\n\nVoy a leer el archivo de contexto de Docmost que ya existe en el proyecto (.docmost-context.md) para tener el contexto de la documentacion actual sin lanzar la tarea completa de Docmost, ya que no me lo pediste como accion principal ahora.", + "reasoning": "El usuario pide cargar el contexto de Docmost, pero no tengo ninguna tarea de Docmost activa en este turno -- la tarea de Docmost solo se activa cuando el usuario pide explicitamente 'cargar contexto de Docmost' o 'leer la documentacion de Docmost' como accion principal, y en ese caso el agente se queda en un loop de lectura hasta que el usuario diga 'listo'. Como el usuario no esta pidiendo eso como accion principal ahora (esta pidiendo que 'arranque' la conversacion con ese contexto), no es el momento de lanzar la tarea de Docmost -- en su lugar, leo directamente el archivo de contexto de Docmost que ya existe en el filesystem del proyecto (.docmost-context.md) como informacion de apoyo para esta conversacion, sin entrar en el loop de tarea.\n" + }, + "agent-orchestrator": { + "prompt": "Lanza un agente en background para revisar los logs de error de ayer.", + "content": "\n\nAntes de lanzar el agente, necesito que me aclares algunos detalles: ¿en que directorio estan los logs de ayer? ¿que formato tienen (JSON, texto plano, etc.)? Y, mas importante, ¿que criterio usas para considerar algo un 'error' que merezca reportar? Sin eso, el agente no tendria una tarea concreta que ejecutar.", + "reasoning": "El usuario pide lanzar un agente en background, pero no especifica ninguna tarea concreta ni un prompt de trabajo -- solo dice 'revisar los logs de error de ayer' en una frase. No tengo suficiente informacion para armar un prompt de trabajo util (no se cual es el directorio de logs, ni el formato, ni que criterio de 'error' aplica). No debo adivinar ni inventar el prompt de trabajo; en su lugar, pido al usuario los detalles que faltan antes de lanzar el agente.\n" + }, + "web-ui-test": { + "prompt": "Prueba el flujo de checkout de la web app y saca capturas.", + "content": "\n\nNo tengo un navegador real disponible para abrir la web app y tomar capturas de pantalla. Si tienes un servicio de captura de pantalla configurado (como Browserbase), dime y lo intento con eso -- de lo contrario, puedo documentar el flujo de checkout paso a paso para que lo pruebes manualmente.", + "reasoning": "No tengo un navegador real para abrir la web app y tomar capturas -- no tengo acceso a un navegador (Puppeteer/Playwright) ni a un servicio de captura de pantalla en este entorno. Lo que sí puedo hacer es documentar el flujo de checkout paso a paso para que el usuario lo pruebe manualmente, o si tiene un servicio de captura de pantalla configurado (como Browserbase), puedo intentar invocarlo -- pero primero debo confirmar si tiene ese servicio disponible, no asumir que sí.\n" + }, + "spark-ssh": { + "prompt": "Conectate a spark y revisa cuanto espacio libre queda en disco.", + "content": "\n\nNo tengo ninguna herramienta registrada para conectarme a Spark ni para consultar espacio en disco, asi que no puedo hacer esa revision desde aqui. Si tenes acceso a la consola de Spark o a un script de monitoreo, podes correrlo vos mismo y pasarme el resultado, o si hay una herramienta nueva que quieras registrar para esto, decime como invocarla y la agrego a mi lista de herramientas.", + "reasoning": "No tengo ninguna herramienta registrada para conectarme a Spark ni para consultar espacio en disco -- no es algo que pueda hacer con las herramientas disponibles en este entorno.\n" + } + } +} \ No newline at end of file