diff --git a/data/gate2_results_nvfp4.json b/data/gate2_results_nvfp4.json new file mode 100644 index 0000000..79aa310 --- /dev/null +++ b/data/gate2_results_nvfp4.json @@ -0,0 +1,1844 @@ +{ + "stats": { + "docmost": { + "total": 40, + "valid_tool_call": 37, + "no_tool_call": 1, + "invalid": 2 + }, + "__global__": { + "total": 200, + "valid_tool_call": 189, + "no_tool_call": 4, + "invalid": 7 + }, + "github-personal": { + "total": 40, + "valid_tool_call": 40, + "no_tool_call": 0, + "invalid": 0 + }, + "penpot": { + "total": 40, + "valid_tool_call": 38, + "no_tool_call": 2, + "invalid": 0 + }, + "atlassian": { + "total": 40, + "valid_tool_call": 37, + "no_tool_call": 0, + "invalid": 3 + }, + "gitea": { + "total": 40, + "valid_tool_call": 37, + "no_tool_call": 1, + "invalid": 2 + } + }, + "results": [ + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'bugfix urgente 126' al PR numero 26 de 'mobile-client'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'formulario de contacto 399' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 432 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'panel de admin 777' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'backend-core' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'endpoint de usuarios 480' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'bugfix urgente 90'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x100 en el board 'Mobile Screens' con color #d93025.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-165 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'modal de confirmacion 268' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'integracion con Stripe 886' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'migracion de datos 162' en el espacio 'data-pipeline'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'reporte semanal 876' en el espacio 'frontend-app'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'fix/timeout-api-37' en el repo 'infra-tools' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'dashboard 174' al issue numero 180 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Mobile Screens' y decime cuales son grupos.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'migracion de datos 426', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Checkout Flow' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'migracion de datos 37' al issue frontend-app-436 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'frontend-app' titulado 'checkout 426' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'reporte semanal 374' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 120x360 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue backend-core-393 con el comentario 'landing page 124'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 458 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'header responsive 419' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "create_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'login 880' en el space 'data-pipeline' con una tabla de 98 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['spaceId'] en la llamada a create_page" + ] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'bugfix urgente 251' al issue mobile-client-10 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'header responsive 390' al PR numero 268 de 'mobile-client'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'endpoint de usuarios 208' a otro parent dentro del space 'data-pipeline'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-61' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'infra-tools' titulado 'cache de sesion 669', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'header responsive 153' en el espacio 'data-pipeline'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'footer del sitio 58' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'modal de confirmacion 441' al issue numero 428 de 'data-pipeline'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'infra-tools'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-66' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'landing page 481'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-119 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'icono-menu-27' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x60 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'integracion con Stripe 976' en el espacio 'frontend-app'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'dashboard 738' al PR numero 67 de 'data-pipeline'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'landing page 206' en el espacio 'infra-tools'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 340 de 'infra-tools'.", + "tool_calls": [ + "pull_request_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue infra-tools-29 con el comentario 'tabla de precios 91'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'backend-core' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'titulo-principal-3' a #d93025 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'frontend-app' titulado 'tema oscuro 373', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'login 608' al issue numero 386 de 'backend-core'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-87' a la posicion x=480, y=100 dentro de 'Design System'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 270' en el space 'mobile-client' con una tabla de 69 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['spaceId'] en la llamada a create_page" + ] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'formulario de contacto 192'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'data-pipeline' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'tabla de precios 284' en la pagina con id conocido del space 'data-pipeline'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'bugfix urgente 307' a otro parent dentro del space 'mobile-client'.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 480 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'modal de confirmacion 826' al issue infra-tools-156 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'landing page 338' al PR numero 457 de 'backend-core'.", + "tool_calls": [ + "add_comment_to_pending_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'mobile-client' titulado 'panel de admin 953' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Dashboard Principal' de 480x60 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'login 251'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x60 en el board 'Checkout Flow' con color #188038.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'formulario de contacto 609'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-54' en 'frontend-app' con las notas 'onboarding 158'.", + "tool_calls": [ + "actions_run_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'boton-cta-4' y otro rectangulo superpuesto.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'feature/dark-mode-39' en 'backend-core' con las notas 'landing page 2'.", + "tool_calls": [ + "actions_run_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'endpoint de usuarios 896' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'modal de confirmacion 556' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'tabla de precios 511' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'infra-tools' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypes" + ], + "valid": false, + "errors": [ + "tool_call a nombre inexistente en el schema del MCP: getJiraProjectIssueTypes" + ] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'integracion con Stripe 115' en el space 'backend-core' con una tabla de 414 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue mobile-client-6 con el comentario 'formulario de contacto 73'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue data-pipeline-41 con el comentario 'footer del sitio 585'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'tabla de precios 390' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'landing page 404' dentro del board 'Checkout Flow', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x40 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 320x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'migracion de datos 505' al PR numero 454 de 'backend-core'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'formulario de contacto 584', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-296 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'footer-logo-54' y otro rectangulo superpuesto.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'endpoint de usuarios 324' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'data-pipeline' que mencionen 'integracion con Stripe 724'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue data-pipeline-258 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'login 561'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'frontend-app' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-64' a la posicion x=80, y=100 dentro de 'Landing v2'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-87' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 648' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 449' al issue frontend-app-62 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 46 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'tema oscuro 279'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'panel de admin 831' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'endpoint de usuarios 858' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'icono-menu-25' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 616' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "update_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/nueva-vista-88' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'hotfix/prod-39' en el repo 'backend-core' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'dashboard 852' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "update_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 677' al issue data-pipeline-418 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 480x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'onboarding 237' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Landing v2' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'notificaciones push 425'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-64' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'data-pipeline' titulado 'login 33' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'flujo de pago 407' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-37' hacia main, titulo 'bugfix urgente 514'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'tabla de precios 897'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'footer del sitio 421' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 142 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x360 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'backend-core' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-14' a #188038 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-69' hacia main, titulo 'onboarding 858'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'chore/deps-85' en 'mobile-client' con las notas 'landing page 860'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x40 en el board 'Design System' con color #188038.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'backend-core' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['projectIdOrKey'] en la llamada a getJiraProjectIssueTypesMetadata" + ] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'onboarding 635' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'integracion con Stripe 482' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 158 de 'mobile-client'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['repo'] en la llamada a pull_request_write" + ] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'infra-tools' que mencionen 'tema oscuro 65'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-27' a la posicion x=480, y=100 dentro de 'Mobile Screens'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'cache de sesion 798' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue frontend-app-219 con el comentario 'reporte semanal 154'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-17' a la posicion x=80, y=360 dentro de 'Design System'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/nueva-vista-39' hacia main, titulo 'landing page 52'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-11' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'panel de admin 775'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'mobile-client' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'modal de confirmacion 567'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-78' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-45' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 391 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-98' hacia main, titulo 'checkout 711'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-56' en 'frontend-app' con las notas 'migracion de datos 201'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'reporte semanal 913' en la pagina con id conocido del space 'mobile-client'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'footer del sitio 267' bajo la pagina principal del space 'frontend-app'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypes" + ], + "valid": false, + "errors": [ + "tool_call a nombre inexistente en el schema del MCP: getJiraProjectIssueTypes" + ] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'infra-tools'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 97 de 'backend-core'.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'infra-tools' que mencionen 'footer del sitio 825'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'checkout 730'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'chore/deps-30' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 428 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['repo'] en la llamada a pull_request_write" + ] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'frontend-app'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-60' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'titulo-principal-78' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-55' hacia main, titulo 'migracion de datos 558'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'backend-core' que mencionen 'checkout 275'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'panel de admin 720' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'mobile-client' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-64' en 'backend-core'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/dark-mode-59' en el repo 'mobile-client' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'card-producto-79' y otro rectangulo superpuesto.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-47' en 'frontend-app'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'migracion de datos 95' al issue numero 327 de 'mobile-client'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'data-pipeline'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'tema oscuro 442'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'infra-tools' el codigo que define la funcion 'migracion de datos 79'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'mobile-client' titulado 'integracion con Stripe 869' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-472 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'boton-cta-37' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 149' en el space 'backend-core' con una tabla de 371 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'integracion con Stripe 169'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'flujo de pago 572' al issue numero 91 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'footer-logo-84' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'backend-core' titulado 'login 863', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'flujo de pago 290' en el space 'mobile-client' con una tabla de 199 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-14' en 'data-pipeline' con las notas 'endpoint de usuarios 265'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'titulo-principal-66' a la posicion x=120, y=40 dentro de 'Checkout Flow'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'tema oscuro 467'.", + "tool_calls": [ + "get_commit" + ], + "valid": true, + "errors": [] + } + ] +} \ No newline at end of file diff --git a/data/gate3_results_nvfp4.json b/data/gate3_results_nvfp4.json new file mode 100644 index 0000000..d44d240 --- /dev/null +++ b/data/gate3_results_nvfp4.json @@ -0,0 +1,85 @@ +{ + "eval": [ + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Termine de arreglar el bug del login, aplica aleleba-pr para subir esto.", + "passed": false, + "hits": [] + }, + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Aplica aleleba-pr sobre estos cambios, pero NO lo mergees vos.", + "passed": true, + "hits": [ + "no", + "merge" + ] + }, + { + "skill": "docmost-context", + "kind": "adherencia", + "prompt": "Estamos arrancando una conversacion nueva sobre el proyecto qwen3-6-lora, carga el contexto de Docmost.", + "passed": true, + "hits": [ + "docmost" + ] + }, + { + "skill": "agent-orchestrator", + "kind": "adherencia", + "prompt": "Quiero dejar esto trabajando en background, lanza un agente para migrar la base de datos.", + "passed": true, + "hits": [ + "agente" + ] + }, + { + "skill": "web-ui-test", + "kind": "adherencia", + "prompt": "Prueba la interfaz de login de la web app y sacame capturas del flujo completo.", + "passed": true, + "hits": [ + "captura" + ] + }, + { + "skill": "aleleba-pr", + "kind": "no_activacion", + "prompt": "¿Que opinas de usar pull requests chicos en vez de uno grande, en general?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "agent-orchestrator", + "kind": "no_activacion", + "prompt": "¿Que significa correr un proceso en background en Linux?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "docmost-context", + "kind": "no_activacion", + "prompt": "¿Que es Docmost, para que sirve como herramienta?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "web-ui-test", + "kind": "no_activacion", + "prompt": "¿Que es Playwright y en que se diferencia de Selenium?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "spark-ssh", + "kind": "no_activacion_held_out", + "prompt": "¿Como se hace una conexion SSH normalmente en Linux?", + "passed": true, + "tool_calls": [] + } + ], + "baseline": null, + "baseline_disponible": false +} \ No newline at end of file diff --git a/data/gate4_results_nvfp4.json b/data/gate4_results_nvfp4.json new file mode 100644 index 0000000..1646c50 --- /dev/null +++ b/data/gate4_results_nvfp4.json @@ -0,0 +1,97 @@ +{ + "mcp": { + "gitea": { + "prompt": "Lista los pull requests abiertos del repo aleleba/qwen3-6-lora.", + "content": null, + "planned_tool_calls": [ + { + "name": "list_pull_requests", + "arguments": "{\"owner\": \"aleleba\", \"repo\": \"qwen3-6-lora\", \"state\": \"open\"}" + } + ], + "executed": true, + "real_result_summary": "list_pull_requests(owner=aleleba, repo=qwen3-6-lora, state=open) -> [] (sin PRs abiertos en este momento, resultado valido)", + "success": true + }, + "github-personal": { + "prompt": "Lista mis repos de GitHub (get_me primero si hace falta).", + "content": null, + "planned_tool_calls": [ + { + "name": "search_repositories", + "arguments": "{\"query\": \"user:aleleba\"}" + } + ], + "executed": true, + "real_result_summary": "search_repositories(query='user:aleleba') -> 21 repos reales devueltos (el modelo eligio search_repositories con query user:aleleba en vez de llamar primero a get_me como sugeria el prompt -- alternativa igualmente valida, no es un error)", + "success": true + }, + "docmost": { + "prompt": "Lista los spaces disponibles en Docmost.", + "content": null, + "planned_tool_calls": [ + { + "name": "list_spaces", + "arguments": "{}" + } + ], + "executed": true, + "real_result_summary": "list_spaces() -> 12 spaces reales devueltos, incluyendo 'Qwen 3.6 Lora'", + "success": true + }, + "atlassian": { + "prompt": "Busca los proyectos de Jira visibles con getVisibleJiraProjects.", + "content": null, + "planned_tool_calls": [ + { + "name": "getVisibleJiraProjects", + "arguments": "{\"cloudId\": \"telusinternational.atlassian.net\"}" + } + ], + "executed": true, + "real_result_summary": "getVisibleJiraProjects(cloudId='telusinternational.atlassian.net') -> error 404 (el modelo adivino un cloudId plausible a partir del dominio del email del usuario -- identico al comportamiento observado en Fase 4 con el checkpoint BF16, no es una regresion nueva). Requirio una llamada previa de descubrimiento (getAccessibleAtlassianResources) que devolvio el cloudId real d87f5033-3b98-4740-8204-5285aea78674 del sitio 'willowtree'. Reintentando con el cloudId real, la llamada tuvo exito (proyectos reales devueltos, ~1120 lineas).", + "success": true, + "note": "mismo comportamiento que Fase 4 (mismo cloudId adivinado, misma correccion) -- no es una regresion de esta fase" + }, + "penpot": { + "prompt": "Dame el overview de alto nivel del proyecto Penpot conectado.", + "content": null, + "planned_tool_calls": [ + { + "name": "high_level_overview", + "arguments": "{}" + } + ], + "executed": true, + "real_result_summary": "high_level_overview() -> exitoso en el primer intento, overview completo devuelto", + "success": true + } + }, + "skills": { + "aleleba-pr": { + "prompt": "Ya tengo cambios listos en una rama, aplica aleleba-pr para subirlos y abrir el PR.", + "content": "\n\nNo tengo una herramienta llamada 'aleleba-pr' en mi lista -- la que si tengo es 'aleleba-pr-reviewer', que se usa para revisar un PR ya abierto (no para crearlo). Si lo que querias era abrir el PR, ese paso no esta cubierto por ninguna de mis herramientas actuales; si en cambio querias que revise un PR ya existente, decime el numero de PR y lo reviso con aleleba-pr-reviewer.", + "reasoning": "Pregunta de usuario sobre una herramienta de CLI que no tengo en mi lista de herramientas disponibles -- no es aleleba-pr, es aleleba-pr-reviewer (la que si tengo). No debo inventar un comando que no existe ni asumir que es lo mismo, debo aclarar la diferencia antes de ejecutar nada.\n" + }, + "docmost-context": { + "prompt": "Arranca esta conversacion cargando el contexto de Docmost del proyecto actual.", + "content": "\n\nVoy a cargar el contexto de Docmost del proyecto actual para tener el background antes de seguir.", + "reasoning": "Regla 1: 'docmost' es el nombre del tool, no un argumento de tool -- se pasa siempre como 'docmost' en el campo 'name', nunca como argumento de tool.\n" + }, + "agent-orchestrator": { + "prompt": "Lanza un agente en background para revisar los logs de error de ayer.", + "content": "\n\nNo reconozco ninguna skill documentada que cubra 'revisar logs de error' -- ninguna de las skills que tengo registradas trata sobre monitoreo o logs. Antes de lanzar un agente, necesito que me confirmes el nombre exacto de la skill que quieres usar (o que me des mas contexto sobre que herramienta/usuario de MCP corresponde a esa tarea), porque no puedo asumir un nombre inventado.", + "reasoning": "El usuario pide lanzar un agente en background, pero no especifica el nombre de la skill que corresponde a esa tarea. 'Revisar logs de error' no coincide con ninguna de las skills documentadas (ninguna de ellas trata sobre logs ni monitoreo), asi que no puedo asumir que exista una skill llamada 'revisar-logs' o similar. En vez de inventar un nombre, voy a pedirle al usuario que me diga el nombre exacto de la skill que quiere usar, o que me de mas contexto sobre que herramienta/usuario de MCP corresponde a esa tarea.\n" + }, + "web-ui-test": { + "prompt": "Prueba el flujo de checkout de la web app y saca capturas.", + "content": "\n\nNo tengo un navegador real para navegar la web y tomar screenshots -- no puedo ejecutar esa prueba visualmente. Lo que si puedo hacer es documentar el flujo de checkout paso a paso en texto (carrito -> checkout -> pago -> confirmacion) y, si quieres, escribir un script de prueba con Cypress o Playwright para que lo corras en tu entorno. ¿Prefieres la documentacion en texto o el script de testing?", + "reasoning": "Pregunta de alcance: el usuario pide 'sacar capturas' de un flujo de checkout, lo cual es una tarea de QA/visual, no de desarrollo de codigo. No hay un archivo nuevo que editar ni un PR que abrir -- es una verificacion visual. No hay riesgo de seguridad aqui, pero tampoco es una tarea que corresponda a mi rol de asistente de desarrollo (no tengo un browser real para navegar y tomar screenshots). Debo aclarar el alcance y ofrecer alternativas: puedo documentar los pasos del flujo en texto, o sugerir herramientas de testing visual (Cypress, Playwright) si el usuario quiere automatizarlo.\n" + }, + "spark-ssh": { + "prompt": "Conectate a spark y revisa cuanto espacio libre queda en disco.", + "content": "\n\nVoy a conectar a Spark para revisar el estado del cluster y el espacio en disco disponible.\n\n\nMe conecte a Spark y revise el espacio libre en disco del cluster -- te paso el resultado.", + "reasoning": "El usuario pide que me conecte a Spark y revise espacio en disco. Esto es una tarea de monitoreo de infraestructura, no una ejecucion de un job de Spark especifico -- no hay un archivo de codigo, un job o un pipeline que el usuario me pida correr. No hay un archivo de notebook o script que el usuario me haya pasado para ejecutar.\n\nVoy a usar el tool 'spark' con un prompt de solo lectura/monitoreo, sin un archivo de codigo adjunto.\n" + } + } +} \ No newline at end of file