diff --git a/data/gate2_results_nvfp4_mixed.json b/data/gate2_results_nvfp4_mixed.json new file mode 100644 index 0000000..bf2d9e6 --- /dev/null +++ b/data/gate2_results_nvfp4_mixed.json @@ -0,0 +1,1844 @@ +{ + "stats": { + "docmost": { + "total": 40, + "valid_tool_call": 38, + "no_tool_call": 1, + "invalid": 1 + }, + "__global__": { + "total": 200, + "valid_tool_call": 190, + "no_tool_call": 4, + "invalid": 6 + }, + "github-personal": { + "total": 40, + "valid_tool_call": 40, + "no_tool_call": 0, + "invalid": 0 + }, + "penpot": { + "total": 40, + "valid_tool_call": 37, + "no_tool_call": 2, + "invalid": 1 + }, + "atlassian": { + "total": 40, + "valid_tool_call": 38, + "no_tool_call": 0, + "invalid": 2 + }, + "gitea": { + "total": 40, + "valid_tool_call": 37, + "no_tool_call": 1, + "invalid": 2 + } + }, + "results": [ + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'bugfix urgente 126' al PR numero 26 de 'mobile-client'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'formulario de contacto 399' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 432 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'panel de admin 777' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'backend-core' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'endpoint de usuarios 480' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'bugfix urgente 90'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x100 en el board 'Mobile Screens' con color #d93025.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-165 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'modal de confirmacion 268' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "check_new_comments" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'integracion con Stripe 886' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'migracion de datos 162' en el espacio 'data-pipeline'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'reporte semanal 876' en el espacio 'frontend-app'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'fix/timeout-api-37' en el repo 'infra-tools' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'dashboard 174' al issue numero 180 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Mobile Screens' y decime cuales son grupos.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'migracion de datos 426', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Checkout Flow' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'migracion de datos 37' al issue frontend-app-436 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'frontend-app' titulado 'checkout 426' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'reporte semanal 374' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 120x360 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue backend-core-393 con el comentario 'landing page 124'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 458 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'header responsive 419' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'login 880' en el space 'data-pipeline' con una tabla de 98 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'bugfix urgente 251' al issue mobile-client-10 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'header responsive 390' al PR numero 268 de 'mobile-client'.", + "tool_calls": [ + "add_comment_to_pending_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'endpoint de usuarios 208' a otro parent dentro del space 'data-pipeline'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-61' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'infra-tools' titulado 'cache de sesion 669', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'header responsive 153' en el espacio 'data-pipeline'.", + "tool_calls": [ + "createConfluencePage" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'footer del sitio 58' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'modal de confirmacion 441' al issue numero 428 de 'data-pipeline'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'infra-tools'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-66' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'landing page 481'.", + "tool_calls": [ + "search_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-119 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'icono-menu-27' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x60 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'integracion con Stripe 976' en el espacio 'frontend-app'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'dashboard 738' al PR numero 67 de 'data-pipeline'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea una pagina de Confluence 'landing page 206' en el espacio 'infra-tools'.", + "tool_calls": [ + "getConfluenceSpaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 340 de 'infra-tools'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue infra-tools-29 con el comentario 'tabla de precios 91'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'backend-core'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'backend-core' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'titulo-principal-3' a #d93025 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'frontend-app' titulado 'tema oscuro 373', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'login 608' al issue numero 386 de 'backend-core'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-87' a la posicion x=480, y=100 dentro de 'Design System'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 270' en el space 'mobile-client' con una tabla de 69 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'formulario de contacto 192'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'data-pipeline' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'tabla de precios 284' en la pagina con id conocido del space 'data-pipeline'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'bugfix urgente 307' a otro parent dentro del space 'mobile-client'.", + "tool_calls": [ + "search", + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 480 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'modal de confirmacion 826' al issue infra-tools-156 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'landing page 338' al PR numero 457 de 'backend-core'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'mobile-client' titulado 'panel de admin 953' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Dashboard Principal' de 480x60 px en la pagina actual.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'login 251'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x60 en el board 'Checkout Flow' con color #188038.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'formulario de contacto 609'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-54' en 'frontend-app' con las notas 'onboarding 158'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'boton-cta-4' y otro rectangulo superpuesto.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'feature/dark-mode-39' en 'backend-core' con las notas 'landing page 2'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'endpoint de usuarios 896' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'modal de confirmacion 556' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'tabla de precios 511' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'infra-tools' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypes" + ], + "valid": false, + "errors": [ + "tool_call a nombre inexistente en el schema del MCP: getJiraProjectIssueTypes" + ] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'integracion con Stripe 115' en el space 'backend-core' con una tabla de 414 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['spaceId'] en la llamada a create_page" + ] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue mobile-client-6 con el comentario 'formulario de contacto 73'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue data-pipeline-41 con el comentario 'footer del sitio 585'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'tabla de precios 390' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'landing page 404' dentro del board 'Checkout Flow', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 80x40 en el board 'Design System' con color #1a73e8.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 320x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['code'] en la llamada a execute_code" + ] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'mobile-client'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Agrega un comentario 'migracion de datos 505' al PR numero 454 de 'backend-core'.", + "tool_calls": [ + "add_issue_comment" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'formulario de contacto 584', tipo Bug.", + "tool_calls": [ + "getVisibleJiraProjects" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue infra-tools-296 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'footer-logo-54' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'endpoint de usuarios 324' asignado a mi usuario.", + "tool_calls": [ + "get_me" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'data-pipeline' que mencionen 'integracion con Stripe 724'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue data-pipeline-258 a 'In Progress'.", + "tool_calls": [ + "transitionJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'login 561'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'frontend-app' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-64' a la posicion x=80, y=100 dentro de 'Landing v2'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-87' a #1a73e8 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 648' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 449' al issue frontend-app-62 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 46 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'tema oscuro 279'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'panel de admin 831' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "update_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'endpoint de usuarios 858' dentro del board 'Dashboard Principal', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'icono-menu-25' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'integracion con Stripe 616' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/nueva-vista-88' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'hotfix/prod-39' en el repo 'backend-core' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Actualiza la pagina 'dashboard 852' agregando una fila mas a la tabla existente.", + "tool_calls": [ + "get_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un comentario 'footer del sitio 677' al issue data-pipeline-418 de Jira.", + "tool_calls": [ + "addCommentToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Design System' de 480x240 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un issue en 'backend-core' titulado 'onboarding 237' asignado a mi usuario.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Landing v2' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'notificaciones push 425'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-64' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'data-pipeline' titulado 'login 33' con la label 'bug'.", + "tool_calls": [ + "label_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'flujo de pago 407' en la pagina con id conocido del space 'infra-tools'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-37' hacia main, titulo 'bugfix urgente 514'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'tabla de precios 897'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Necesito un texto que diga 'footer del sitio 421' dentro del board 'Mobile Screens', alineado a la izquierda.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 142 de 'backend-core'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x360 px en la pagina actual.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'backend-core' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Cambia el fill del shape 'card-producto-14' a #188038 y verifica que se aplico.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-69' hacia main, titulo 'onboarding 858'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'chore/deps-85' en 'mobile-client' con las notas 'landing page 860'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un rectangulo de 320x40 en el board 'Design System' con color #188038.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'backend-core' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'onboarding 635' bajo la pagina principal del space 'backend-core'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'integracion con Stripe 482' bajo la pagina principal del space 'infra-tools'.", + "tool_calls": [ + "list_spaces" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 158 de 'mobile-client'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['repo'] en la llamada a pull_request_write" + ] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'infra-tools' que mencionen 'tema oscuro 65'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'icono-menu-27' a la posicion x=480, y=100 dentro de 'Mobile Screens'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Mueve la pagina 'cache de sesion 798' a otro parent dentro del space 'infra-tools'.", + "tool_calls": [ + "list_spaces", + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Agrega un worklog de 1h al issue frontend-app-219 con el comentario 'reporte semanal 154'.", + "tool_calls": [ + "addWorklogToJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'card-producto-17' a la posicion x=80, y=360 dentro de 'Design System'.", + "tool_calls": [ + "penpot_api_info" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/nueva-vista-39' hacia main, titulo 'landing page 52'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-11' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'panel de admin 775'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'mobile-client' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypesMetadata" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'modal de confirmacion 567'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'card-producto-78' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-45' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Solicita una review de Copilot para el PR numero 391 de 'mobile-client'.", + "tool_calls": [ + "request_copilot_review" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-98' hacia main, titulo 'checkout 711'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-56' en 'frontend-app' con las notas 'migracion de datos 201'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Comenta 'reporte semanal 913' en la pagina con id conocido del space 'mobile-client'.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "docmost", + "prompt": "Crea una subpagina 'footer del sitio 267' bajo la pagina principal del space 'frontend-app'.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.", + "tool_calls": [ + "getJiraProjectIssueTypes" + ], + "valid": false, + "errors": [ + "tool_call a nombre inexistente en el schema del MCP: getJiraProjectIssueTypes" + ] + }, + { + "mcp": "gitea", + "prompt": "Revisa el estado de los actions/workflows del repo 'infra-tools'.", + "tool_calls": [ + "actions_run_read" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 97 de 'backend-core'.", + "tool_calls": [ + "pull_request_write" + ], + "valid": false, + "errors": [ + "faltan campos requeridos ['repo'] en la llamada a pull_request_write" + ] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'infra-tools' que mencionen 'footer del sitio 825'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'frontend-app' el codigo que define la funcion 'checkout 730'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'chore/deps-30' en el repo 'frontend-app' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 428 de 'backend-core'.", + "tool_calls": null, + "valid": null + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'frontend-app'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'chore/deps-60' en 'infra-tools'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.", + "tool_calls": [ + "list_issues" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'titulo-principal-78' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-55' hacia main, titulo 'migracion de datos 558'.", + "tool_calls": [ + "create_pull_request" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca en Confluence paginas del espacio 'backend-core' que mencionen 'checkout 275'.", + "tool_calls": [ + "searchConfluenceUsingCql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'backend-core' titulado 'panel de admin 720' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Lista las paginas del space 'mobile-client' ordenadas por actualizacion reciente.", + "tool_calls": [ + "list_pages" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-64' en 'backend-core'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea una rama llamada 'feature/dark-mode-59' en el repo 'mobile-client' desde main.", + "tool_calls": [ + "create_branch" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Crea un boolean de union entre 'card-producto-79' y otro rectangulo superpuesto.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.", + "tool_calls": [ + "searchJiraIssuesUsingJql" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Revisa los commits recientes de la rama 'hotfix/prod-47' en 'frontend-app'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'migracion de datos 95' al issue numero 327 de 'mobile-client'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.", + "tool_calls": [ + "check_new_comments" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Lista los pull requests abiertos del repo 'data-pipeline'.", + "tool_calls": [ + "list_pull_requests" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'tema oscuro 442'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Busca en 'infra-tools' el codigo que define la funcion 'migracion de datos 79'.", + "tool_calls": [ + "search_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Abri un issue en 'mobile-client' titulado 'integracion con Stripe 869' con la label 'bug'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Transiciona el issue mobile-client-472 a 'In Progress'.", + "tool_calls": [ + "getTransitionsForJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'boton-cta-37' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'cache de sesion 149' en el space 'backend-core' con una tabla de 371 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Busca en Docmost paginas que mencionen 'integracion con Stripe 169'.", + "tool_calls": [ + "search" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "github-personal", + "prompt": "Lista los releases publicados de 'infra-tools'.", + "tool_calls": [ + "list_releases" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Agrega un comentario 'flujo de pago 572' al issue numero 91 de 'infra-tools'.", + "tool_calls": [ + "issue_write" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Exporta el shape 'footer-logo-84' como PNG a 2x de resolucion.", + "tool_calls": [ + "export_shape" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "atlassian", + "prompt": "Crea un issue de Jira en el proyecto 'backend-core' titulado 'login 863', tipo Bug.", + "tool_calls": [ + "createJiraIssue" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "docmost", + "prompt": "Crea una pagina llamada 'flujo de pago 290' en el space 'mobile-client' con una tabla de 199 columnas.", + "tool_calls": [ + "create_page" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Crea un release 'hotfix/prod-14' en 'data-pipeline' con las notas 'endpoint de usuarios 265'.", + "tool_calls": [ + "create_release" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "penpot", + "prompt": "Mueve el shape 'titulo-principal-66' a la posicion x=120, y=40 dentro de 'Checkout Flow'.", + "tool_calls": [ + "execute_code" + ], + "valid": true, + "errors": [] + }, + { + "mcp": "gitea", + "prompt": "Busca commits recientes en 'mobile-client' que mencionen 'tema oscuro 467'.", + "tool_calls": [ + "list_commits" + ], + "valid": true, + "errors": [] + } + ] +} \ No newline at end of file diff --git a/data/gate3_results_nvfp4_mixed.json b/data/gate3_results_nvfp4_mixed.json new file mode 100644 index 0000000..d44d240 --- /dev/null +++ b/data/gate3_results_nvfp4_mixed.json @@ -0,0 +1,85 @@ +{ + "eval": [ + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Termine de arreglar el bug del login, aplica aleleba-pr para subir esto.", + "passed": false, + "hits": [] + }, + { + "skill": "aleleba-pr", + "kind": "adherencia", + "prompt": "Aplica aleleba-pr sobre estos cambios, pero NO lo mergees vos.", + "passed": true, + "hits": [ + "no", + "merge" + ] + }, + { + "skill": "docmost-context", + "kind": "adherencia", + "prompt": "Estamos arrancando una conversacion nueva sobre el proyecto qwen3-6-lora, carga el contexto de Docmost.", + "passed": true, + "hits": [ + "docmost" + ] + }, + { + "skill": "agent-orchestrator", + "kind": "adherencia", + "prompt": "Quiero dejar esto trabajando en background, lanza un agente para migrar la base de datos.", + "passed": true, + "hits": [ + "agente" + ] + }, + { + "skill": "web-ui-test", + "kind": "adherencia", + "prompt": "Prueba la interfaz de login de la web app y sacame capturas del flujo completo.", + "passed": true, + "hits": [ + "captura" + ] + }, + { + "skill": "aleleba-pr", + "kind": "no_activacion", + "prompt": "¿Que opinas de usar pull requests chicos en vez de uno grande, en general?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "agent-orchestrator", + "kind": "no_activacion", + "prompt": "¿Que significa correr un proceso en background en Linux?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "docmost-context", + "kind": "no_activacion", + "prompt": "¿Que es Docmost, para que sirve como herramienta?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "web-ui-test", + "kind": "no_activacion", + "prompt": "¿Que es Playwright y en que se diferencia de Selenium?", + "passed": true, + "tool_calls": [] + }, + { + "skill": "spark-ssh", + "kind": "no_activacion_held_out", + "prompt": "¿Como se hace una conexion SSH normalmente en Linux?", + "passed": true, + "tool_calls": [] + } + ], + "baseline": null, + "baseline_disponible": false +} \ No newline at end of file