aleleba/qwen3-6-lora
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
363648fb5f158f24888c7e86b27926d9808672e1
qwen3-6-lora/data/gate2_results.json
T
aleleba 19dc5f3227 Fase 4: resultados de las puertas 2, 3 y 4 sobre el checkpoint mergeado 
Puerta 2 (tool-calls, 200 prompts held-out, parser real qwen3_coder de vLLM): 197/200
validos (98.5%). Los 3 invalidos son casos donde el prompt referencia un recurso por
nombre (space/repo) sin ID real -- el modelo elige la tool correcta pero omite un campo
requerido (spaceId/repo) que no puede conocer en un turno unico sin una llamada previa de
lookup; no es un fallo de sintaxis del parser.

Puerta 3 (adherencia por skill + no-activacion, 10 items sobre las 5 skills reales):
100% de aprobacion. vllm-qwen36 no estaba corriendo -- baseline de produccion documentado
como pendiente, no bloqueante.

Puerta 4 (E2E real contra los 5 MCPs, ejecutado por el agente orquestador con sus propios
MCPs conectados): 5/5 exitosos. El unico caso que requirio una segunda llamada fue
atlassian (el modelo adivino un cloudId plausible que no era el real -- se corrigio con
getAccessibleAtlassianResources y la llamada tuvo exito, comportamiento esperado en un
flujo multi-turno).
2026-07-29 19:00:02 +00:00

1852 lines
47 KiB
JSON
Raw Blame History

{
"stats": {
"docmost": {
"total": 40,
"valid_tool_call": 38,
"no_tool_call": 0,
"invalid": 2
},
"__global__": {
"total": 200,
"valid_tool_call": 197,
"no_tool_call": 0,
"invalid": 3
},
"github-personal": {
"total": 40,
"valid_tool_call": 40,
"no_tool_call": 0,
"invalid": 0
},
"penpot": {
"total": 40,
"valid_tool_call": 40,
"no_tool_call": 0,
"invalid": 0
},
"atlassian": {
"total": 40,
"valid_tool_call": 40,
"no_tool_call": 0,
"invalid": 0
},
"gitea": {
"total": 40,
"valid_tool_call": 39,
"no_tool_call": 0,
"invalid": 1
}
},
"results": [
{
"mcp": "docmost",
"prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Agrega un comentario 'bugfix urgente 126' al PR numero 26 de 'mobile-client'.",
"tool_calls": [
"add_issue_comment"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Mueve la pagina 'formulario de contacto 399' a otro parent dentro del space 'infra-tools'.",
"tool_calls": [
"search",
"list_pages"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Solicita una review de Copilot para el PR numero 432 de 'backend-core'.",
"tool_calls": [
"request_copilot_review"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Comenta 'panel de admin 777' en la pagina con id conocido del space 'infra-tools'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Revisa si hay comentarios nuevos en el space 'backend-core' desde ayer.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una subpagina 'endpoint de usuarios 480' bajo la pagina principal del space 'infra-tools'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Busca en Docmost paginas que mencionen 'bugfix urgente 90'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un rectangulo de 80x100 en el board 'Mobile Screens' con color #d93025.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Transiciona el issue mobile-client-165 a 'In Progress'.",
"tool_calls": [
"getTransitionsForJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Necesito un texto que diga 'modal de confirmacion 268' dentro del board 'Mobile Screens', alineado a la izquierda.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.",
"tool_calls": [
"searchJiraIssuesUsingJql"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Abri un issue en 'backend-core' titulado 'integracion con Stripe 886' con la label 'bug'.",
"tool_calls": [
"label_read"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea una pagina de Confluence 'migracion de datos 162' en el espacio 'data-pipeline'.",
"tool_calls": [
"createConfluencePage"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea una pagina de Confluence 'reporte semanal 876' en el espacio 'frontend-app'.",
"tool_calls": [
"getConfluenceSpaces"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea una rama llamada 'fix/timeout-api-37' en el repo 'infra-tools' desde main.",
"tool_calls": [
"create_branch"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Agrega un comentario 'dashboard 174' al issue numero 180 de 'infra-tools'.",
"tool_calls": [
"issue_write"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Lista los shapes del board 'Mobile Screens' y decime cuales son grupos.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'migracion de datos 426', tipo Bug.",
"tool_calls": [
"createJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Lista los shapes del board 'Checkout Flow' y decime cuales son grupos.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un comentario 'migracion de datos 37' al issue frontend-app-436 de Jira.",
"tool_calls": [
"addCommentToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un issue en 'frontend-app' titulado 'checkout 426' asignado a mi usuario.",
"tool_calls": [
"get_me"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Mueve la pagina 'reporte semanal 374' a otro parent dentro del space 'infra-tools'.",
"tool_calls": [
"search",
"list_pages"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un rectangulo de 120x360 en el board 'Design System' con color #1a73e8.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.",
"tool_calls": [
"searchJiraIssuesUsingJql"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un worklog de 1h al issue backend-core-393 con el comentario 'landing page 124'.",
"tool_calls": [
"addWorklogToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.",
"tool_calls": [
"searchJiraIssuesUsingJql"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Solicita una review de Copilot para el PR numero 458 de 'mobile-client'.",
"tool_calls": [
"request_copilot_review"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Comenta 'header responsive 419' en la pagina con id conocido del space 'infra-tools'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una pagina llamada 'login 880' en el space 'data-pipeline' con una tabla de 98 columnas.",
"tool_calls": [
"create_page"
],
"valid": false,
"errors": [
"faltan campos requeridos ['spaceId'] en la llamada a create_page"
]
},
{
"mcp": "atlassian",
"prompt": "Agrega un comentario 'bugfix urgente 251' al issue mobile-client-10 de Jira.",
"tool_calls": [
"getAccessibleAtlassianResources"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Agrega un comentario 'header responsive 390' al PR numero 268 de 'mobile-client'.",
"tool_calls": [
"add_issue_comment"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Mueve la pagina 'endpoint de usuarios 208' a otro parent dentro del space 'data-pipeline'.",
"tool_calls": [
"list_spaces",
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Cambia el fill del shape 'card-producto-61' a #1a73e8 y verifica que se aplico.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea un issue de Jira en el proyecto 'infra-tools' titulado 'cache de sesion 669', tipo Bug.",
"tool_calls": [
"createJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea una pagina de Confluence 'header responsive 153' en el espacio 'data-pipeline'.",
"tool_calls": [
"getConfluenceSpaces"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un issue en 'backend-core' titulado 'footer del sitio 58' asignado a mi usuario.",
"tool_calls": [
"get_me"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Lista los pull requests abiertos del repo 'backend-core'.",
"tool_calls": [
"list_pull_requests"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Agrega un comentario 'modal de confirmacion 441' al issue numero 428 de 'data-pipeline'.",
"tool_calls": [
"issue_write"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Lista los pull requests abiertos del repo 'infra-tools'.",
"tool_calls": [
"list_pull_requests"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Cambia el fill del shape 'card-producto-66' a #1a73e8 y verifica que se aplico.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Busca commits recientes en 'mobile-client' que mencionen 'landing page 481'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Transiciona el issue infra-tools-119 a 'In Progress'.",
"tool_calls": [
"getTransitionsForJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un boolean de union entre 'icono-menu-27' y otro rectangulo superpuesto.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.",
"tool_calls": [
"actions_run_read"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x60 px en la pagina actual.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea una pagina de Confluence 'integracion con Stripe 976' en el espacio 'frontend-app'.",
"tool_calls": [
"getConfluenceSpaces"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Agrega un comentario 'dashboard 738' al PR numero 67 de 'data-pipeline'.",
"tool_calls": [
"add_issue_comment"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea una pagina de Confluence 'landing page 206' en el espacio 'infra-tools'.",
"tool_calls": [
"getConfluenceSpaces"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 340 de 'infra-tools'.",
"tool_calls": [
"pull_request_write"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un worklog de 1h al issue infra-tools-29 con el comentario 'tabla de precios 91'.",
"tool_calls": [
"addWorklogToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Lista los pull requests abiertos del repo 'backend-core'.",
"tool_calls": [
"list_pull_requests"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los issues abiertos de 'backend-core' con label 'enhancement'.",
"tool_calls": [
"list_issues"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Cambia el fill del shape 'titulo-principal-3' a #d93025 y verifica que se aplico.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea un issue de Jira en el proyecto 'frontend-app' titulado 'tema oscuro 373', tipo Bug.",
"tool_calls": [
"createJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Agrega un comentario 'login 608' al issue numero 386 de 'backend-core'.",
"tool_calls": [
"issue_write"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Mueve el shape 'card-producto-87' a la posicion x=480, y=100 dentro de 'Design System'.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una pagina llamada 'cache de sesion 270' en el space 'mobile-client' con una tabla de 69 columnas.",
"tool_calls": [
"create_page"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Busca en Docmost paginas que mencionen 'formulario de contacto 192'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los issues abiertos de 'data-pipeline' con label 'enhancement'.",
"tool_calls": [
"list_issues"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los releases publicados de 'mobile-client'.",
"tool_calls": [
"list_releases"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Comenta 'tabla de precios 284' en la pagina con id conocido del space 'data-pipeline'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Mueve la pagina 'bugfix urgente 307' a otro parent dentro del space 'mobile-client'.",
"tool_calls": [
"search",
"list_pages"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 480 de 'backend-core'.",
"tool_calls": [
"pull_request_write"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un comentario 'modal de confirmacion 826' al issue infra-tools-156 de Jira.",
"tool_calls": [
"addCommentToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Agrega un comentario 'landing page 338' al PR numero 457 de 'backend-core'.",
"tool_calls": [
"add_issue_comment"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un issue en 'mobile-client' titulado 'panel de admin 953' asignado a mi usuario.",
"tool_calls": [
"get_me"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Agrega un board nuevo llamado 'Dashboard Principal' de 480x60 px en la pagina actual.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Busca en Docmost paginas que mencionen 'login 251'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un rectangulo de 320x60 en el board 'Checkout Flow' con color #188038.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.",
"tool_calls": [
"list_issues"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Busca commits recientes en 'mobile-client' que mencionen 'formulario de contacto 609'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea un release 'hotfix/prod-54' en 'frontend-app' con las notas 'onboarding 158'.",
"tool_calls": [
"create_release"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un boolean de union entre 'boton-cta-4' y otro rectangulo superpuesto.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea un release 'feature/dark-mode-39' en 'backend-core' con las notas 'landing page 2'.",
"tool_calls": [
"create_release"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los releases publicados de 'mobile-client'.",
"tool_calls": [
"list_releases"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Actualiza la pagina 'endpoint de usuarios 896' agregando una fila mas a la tabla existente.",
"tool_calls": [
"get_page"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Revisa el estado de los actions/workflows del repo 'data-pipeline'.",
"tool_calls": [
"actions_run_read"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Abri un issue en 'backend-core' titulado 'modal de confirmacion 556' con la label 'bug'.",
"tool_calls": [
"issue_write"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Necesito un texto que diga 'tabla de precios 511' dentro del board 'Dashboard Principal', alineado a la izquierda.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Lista los tipos de issue disponibles en el proyecto 'infra-tools' de Jira.",
"tool_calls": [
"getJiraProjectIssueTypesMetadata"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.",
"tool_calls": [
"list_issues"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Revisa si hay comentarios nuevos en el space 'data-pipeline' desde ayer.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.",
"tool_calls": [
"getJiraProjectIssueTypesMetadata"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una pagina llamada 'integracion con Stripe 115' en el space 'backend-core' con una tabla de 414 columnas.",
"tool_calls": [
"create_page"
],
"valid": false,
"errors": [
"faltan campos requeridos ['spaceId'] en la llamada a create_page"
]
},
{
"mcp": "atlassian",
"prompt": "Agrega un worklog de 1h al issue mobile-client-6 con el comentario 'formulario de contacto 73'.",
"tool_calls": [
"addWorklogToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un worklog de 1h al issue data-pipeline-41 con el comentario 'footer del sitio 585'.",
"tool_calls": [
"addWorklogToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una subpagina 'tabla de precios 390' bajo la pagina principal del space 'backend-core'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Necesito un texto que diga 'landing page 404' dentro del board 'Checkout Flow', alineado a la izquierda.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un rectangulo de 80x40 en el board 'Design System' con color #1a73e8.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Agrega un board nuevo llamado 'Design System' de 320x240 px en la pagina actual.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los releases publicados de 'mobile-client'.",
"tool_calls": [
"list_releases"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Agrega un comentario 'migracion de datos 505' al PR numero 454 de 'backend-core'.",
"tool_calls": [
"add_issue_comment"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.",
"tool_calls": [
"actions_run_read"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea un issue de Jira en el proyecto 'data-pipeline' titulado 'formulario de contacto 584', tipo Bug.",
"tool_calls": [
"createJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Transiciona el issue infra-tools-296 a 'In Progress'.",
"tool_calls": [
"getTransitionsForJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un boolean de union entre 'footer-logo-54' y otro rectangulo superpuesto.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un issue en 'backend-core' titulado 'endpoint de usuarios 324' asignado a mi usuario.",
"tool_calls": [
"get_me"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Busca commits recientes en 'data-pipeline' que mencionen 'integracion con Stripe 724'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Transiciona el issue data-pipeline-258 a 'In Progress'.",
"tool_calls": [
"getTransitionsForJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'login 561'.",
"tool_calls": [
"search_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Lista las paginas del space 'frontend-app' ordenadas por actualizacion reciente.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Mueve el shape 'icono-menu-64' a la posicion x=80, y=100 dentro de 'Landing v2'.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Cambia el fill del shape 'card-producto-87' a #1a73e8 y verifica que se aplico.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Actualiza la pagina 'integracion con Stripe 648' agregando una fila mas a la tabla existente.",
"tool_calls": [
"get_page"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un comentario 'footer del sitio 449' al issue frontend-app-62 de Jira.",
"tool_calls": [
"addCommentToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Solicita una review de Copilot para el PR numero 46 de 'mobile-client'.",
"tool_calls": [
"request_copilot_review"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Busca en Docmost paginas que mencionen 'tema oscuro 279'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Actualiza la pagina 'panel de admin 831' agregando una fila mas a la tabla existente.",
"tool_calls": [
"get_page"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Necesito un texto que diga 'endpoint de usuarios 858' dentro del board 'Dashboard Principal', alineado a la izquierda.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Revisa el estado de los actions/workflows del repo 'backend-core'.",
"tool_calls": [
"actions_run_read"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Exporta el shape 'icono-menu-25' como PNG a 2x de resolucion.",
"tool_calls": [
"export_shape"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Actualiza la pagina 'integracion con Stripe 616' agregando una fila mas a la tabla existente.",
"tool_calls": [
"get_page"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea una rama llamada 'feature/nueva-vista-88' en el repo 'frontend-app' desde main.",
"tool_calls": [
"create_branch"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea una rama llamada 'hotfix/prod-39' en el repo 'backend-core' desde main.",
"tool_calls": [
"create_branch"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Actualiza la pagina 'dashboard 852' agregando una fila mas a la tabla existente.",
"tool_calls": [
"get_page"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un comentario 'footer del sitio 677' al issue data-pipeline-418 de Jira.",
"tool_calls": [
"getAccessibleAtlassianResources"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Agrega un board nuevo llamado 'Design System' de 480x240 px en la pagina actual.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un issue en 'backend-core' titulado 'onboarding 237' asignado a mi usuario.",
"tool_calls": [
"issue_read"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Lista los shapes del board 'Landing v2' y decime cuales son grupos.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Lista las paginas del space 'infra-tools' ordenadas por actualizacion reciente.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'notificaciones push 425'.",
"tool_calls": [
"searchConfluenceUsingCql"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Exporta el shape 'card-producto-64' como PNG a 2x de resolucion.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Abri un issue en 'data-pipeline' titulado 'login 33' con la label 'bug'.",
"tool_calls": [
"label_read"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Comenta 'flujo de pago 407' en la pagina con id conocido del space 'infra-tools'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-37' hacia main, titulo 'bugfix urgente 514'.",
"tool_calls": [
"create_pull_request"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Busca en 'frontend-app' el codigo que define la funcion 'tabla de precios 897'.",
"tool_calls": [
"search_code"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Necesito un texto que diga 'footer del sitio 421' dentro del board 'Mobile Screens', alineado a la izquierda.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los releases publicados de 'infra-tools'.",
"tool_calls": [
"list_releases"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Solicita una review de Copilot para el PR numero 142 de 'backend-core'.",
"tool_calls": [
"request_copilot_review"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Agrega un board nuevo llamado 'Landing v2' de 480x360 px en la pagina actual.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Lista las paginas del space 'backend-core' ordenadas por actualizacion reciente.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Cambia el fill del shape 'card-producto-14' a #188038 y verifica que se aplico.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/dark-mode-69' hacia main, titulo 'onboarding 858'.",
"tool_calls": [
"create_pull_request"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea un release 'chore/deps-85' en 'mobile-client' con las notas 'landing page 860'.",
"tool_calls": [
"create_release"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un rectangulo de 320x40 en el board 'Design System' con color #188038.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Lista los tipos de issue disponibles en el proyecto 'backend-core' de Jira.",
"tool_calls": [
"getJiraProjectIssueTypesMetadata"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una subpagina 'onboarding 635' bajo la pagina principal del space 'backend-core'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una subpagina 'integracion con Stripe 482' bajo la pagina principal del space 'infra-tools'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 158 de 'mobile-client'.",
"tool_calls": [
"pull_request_write"
],
"valid": false,
"errors": [
"faltan campos requeridos ['repo'] en la llamada a pull_request_write"
]
},
{
"mcp": "atlassian",
"prompt": "Busca en Confluence paginas del espacio 'infra-tools' que mencionen 'tema oscuro 65'.",
"tool_calls": [
"searchConfluenceUsingCql"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Mueve el shape 'icono-menu-27' a la posicion x=480, y=100 dentro de 'Mobile Screens'.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Mueve la pagina 'cache de sesion 798' a otro parent dentro del space 'infra-tools'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Agrega un worklog de 1h al issue frontend-app-219 con el comentario 'reporte semanal 154'.",
"tool_calls": [
"addWorklogToJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Mueve el shape 'card-producto-17' a la posicion x=80, y=360 dentro de 'Design System'.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un pull request en 'backend-core' desde la rama 'feature/nueva-vista-39' hacia main, titulo 'landing page 52'.",
"tool_calls": [
"create_pull_request"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Revisa los commits recientes de la rama 'chore/deps-11' en 'infra-tools'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'panel de admin 775'.",
"tool_calls": [
"searchConfluenceUsingCql"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Lista los shapes del board 'Dashboard Principal' y decime cuales son grupos.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Lista los tipos de issue disponibles en el proyecto 'mobile-client' de Jira.",
"tool_calls": [
"getJiraProjectIssueTypesMetadata"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca en Confluence paginas del espacio 'frontend-app' que mencionen 'modal de confirmacion 567'.",
"tool_calls": [
"searchConfluenceUsingCql"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Exporta el shape 'card-producto-78' como PNG a 2x de resolucion.",
"tool_calls": [
"export_shape"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Revisa los commits recientes de la rama 'chore/deps-45' en 'infra-tools'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Solicita una review de Copilot para el PR numero 391 de 'mobile-client'.",
"tool_calls": [
"request_copilot_review"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'mobile-client'.",
"tool_calls": [
"searchJiraIssuesUsingJql"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-98' hacia main, titulo 'checkout 711'.",
"tool_calls": [
"create_pull_request"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea un release 'hotfix/prod-56' en 'frontend-app' con las notas 'migracion de datos 201'.",
"tool_calls": [
"create_release"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Comenta 'reporte semanal 913' en la pagina con id conocido del space 'mobile-client'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una subpagina 'footer del sitio 267' bajo la pagina principal del space 'frontend-app'.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Lista los tipos de issue disponibles en el proyecto 'data-pipeline' de Jira.",
"tool_calls": [
"getJiraProjectIssueTypesMetadata"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Revisa el estado de los actions/workflows del repo 'infra-tools'.",
"tool_calls": [
"actions_run_read"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 97 de 'backend-core'.",
"tool_calls": [
"pull_request_write"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Busca commits recientes en 'infra-tools' que mencionen 'footer del sitio 825'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Busca en 'frontend-app' el codigo que define la funcion 'checkout 730'.",
"tool_calls": [
"search_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea una rama llamada 'chore/deps-30' en el repo 'frontend-app' desde main.",
"tool_calls": [
"create_branch"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Mergea (solo si el usuario lo pide explicitamente) el PR numero 428 de 'backend-core'.",
"tool_calls": [
"pull_request_write"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Lista los pull requests abiertos del repo 'frontend-app'.",
"tool_calls": [
"list_pull_requests"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Revisa los commits recientes de la rama 'chore/deps-60' en 'infra-tools'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los issues abiertos de 'infra-tools' con label 'enhancement'.",
"tool_calls": [
"list_issues"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un boolean de union entre 'titulo-principal-78' y otro rectangulo superpuesto.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Crea un pull request en 'infra-tools' desde la rama 'fix/timeout-api-55' hacia main, titulo 'migracion de datos 558'.",
"tool_calls": [
"create_pull_request"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca en Confluence paginas del espacio 'backend-core' que mencionen 'checkout 275'.",
"tool_calls": [
"searchConfluenceUsingCql"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Abri un issue en 'backend-core' titulado 'panel de admin 720' con la label 'bug'.",
"tool_calls": [
"label_read"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Lista las paginas del space 'mobile-client' ordenadas por actualizacion reciente.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Revisa los commits recientes de la rama 'hotfix/prod-64' en 'backend-core'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea una rama llamada 'feature/dark-mode-59' en el repo 'mobile-client' desde main.",
"tool_calls": [
"create_branch"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Crea un boolean de union entre 'card-producto-79' y otro rectangulo superpuesto.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Busca issues de Jira asignados a mi usuario con JQL en el proyecto 'infra-tools'.",
"tool_calls": [
"searchJiraIssuesUsingJql"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Revisa los commits recientes de la rama 'hotfix/prod-47' en 'frontend-app'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Agrega un comentario 'migracion de datos 95' al issue numero 327 de 'mobile-client'.",
"tool_calls": [
"issue_write"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Revisa si hay comentarios nuevos en el space 'mobile-client' desde ayer.",
"tool_calls": [
"list_spaces"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Lista los pull requests abiertos del repo 'data-pipeline'.",
"tool_calls": [
"list_pull_requests"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Busca en 'data-pipeline' el codigo que define la funcion 'tema oscuro 442'.",
"tool_calls": [
"search_code"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Busca en 'infra-tools' el codigo que define la funcion 'migracion de datos 79'.",
"tool_calls": [
"search_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Abri un issue en 'mobile-client' titulado 'integracion con Stripe 869' con la label 'bug'.",
"tool_calls": [
"label_read"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Transiciona el issue mobile-client-472 a 'In Progress'.",
"tool_calls": [
"getTransitionsForJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Exporta el shape 'boton-cta-37' como PNG a 2x de resolucion.",
"tool_calls": [
"penpot_api_info"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una pagina llamada 'cache de sesion 149' en el space 'backend-core' con una tabla de 371 columnas.",
"tool_calls": [
"create_page"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Busca en Docmost paginas que mencionen 'integracion con Stripe 169'.",
"tool_calls": [
"search"
],
"valid": true,
"errors": []
},
{
"mcp": "github-personal",
"prompt": "Lista los releases publicados de 'infra-tools'.",
"tool_calls": [
"list_releases"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Agrega un comentario 'flujo de pago 572' al issue numero 91 de 'infra-tools'.",
"tool_calls": [
"issue_write"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Exporta el shape 'footer-logo-84' como PNG a 2x de resolucion.",
"tool_calls": [
"penpot_api_info"
],
"valid": true,
"errors": []
},
{
"mcp": "atlassian",
"prompt": "Crea un issue de Jira en el proyecto 'backend-core' titulado 'login 863', tipo Bug.",
"tool_calls": [
"createJiraIssue"
],
"valid": true,
"errors": []
},
{
"mcp": "docmost",
"prompt": "Crea una pagina llamada 'flujo de pago 290' en el space 'mobile-client' con una tabla de 199 columnas.",
"tool_calls": [
"create_page"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Crea un release 'hotfix/prod-14' en 'data-pipeline' con las notas 'endpoint de usuarios 265'.",
"tool_calls": [
"create_release"
],
"valid": true,
"errors": []
},
{
"mcp": "penpot",
"prompt": "Mueve el shape 'titulo-principal-66' a la posicion x=120, y=40 dentro de 'Checkout Flow'.",
"tool_calls": [
"execute_code"
],
"valid": true,
"errors": []
},
{
"mcp": "gitea",
"prompt": "Busca commits recientes en 'mobile-client' que mencionen 'tema oscuro 467'.",
"tool_calls": [
"list_commits"
],
"valid": true,
"errors": []
}
]
}
Reference in New Issue View Git Blame Copy Permalink