From 1c672520a4f85a0bdacc4f4db685f8d2a20d1d99 Mon Sep 17 00:00:00 2001
From: Alejandro Lembke Barrientos <aleleba@hotmail.com>
Date: Tue, 4 Aug 2026 18:48:05 +0000
Subject: [PATCH] Phase 6.4.26: point 8004/8005 eval services at v2b-NVFP4

The fallback decision landed on v2b-bf16 directly (v2-NVFP4 is skipped),
so the two candidate eval services need to serve the checkpoint that's
actually being quantized. Container names/ports/served-model-name stay
the same, only the volume and --model path move to v2b-NVFP4.
---
 docker-compose.eval.yml | 31 +++++++++++++++++--------------
 1 file changed, 17 insertions(+), 14 deletions(-)

diff --git a/docker-compose.eval.yml b/docker-compose.eval.yml
index da07d0d..87586b1 100644
--- a/docker-compose.eval.yml
+++ b/docker-compose.eval.yml
@@ -86,14 +86,17 @@ services:
       retries: 5
       start_period: 600s
 
-  # Fase 6 -- candidato v2 (base + LoRA #1 + LoRA #2 de diseno en Penpot, mergeado
-  # y recuantizado a NVFP4). Clon 1:1 de vllm-eval-nvfp4, que a su vez clona el
-  # compose real de produccion, incluido --speculative-config: es el contenedor
-  # contra el que se corren las puertas 2/3/4/5 del candidato, y solo sirve si
-  # replica exactamente los flags con los que se va a servir. Respecto de
-  # vllm-eval-nvfp4 cambian SOLO container_name, puerto (8004; 8000 produccion,
-  # 8001 Fase 4, 8002/8003 Fase 5), volumen, --model y --served-model-name.
-  # Nunca se toca vllm-qwen36 ni su compose real de Portainer.
+  # Fase 6 -- candidato v2b (base + LoRA #1 + LoRA #2 de diseno en Penpot,
+  # iteracion correctiva 6.4.25b/c, mergeado y recuantizado a NVFP4). Clon 1:1 de
+  # vllm-eval-nvfp4, que a su vez clona el compose real de produccion, incluido
+  # --speculative-config: es el contenedor contra el que se corren las puertas
+  # 2/3/4/5 del candidato, y solo sirve si replica exactamente los flags con los
+  # que se va a servir. Respecto de vllm-eval-nvfp4 cambian SOLO container_name,
+  # puerto (8004; 8000 produccion, 8001 Fase 4, 8002/8003 Fase 5), volumen,
+  # --model y --served-model-name. v2-NVFP4 (sin la "b") se salteo por completo:
+  # v2-bf16 disparo el fallback y la iteracion correctiva 6.4.25b/c produjo
+  # v2b-bf16 directamente, que es lo que se cuantiza aca. Nunca se toca
+  # vllm-qwen36 ni su compose real de Portainer.
   vllm-eval-nvfp4-v2:
     image: vllm/vllm-openai:cu130-nightly-aarch64
     container_name: vllm-eval-nvfp4-v2
@@ -109,10 +112,10 @@ services:
       memlock: -1
       stack: 67108864
     volumes:
-      - /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro
+      - /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
     command: >
-      --model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4
-      --served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4
+      --model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
+      --served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4
       --host 0.0.0.0
       --port 8000
       --tensor-parallel-size 1
@@ -167,10 +170,10 @@ services:
       memlock: -1
       stack: 67108864
     volumes:
-      - /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro
+      - /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
     command: >
-      --model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4
-      --served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4-nospec
+      --model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
+      --served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4-nospec
       --host 0.0.0.0
       --port 8000
       --tensor-parallel-size 1