Phase 6.4.26: point 8004/8005 eval services at v2b-NVFP4
The fallback decision landed on v2b-bf16 directly (v2-NVFP4 is skipped), so the two candidate eval services need to serve the checkpoint that's actually being quantized. Container names/ports/served-model-name stay the same, only the volume and --model path move to v2b-NVFP4.
This commit is contained in:
+17
-14
@@ -86,14 +86,17 @@ services:
|
||||
retries: 5
|
||||
start_period: 600s
|
||||
|
||||
# Fase 6 -- candidato v2 (base + LoRA #1 + LoRA #2 de diseno en Penpot, mergeado
|
||||
# y recuantizado a NVFP4). Clon 1:1 de vllm-eval-nvfp4, que a su vez clona el
|
||||
# compose real de produccion, incluido --speculative-config: es el contenedor
|
||||
# contra el que se corren las puertas 2/3/4/5 del candidato, y solo sirve si
|
||||
# replica exactamente los flags con los que se va a servir. Respecto de
|
||||
# vllm-eval-nvfp4 cambian SOLO container_name, puerto (8004; 8000 produccion,
|
||||
# 8001 Fase 4, 8002/8003 Fase 5), volumen, --model y --served-model-name.
|
||||
# Nunca se toca vllm-qwen36 ni su compose real de Portainer.
|
||||
# Fase 6 -- candidato v2b (base + LoRA #1 + LoRA #2 de diseno en Penpot,
|
||||
# iteracion correctiva 6.4.25b/c, mergeado y recuantizado a NVFP4). Clon 1:1 de
|
||||
# vllm-eval-nvfp4, que a su vez clona el compose real de produccion, incluido
|
||||
# --speculative-config: es el contenedor contra el que se corren las puertas
|
||||
# 2/3/4/5 del candidato, y solo sirve si replica exactamente los flags con los
|
||||
# que se va a servir. Respecto de vllm-eval-nvfp4 cambian SOLO container_name,
|
||||
# puerto (8004; 8000 produccion, 8001 Fase 4, 8002/8003 Fase 5), volumen,
|
||||
# --model y --served-model-name. v2-NVFP4 (sin la "b") se salteo por completo:
|
||||
# v2-bf16 disparo el fallback y la iteracion correctiva 6.4.25b/c produjo
|
||||
# v2b-bf16 directamente, que es lo que se cuantiza aca. Nunca se toca
|
||||
# vllm-qwen36 ni su compose real de Portainer.
|
||||
vllm-eval-nvfp4-v2:
|
||||
image: vllm/vllm-openai:cu130-nightly-aarch64
|
||||
container_name: vllm-eval-nvfp4-v2
|
||||
@@ -109,10 +112,10 @@ services:
|
||||
memlock: -1
|
||||
stack: 67108864
|
||||
volumes:
|
||||
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro
|
||||
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
|
||||
command: >
|
||||
--model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4
|
||||
--served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4
|
||||
--model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
|
||||
--served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4
|
||||
--host 0.0.0.0
|
||||
--port 8000
|
||||
--tensor-parallel-size 1
|
||||
@@ -167,10 +170,10 @@ services:
|
||||
memlock: -1
|
||||
stack: 67108864
|
||||
volumes:
|
||||
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro
|
||||
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
|
||||
command: >
|
||||
--model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4
|
||||
--served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4-nospec
|
||||
--model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
|
||||
--served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4-nospec
|
||||
--host 0.0.0.0
|
||||
--port 8000
|
||||
--tensor-parallel-size 1
|
||||
|
||||
Reference in New Issue
Block a user