aleleba/qwen3-6-lora
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Phase 6: train a second LoRA for real Penpot UI design capability #5

Merged
aleleba merged 36 commits from agente-fase6-lora2-penpot into master 2026-08-04 21:36:07 -06:00
Conversation 0 Commits 36 Files Changed 126
+17 -14
1 changed files with 17 additions and 14 deletions
Download Patch File Download Diff File Expand all files Collapse all files
Showing only changes of commit 1c672520a4 - Show all commits
docker-compose.eval.yml
+17 -14
View File
@@ -86,14 +86,17 @@ services:
retries: 5
start_period: 600s
# Fase 6 -- candidato v2 (base + LoRA #1 + LoRA #2 de diseno en Penpot, mergeado
# y recuantizado a NVFP4). Clon 1:1 de vllm-eval-nvfp4, que a su vez clona el
# compose real de produccion, incluido --speculative-config: es el contenedor
# contra el que se corren las puertas 2/3/4/5 del candidato, y solo sirve si
# replica exactamente los flags con los que se va a servir. Respecto de
# vllm-eval-nvfp4 cambian SOLO container_name, puerto (8004; 8000 produccion,
# 8001 Fase 4, 8002/8003 Fase 5), volumen, --model y --served-model-name.
# Nunca se toca vllm-qwen36 ni su compose real de Portainer.
# Fase 6 -- candidato v2b (base + LoRA #1 + LoRA #2 de diseno en Penpot,
# iteracion correctiva 6.4.25b/c, mergeado y recuantizado a NVFP4). Clon 1:1 de
# vllm-eval-nvfp4, que a su vez clona el compose real de produccion, incluido
# --speculative-config: es el contenedor contra el que se corren las puertas
# 2/3/4/5 del candidato, y solo sirve si replica exactamente los flags con los
# que se va a servir. Respecto de vllm-eval-nvfp4 cambian SOLO container_name,
# puerto (8004; 8000 produccion, 8001 Fase 4, 8002/8003 Fase 5), volumen,
# --model y --served-model-name. v2-NVFP4 (sin la "b") se salteo por completo:
# v2-bf16 disparo el fallback y la iteracion correctiva 6.4.25b/c produjo
# v2b-bf16 directamente, que es lo que se cuantiza aca. Nunca se toca
# vllm-qwen36 ni su compose real de Portainer.
vllm-eval-nvfp4-v2:
image: vllm/vllm-openai:cu130-nightly-aarch64
container_name: vllm-eval-nvfp4-v2
@@ -109,10 +112,10 @@ services:
memlock: -1
stack: 67108864
volumes:
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
command: >
--model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4
--served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4
--model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
--served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4
--host 0.0.0.0
--port 8000
--tensor-parallel-size 1
@@ -167,10 +170,10 @@ services:
memlock: -1
stack: 67108864
volumes:
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
command: >
--model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4
--served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4-nospec
--model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
--served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4-nospec
--host 0.0.0.0
--port 8000
--tensor-parallel-size 1