aleleba/qwen3-6-lora
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Phase 6: train a second LoRA for real Penpot UI design capability #5

Merged
aleleba merged 36 commits from agente-fase6-lora2-penpot into master 2026-08-04 21:36:07 -06:00
Conversation 0 Commits 36 Files Changed 126
+17 -14
1 changed files with 17 additions and 14 deletions
Download Patch File Download Diff File Expand all files Collapse all files
Showing only changes of commit 1c672520a4 - Show all commits
docker-compose.eval.yml
+17 -14
View File
@@ -86,14 +86,17 @@ services:
retries: 5 retries: 5
start_period: 600s start_period: 600s
# Fase 6 -- candidato v2 (base + LoRA #1 + LoRA #2 de diseno en Penpot, mergeado # Fase 6 -- candidato v2b (base + LoRA #1 + LoRA #2 de diseno en Penpot,
# y recuantizado a NVFP4). Clon 1:1 de vllm-eval-nvfp4, que a su vez clona el # iteracion correctiva 6.4.25b/c, mergeado y recuantizado a NVFP4). Clon 1:1 de
# compose real de produccion, incluido --speculative-config: es el contenedor # vllm-eval-nvfp4, que a su vez clona el compose real de produccion, incluido
# contra el que se corren las puertas 2/3/4/5 del candidato, y solo sirve si # --speculative-config: es el contenedor contra el que se corren las puertas
# replica exactamente los flags con los que se va a servir. Respecto de # 2/3/4/5 del candidato, y solo sirve si replica exactamente los flags con los
# vllm-eval-nvfp4 cambian SOLO container_name, puerto (8004; 8000 produccion, # que se va a servir. Respecto de vllm-eval-nvfp4 cambian SOLO container_name,
# 8001 Fase 4, 8002/8003 Fase 5), volumen, --model y --served-model-name. # puerto (8004; 8000 produccion, 8001 Fase 4, 8002/8003 Fase 5), volumen,
# Nunca se toca vllm-qwen36 ni su compose real de Portainer. # --model y --served-model-name. v2-NVFP4 (sin la "b") se salteo por completo:
# v2-bf16 disparo el fallback y la iteracion correctiva 6.4.25b/c produjo
# v2b-bf16 directamente, que es lo que se cuantiza aca. Nunca se toca
# vllm-qwen36 ni su compose real de Portainer.
vllm-eval-nvfp4-v2: vllm-eval-nvfp4-v2:
image: vllm/vllm-openai:cu130-nightly-aarch64 image: vllm/vllm-openai:cu130-nightly-aarch64
container_name: vllm-eval-nvfp4-v2 container_name: vllm-eval-nvfp4-v2
@@ -109,10 +112,10 @@ services:
memlock: -1 memlock: -1
stack: 67108864 stack: 67108864
volumes: volumes:
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro - /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
command: > command: >
--model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4 --model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
--served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4 --served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4
--host 0.0.0.0 --host 0.0.0.0
--port 8000 --port 8000
--tensor-parallel-size 1 --tensor-parallel-size 1
@@ -167,10 +170,10 @@ services:
memlock: -1 memlock: -1
stack: 67108864 stack: 67108864
volumes: volumes:
- /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2-NVFP4:ro - /home/aleleba/ft-models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:/models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4:ro
command: > command: >
--model /models/Qwen3.6-35B-A3B-mcp-v2-NVFP4 --model /models/Qwen3.6-35B-A3B-mcp-v2b-NVFP4
--served-model-name qwen3.6-35b-a3b-mcp-v2-nvfp4-nospec --served-model-name qwen3.6-35b-a3b-mcp-v2b-nvfp4-nospec
--host 0.0.0.0 --host 0.0.0.0
--port 8000 --port 8000
--tensor-parallel-size 1 --tensor-parallel-size 1