aleleba 712097e26b Fase 5: scripts/21_quantize_nvfp4.py - cuantizacion NVFP4 via llm-compressor ...

Clona la receta exacta de RedHatAI/Qwen3.6-35B-A3B-NVFP4 (QuantizationModifier
targets=Linear scheme=NVFP4, ignore list identica) sobre el checkpoint mergeado
de Fase 4. Diferencia obligatoria: calibra con una muestra de data/train.jsonl
(chat template de produccion) en vez de ultrachat_200k. moe_calibrate_all_experts=True
para cubrir los 256 expertos ruteados. Reinyecta MTP via
save_mtp_tensors_to_checkpoint y deja que save_pretrained separe vision a su
propio shard. Verificaciones automaticas: quantization_config.format,
conteo de tensores MTP/vision, muestra sin NaN/Inf tras des-cuantizar,
chat_template.jinja de produccion preservado.

2026-07-29 22:10:41 +00:00

data

Fase 4: resultados de las puertas 2, 3 y 4 sobre el checkpoint mergeado

2026-07-29 19:00:02 +00:00

out

Fase 3: versionar el adapter LoRA final (pesos + tokenizer + config)

2026-07-29 16:16:20 +00:00

scripts

Fase 5: scripts/21_quantize_nvfp4.py - cuantizacion NVFP4 via llm-compressor

2026-07-29 22:10:41 +00:00

.gitignore

Fase 3: versionar el adapter LoRA final (pesos + tokenizer + config)

2026-07-29 16:16:20 +00:00

constraints.txt

Fase 0: scripts de verificacion de hardware e inspeccion de modulos

2026-07-28 03:52:10 +00:00

docker-compose.eval.yml

Fase 4: puerta 1 (eval-loss offline por bucket) y contenedor/scripts de puertas 2-4

2026-07-29 17:37:02 +00:00

docker-compose.yml

Fase 0: estructura base de carpetas y docker-compose de training

2026-07-28 03:42:37 +00:00

S

Description

No description provided

465 MiB

Languages

Python 92.8%

Jinja 7.2%