Adding Lab3
This commit is contained in:
@@ -0,0 +1,614 @@
|
||||
\documentclass[11pt,letterpaper]{article}
|
||||
|
||||
\usepackage[margin=0.85in]{geometry}
|
||||
\usepackage[T1]{fontenc}
|
||||
\usepackage[utf8]{inputenc}
|
||||
\usepackage{lmodern}
|
||||
\usepackage{microtype}
|
||||
\usepackage{amsmath,amssymb,bm}
|
||||
\usepackage{booktabs,tabularx,array}
|
||||
\usepackage{graphicx}
|
||||
\usepackage{xcolor}
|
||||
\usepackage[most]{tcolorbox}
|
||||
\usepackage{enumitem}
|
||||
\usepackage{fancyhdr}
|
||||
\usepackage{hyperref}
|
||||
\usepackage{float}
|
||||
|
||||
\definecolor{navy}{HTML}{17324D}
|
||||
\definecolor{teal}{HTML}{147D7E}
|
||||
\definecolor{gold}{HTML}{D49A2A}
|
||||
\definecolor{lightgold}{HTML}{FFF7E6}
|
||||
|
||||
\hypersetup{
|
||||
colorlinks=true,
|
||||
linkcolor=navy,
|
||||
urlcolor=teal,
|
||||
pdftitle={Informe del experimento de dimensión latente de un VAE}
|
||||
}
|
||||
|
||||
\pagestyle{fancy}
|
||||
\fancyhf{}
|
||||
\lhead{Experimento de dimensión latente de un VAE}
|
||||
\rhead{Procesamiento de Imágenes y Visión por Computadora}
|
||||
\cfoot{\thepage}
|
||||
\setlength{\headheight}{14pt}
|
||||
|
||||
\graphicspath{{outputs/latent_dimension_experiment/}}
|
||||
|
||||
\newcommand{\studentname}{Alejandro Lembke Barrientos}
|
||||
\newcommand{\studentid}{12002840}
|
||||
\newcommand{\coursesection}{A}
|
||||
\newcommand{\submissiondate}{12 de septiembre de 2026}
|
||||
|
||||
\newtcolorbox{responsebox}[1][]{
|
||||
colback=white,
|
||||
colframe=teal!70!black,
|
||||
boxrule=0.8pt,
|
||||
arc=2pt,
|
||||
title=Respuesta,
|
||||
fonttitle=\bfseries,
|
||||
breakable,
|
||||
#1
|
||||
}
|
||||
|
||||
\newtcolorbox{evidencebox}[1][]{
|
||||
colback=lightgold,
|
||||
colframe=gold!80!black,
|
||||
boxrule=0.8pt,
|
||||
arc=2pt,
|
||||
title=Evidencia que debe incluir,
|
||||
fonttitle=\bfseries,
|
||||
breakable,
|
||||
#1
|
||||
}
|
||||
|
||||
\newcommand{\experimentfigure}[3]{%
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\IfFileExists{outputs/latent_dimension_experiment/#1}{%
|
||||
\includegraphics[width=#2\textwidth]{#1}%
|
||||
}{%
|
||||
\fbox{\parbox[c][5.0cm][c]{0.88\textwidth}{\centering
|
||||
Ejecute el notebook para generar \texttt{\detokenize{#1}}.}}%
|
||||
}
|
||||
\caption{#3}
|
||||
\end{figure}
|
||||
}
|
||||
|
||||
\title{\textbf{Informe de laboratorio: selección de la dimensión latente de un autoencoder variacional}}
|
||||
\author{}
|
||||
\date{}
|
||||
|
||||
\begin{document}
|
||||
\maketitle
|
||||
|
||||
\begin{center}
|
||||
\renewcommand{\arraystretch}{1.35}
|
||||
\begin{tabularx}{0.92\textwidth}{@{}>{\bfseries}lX>{\bfseries}lX@{}}
|
||||
Nombre: & \studentname & Carné: & \studentid \\
|
||||
Sección: & \coursesection & Fecha de entrega: & \submissiondate \\
|
||||
\end{tabularx}
|
||||
\end{center}
|
||||
|
||||
\section{Objetivo del laboratorio}
|
||||
|
||||
Se desea seleccionar un autoencoder variacional capaz de reconstruir dígitos
|
||||
reconocibles, generar muestras plausibles a partir de la distribución normal
|
||||
estándar, producir interpolaciones graduales y mantener una representación
|
||||
compacta. Se comparan las dimensiones latentes
|
||||
\[
|
||||
d_z\in\{2,8,16,64\}.
|
||||
\]
|
||||
La recomendación final debe apoyarse en evidencia cuantitativa y cualitativa.
|
||||
Ninguna métrica individual es suficiente para decidir.
|
||||
|
||||
\section{Hipótesis iniciales}
|
||||
|
||||
Complete esta sección antes de examinar los resultados.
|
||||
|
||||
\subsection*{Pregunta 1}
|
||||
¿Qué dimensión latente espera que produzca la menor pérdida de reconstrucción?
|
||||
Explique la relación esperada entre capacidad latente y reconstrucción.
|
||||
\begin{responsebox}
|
||||
Se espera que la dimensión latente más grande, $d_z=64$, produzca la menor
|
||||
pérdida de reconstrucción, ya que un espacio latente de mayor dimensión puede
|
||||
codificar más información sobre cada imagen antes de la etapa de decodificación,
|
||||
reduciendo el error al reconstruir los trazos finos. En general, una mayor
|
||||
capacidad latente disponible para el codificador tiende a traducirse en un
|
||||
límite inferior (ELBO) más ajustado sobre la verdadera log-verosimilitud,
|
||||
siempre que el decodificador pueda aprovechar esa información adicional.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 2}
|
||||
¿Qué dimensión espera que produzca las muestras más plausibles para
|
||||
$\mathbf z\sim\mathcal N(0,I)$? Explique por qué la calidad de muestreo puede no
|
||||
seguir el mismo comportamiento que la reconstrucción.
|
||||
\begin{responsebox}
|
||||
Es probable que un valor intermedio, como $d_z=8$ o $d_z=16$, produzca las
|
||||
muestras más plausibles a partir del prior, en lugar del modelo con mayor
|
||||
capacidad. La reconstrucción solo mide qué tan bien el decodificador reconstruye
|
||||
una imagen a partir de su propio posterior, mientras que el muestreo desde el
|
||||
prior exige que todo el volumen de $\mathcal N(0,I)$ —no solo la región ocupada
|
||||
por los datos codificados— se decodifique en dígitos plausibles. Un espacio muy
|
||||
grande puede sobreajustar la reconstrucción dejando regiones del prior
|
||||
pobremente cubiertas por el posterior agregado, lo que perjudica el muestreo
|
||||
incondicional.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 3}
|
||||
Prediga si todas las dimensiones disponibles estarán activas en el modelo con
|
||||
$d_z=64$. ¿Qué significa que una dimensión se encuentre inactiva?
|
||||
\begin{responsebox}
|
||||
No se espera que las 64 dimensiones estén activas. Cuando la capacidad latente
|
||||
ofrecida excede la complejidad intrínseca de los datos, el término de
|
||||
regularización KL empuja a varias dimensiones hacia el prior $\mathcal N(0,1)$,
|
||||
haciendo que su media se aproxime a 0 y su varianza a 1 para todas las
|
||||
entradas. Una dimensión inactiva no aporta información específica de la imagen:
|
||||
su divergencia KL promedio es prácticamente nula y el decodificador puede
|
||||
ignorarla sin perder capacidad de reconstrucción.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 4}
|
||||
Escriba una recomendación inicial. Indique qué evidencia podría hacerle cambiar
|
||||
esa recomendación.
|
||||
\begin{responsebox}
|
||||
La recomendación inicial es $d_z=16$, por ofrecer un buen equilibrio entre
|
||||
pérdida de reconstrucción y tamaño del modelo. Esta recomendación podría cambiar
|
||||
si los resultados mostraran que $d_z=64$ activa la mayoría de sus dimensiones y
|
||||
mejora sustancialmente —no solo marginalmente— la reconstrucción, las muestras
|
||||
del prior y las interpolaciones, lo que justificaría su mayor costo; o si
|
||||
$d_z=8$ lograra una calidad visual prácticamente indistinguible de $d_z=16$ con
|
||||
menos parámetros.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Integridad experimental}
|
||||
|
||||
\subsection*{Pregunta 5}
|
||||
Registre la configuración y explique por qué deben mantenerse constantes todos
|
||||
los parámetros distintos de la dimensión latente.
|
||||
|
||||
\begin{center}
|
||||
\renewcommand{\arraystretch}{1.3}
|
||||
\begin{tabular}{@{}ll@{}}
|
||||
\toprule
|
||||
Configuración & Valor \\
|
||||
\midrule
|
||||
Conjunto de datos & MNIST \\
|
||||
Dimensiones latentes & $2,8,16,64$ \\
|
||||
$\beta$ & 1.0 \\
|
||||
Épocas & 8 \\
|
||||
Tamaño de lote & 256 \\
|
||||
Tasa de aprendizaje & $1\times10^{-3}$ \\
|
||||
Semilla aleatoria & 42 \\
|
||||
Umbral de actividad & 0.01 \\
|
||||
Dispositivo utilizado & CPU \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{center}
|
||||
\begin{responsebox}
|
||||
Todos los hiperparámetros distintos de $d_z$ —arquitectura convolucional,
|
||||
optimizador Adam, tasa de aprendizaje, tamaño de lote, número de épocas, semilla
|
||||
aleatoria y orden de los datos— se mantuvieron fijos entre los cuatro
|
||||
experimentos. Esto es indispensable para que cualquier diferencia observada en
|
||||
las métricas sea atribuible exclusivamente a la dimensión latente y no a
|
||||
variaciones incidentales del entrenamiento; de lo contrario no sería posible
|
||||
aislar el efecto de $d_z$ de otras fuentes de variación (por ejemplo, una tasa
|
||||
de aprendizaje distinta podría producir una convergencia más rápida o lenta
|
||||
independientemente de la capacidad latente).
|
||||
\end{responsebox}
|
||||
|
||||
\section{Resultados cuantitativos}
|
||||
|
||||
\IfFileExists{outputs/latent_dimension_experiment/summary_table.tex}{%
|
||||
\begin{table}[H]
|
||||
\centering
|
||||
\resizebox{\textwidth}{!}{\input{outputs/latent_dimension_experiment/summary_table.tex}}
|
||||
\caption{Comparación final de las dimensiones latentes candidatas.}
|
||||
\end{table}
|
||||
}{%
|
||||
\begin{center}
|
||||
\fbox{\parbox[c][3.2cm][c]{0.88\textwidth}{\centering
|
||||
Ejecute el notebook para generar \texttt{summary\_table.tex}.}}
|
||||
\end{center}
|
||||
}
|
||||
|
||||
\subsection*{Pregunta 6}
|
||||
Ordene los cuatro modelos según su pérdida de reconstrucción en prueba. ¿Las
|
||||
mejoras entre dimensiones consecutivas son sustanciales o marginales? Incluya
|
||||
los valores medidos.
|
||||
\begin{responsebox}
|
||||
Ordenados de mayor a menor pérdida de reconstrucción en prueba: $d_z=2$
|
||||
(153.815), $d_z=8$ (99.427), $d_z=16$ (80.824) y $d_z=64$ (75.972). La mejora de
|
||||
$d_z=2$ a $d_z=8$ es sustancial ($-54.39$, una reducción del 35.4\%), y de
|
||||
$d_z=8$ a $d_z=16$ sigue siendo considerable ($-18.60$, $-18.7\%$). Sin embargo,
|
||||
de $d_z=16$ a $d_z=64$ la mejora es marginal ($-4.85$, apenas $-6.0\%$), a pesar
|
||||
de que el número de parámetros casi se triplica (220{,}385 a 672{,}065). Esto
|
||||
indica un claro rendimiento decreciente más allá de $d_z=16$.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 7}
|
||||
¿Cómo cambian la divergencia KL total, el número de dimensiones activas y la
|
||||
fracción activa al aumentar $d_z$? Explique qué revela cada medida sobre la
|
||||
capacidad latente efectiva.
|
||||
\begin{responsebox}
|
||||
La divergencia KL total en prueba crece de forma monótona con $d_z$: 5.609
|
||||
($d_z=2$), 16.080 ($d_z=8$), 24.780 ($d_z=16$) y 28.853 ($d_z=64$); esto refleja
|
||||
que, a medida que hay más dimensiones disponibles, el codificador las usa para
|
||||
alejar el posterior del prior y codificar más información específica de cada
|
||||
imagen. El número de dimensiones activas también crece (2, 8, 16, pero solo 42
|
||||
de 64), y la fracción activa se mantiene en 100\% hasta $d_z=16$ y cae a 65.6\%
|
||||
en $d_z=64$. Esto revela que la capacidad latente \emph{efectiva} del modelo con
|
||||
$d_z=64$ es de aproximadamente 42 dimensiones, no 64: el resto del espacio
|
||||
ofrecido simplemente no es utilizado, evidenciando que la capacidad nominal
|
||||
($d_z$) y la capacidad efectiva (dimensiones activas) pueden divergir
|
||||
considerablemente cuando el espacio ofrecido excede lo que los datos requieren.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 8}
|
||||
Compare el número de parámetros y el tiempo de entrenamiento. ¿Aumentar $d_z$
|
||||
modifica sustancialmente el tamaño total y el costo computacional del modelo?
|
||||
\begin{responsebox}
|
||||
El número de parámetros crece de forma no lineal con $d_z$: 88{,}645
|
||||
($d_z=2$), 145{,}105 ($d_z=8$), 220{,}385 ($d_z=16$) y 672{,}065 ($d_z=64$) —el
|
||||
modelo de 64 dimensiones tiene más de 7 veces los parámetros del modelo de 2
|
||||
dimensiones y más del triple que el de 16. Sin embargo, el tiempo de
|
||||
entrenamiento por modelo permanece prácticamente constante (entre 257 y 270
|
||||
segundos para las 8 épocas), ya que el costo computacional está dominado por las
|
||||
capas convolucionales del codificador/decodificador, idénticas en los cuatro
|
||||
experimentos; las capas totalmente conectadas que dependen de $d_z$ son
|
||||
comparativamente pequeñas. Es decir, aumentar $d_z$ incrementa notablemente el
|
||||
tamaño (memoria) del modelo, pero no el costo de entrenamiento por época en esta
|
||||
arquitectura.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Comportamiento durante el entrenamiento}
|
||||
|
||||
\experimentfigure{training_curves.png}{0.98}{Comportamiento de entrenamiento y prueba para cada dimensión latente.}
|
||||
|
||||
\subsection*{Pregunta 9}
|
||||
¿Todos los modelos alcanzaron una región razonablemente estable en la última
|
||||
época? Identifique cualquier comparación afectada por convergencia incompleta.
|
||||
\begin{responsebox}
|
||||
Las cuatro curvas de ELBO negativo en prueba muestran una fuerte caída en las
|
||||
primeras 2--3 épocas seguida de un aplanamiento progresivo, por lo que todos los
|
||||
modelos alcanzan una región razonablemente estable hacia la época 8, aunque
|
||||
ninguno luce perfectamente plano: la pendiente residual es pequeña pero no nula
|
||||
en todos los casos. El modelo con $d_z=64$ es el que muestra el comportamiento
|
||||
más ruidoso (por ejemplo, un pequeño repunte del término de reconstrucción
|
||||
entre las épocas 4 y 5), consistente con tener más parámetros y, por tanto,
|
||||
mayor varianza en las actualizaciones de gradiente. Dado que ningún modelo
|
||||
colapsó ni siguió mejorando de forma pronunciada, la comparación entre $d_z=16$
|
||||
y $d_z=64$ —la más cercana en magnitud— parece razonablemente justa, aunque no
|
||||
puede descartarse que entrenar por más épocas reduzca aún más esa brecha.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 10}
|
||||
Describa la relación entre la pérdida de reconstrucción, la divergencia KL y el
|
||||
ELBO negativo. ¿Qué término explica las principales diferencias entre modelos?
|
||||
\begin{responsebox}
|
||||
El ELBO negativo es la suma de la reconstrucción y la KL (con $\beta=1$, sin
|
||||
ponderación adicional). Al comparar los cuatro modelos, la reconstrucción es el
|
||||
término que domina las diferencias observadas: mientras la reconstrucción cae
|
||||
de 153.8 a 76.0 (una diferencia de 77.8) entre $d_z=2$ y $d_z=64$, la KL sube de
|
||||
5.6 a 28.9 (una diferencia de $+23.2$ en sentido contrario). Es decir, parte de
|
||||
la ganancia en reconstrucción al aumentar $d_z$ se ve parcialmente compensada
|
||||
por un mayor costo de KL, pero la reconstrucción es, con claridad, el término
|
||||
que más varía y el que explica la mejora neta del ELBO negativo a medida que
|
||||
crece $d_z$.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Análisis de reconstrucción}
|
||||
|
||||
\experimentfigure{reconstructions.png}{0.98}{Reconstrucciones de las mismas imágenes de prueba mediante las medias posteriores.}
|
||||
|
||||
\subsection*{Pregunta 11}
|
||||
Identifique al menos dos imágenes en las que aumentar $d_z$ produzca una mejora
|
||||
visual significativa. Describa cambios en trazos, forma, ambigüedad o detalles.
|
||||
\begin{responsebox}
|
||||
Dos ejemplos claros: (1) el dígito "2" (tercera columna): en $d_z=2$ la
|
||||
reconstrucción es un trazo borroso que apenas insinúa la forma del dígito,
|
||||
mientras que desde $d_z=8$ en adelante el "2" se reconstruye con un trazo
|
||||
definido y sin ambigüedad. (2) El dígito estilizado en cursiva parecido a un
|
||||
"6" (novena columna del conjunto de prueba): en $d_z=2$ se reconstruye como una
|
||||
mancha difusa que podría confundirse con un "8" o un "3", y solo a partir de
|
||||
$d_z=16$ se recupera la curvatura característica y la identidad correcta del
|
||||
trazo. En ambos casos, aumentar $d_z$ añade principalmente definición de bordes
|
||||
y resolución de ambigüedad de identidad, más que cambios de forma global.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 12}
|
||||
¿A partir de qué dimensión las dimensiones adicionales muestran rendimientos
|
||||
decrecientes? Utilice evidencia visual y la pérdida de reconstrucción.
|
||||
\begin{responsebox}
|
||||
A partir de $d_z=16$ las dimensiones adicionales muestran rendimientos
|
||||
decrecientes: visualmente, las reconstrucciones de $d_z=16$ y $d_z=64$ son
|
||||
prácticamente indistinguibles entre sí para las 12 imágenes de prueba, y la
|
||||
pérdida de reconstrucción solo mejora de 80.824 a 75.972 (apenas 6.0\%) pese a
|
||||
que el número de parámetros casi se triplica. En contraste, el salto de
|
||||
$d_z=8$ a $d_z=16$ sí es perceptible tanto en las cifras ($-18.7\%$) como
|
||||
visualmente en los trazos más finos.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Análisis de muestras del prior}
|
||||
|
||||
\experimentfigure{prior_samples.png}{0.98}{Muestras generadas a partir de $\mathbf z\sim\mathcal N(0,I)$.}
|
||||
|
||||
\subsection*{Pregunta 13}
|
||||
Compare el realismo y la diversidad de las muestras. ¿Qué modelo produce la
|
||||
mayor proporción de dígitos reconocibles? ¿Cuál muestra mayor variedad visible?
|
||||
\begin{responsebox}
|
||||
Las muestras de $d_z=2$ son claramente las de menor calidad: la mayoría son
|
||||
manchas borrosas que se asemejan vagamente a formas ovaladas o de "8"/"0", con
|
||||
poca variedad de clases reconocibles y bordes muy difusos. A partir de $d_z=8$
|
||||
aparece una variedad mucho mayor de dígitos reconocibles (se distinguen 0, 2,
|
||||
3, 4, 6, 7, 8 y 9 con relativa claridad), y esta diversidad y nitidez se
|
||||
mantiene de forma similar en $d_z=16$ y $d_z=64$, sin una mejora clara adicional
|
||||
al pasar de 16 a 64. En términos de proporción de dígitos reconocibles,
|
||||
$d_z=16$ y $d_z=64$ producen los resultados más consistentes; ninguno de los
|
||||
dos domina claramente al otro en diversidad visible.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 14}
|
||||
¿El modelo con la mejor reconstrucción también produce las mejores muestras del
|
||||
prior? Explique por qué ambos resultados pueden diferir en un VAE.
|
||||
\begin{evidencebox}
|
||||
Considere el término de reconstrucción y la necesidad de que los posteriores
|
||||
codificados sean compatibles con el prior utilizado para generar.
|
||||
\end{evidencebox}
|
||||
\begin{responsebox}
|
||||
No necesariamente: aunque $d_z=64$ obtiene la menor pérdida de reconstrucción,
|
||||
sus muestras del prior no son visiblemente mejores que las de $d_z=16$, e
|
||||
incluso el hecho de que solo 42 de sus 64 dimensiones estén activas sugiere que
|
||||
gran parte de su espacio latente nominal no está bien calibrado frente al prior
|
||||
$\mathcal N(0,I)$. La reconstrucción solo evalúa la calidad de decodificar $z$
|
||||
obtenidos de imágenes reales (donde el posterior puede alejarse del prior sin
|
||||
más penalización que el término KL), mientras que muestrear del prior exige
|
||||
decodificar puntos $z$ provenientes de toda la distribución $\mathcal N(0,I)$,
|
||||
incluyendo regiones que el posterior agregado del modelo pudo no haber cubierto
|
||||
bien durante el entrenamiento. Un modelo puede reconstruir bien sin que su
|
||||
posterior agregado iguale exactamente al prior, y ese descalce es justamente lo
|
||||
que degrada el muestreo incondicional.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Análisis de interpolación}
|
||||
|
||||
\experimentfigure{interpolations.png}{0.98}{Interpolación lineal entre las medias posteriores del par seleccionado.}
|
||||
|
||||
\subsection*{Pregunta 15}
|
||||
¿Qué modelo produce la transición más gradual y plausible? Describa dónde cambia
|
||||
la identidad y si los trazos intermedios permanecen coherentes.
|
||||
\begin{responsebox}
|
||||
Los modelos con $d_z=8$, 16 y 64 producen transiciones visualmente similares y
|
||||
razonablemente graduales entre el dígito 3 y el dígito 8: el lazo inferior del
|
||||
"3" se va cerrando progresivamente alrededor de $t=0.5$–$0.6$ hasta formar el
|
||||
"8" completo en $t=1.0$, y los trazos intermedios permanecen coherentes, sin
|
||||
artefactos abruptos. El modelo con $d_z=2$, en cambio, produce una
|
||||
interpolación borrosa en todo el trayecto —incluidos los extremos $t=0$ y
|
||||
$t=1$—, por lo que aunque el cambio es gradual en términos de píxeles, la
|
||||
calidad visual insuficiente dificulta juzgar la coherencia de los trazos.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 16}
|
||||
¿Una interpolación suave demuestra que cada dimensión latente tiene un significado
|
||||
interpretable? Explique la limitación de esa conclusión.
|
||||
\begin{responsebox}
|
||||
No. Que la interpolación lineal sea suave solo demuestra que el decodificador es
|
||||
una función continua del vector $z$ combinado, no que cada dimensión individual
|
||||
del espacio latente corresponda a un factor de variación interpretable (como el
|
||||
ángulo de inclinación o el grosor del trazo) de forma aislada. Las dimensiones
|
||||
podrían estar fuertemente correlacionadas o codificar combinaciones no
|
||||
interpretables de atributos, y aun así producir trayectorias suaves cuando se
|
||||
interpola sobre todas ellas a la vez.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Organización del espacio latente}
|
||||
|
||||
\experimentfigure{latent_space.png}{0.86}{Medias posteriores: representación directa para $d_z=2$ y PCA para espacios mayores.}
|
||||
|
||||
\subsection*{Pregunta 17}
|
||||
¿Qué clases forman regiones distinguibles? Identifique clases que se superponen
|
||||
y explique si su similitud visual puede justificarlo.
|
||||
\begin{responsebox}
|
||||
En la proyección directa de $d_z=2$, los dígitos "1" (naranja), "0" (azul) y
|
||||
"7" (gris) forman regiones bastante distinguibles, mientras que "2", "3", "4",
|
||||
"5", "6", "8" y "9" se agrupan en una nube densa y superpuesta en el centro.
|
||||
Esta separación es visualmente razonable: "1" y "0" tienen trazos muy distintos
|
||||
de los demás dígitos (una línea vertical frente a un óvalo cerrado), mientras
|
||||
que dígitos como "3", "5", "8" y "9" comparten curvas similares y por tanto es
|
||||
esperable que se confundan en un espacio de solo dos dimensiones.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 18}
|
||||
¿Por qué la gráfica directa de $d_z=2$ debe interpretarse de manera diferente a
|
||||
las proyecciones bidimensionales obtenidas mediante PCA?
|
||||
\begin{responsebox}
|
||||
La gráfica de $d_z=2$ muestra las coordenadas reales que usa el decodificador
|
||||
para generar cada imagen; toda la información que el modelo emplea está
|
||||
contenida en esos dos ejes. En cambio, para $d_z=8$, 16 y 64 la gráfica muestra
|
||||
solo los dos componentes principales que capturan la mayor varianza,
|
||||
descartando el resto de la información codificada en las demás dimensiones. Por
|
||||
eso, que las clases se vean más mezcladas en las proyecciones PCA de espacios
|
||||
más grandes no implica que esas clases sean menos separables en el espacio
|
||||
latente completo: solo indica que dos componentes no bastan para visualizar esa
|
||||
separación.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Análisis de dimensiones activas}
|
||||
|
||||
\experimentfigure{active_dimensions.png}{0.88}{Contribución KL promedio de cada dimensión; la línea discontinua indica el umbral de actividad.}
|
||||
|
||||
\subsection*{Pregunta 19}
|
||||
¿Cada modelo utiliza todas las dimensiones disponibles? Compare el número y la
|
||||
proporción de dimensiones activas.
|
||||
\begin{responsebox}
|
||||
No. Los modelos con $d_z=2$, 8 y 16 utilizan el 100\% de sus dimensiones (2/2,
|
||||
8/8 y 16/16 respectivamente), pero el modelo con $d_z=64$ solo utiliza 42 de 64
|
||||
dimensiones (65.6\%), dejando 22 dimensiones prácticamente colapsadas al prior
|
||||
(KL promedio cercano a cero).
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 20}
|
||||
Si el modelo de 64 dimensiones deja muchas dimensiones inactivas, ¿qué implica
|
||||
para su capacidad nominal y efectiva? ¿Debe considerarse automáticamente un
|
||||
fracaso de entrenamiento?
|
||||
\begin{responsebox}
|
||||
Implica que la capacidad efectiva de este modelo (unas 42 dimensiones activas)
|
||||
es considerablemente menor que su capacidad nominal (64), lo que confirma que
|
||||
ofrecer más dimensiones de las necesarias no garantiza que todas se utilicen.
|
||||
Esto no debe considerarse automáticamente un fracaso de entrenamiento: es un
|
||||
comportamiento esperado y bien documentado en VAEs, donde el término KL
|
||||
regulariza el posterior hacia el prior y "apaga" las dimensiones que no aportan
|
||||
una reducción suficiente en el error de reconstrucción. De hecho, refleja que el
|
||||
modelo evita usar capacidad innecesaria, aunque a costa de un mayor número de
|
||||
parámetros sin beneficio proporcional.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Recomendación final}
|
||||
|
||||
\subsection*{Pregunta 21: dimensión seleccionada}
|
||||
\begin{center}
|
||||
\Large Recomiendo $d_z=\boxed{16}$ para el escenario planteado.
|
||||
\end{center}
|
||||
|
||||
\subsection*{Pregunta 22: justificación basada en evidencia}
|
||||
Defienda su decisión utilizando:
|
||||
\begin{itemize}[leftmargin=*]
|
||||
\item al menos tres valores cuantitativos;
|
||||
\item evidencia de reconstrucción;
|
||||
\item realismo y diversidad de las muestras del prior;
|
||||
\item comportamiento de las interpolaciones;
|
||||
\item dimensiones latentes activas; y
|
||||
\item compacidad o costo computacional.
|
||||
\end{itemize}
|
||||
\begin{responsebox}
|
||||
Se recomienda $d_z=16$ porque logra casi el mismo desempeño que el modelo más
|
||||
grande evaluado, con una fracción notablemente menor de recursos: (1) su
|
||||
pérdida de reconstrucción en prueba (80.824) está a solo 4.85 unidades (6.0\%)
|
||||
de la de $d_z=64$ (75.972), y su ELBO negativo (105.604) está a apenas 0.78
|
||||
unidades (0.7\%) del de $d_z=64$ (104.825); (2) utiliza el 100\% de sus 16
|
||||
dimensiones (16/16 activas), a diferencia de $d_z=64$, que solo activa 42 de 64
|
||||
(65.6\%) —es decir, $d_z=16$ no desperdicia capacidad latente; (3) tiene
|
||||
220{,}385 parámetros, menos de un tercio de los 672{,}065 de $d_z=64$, con un
|
||||
tiempo de entrenamiento comparable (\textasciitilde257\,s). Cualitativamente,
|
||||
sus reconstrucciones son indistinguibles de las de $d_z=64$ para las 12
|
||||
imágenes de prueba observadas, sus muestras del prior muestran diversidad y
|
||||
nitidez similares (buena proporción de dígitos reconocibles y variedad de
|
||||
clases), y su interpolación entre el dígito 3 y el 8 es igual de gradual y
|
||||
coherente que la de $d_z=64$. En conjunto, $d_z=16$ ofrece prácticamente toda la
|
||||
calidad alcanzable en este experimento con un modelo compacto y sin dimensiones
|
||||
latentes desperdiciadas.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 23: debilidad del modelo seleccionado}
|
||||
Identifique la principal debilidad del modelo recomendado. Explique por qué la
|
||||
recomendación sigue siendo razonable.
|
||||
\begin{responsebox}
|
||||
La principal debilidad de $d_z=16$ es que su proyección PCA del espacio latente
|
||||
no muestra una separación clara entre la mayoría de las clases de dígitos (solo
|
||||
el "1" se distingue con nitidez), lo que sugiere que, incluso con una
|
||||
reconstrucción y muestreo satisfactorios, la organización interna del espacio
|
||||
latente para fines de exploración semántica directa no es tan interpretable
|
||||
como la de $d_z=2$. Además, su pérdida de reconstrucción, aunque cercana a la
|
||||
del mejor modelo, sigue siendo peor en términos absolutos que la de $d_z=64$,
|
||||
por lo que en aplicaciones donde cada fracción de error importa (por ejemplo,
|
||||
compresión con pérdida mínima) $d_z=16$ seguiría siendo subóptimo. La
|
||||
recomendación se mantiene razonable porque ninguna de estas limitaciones afecta
|
||||
al escenario planteado, centrado en reconstrucción, generación e interpolación
|
||||
con un modelo compacto.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 24: escenario alternativo}
|
||||
Describa un uso realista en el que otra dimensión sería preferible. Seleccione
|
||||
la dimensión alternativa y justifique su elección.
|
||||
\begin{responsebox}
|
||||
Si el objetivo del sistema fuera visualizar y explorar directamente la
|
||||
organización del espacio latente de los dígitos —por ejemplo, en una
|
||||
herramienta educativa interactiva donde un usuario mueve un cursor 2D para
|
||||
generar dígitos— sería preferible $d_z=2$: aunque su reconstrucción es
|
||||
notablemente peor (153.815 frente a 80.824), es el único modelo cuyo espacio
|
||||
latente completo puede graficarse y recorrerse directamente sin recurrir a una
|
||||
proyección PCA que oculta información, y ya muestra una separación parcial pero
|
||||
real entre varias clases (1, 0 y 7) útil para ese propósito exploratorio,
|
||||
además de ser el modelo más compacto (88{,}645 parámetros).
|
||||
\end{responsebox}
|
||||
|
||||
\section{Limitaciones y experimentos posteriores}
|
||||
|
||||
\subsection*{Pregunta 25}
|
||||
Identifique al menos tres limitaciones del experimento. Considere duración del
|
||||
entrenamiento, variación aleatoria, subjetividad visual, complejidad de MNIST,
|
||||
arquitectura y umbral de actividad.
|
||||
\begin{responsebox}
|
||||
(1) Cada modelo se entrenó una sola vez con una única semilla aleatoria (42) y
|
||||
solo 8 épocas; no se midió la variabilidad entre corridas repetidas, por lo que
|
||||
pequeñas diferencias entre modelos cercanos (por ejemplo, $d_z=16$ frente a
|
||||
$d_z=64$) podrían no ser estadísticamente robustas. (2) La evaluación de
|
||||
reconstrucciones, muestras del prior e interpolaciones se basa en inspección
|
||||
visual subjetiva de un conjunto reducido de ejemplos (12 imágenes de prueba, 16
|
||||
muestras del prior, un solo par de dígitos para interpolar), lo que limita la
|
||||
generalización de las conclusiones cualitativas. (3) MNIST es un conjunto de
|
||||
datos relativamente simple (dígitos centrados, en escala de grises, baja
|
||||
resolución), por lo que los resultados sobre la dimensión latente óptima
|
||||
podrían no trasladarse directamente a datos más complejos. (4) El umbral de
|
||||
actividad KL (0.01) es arbitrario; un umbral distinto cambiaría el conteo de
|
||||
dimensiones activas reportado, especialmente para $d_z=64$, cuya distribución de
|
||||
contribuciones KL por dimensión es continua y no binaria.
|
||||
\end{responsebox}
|
||||
|
||||
\subsection*{Pregunta 26}
|
||||
Proponga un experimento posterior que fortalezca la recomendación. Indique la
|
||||
variable que cambiaría, las cantidades que mediría y qué resultado apoyaría o
|
||||
contradiría su decisión.
|
||||
\begin{responsebox}
|
||||
Se propone repetir el experimento variando el número de épocas de entrenamiento
|
||||
(por ejemplo, 8, 20 y 40) para los candidatos $d_z=16$ y $d_z=64$, midiendo la
|
||||
pérdida de reconstrucción, el ELBO negativo y la fracción de dimensiones
|
||||
activas en cada punto. Si con más épocas $d_z=64$ activa progresivamente más
|
||||
dimensiones y su reconstrucción mejora sustancialmente más que la de $d_z=16$
|
||||
(por ejemplo, una brecha mayor al 15\% en lugar del 6\% actual), esto
|
||||
contradiría la recomendación de $d_z=16$ y sugeriría que el modelo grande
|
||||
simplemente necesitaba más tiempo de entrenamiento. Si, en cambio, la brecha
|
||||
entre ambos se mantiene igual de pequeña o se reduce aún más, esto reforzaría
|
||||
la conclusión de que $d_z=16$ captura casi toda la capacidad útil para este
|
||||
problema.
|
||||
\end{responsebox}
|
||||
|
||||
\section{Conclusión}
|
||||
|
||||
Escriba una conclusión de 150--250 palabras. Indique el modelo seleccionado,
|
||||
resuma la evidencia decisiva y describa el principal compromiso observado.
|
||||
\begin{responsebox}
|
||||
Se recomienda $d_z=16$ como la dimensión latente para el sistema de exploración
|
||||
de dígitos manuscritos planteado en el escenario. Con solo 220{,}385
|
||||
parámetros —menos de un tercio de los 672{,}065 del modelo más grande
|
||||
evaluado— este modelo alcanza una pérdida de reconstrucción de prueba de
|
||||
80.824 y un ELBO negativo de 105.604, a menos del 7\% y 1\% respectivamente de
|
||||
los valores obtenidos por $d_z=64$ (75.972 y 104.825). A diferencia de
|
||||
$d_z=64$, que solo activa 42 de sus 64 dimensiones (65.6\%), $d_z=16$ utiliza el
|
||||
100\% de su capacidad latente, sin desperdicio. Cualitativamente, sus
|
||||
reconstrucciones, muestras generadas a partir del prior $\mathcal N(0,I)$ e
|
||||
interpolaciones entre dígitos son prácticamente indistinguibles de las del
|
||||
modelo de 64 dimensiones, y muy superiores a las de $d_z=2$, cuyas imágenes
|
||||
resultan notablemente borrosas y con identidad ambigua. El principal compromiso
|
||||
observado es que una capacidad mayor ($d_z=64$) sí reduce ligeramente el error
|
||||
de reconstrucción, pero ese beneficio marginal no compensa el triple de
|
||||
parámetros y el uso ineficiente del espacio latente. Una debilidad de $d_z=16$
|
||||
es que su proyección bidimensional (PCA) del espacio latente no muestra clases
|
||||
bien separadas, a diferencia de $d_z=2$, que sería preferible si el objetivo
|
||||
fuera la exploración visual directa del espacio latente en lugar de la calidad
|
||||
de reconstrucción y generación.
|
||||
\end{responsebox}
|
||||
|
||||
\section*{Lista de verificación}
|
||||
\begin{itemize}[label=$\boxtimes$,leftmargin=*]
|
||||
\item Se respondieron las 26 preguntas.
|
||||
\item La recomendación final selecciona una dimensión latente.
|
||||
\item Las afirmaciones cuantitativas incluyen valores medidos.
|
||||
\item Las afirmaciones cualitativas hacen referencia a figuras o ejemplos.
|
||||
\item Se diferencia la gráfica directa de las proyecciones mediante PCA.
|
||||
\item Se analiza una limitación y un escenario alternativo.
|
||||
\item El informe completo compila sin errores.
|
||||
\end{itemize}
|
||||
|
||||
\end{document}
|
||||
Reference in New Issue
Block a user