Adding Lab3

This commit is contained in:
2026-09-12 11:16:41 -06:00
parent 1feef1d487
commit 9994350be7
23 changed files with 2360 additions and 0 deletions
Binary file not shown.
+614
View File
@@ -0,0 +1,614 @@
\documentclass[11pt,letterpaper]{article}
\usepackage[margin=0.85in]{geometry}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage{lmodern}
\usepackage{microtype}
\usepackage{amsmath,amssymb,bm}
\usepackage{booktabs,tabularx,array}
\usepackage{graphicx}
\usepackage{xcolor}
\usepackage[most]{tcolorbox}
\usepackage{enumitem}
\usepackage{fancyhdr}
\usepackage{hyperref}
\usepackage{float}
\definecolor{navy}{HTML}{17324D}
\definecolor{teal}{HTML}{147D7E}
\definecolor{gold}{HTML}{D49A2A}
\definecolor{lightgold}{HTML}{FFF7E6}
\hypersetup{
colorlinks=true,
linkcolor=navy,
urlcolor=teal,
pdftitle={Informe del experimento de dimensión latente de un VAE}
}
\pagestyle{fancy}
\fancyhf{}
\lhead{Experimento de dimensión latente de un VAE}
\rhead{Procesamiento de Imágenes y Visión por Computadora}
\cfoot{\thepage}
\setlength{\headheight}{14pt}
\graphicspath{{outputs/latent_dimension_experiment/}}
\newcommand{\studentname}{Alejandro Lembke Barrientos}
\newcommand{\studentid}{12002840}
\newcommand{\coursesection}{A}
\newcommand{\submissiondate}{12 de septiembre de 2026}
\newtcolorbox{responsebox}[1][]{
colback=white,
colframe=teal!70!black,
boxrule=0.8pt,
arc=2pt,
title=Respuesta,
fonttitle=\bfseries,
breakable,
#1
}
\newtcolorbox{evidencebox}[1][]{
colback=lightgold,
colframe=gold!80!black,
boxrule=0.8pt,
arc=2pt,
title=Evidencia que debe incluir,
fonttitle=\bfseries,
breakable,
#1
}
\newcommand{\experimentfigure}[3]{%
\begin{figure}[H]
\centering
\IfFileExists{outputs/latent_dimension_experiment/#1}{%
\includegraphics[width=#2\textwidth]{#1}%
}{%
\fbox{\parbox[c][5.0cm][c]{0.88\textwidth}{\centering
Ejecute el notebook para generar \texttt{\detokenize{#1}}.}}%
}
\caption{#3}
\end{figure}
}
\title{\textbf{Informe de laboratorio: selección de la dimensión latente de un autoencoder variacional}}
\author{}
\date{}
\begin{document}
\maketitle
\begin{center}
\renewcommand{\arraystretch}{1.35}
\begin{tabularx}{0.92\textwidth}{@{}>{\bfseries}lX>{\bfseries}lX@{}}
Nombre: & \studentname & Carné: & \studentid \\
Sección: & \coursesection & Fecha de entrega: & \submissiondate \\
\end{tabularx}
\end{center}
\section{Objetivo del laboratorio}
Se desea seleccionar un autoencoder variacional capaz de reconstruir dígitos
reconocibles, generar muestras plausibles a partir de la distribución normal
estándar, producir interpolaciones graduales y mantener una representación
compacta. Se comparan las dimensiones latentes
\[
d_z\in\{2,8,16,64\}.
\]
La recomendación final debe apoyarse en evidencia cuantitativa y cualitativa.
Ninguna métrica individual es suficiente para decidir.
\section{Hipótesis iniciales}
Complete esta sección antes de examinar los resultados.
\subsection*{Pregunta 1}
¿Qué dimensión latente espera que produzca la menor pérdida de reconstrucción?
Explique la relación esperada entre capacidad latente y reconstrucción.
\begin{responsebox}
Se espera que la dimensión latente más grande, $d_z=64$, produzca la menor
pérdida de reconstrucción, ya que un espacio latente de mayor dimensión puede
codificar más información sobre cada imagen antes de la etapa de decodificación,
reduciendo el error al reconstruir los trazos finos. En general, una mayor
capacidad latente disponible para el codificador tiende a traducirse en un
límite inferior (ELBO) más ajustado sobre la verdadera log-verosimilitud,
siempre que el decodificador pueda aprovechar esa información adicional.
\end{responsebox}
\subsection*{Pregunta 2}
¿Qué dimensión espera que produzca las muestras más plausibles para
$\mathbf z\sim\mathcal N(0,I)$? Explique por qué la calidad de muestreo puede no
seguir el mismo comportamiento que la reconstrucción.
\begin{responsebox}
Es probable que un valor intermedio, como $d_z=8$ o $d_z=16$, produzca las
muestras más plausibles a partir del prior, en lugar del modelo con mayor
capacidad. La reconstrucción solo mide qué tan bien el decodificador reconstruye
una imagen a partir de su propio posterior, mientras que el muestreo desde el
prior exige que todo el volumen de $\mathcal N(0,I)$ —no solo la región ocupada
por los datos codificados— se decodifique en dígitos plausibles. Un espacio muy
grande puede sobreajustar la reconstrucción dejando regiones del prior
pobremente cubiertas por el posterior agregado, lo que perjudica el muestreo
incondicional.
\end{responsebox}
\subsection*{Pregunta 3}
Prediga si todas las dimensiones disponibles estarán activas en el modelo con
$d_z=64$. ¿Qué significa que una dimensión se encuentre inactiva?
\begin{responsebox}
No se espera que las 64 dimensiones estén activas. Cuando la capacidad latente
ofrecida excede la complejidad intrínseca de los datos, el término de
regularización KL empuja a varias dimensiones hacia el prior $\mathcal N(0,1)$,
haciendo que su media se aproxime a 0 y su varianza a 1 para todas las
entradas. Una dimensión inactiva no aporta información específica de la imagen:
su divergencia KL promedio es prácticamente nula y el decodificador puede
ignorarla sin perder capacidad de reconstrucción.
\end{responsebox}
\subsection*{Pregunta 4}
Escriba una recomendación inicial. Indique qué evidencia podría hacerle cambiar
esa recomendación.
\begin{responsebox}
La recomendación inicial es $d_z=16$, por ofrecer un buen equilibrio entre
pérdida de reconstrucción y tamaño del modelo. Esta recomendación podría cambiar
si los resultados mostraran que $d_z=64$ activa la mayoría de sus dimensiones y
mejora sustancialmente —no solo marginalmente— la reconstrucción, las muestras
del prior y las interpolaciones, lo que justificaría su mayor costo; o si
$d_z=8$ lograra una calidad visual prácticamente indistinguible de $d_z=16$ con
menos parámetros.
\end{responsebox}
\section{Integridad experimental}
\subsection*{Pregunta 5}
Registre la configuración y explique por qué deben mantenerse constantes todos
los parámetros distintos de la dimensión latente.
\begin{center}
\renewcommand{\arraystretch}{1.3}
\begin{tabular}{@{}ll@{}}
\toprule
Configuración & Valor \\
\midrule
Conjunto de datos & MNIST \\
Dimensiones latentes & $2,8,16,64$ \\
$\beta$ & 1.0 \\
Épocas & 8 \\
Tamaño de lote & 256 \\
Tasa de aprendizaje & $1\times10^{-3}$ \\
Semilla aleatoria & 42 \\
Umbral de actividad & 0.01 \\
Dispositivo utilizado & CPU \\
\bottomrule
\end{tabular}
\end{center}
\begin{responsebox}
Todos los hiperparámetros distintos de $d_z$ —arquitectura convolucional,
optimizador Adam, tasa de aprendizaje, tamaño de lote, número de épocas, semilla
aleatoria y orden de los datos— se mantuvieron fijos entre los cuatro
experimentos. Esto es indispensable para que cualquier diferencia observada en
las métricas sea atribuible exclusivamente a la dimensión latente y no a
variaciones incidentales del entrenamiento; de lo contrario no sería posible
aislar el efecto de $d_z$ de otras fuentes de variación (por ejemplo, una tasa
de aprendizaje distinta podría producir una convergencia más rápida o lenta
independientemente de la capacidad latente).
\end{responsebox}
\section{Resultados cuantitativos}
\IfFileExists{outputs/latent_dimension_experiment/summary_table.tex}{%
\begin{table}[H]
\centering
\resizebox{\textwidth}{!}{\input{outputs/latent_dimension_experiment/summary_table.tex}}
\caption{Comparación final de las dimensiones latentes candidatas.}
\end{table}
}{%
\begin{center}
\fbox{\parbox[c][3.2cm][c]{0.88\textwidth}{\centering
Ejecute el notebook para generar \texttt{summary\_table.tex}.}}
\end{center}
}
\subsection*{Pregunta 6}
Ordene los cuatro modelos según su pérdida de reconstrucción en prueba. ¿Las
mejoras entre dimensiones consecutivas son sustanciales o marginales? Incluya
los valores medidos.
\begin{responsebox}
Ordenados de mayor a menor pérdida de reconstrucción en prueba: $d_z=2$
(153.815), $d_z=8$ (99.427), $d_z=16$ (80.824) y $d_z=64$ (75.972). La mejora de
$d_z=2$ a $d_z=8$ es sustancial ($-54.39$, una reducción del 35.4\%), y de
$d_z=8$ a $d_z=16$ sigue siendo considerable ($-18.60$, $-18.7\%$). Sin embargo,
de $d_z=16$ a $d_z=64$ la mejora es marginal ($-4.85$, apenas $-6.0\%$), a pesar
de que el número de parámetros casi se triplica (220{,}385 a 672{,}065). Esto
indica un claro rendimiento decreciente más allá de $d_z=16$.
\end{responsebox}
\subsection*{Pregunta 7}
¿Cómo cambian la divergencia KL total, el número de dimensiones activas y la
fracción activa al aumentar $d_z$? Explique qué revela cada medida sobre la
capacidad latente efectiva.
\begin{responsebox}
La divergencia KL total en prueba crece de forma monótona con $d_z$: 5.609
($d_z=2$), 16.080 ($d_z=8$), 24.780 ($d_z=16$) y 28.853 ($d_z=64$); esto refleja
que, a medida que hay más dimensiones disponibles, el codificador las usa para
alejar el posterior del prior y codificar más información específica de cada
imagen. El número de dimensiones activas también crece (2, 8, 16, pero solo 42
de 64), y la fracción activa se mantiene en 100\% hasta $d_z=16$ y cae a 65.6\%
en $d_z=64$. Esto revela que la capacidad latente \emph{efectiva} del modelo con
$d_z=64$ es de aproximadamente 42 dimensiones, no 64: el resto del espacio
ofrecido simplemente no es utilizado, evidenciando que la capacidad nominal
($d_z$) y la capacidad efectiva (dimensiones activas) pueden divergir
considerablemente cuando el espacio ofrecido excede lo que los datos requieren.
\end{responsebox}
\subsection*{Pregunta 8}
Compare el número de parámetros y el tiempo de entrenamiento. ¿Aumentar $d_z$
modifica sustancialmente el tamaño total y el costo computacional del modelo?
\begin{responsebox}
El número de parámetros crece de forma no lineal con $d_z$: 88{,}645
($d_z=2$), 145{,}105 ($d_z=8$), 220{,}385 ($d_z=16$) y 672{,}065 ($d_z=64$) —el
modelo de 64 dimensiones tiene más de 7 veces los parámetros del modelo de 2
dimensiones y más del triple que el de 16. Sin embargo, el tiempo de
entrenamiento por modelo permanece prácticamente constante (entre 257 y 270
segundos para las 8 épocas), ya que el costo computacional está dominado por las
capas convolucionales del codificador/decodificador, idénticas en los cuatro
experimentos; las capas totalmente conectadas que dependen de $d_z$ son
comparativamente pequeñas. Es decir, aumentar $d_z$ incrementa notablemente el
tamaño (memoria) del modelo, pero no el costo de entrenamiento por época en esta
arquitectura.
\end{responsebox}
\section{Comportamiento durante el entrenamiento}
\experimentfigure{training_curves.png}{0.98}{Comportamiento de entrenamiento y prueba para cada dimensión latente.}
\subsection*{Pregunta 9}
¿Todos los modelos alcanzaron una región razonablemente estable en la última
época? Identifique cualquier comparación afectada por convergencia incompleta.
\begin{responsebox}
Las cuatro curvas de ELBO negativo en prueba muestran una fuerte caída en las
primeras 2--3 épocas seguida de un aplanamiento progresivo, por lo que todos los
modelos alcanzan una región razonablemente estable hacia la época 8, aunque
ninguno luce perfectamente plano: la pendiente residual es pequeña pero no nula
en todos los casos. El modelo con $d_z=64$ es el que muestra el comportamiento
más ruidoso (por ejemplo, un pequeño repunte del término de reconstrucción
entre las épocas 4 y 5), consistente con tener más parámetros y, por tanto,
mayor varianza en las actualizaciones de gradiente. Dado que ningún modelo
colapsó ni siguió mejorando de forma pronunciada, la comparación entre $d_z=16$
y $d_z=64$ —la más cercana en magnitud— parece razonablemente justa, aunque no
puede descartarse que entrenar por más épocas reduzca aún más esa brecha.
\end{responsebox}
\subsection*{Pregunta 10}
Describa la relación entre la pérdida de reconstrucción, la divergencia KL y el
ELBO negativo. ¿Qué término explica las principales diferencias entre modelos?
\begin{responsebox}
El ELBO negativo es la suma de la reconstrucción y la KL (con $\beta=1$, sin
ponderación adicional). Al comparar los cuatro modelos, la reconstrucción es el
término que domina las diferencias observadas: mientras la reconstrucción cae
de 153.8 a 76.0 (una diferencia de 77.8) entre $d_z=2$ y $d_z=64$, la KL sube de
5.6 a 28.9 (una diferencia de $+23.2$ en sentido contrario). Es decir, parte de
la ganancia en reconstrucción al aumentar $d_z$ se ve parcialmente compensada
por un mayor costo de KL, pero la reconstrucción es, con claridad, el término
que más varía y el que explica la mejora neta del ELBO negativo a medida que
crece $d_z$.
\end{responsebox}
\section{Análisis de reconstrucción}
\experimentfigure{reconstructions.png}{0.98}{Reconstrucciones de las mismas imágenes de prueba mediante las medias posteriores.}
\subsection*{Pregunta 11}
Identifique al menos dos imágenes en las que aumentar $d_z$ produzca una mejora
visual significativa. Describa cambios en trazos, forma, ambigüedad o detalles.
\begin{responsebox}
Dos ejemplos claros: (1) el dígito "2" (tercera columna): en $d_z=2$ la
reconstrucción es un trazo borroso que apenas insinúa la forma del dígito,
mientras que desde $d_z=8$ en adelante el "2" se reconstruye con un trazo
definido y sin ambigüedad. (2) El dígito estilizado en cursiva parecido a un
"6" (novena columna del conjunto de prueba): en $d_z=2$ se reconstruye como una
mancha difusa que podría confundirse con un "8" o un "3", y solo a partir de
$d_z=16$ se recupera la curvatura característica y la identidad correcta del
trazo. En ambos casos, aumentar $d_z$ añade principalmente definición de bordes
y resolución de ambigüedad de identidad, más que cambios de forma global.
\end{responsebox}
\subsection*{Pregunta 12}
¿A partir de qué dimensión las dimensiones adicionales muestran rendimientos
decrecientes? Utilice evidencia visual y la pérdida de reconstrucción.
\begin{responsebox}
A partir de $d_z=16$ las dimensiones adicionales muestran rendimientos
decrecientes: visualmente, las reconstrucciones de $d_z=16$ y $d_z=64$ son
prácticamente indistinguibles entre sí para las 12 imágenes de prueba, y la
pérdida de reconstrucción solo mejora de 80.824 a 75.972 (apenas 6.0\%) pese a
que el número de parámetros casi se triplica. En contraste, el salto de
$d_z=8$ a $d_z=16$ sí es perceptible tanto en las cifras ($-18.7\%$) como
visualmente en los trazos más finos.
\end{responsebox}
\section{Análisis de muestras del prior}
\experimentfigure{prior_samples.png}{0.98}{Muestras generadas a partir de $\mathbf z\sim\mathcal N(0,I)$.}
\subsection*{Pregunta 13}
Compare el realismo y la diversidad de las muestras. ¿Qué modelo produce la
mayor proporción de dígitos reconocibles? ¿Cuál muestra mayor variedad visible?
\begin{responsebox}
Las muestras de $d_z=2$ son claramente las de menor calidad: la mayoría son
manchas borrosas que se asemejan vagamente a formas ovaladas o de "8"/"0", con
poca variedad de clases reconocibles y bordes muy difusos. A partir de $d_z=8$
aparece una variedad mucho mayor de dígitos reconocibles (se distinguen 0, 2,
3, 4, 6, 7, 8 y 9 con relativa claridad), y esta diversidad y nitidez se
mantiene de forma similar en $d_z=16$ y $d_z=64$, sin una mejora clara adicional
al pasar de 16 a 64. En términos de proporción de dígitos reconocibles,
$d_z=16$ y $d_z=64$ producen los resultados más consistentes; ninguno de los
dos domina claramente al otro en diversidad visible.
\end{responsebox}
\subsection*{Pregunta 14}
¿El modelo con la mejor reconstrucción también produce las mejores muestras del
prior? Explique por qué ambos resultados pueden diferir en un VAE.
\begin{evidencebox}
Considere el término de reconstrucción y la necesidad de que los posteriores
codificados sean compatibles con el prior utilizado para generar.
\end{evidencebox}
\begin{responsebox}
No necesariamente: aunque $d_z=64$ obtiene la menor pérdida de reconstrucción,
sus muestras del prior no son visiblemente mejores que las de $d_z=16$, e
incluso el hecho de que solo 42 de sus 64 dimensiones estén activas sugiere que
gran parte de su espacio latente nominal no está bien calibrado frente al prior
$\mathcal N(0,I)$. La reconstrucción solo evalúa la calidad de decodificar $z$
obtenidos de imágenes reales (donde el posterior puede alejarse del prior sin
más penalización que el término KL), mientras que muestrear del prior exige
decodificar puntos $z$ provenientes de toda la distribución $\mathcal N(0,I)$,
incluyendo regiones que el posterior agregado del modelo pudo no haber cubierto
bien durante el entrenamiento. Un modelo puede reconstruir bien sin que su
posterior agregado iguale exactamente al prior, y ese descalce es justamente lo
que degrada el muestreo incondicional.
\end{responsebox}
\section{Análisis de interpolación}
\experimentfigure{interpolations.png}{0.98}{Interpolación lineal entre las medias posteriores del par seleccionado.}
\subsection*{Pregunta 15}
¿Qué modelo produce la transición más gradual y plausible? Describa dónde cambia
la identidad y si los trazos intermedios permanecen coherentes.
\begin{responsebox}
Los modelos con $d_z=8$, 16 y 64 producen transiciones visualmente similares y
razonablemente graduales entre el dígito 3 y el dígito 8: el lazo inferior del
"3" se va cerrando progresivamente alrededor de $t=0.5$–$0.6$ hasta formar el
"8" completo en $t=1.0$, y los trazos intermedios permanecen coherentes, sin
artefactos abruptos. El modelo con $d_z=2$, en cambio, produce una
interpolación borrosa en todo el trayecto —incluidos los extremos $t=0$ y
$t=1$—, por lo que aunque el cambio es gradual en términos de píxeles, la
calidad visual insuficiente dificulta juzgar la coherencia de los trazos.
\end{responsebox}
\subsection*{Pregunta 16}
¿Una interpolación suave demuestra que cada dimensión latente tiene un significado
interpretable? Explique la limitación de esa conclusión.
\begin{responsebox}
No. Que la interpolación lineal sea suave solo demuestra que el decodificador es
una función continua del vector $z$ combinado, no que cada dimensión individual
del espacio latente corresponda a un factor de variación interpretable (como el
ángulo de inclinación o el grosor del trazo) de forma aislada. Las dimensiones
podrían estar fuertemente correlacionadas o codificar combinaciones no
interpretables de atributos, y aun así producir trayectorias suaves cuando se
interpola sobre todas ellas a la vez.
\end{responsebox}
\section{Organización del espacio latente}
\experimentfigure{latent_space.png}{0.86}{Medias posteriores: representación directa para $d_z=2$ y PCA para espacios mayores.}
\subsection*{Pregunta 17}
¿Qué clases forman regiones distinguibles? Identifique clases que se superponen
y explique si su similitud visual puede justificarlo.
\begin{responsebox}
En la proyección directa de $d_z=2$, los dígitos "1" (naranja), "0" (azul) y
"7" (gris) forman regiones bastante distinguibles, mientras que "2", "3", "4",
"5", "6", "8" y "9" se agrupan en una nube densa y superpuesta en el centro.
Esta separación es visualmente razonable: "1" y "0" tienen trazos muy distintos
de los demás dígitos (una línea vertical frente a un óvalo cerrado), mientras
que dígitos como "3", "5", "8" y "9" comparten curvas similares y por tanto es
esperable que se confundan en un espacio de solo dos dimensiones.
\end{responsebox}
\subsection*{Pregunta 18}
¿Por qué la gráfica directa de $d_z=2$ debe interpretarse de manera diferente a
las proyecciones bidimensionales obtenidas mediante PCA?
\begin{responsebox}
La gráfica de $d_z=2$ muestra las coordenadas reales que usa el decodificador
para generar cada imagen; toda la información que el modelo emplea está
contenida en esos dos ejes. En cambio, para $d_z=8$, 16 y 64 la gráfica muestra
solo los dos componentes principales que capturan la mayor varianza,
descartando el resto de la información codificada en las demás dimensiones. Por
eso, que las clases se vean más mezcladas en las proyecciones PCA de espacios
más grandes no implica que esas clases sean menos separables en el espacio
latente completo: solo indica que dos componentes no bastan para visualizar esa
separación.
\end{responsebox}
\section{Análisis de dimensiones activas}
\experimentfigure{active_dimensions.png}{0.88}{Contribución KL promedio de cada dimensión; la línea discontinua indica el umbral de actividad.}
\subsection*{Pregunta 19}
¿Cada modelo utiliza todas las dimensiones disponibles? Compare el número y la
proporción de dimensiones activas.
\begin{responsebox}
No. Los modelos con $d_z=2$, 8 y 16 utilizan el 100\% de sus dimensiones (2/2,
8/8 y 16/16 respectivamente), pero el modelo con $d_z=64$ solo utiliza 42 de 64
dimensiones (65.6\%), dejando 22 dimensiones prácticamente colapsadas al prior
(KL promedio cercano a cero).
\end{responsebox}
\subsection*{Pregunta 20}
Si el modelo de 64 dimensiones deja muchas dimensiones inactivas, ¿qué implica
para su capacidad nominal y efectiva? ¿Debe considerarse automáticamente un
fracaso de entrenamiento?
\begin{responsebox}
Implica que la capacidad efectiva de este modelo (unas 42 dimensiones activas)
es considerablemente menor que su capacidad nominal (64), lo que confirma que
ofrecer más dimensiones de las necesarias no garantiza que todas se utilicen.
Esto no debe considerarse automáticamente un fracaso de entrenamiento: es un
comportamiento esperado y bien documentado en VAEs, donde el término KL
regulariza el posterior hacia el prior y "apaga" las dimensiones que no aportan
una reducción suficiente en el error de reconstrucción. De hecho, refleja que el
modelo evita usar capacidad innecesaria, aunque a costa de un mayor número de
parámetros sin beneficio proporcional.
\end{responsebox}
\section{Recomendación final}
\subsection*{Pregunta 21: dimensión seleccionada}
\begin{center}
\Large Recomiendo $d_z=\boxed{16}$ para el escenario planteado.
\end{center}
\subsection*{Pregunta 22: justificación basada en evidencia}
Defienda su decisión utilizando:
\begin{itemize}[leftmargin=*]
\item al menos tres valores cuantitativos;
\item evidencia de reconstrucción;
\item realismo y diversidad de las muestras del prior;
\item comportamiento de las interpolaciones;
\item dimensiones latentes activas; y
\item compacidad o costo computacional.
\end{itemize}
\begin{responsebox}
Se recomienda $d_z=16$ porque logra casi el mismo desempeño que el modelo más
grande evaluado, con una fracción notablemente menor de recursos: (1) su
pérdida de reconstrucción en prueba (80.824) está a solo 4.85 unidades (6.0\%)
de la de $d_z=64$ (75.972), y su ELBO negativo (105.604) está a apenas 0.78
unidades (0.7\%) del de $d_z=64$ (104.825); (2) utiliza el 100\% de sus 16
dimensiones (16/16 activas), a diferencia de $d_z=64$, que solo activa 42 de 64
(65.6\%) —es decir, $d_z=16$ no desperdicia capacidad latente; (3) tiene
220{,}385 parámetros, menos de un tercio de los 672{,}065 de $d_z=64$, con un
tiempo de entrenamiento comparable (\textasciitilde257\,s). Cualitativamente,
sus reconstrucciones son indistinguibles de las de $d_z=64$ para las 12
imágenes de prueba observadas, sus muestras del prior muestran diversidad y
nitidez similares (buena proporción de dígitos reconocibles y variedad de
clases), y su interpolación entre el dígito 3 y el 8 es igual de gradual y
coherente que la de $d_z=64$. En conjunto, $d_z=16$ ofrece prácticamente toda la
calidad alcanzable en este experimento con un modelo compacto y sin dimensiones
latentes desperdiciadas.
\end{responsebox}
\subsection*{Pregunta 23: debilidad del modelo seleccionado}
Identifique la principal debilidad del modelo recomendado. Explique por qué la
recomendación sigue siendo razonable.
\begin{responsebox}
La principal debilidad de $d_z=16$ es que su proyección PCA del espacio latente
no muestra una separación clara entre la mayoría de las clases de dígitos (solo
el "1" se distingue con nitidez), lo que sugiere que, incluso con una
reconstrucción y muestreo satisfactorios, la organización interna del espacio
latente para fines de exploración semántica directa no es tan interpretable
como la de $d_z=2$. Además, su pérdida de reconstrucción, aunque cercana a la
del mejor modelo, sigue siendo peor en términos absolutos que la de $d_z=64$,
por lo que en aplicaciones donde cada fracción de error importa (por ejemplo,
compresión con pérdida mínima) $d_z=16$ seguiría siendo subóptimo. La
recomendación se mantiene razonable porque ninguna de estas limitaciones afecta
al escenario planteado, centrado en reconstrucción, generación e interpolación
con un modelo compacto.
\end{responsebox}
\subsection*{Pregunta 24: escenario alternativo}
Describa un uso realista en el que otra dimensión sería preferible. Seleccione
la dimensión alternativa y justifique su elección.
\begin{responsebox}
Si el objetivo del sistema fuera visualizar y explorar directamente la
organización del espacio latente de los dígitos —por ejemplo, en una
herramienta educativa interactiva donde un usuario mueve un cursor 2D para
generar dígitos— sería preferible $d_z=2$: aunque su reconstrucción es
notablemente peor (153.815 frente a 80.824), es el único modelo cuyo espacio
latente completo puede graficarse y recorrerse directamente sin recurrir a una
proyección PCA que oculta información, y ya muestra una separación parcial pero
real entre varias clases (1, 0 y 7) útil para ese propósito exploratorio,
además de ser el modelo más compacto (88{,}645 parámetros).
\end{responsebox}
\section{Limitaciones y experimentos posteriores}
\subsection*{Pregunta 25}
Identifique al menos tres limitaciones del experimento. Considere duración del
entrenamiento, variación aleatoria, subjetividad visual, complejidad de MNIST,
arquitectura y umbral de actividad.
\begin{responsebox}
(1) Cada modelo se entrenó una sola vez con una única semilla aleatoria (42) y
solo 8 épocas; no se midió la variabilidad entre corridas repetidas, por lo que
pequeñas diferencias entre modelos cercanos (por ejemplo, $d_z=16$ frente a
$d_z=64$) podrían no ser estadísticamente robustas. (2) La evaluación de
reconstrucciones, muestras del prior e interpolaciones se basa en inspección
visual subjetiva de un conjunto reducido de ejemplos (12 imágenes de prueba, 16
muestras del prior, un solo par de dígitos para interpolar), lo que limita la
generalización de las conclusiones cualitativas. (3) MNIST es un conjunto de
datos relativamente simple (dígitos centrados, en escala de grises, baja
resolución), por lo que los resultados sobre la dimensión latente óptima
podrían no trasladarse directamente a datos más complejos. (4) El umbral de
actividad KL (0.01) es arbitrario; un umbral distinto cambiaría el conteo de
dimensiones activas reportado, especialmente para $d_z=64$, cuya distribución de
contribuciones KL por dimensión es continua y no binaria.
\end{responsebox}
\subsection*{Pregunta 26}
Proponga un experimento posterior que fortalezca la recomendación. Indique la
variable que cambiaría, las cantidades que mediría y qué resultado apoyaría o
contradiría su decisión.
\begin{responsebox}
Se propone repetir el experimento variando el número de épocas de entrenamiento
(por ejemplo, 8, 20 y 40) para los candidatos $d_z=16$ y $d_z=64$, midiendo la
pérdida de reconstrucción, el ELBO negativo y la fracción de dimensiones
activas en cada punto. Si con más épocas $d_z=64$ activa progresivamente más
dimensiones y su reconstrucción mejora sustancialmente más que la de $d_z=16$
(por ejemplo, una brecha mayor al 15\% en lugar del 6\% actual), esto
contradiría la recomendación de $d_z=16$ y sugeriría que el modelo grande
simplemente necesitaba más tiempo de entrenamiento. Si, en cambio, la brecha
entre ambos se mantiene igual de pequeña o se reduce aún más, esto reforzaría
la conclusión de que $d_z=16$ captura casi toda la capacidad útil para este
problema.
\end{responsebox}
\section{Conclusión}
Escriba una conclusión de 150--250 palabras. Indique el modelo seleccionado,
resuma la evidencia decisiva y describa el principal compromiso observado.
\begin{responsebox}
Se recomienda $d_z=16$ como la dimensión latente para el sistema de exploración
de dígitos manuscritos planteado en el escenario. Con solo 220{,}385
parámetros —menos de un tercio de los 672{,}065 del modelo más grande
evaluado— este modelo alcanza una pérdida de reconstrucción de prueba de
80.824 y un ELBO negativo de 105.604, a menos del 7\% y 1\% respectivamente de
los valores obtenidos por $d_z=64$ (75.972 y 104.825). A diferencia de
$d_z=64$, que solo activa 42 de sus 64 dimensiones (65.6\%), $d_z=16$ utiliza el
100\% de su capacidad latente, sin desperdicio. Cualitativamente, sus
reconstrucciones, muestras generadas a partir del prior $\mathcal N(0,I)$ e
interpolaciones entre dígitos son prácticamente indistinguibles de las del
modelo de 64 dimensiones, y muy superiores a las de $d_z=2$, cuyas imágenes
resultan notablemente borrosas y con identidad ambigua. El principal compromiso
observado es que una capacidad mayor ($d_z=64$) sí reduce ligeramente el error
de reconstrucción, pero ese beneficio marginal no compensa el triple de
parámetros y el uso ineficiente del espacio latente. Una debilidad de $d_z=16$
es que su proyección bidimensional (PCA) del espacio latente no muestra clases
bien separadas, a diferencia de $d_z=2$, que sería preferible si el objetivo
fuera la exploración visual directa del espacio latente en lugar de la calidad
de reconstrucción y generación.
\end{responsebox}
\section*{Lista de verificación}
\begin{itemize}[label=$\boxtimes$,leftmargin=*]
\item Se respondieron las 26 preguntas.
\item La recomendación final selecciona una dimensión latente.
\item Las afirmaciones cuantitativas incluyen valores medidos.
\item Las afirmaciones cualitativas hacen referencia a figuras o ejemplos.
\item Se diferencia la gráfica directa de las proyecciones mediante PCA.
\item Se analiza una limitación y un escenario alternativo.
\item El informe completo compila sin errores.
\end{itemize}
\end{document}
Binary file not shown.
Binary file not shown.
+345
View File
@@ -0,0 +1,345 @@
\documentclass[11pt,letterpaper]{article}
\usepackage[margin=0.85in]{geometry}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage{lmodern}
\usepackage{microtype}
\usepackage{amsmath,amssymb,bm}
\usepackage{booktabs,tabularx,array}
\usepackage{graphicx}
\usepackage{xcolor}
\usepackage[most]{tcolorbox}
\usepackage{enumitem}
\usepackage{fancyhdr}
\usepackage{hyperref}
\usepackage{float}
\definecolor{navy}{HTML}{17324D}
\definecolor{teal}{HTML}{147D7E}
\definecolor{gold}{HTML}{D49A2A}
\definecolor{lightgold}{HTML}{FFF7E6}
\hypersetup{
colorlinks=true,
linkcolor=navy,
urlcolor=teal,
pdftitle={Informe del experimento de dimensión latente de un VAE}
}
\pagestyle{fancy}
\fancyhf{}
\lhead{Experimento de dimensión latente de un VAE}
\rhead{Procesamiento de Imágenes y Visión por Computadora}
\cfoot{\thepage}
\setlength{\headheight}{14pt}
\graphicspath{{outputs/latent_dimension_experiment/}}
\newcommand{\studentname}{Nombre del estudiante}
\newcommand{\studentid}{0000}
\newcommand{\coursesection}{Sección}
\newcommand{\submissiondate}{\today}
\newtcolorbox{responsebox}[1][]{
colback=white,
colframe=teal!70!black,
boxrule=0.8pt,
arc=2pt,
title=Respuesta,
fonttitle=\bfseries,
breakable,
#1
}
\newtcolorbox{evidencebox}[1][]{
colback=lightgold,
colframe=gold!80!black,
boxrule=0.8pt,
arc=2pt,
title=Evidencia que debe incluir,
fonttitle=\bfseries,
breakable,
#1
}
\newcommand{\answerarea}[1][2.1cm]{%
\begin{responsebox}
\textit{Escriba aquí su respuesta.}
\vspace{#1}
\end{responsebox}
}
\newcommand{\experimentfigure}[3]{%
\begin{figure}[H]
\centering
\IfFileExists{outputs/latent_dimension_experiment/#1}{%
\includegraphics[width=#2\textwidth]{#1}%
}{%
\fbox{\parbox[c][5.0cm][c]{0.88\textwidth}{\centering
Ejecute el notebook para generar \texttt{\detokenize{#1}}.}}%
}
\caption{#3}
\end{figure}
}
\title{\textbf{Informe de laboratorio: selección de la dimensión latente de un autoencoder variacional}}
\author{}
\date{}
\begin{document}
\maketitle
\begin{center}
\renewcommand{\arraystretch}{1.35}
\begin{tabularx}{0.92\textwidth}{@{}>{\bfseries}lX>{\bfseries}lX@{}}
Nombre: & \studentname & Carné: & \studentid \\
Sección: & \coursesection & Fecha de entrega: & \submissiondate \\
\end{tabularx}
\end{center}
\section{Objetivo del laboratorio}
Se desea seleccionar un autoencoder variacional capaz de reconstruir dígitos
reconocibles, generar muestras plausibles a partir de la distribución normal
estándar, producir interpolaciones graduales y mantener una representación
compacta. Se comparan las dimensiones latentes
\[
d_z\in\{2,8,16,64\}.
\]
La recomendación final debe apoyarse en evidencia cuantitativa y cualitativa.
Ninguna métrica individual es suficiente para decidir.
\section{Hipótesis iniciales}
Complete esta sección antes de examinar los resultados.
\subsection*{Pregunta 1}
¿Qué dimensión latente espera que produzca la menor pérdida de reconstrucción?
Explique la relación esperada entre capacidad latente y reconstrucción.
\answerarea[2.5cm]
\subsection*{Pregunta 2}
¿Qué dimensión espera que produzca las muestras más plausibles para
$\mathbf z\sim\mathcal N(0,I)$? Explique por qué la calidad de muestreo puede no
seguir el mismo comportamiento que la reconstrucción.
\answerarea[2.5cm]
\subsection*{Pregunta 3}
Prediga si todas las dimensiones disponibles estarán activas en el modelo con
$d_z=64$. ¿Qué significa que una dimensión se encuentre inactiva?
\answerarea[2.3cm]
\subsection*{Pregunta 4}
Escriba una recomendación inicial. Indique qué evidencia podría hacerle cambiar
esa recomendación.
\answerarea[2.5cm]
\section{Integridad experimental}
\subsection*{Pregunta 5}
Registre la configuración y explique por qué deben mantenerse constantes todos
los parámetros distintos de la dimensión latente.
\begin{center}
\renewcommand{\arraystretch}{1.3}
\begin{tabular}{@{}ll@{}}
\toprule
Configuración & Valor \\
\midrule
Conjunto de datos & MNIST \\
Dimensiones latentes & $2,8,16,64$ \\
$\beta$ & \rule{3cm}{0.4pt} \\
Épocas & \rule{3cm}{0.4pt} \\
Tamaño de lote & \rule{3cm}{0.4pt} \\
Tasa de aprendizaje & \rule{3cm}{0.4pt} \\
Semilla aleatoria & \rule{3cm}{0.4pt} \\
Umbral de actividad & \rule{3cm}{0.4pt} \\
Dispositivo utilizado & \rule{3cm}{0.4pt} \\
\bottomrule
\end{tabular}
\end{center}
\answerarea[2.3cm]
\section{Resultados cuantitativos}
\IfFileExists{outputs/latent_dimension_experiment/summary_table.tex}{%
\begin{table}[H]
\centering
\resizebox{\textwidth}{!}{\input{outputs/latent_dimension_experiment/summary_table.tex}}
\caption{Comparación final de las dimensiones latentes candidatas.}
\end{table}
}{%
\begin{center}
\fbox{\parbox[c][3.2cm][c]{0.88\textwidth}{\centering
Ejecute el notebook para generar \texttt{summary\_table.tex}.}}
\end{center}
}
\subsection*{Pregunta 6}
Ordene los cuatro modelos según su pérdida de reconstrucción en prueba. ¿Las
mejoras entre dimensiones consecutivas son sustanciales o marginales? Incluya
los valores medidos.
\answerarea[2.8cm]
\subsection*{Pregunta 7}
¿Cómo cambian la divergencia KL total, el número de dimensiones activas y la
fracción activa al aumentar $d_z$? Explique qué revela cada medida sobre la
capacidad latente efectiva.
\answerarea[3.0cm]
\subsection*{Pregunta 8}
Compare el número de parámetros y el tiempo de entrenamiento. ¿Aumentar $d_z$
modifica sustancialmente el tamaño total y el costo computacional del modelo?
\answerarea[2.8cm]
\section{Comportamiento durante el entrenamiento}
\experimentfigure{training_curves.png}{0.98}{Comportamiento de entrenamiento y prueba para cada dimensión latente.}
\subsection*{Pregunta 9}
¿Todos los modelos alcanzaron una región razonablemente estable en la última
época? Identifique cualquier comparación afectada por convergencia incompleta.
\answerarea[2.5cm]
\subsection*{Pregunta 10}
Describa la relación entre la pérdida de reconstrucción, la divergencia KL y el
ELBO negativo. ¿Qué término explica las principales diferencias entre modelos?
\answerarea[2.8cm]
\section{Análisis de reconstrucción}
\experimentfigure{reconstructions.png}{0.98}{Reconstrucciones de las mismas imágenes de prueba mediante las medias posteriores.}
\subsection*{Pregunta 11}
Identifique al menos dos imágenes en las que aumentar $d_z$ produzca una mejora
visual significativa. Describa cambios en trazos, forma, ambigüedad o detalles.
\answerarea[3.0cm]
\subsection*{Pregunta 12}
¿A partir de qué dimensión las dimensiones adicionales muestran rendimientos
decrecientes? Utilice evidencia visual y la pérdida de reconstrucción.
\answerarea[2.8cm]
\section{Análisis de muestras del prior}
\experimentfigure{prior_samples.png}{0.98}{Muestras generadas a partir de $\mathbf z\sim\mathcal N(0,I)$.}
\subsection*{Pregunta 13}
Compare el realismo y la diversidad de las muestras. ¿Qué modelo produce la
mayor proporción de dígitos reconocibles? ¿Cuál muestra mayor variedad visible?
\answerarea[3.0cm]
\subsection*{Pregunta 14}
¿El modelo con la mejor reconstrucción también produce las mejores muestras del
prior? Explique por qué ambos resultados pueden diferir en un VAE.
\begin{evidencebox}
Considere el término de reconstrucción y la necesidad de que los posteriores
codificados sean compatibles con el prior utilizado para generar.
\end{evidencebox}
\answerarea[3.0cm]
\section{Análisis de interpolación}
\experimentfigure{interpolations.png}{0.98}{Interpolación lineal entre las medias posteriores del par seleccionado.}
\subsection*{Pregunta 15}
¿Qué modelo produce la transición más gradual y plausible? Describa dónde cambia
la identidad y si los trazos intermedios permanecen coherentes.
\answerarea[3.0cm]
\subsection*{Pregunta 16}
¿Una interpolación suave demuestra que cada dimensión latente tiene un significado
interpretable? Explique la limitación de esa conclusión.
\answerarea[2.6cm]
\section{Organización del espacio latente}
\experimentfigure{latent_space.png}{0.86}{Medias posteriores: representación directa para $d_z=2$ y PCA para espacios mayores.}
\subsection*{Pregunta 17}
¿Qué clases forman regiones distinguibles? Identifique clases que se superponen
y explique si su similitud visual puede justificarlo.
\answerarea[3.0cm]
\subsection*{Pregunta 18}
¿Por qué la gráfica directa de $d_z=2$ debe interpretarse de manera diferente a
las proyecciones bidimensionales obtenidas mediante PCA?
\answerarea[2.8cm]
\section{Análisis de dimensiones activas}
\experimentfigure{active_dimensions.png}{0.88}{Contribución KL promedio de cada dimensión; la línea discontinua indica el umbral de actividad.}
\subsection*{Pregunta 19}
¿Cada modelo utiliza todas las dimensiones disponibles? Compare el número y la
proporción de dimensiones activas.
\answerarea[2.7cm]
\subsection*{Pregunta 20}
Si el modelo de 64 dimensiones deja muchas dimensiones inactivas, ¿qué implica
para su capacidad nominal y efectiva? ¿Debe considerarse automáticamente un
fracaso de entrenamiento?
\answerarea[3.2cm]
\section{Recomendación final}
\subsection*{Pregunta 21: dimensión seleccionada}
\begin{center}
\Large Recomiendo $d_z=\boxed{\phantom{000}}$ para el escenario planteado.
\end{center}
\subsection*{Pregunta 22: justificación basada en evidencia}
Defienda su decisión utilizando:
\begin{itemize}[leftmargin=*]
\item al menos tres valores cuantitativos;
\item evidencia de reconstrucción;
\item realismo y diversidad de las muestras del prior;
\item comportamiento de las interpolaciones;
\item dimensiones latentes activas; y
\item compacidad o costo computacional.
\end{itemize}
\answerarea[7.0cm]
\subsection*{Pregunta 23: debilidad del modelo seleccionado}
Identifique la principal debilidad del modelo recomendado. Explique por qué la
recomendación sigue siendo razonable.
\answerarea[3.2cm]
\subsection*{Pregunta 24: escenario alternativo}
Describa un uso realista en el que otra dimensión sería preferible. Seleccione
la dimensión alternativa y justifique su elección.
\answerarea[3.5cm]
\section{Limitaciones y experimentos posteriores}
\subsection*{Pregunta 25}
Identifique al menos tres limitaciones del experimento. Considere duración del
entrenamiento, variación aleatoria, subjetividad visual, complejidad de MNIST,
arquitectura y umbral de actividad.
\answerarea[4.0cm]
\subsection*{Pregunta 26}
Proponga un experimento posterior que fortalezca la recomendación. Indique la
variable que cambiaría, las cantidades que mediría y qué resultado apoyaría o
contradiría su decisión.
\answerarea[4.0cm]
\section{Conclusión}
Escriba una conclusión de 150--250 palabras. Indique el modelo seleccionado,
resuma la evidencia decisiva y describa el principal compromiso observado.
\answerarea[4.0cm]
\section*{Lista de verificación}
\begin{itemize}[label=$\square$,leftmargin=*]
\item Se respondieron las 26 preguntas.
\item La recomendación final selecciona una dimensión latente.
\item Las afirmaciones cuantitativas incluyen valores medidos.
\item Las afirmaciones cualitativas hacen referencia a figuras o ejemplos.
\item Se diferencia la gráfica directa de las proyecciones mediante PCA.
\item Se analiza una limitación y un escenario alternativo.
\item El informe completo compila sin errores.
\end{itemize}
\end{document}
+1335
View File
File diff suppressed because one or more lines are too long
Binary file not shown.

After

Width:  |  Height:  |  Size: 97 KiB

@@ -0,0 +1,15 @@
{
"seed": 42,
"latent_dimensions": [
2,
8,
16,
64
],
"beta": 1.0,
"epochs": 8,
"batch_size": 256,
"learning_rate": 0.001,
"active_kl_threshold": 0.01,
"device": "cpu"
}
@@ -0,0 +1,9 @@
epoch,train_loss,train_reconstruction,train_kl,test_loss,test_reconstruction,test_kl
1,194.58393379720053,175.48489509684245,19.09903873833815,130.93381232910156,108.26412487792969,22.669688568115234
2,124.60164559326172,101.15291471761067,23.44873085123698,118.81840416259766,95.25473420410157,23.563670153808594
3,116.78998135172526,92.74015213216146,24.049829255167644,113.08031853027343,88.582109375,24.498209783935547
4,112.71829342041016,88.43491739501953,24.28337615661621,110.41185048828125,86.33808363037109,24.073766467285157
5,110.3596667602539,86.0051683959961,24.35449857076009,108.8561907836914,83.92672475585937,24.929465832519533
6,108.77466271565756,84.42341725260417,24.35124549560547,107.3223890625,83.26506918945313,24.057319537353514
7,107.5822222290039,83.25968048095703,24.322541959635416,106.22459836425782,81.54324875488281,24.681349908447267
8,106.67053671875,82.37358662516276,24.29695024922689,105.60406574707031,80.82425764160156,24.77980806274414
1 epoch train_loss train_reconstruction train_kl test_loss test_reconstruction test_kl
2 1 194.58393379720053 175.48489509684245 19.09903873833815 130.93381232910156 108.26412487792969 22.669688568115234
3 2 124.60164559326172 101.15291471761067 23.44873085123698 118.81840416259766 95.25473420410157 23.563670153808594
4 3 116.78998135172526 92.74015213216146 24.049829255167644 113.08031853027343 88.582109375 24.498209783935547
5 4 112.71829342041016 88.43491739501953 24.28337615661621 110.41185048828125 86.33808363037109 24.073766467285157
6 5 110.3596667602539 86.0051683959961 24.35449857076009 108.8561907836914 83.92672475585937 24.929465832519533
7 6 108.77466271565756 84.42341725260417 24.35124549560547 107.3223890625 83.26506918945313 24.057319537353514
8 7 107.5822222290039 83.25968048095703 24.322541959635416 106.22459836425782 81.54324875488281 24.681349908447267
9 8 106.67053671875 82.37358662516276 24.29695024922689 105.60406574707031 80.82425764160156 24.77980806274414
@@ -0,0 +1,9 @@
epoch,train_loss,train_reconstruction,train_kl,test_loss,test_reconstruction,test_kl
1,214.50344514160156,206.6360744140625,7.867370829008023,180.69990083007812,175.01709204101562,5.682808818817139
2,176.8603714436849,171.43450122884116,5.425870570882162,173.6909063232422,168.53819150390626,5.152714322662353
3,172.14672754720053,166.94108987630207,5.205637788136801,170.06085971679687,164.89225100097656,5.168609001922608
4,168.69642669270834,163.50723880208332,5.189188002268473,167.1127751953125,161.8381774658203,5.274598063659668
5,165.9270773844401,160.73688623860676,5.190190850575765,164.90293757324218,159.94551962890625,4.957417066955567
6,163.64551680501302,158.44852639160158,5.196989870452881,162.63473374023437,157.47572224121095,5.159009851837158
7,161.6512779703776,156.37544615071616,5.2758320025126135,160.93336838378906,155.6678894042969,5.265479164123535
8,159.87877953287762,154.53332881673177,5.345450691477458,159.42389772949218,153.81529624023437,5.608600630950928
1 epoch train_loss train_reconstruction train_kl test_loss test_reconstruction test_kl
2 1 214.50344514160156 206.6360744140625 7.867370829008023 180.69990083007812 175.01709204101562 5.682808818817139
3 2 176.8603714436849 171.43450122884116 5.425870570882162 173.6909063232422 168.53819150390626 5.152714322662353
4 3 172.14672754720053 166.94108987630207 5.205637788136801 170.06085971679687 164.89225100097656 5.168609001922608
5 4 168.69642669270834 163.50723880208332 5.189188002268473 167.1127751953125 161.8381774658203 5.274598063659668
6 5 165.9270773844401 160.73688623860676 5.190190850575765 164.90293757324218 159.94551962890625 4.957417066955567
7 6 163.64551680501302 158.44852639160158 5.196989870452881 162.63473374023437 157.47572224121095 5.159009851837158
8 7 161.6512779703776 156.37544615071616 5.2758320025126135 160.93336838378906 155.6678894042969 5.265479164123535
9 8 159.87877953287762 154.53332881673177 5.345450691477458 159.42389772949218 153.81529624023437 5.608600630950928
@@ -0,0 +1,9 @@
epoch,train_loss,train_reconstruction,train_kl,test_loss,test_reconstruction,test_kl
1,179.3074365641276,155.7149076131185,23.59252906471888,131.67581762695312,101.02223177490234,30.653585943603517
2,122.59562550455729,91.83565464274089,30.759970919799805,115.52319572753906,84.367188671875,31.156007104492186
3,113.6100835571289,83.19448351236979,30.41560001627604,110.70017164306641,80.19446899414062,30.505702603149413
4,110.41267469075521,80.4962550415039,29.916419713338215,108.54279274902343,78.06112868652343,30.481663970947267
5,108.68612502034505,79.15287654622396,29.5332484954834,107.24194914550782,78.06970739746093,29.17224097290039
6,107.45811442057291,78.25812352294922,29.199991138712566,106.32864702148437,75.58045902099609,30.748187512207032
7,106.58018358968098,77.66063642985026,28.91954721984863,105.446982421875,77.35936909179688,28.087613525390626
8,105.86727047526041,77.17564948323567,28.69162111002604,104.82540803222656,75.97232977294922,28.853078353881838
1 epoch train_loss train_reconstruction train_kl test_loss test_reconstruction test_kl
2 1 179.3074365641276 155.7149076131185 23.59252906471888 131.67581762695312 101.02223177490234 30.653585943603517
3 2 122.59562550455729 91.83565464274089 30.759970919799805 115.52319572753906 84.367188671875 31.156007104492186
4 3 113.6100835571289 83.19448351236979 30.41560001627604 110.70017164306641 80.19446899414062 30.505702603149413
5 4 110.41267469075521 80.4962550415039 29.916419713338215 108.54279274902343 78.06112868652343 30.481663970947267
6 5 108.68612502034505 79.15287654622396 29.5332484954834 107.24194914550782 78.06970739746093 29.17224097290039
7 6 107.45811442057291 78.25812352294922 29.199991138712566 106.32864702148437 75.58045902099609 30.748187512207032
8 7 106.58018358968098 77.66063642985026 28.91954721984863 105.446982421875 77.35936909179688 28.087613525390626
9 8 105.86727047526041 77.17564948323567 28.69162111002604 104.82540803222656 75.97232977294922 28.853078353881838
@@ -0,0 +1,9 @@
epoch,train_loss,train_reconstruction,train_kl,test_loss,test_reconstruction,test_kl
1,194.38905454915366,179.37971506347657,15.009339568354687,142.19221296386718,126.5895224609375,15.602690301513672
2,135.9645408610026,120.53864139404297,15.425899491373698,129.71243697509766,113.97722583007813,15.735211050415039
3,128.11734686279297,112.35682171223958,15.760525179036458,125.09155083007812,108.70252813720703,16.389023248291014
4,124.2283656616211,108.36162486979167,15.866740420532226,121.64499807128907,105.43607805175782,16.208919818115234
5,121.65717885335286,105.76112994791667,15.896048705546061,119.75198037109375,103.7866158569336,15.965363806152343
6,119.75065758056641,103.79047712809245,15.960180529785156,117.79170933837891,101.54909013671875,16.242619421386717
7,118.16403889973958,102.14432193603515,16.019716856384278,116.644436328125,100.65633608398437,15.988100588989258
8,116.85729860026042,100.73877130940755,16.118527282714844,115.50761174316406,99.42716062011719,16.080450680541993
1 epoch train_loss train_reconstruction train_kl test_loss test_reconstruction test_kl
2 1 194.38905454915366 179.37971506347657 15.009339568354687 142.19221296386718 126.5895224609375 15.602690301513672
3 2 135.9645408610026 120.53864139404297 15.425899491373698 129.71243697509766 113.97722583007813 15.735211050415039
4 3 128.11734686279297 112.35682171223958 15.760525179036458 125.09155083007812 108.70252813720703 16.389023248291014
5 4 124.2283656616211 108.36162486979167 15.866740420532226 121.64499807128907 105.43607805175782 16.208919818115234
6 5 121.65717885335286 105.76112994791667 15.896048705546061 119.75198037109375 103.7866158569336 15.965363806152343
7 6 119.75065758056641 103.79047712809245 15.960180529785156 117.79170933837891 101.54909013671875 16.242619421386717
8 7 118.16403889973958 102.14432193603515 16.019716856384278 116.644436328125 100.65633608398437 15.988100588989258
9 8 116.85729860026042 100.73877130940755 16.118527282714844 115.50761174316406 99.42716062011719 16.080450680541993
Binary file not shown.

After

Width:  |  Height:  |  Size: 85 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 2.6 MiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 95 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 92 KiB

@@ -0,0 +1,5 @@
Latent dim,Parameters,Test negative ELBO,Test reconstruction,Test KL,Active dimensions,Active fraction,Training seconds
2,88645,159.42389772949218,153.81529624023437,5.608600630950928,2,1.0,259.9766161441803
8,145105,115.50761174316406,99.42716062011719,16.080450680541993,8,1.0,270.2368748188019
16,220385,105.60406574707031,80.82425764160156,24.77980806274414,16,1.0,256.8563587665558
64,672065,104.82540803222656,75.97232977294922,28.853078353881838,42,0.65625,266.9931149482727
1 Latent dim Parameters Test negative ELBO Test reconstruction Test KL Active dimensions Active fraction Training seconds
2 2 88645 159.42389772949218 153.81529624023437 5.608600630950928 2 1.0 259.9766161441803
3 8 145105 115.50761174316406 99.42716062011719 16.080450680541993 8 1.0 270.2368748188019
4 16 220385 105.60406574707031 80.82425764160156 24.77980806274414 16 1.0 256.8563587665558
5 64 672065 104.82540803222656 75.97232977294922 28.853078353881838 42 0.65625 266.9931149482727
@@ -0,0 +1,10 @@
\begin{tabular}{rrrrrrrr}
\toprule
Latent dim & Parameters & Test negative ELBO & Test reconstruction & Test KL & Active dimensions & Active fraction & Training seconds \\
\midrule
2 & 88645 & 159.424 & 153.815 & 5.609 & 2 & 1.000 & 259.977 \\
8 & 145105 & 115.508 & 99.427 & 16.080 & 8 & 1.000 & 270.237 \\
16 & 220385 & 105.604 & 80.824 & 24.780 & 16 & 1.000 & 256.856 \\
64 & 672065 & 104.825 & 75.972 & 28.853 & 42 & 0.656 & 266.993 \\
\bottomrule
\end{tabular}
Binary file not shown.

After

Width:  |  Height:  |  Size: 175 KiB