Métodos Estadísticos Bayesianos

En este repositorio encontrarás las notas para el curso de Métodos Estadísticos Bayesianos. Material adicional será proporcionado durante clases.

Módulo 1. Teorema de Bayes e inferencia Bayesiana

Clase 1. Presentación del curso.

• Guía de aprendizaje, herramientas computacionales y repositorio de contenidos del curso.

Clase 2. Recorderis de probabilidad.

• Espacio de probabilidad, probabilidad conjunta, marginal y condicional, independencia, regla de la cadena y regla de Bayes.
• Tarea 1. Quiz la siguiente clase.

Clases 3 y 4. Introducción y motivación de los métodos Bayesianos.

• Enfoque Bayesiano vs. enfoque frecuentista.
• Modelos probabilísticos e inferencia.
• Mínimos cuadrados regularizados desde una perspectiva probabilística.
• Tarea 2. Quiz la siguiente clase.

Clases 5 y 6. Teorema de Bayes, distribución previa y distribuciones conjugadas.

• Teorema de Bayes.
• Distribuciones previas, posterior, de evidencia, y funciones de verosimilitud.
• Distribuciones conjugadas y cálculo analítico de la distribución posterior.

Clase 7. Aplicación: regresión Bayesiana.

• Modelado probabilístico de parámetros en la regresión lineal.

Módulo 2. Variables latentes, Algoritmo de maximización de la esperanza e inferencia aproximada

Clase 8. Modelos con variables latentes - Repaso de algoritmo K-Means.

• ¿Qué es una variable latente?, ¿Para qué incluir variables latentes?
• Hard clustering: repaso de algoritmo K-Means.
• Soft clustering: clustering probabilístico, GMM (modelo de mezclas Gaussianas), entrenamiento de GMM.

Clases 9 y 10. Algoritmo de maximización de la esperanza.

• Divergencia de Küllback-Leibler, desigualdad de Jensen.
• Algoritmo de maximización de la esperanza.
• Explicando K-Means y PCA desde una perspectiva probabilística.

Clase 12. Inferencia variacional.

• ¿Por qué inferencia aproximada?
• Aproximación de campo media.
• Maximización de la esperanza e inferencia variacional.

Clases 13 y 14. Asignación de Dirichlet latente.

• Modelamiento de tópicos.
• Distribución de Dirichlet.
• Asignación de Dirichlet latente (LDA).
• Extensiones de LDA.

Módulo 3. Markov Chain Montecarlo (MCMC)

Clase 15. Estimación Montecarlo y cadenas de Markov.

• Muestreo de distribuciones univariadas.
• Estimación Montecarlo.
• Cadenas de Markov.

Clases 16 y 17. Muestreo de Gibbs y algoritmo de Metropolis-Hastings.

• Muestreo de Gibbs. Ejemplo.
• Algoritmo de Metropolis-Hastings. Ejemplo.
• MCMC para LDA.

Módulo 4. Procesos Gaussianos y Optimización Bayesiana

Clase 18. Procesos Gaussianos.

• Métodos no paramétricos.
• Procesos Gaussianos.

Clase 19. Optimización Bayesiana.

• Optimización Bayesiana.
• Aplicaciones.