assignments/12_ddpm_ddim.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Denoising diffusion: probabilistic model (DDPM) and implicit model (DDIM)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выберите датасет, на котором хотите обучать вашу генеративную модель:\n",
    "- CelebA: https://www.kaggle.com/datasets/jessicali9530/celeba-dataset\n",
    "- PeopleArt: https://www.kaggle.com/datasets/amanagr/people-art-dataset\n",
    "- Best Artworks of All Time: https://www.kaggle.com/datasets/ikarus777/best-artworks-of-all-time\n",
    "- Cartoon Faces (Google's Cartoon Set): https://www.kaggle.com/datasets/brendanartley/cartoon-faces-googles-cartoon-set"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задание 1 (5 баллов). Обучите DDPM на любом датасете\n",
    "\n",
    "В этом задании вам нужно будет обучить DDPM на любом выбранном датасете. Вы можете выбрать любое разрешение изображений (но не менее 32x32) и любую модель адекватного размера: в случае изображений 32x32 модель с практики можно существенно уменьшить, например до такой:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "8055683"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "model = UNet(\n",
    "    n_channels=3,\n",
    "    n_classes=3,\n",
    "    channel_sizes=[64, 128, 256, 512],\n",
    "    bilinear=False,\n",
    "    encoding_size=32,\n",
    ")\n",
    "\n",
    "sum(p.numel() for p in model.parameters())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можете попробовать и любую другую архитектуру, в том числе найденную в других репозиториях. Есть хорошие рабочие версии, правда более тяжёлые вычислительно, например эта: https://github.com/tqch/ddpm-torch\n",
    "\n",
    "Также можете попробовать другие способы [параметризации расписания дисперсий](https://lilianweng.github.io/posts/2021-07-11-diffusion-models/#parameterization-of-beta_t)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Запустите обучение на >50k шагов и сгенерируйте в конце обучения 64 примера"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задание 2 (5 баллов). Ускорение семплирования с помощью DDIM\n",
    "\n",
    "Реализуйте ускоренное семплирование [DDIM sampling](https://lilianweng.github.io/posts/2021-07-11-diffusion-models/#fewer-sampling-steps--distillation), предложенный в статье [Denoising Diffusion Implicit Models](https://arxiv.org/abs/2010.02502). Попробуйте несколько вариантов выбора кол-ва шагов: 250, 100, 50. Выведите примеры предсказаний.\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Задание 3 (2 балла). Интерполяция между изображениями\n",
    "\n",
    "По аналогии с [VAE](../assignments/11_vae.ipynb), сделайте интерполяцию между двумя сгенерированными изображениями.\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "dl-mcs",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}