Add about hessian modified Newton method

14-Newton/Seminar14.ipynb

@@ -83,6 +83,7 @@
     "### Является ли найденное направление направлением убывания?\n",
     "\n",
     "Проверим знак скалярного произведения $\\langle f'(x), h^* \\rangle$.\n",
+    "\n",
     "$$\n",
     "\\langle f'(x), h^* \\rangle = -(f')^{\\top}(x) (f''(x))^{-1} f'(x) < 0 \\Leftarrow f''(x) \\succ 0\n",
     "$$\n",
@@ -225,6 +226,28 @@
     "линейном преобразовани так же, как и координаты!"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "slideshow": {
+     "slide_type": "slide"
+    }
+   },
+   "source": [
+    "### Метод Ньютона с модификацией гессиана\n",
+    "\n",
+    "- Как быть с возможной неположительной определённостью гессиана на некоторой итерации?\n",
+    "- Если $f''(x)$ неположительно определён, использовать положительно определённую матрицу $f''(x) + \\Delta E$\n",
+    "- Матрицу $\\Delta E$ можно выбирать различными способами исходя из следующей задачи\n",
+    "$$\n",
+    "\\Delta E = \\arg\\min \\|\\Delta E\\|, \\quad \\text{s.t. } f''(x) + \\Delta E \\succ 0\n",
+    "$$\n",
+    "    - $\\|\\cdot\\|_2$: $\\Delta E = \\tau I$, где $\\tau = \\max(0, \\delta - \\lambda_{\\min}(f''(x)))$, где $\\delta > 0$ - заданная оценка снизу минимального собственного значения матрицы $f''(x) + \\Delta E$\n",
+    "    - Чему равно $\\Delta E$ при использовании $\\|\\cdot\\|_F$?\n",
+    "    \n",
+    "- Поскольку оценку $\\lambda(f''(x))$ обычно сложно вычислять на каждой итерации, возможно модифицировать процедуру вычисления разложения Холецкого матрицы $f''(x)$ так чтобы в итоге получилось разложение Холецкого для матрицы $f''(x) + \\Delta E$"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {