From 0d3bd674b9f4fd19671ec503c5f2862c455e1e9a Mon Sep 17 00:00:00 2001 From: Anna Makarenko Date: Fri, 26 Jul 2024 13:49:03 +0300 Subject: [PATCH] fix --- Contents/part_kb/src/intro_lang.tex | 2 +- .../part_kb/src/intro_lang/intro_idtf.tex | 12 +-- Contents/part_kb/src/intro_lang/intro_scg.tex | 2 +- Contents/part_kb/src/sd_numbers.tex | 4 +- Contents/part_ps/src/ann/sd_denot_sem.tex | 59 +++++----- Contents/part_ps/src/ann/sd_oper_sem.tex | 101 ++++++++++-------- Contents/part_ps/src/sd_ann.tex | 10 +- 7 files changed, 106 insertions(+), 84 deletions(-) diff --git a/Contents/part_kb/src/intro_lang.tex b/Contents/part_kb/src/intro_lang.tex index 30304cff..787305bd 100644 --- a/Contents/part_kb/src/intro_lang.tex +++ b/Contents/part_kb/src/intro_lang.tex @@ -504,7 +504,7 @@ \scnidtf{быть семантически эквивалентным надмножеством заданного языка*} \scntext{определение}{Язык $\bm{Lj}$ будем считать \textit{синтаксическим расширением*} языка $\bm{Li}$ в том и только в том случае, если: \begin{scnitemize} - \item $\bm{L_j} \supset \bm{Li}$ (то есть все тексты языка $\bm{Li}$ являются также и текстами языка $\bm{Lj}$. Обратное утверждение не является верным.); + \item $\bm{L\underscore{j}} \supset \bm{Li}$ (то есть все тексты языка $\bm{Li}$ являются также и текстами языка $\bm{Lj}$. Обратное утверждение не является верным.); \item Язык $\bm{Lj}$ и язык $\bm{Li}$ являются \textit{семантически эквивалентными языками*}. \end{scnitemize}} \end{scnindent} diff --git a/Contents/part_kb/src/intro_lang/intro_idtf.tex b/Contents/part_kb/src/intro_lang/intro_idtf.tex index 32574a74..45282eb1 100644 --- a/Contents/part_kb/src/intro_lang/intro_idtf.tex +++ b/Contents/part_kb/src/intro_lang/intro_idtf.tex @@ -715,9 +715,9 @@ \scnheader{sc-выражение, построенное на основе квазибинарного отношения} \scnidtf{sc-выражение, построенное путем указания некоторого sc-идентификатора квазибинарного отношения (обычно функционального) и (в фигурных скобках или угловых скобках) неупорядоченного или упорядоченного перечня аргументов указанного отношения} \begin{scnrelfromset}{примеры} - \scnitem{\textit{объединение}*($s_i$$s_j$$s_k$)} - \scnitem{\textit{пересечение}*($s_i$$s_j$$s_k$)} - \scnitem{\textit{разность множеств}*($s_i$$s_j$)} + \scnitem{\textit{объединение}*($s\underscore{i}$$s\underscore{j}$$s\underscore{k}$)} + \scnitem{\textit{пересечение}*($s\underscore{i}$$s\underscore{j}$$s\underscore{k}$)} + \scnitem{\textit{разность множеств}*($s\underscore{i}$$s\underscore{j}$)} \scnitem{\textit{сумма}*($x$$z$)} \scnitem{\textit{произведение}*($x$$y$$z$)} \scnitem{\textit{sin*}($x$)} @@ -735,9 +735,9 @@ \scnidtf{sc-выражение, ограниченное круглыми скобками и построенное путем указания sc-идентификаторов, разделенных знаком алгебраической операции} \scntext{примечание}{Для каждого sc-выражения данного вида существует синонимическое ему sc-выражение, построенное на основе квазибинарного отношения} \begin{scnrelfromset}{примеры} - \scnitem{($s_i \cup s_j \cup s_k$)} - \scnitem{($s_i \cap s_j \cap s_k$)} - \scnitem{($s_i \backslash s_j$)} + \scnitem{($s\underscore{i} \cup s\underscore{j} \cup s\underscore{k}$)} + \scnitem{($s\underscore{i} \cap s\underscore{j} \cap s\underscore{k}$)} + \scnitem{($s\underscore{i} \backslash s\underscore{j}$)} \scnitem{($x+y+z$)} \scnitem{($x \times y \times z$)} \end{scnrelfromset} diff --git a/Contents/part_kb/src/intro_lang/intro_scg.tex b/Contents/part_kb/src/intro_lang/intro_scg.tex index d50d3a60..876aa10c 100644 --- a/Contents/part_kb/src/intro_lang/intro_scg.tex +++ b/Contents/part_kb/src/intro_lang/intro_scg.tex @@ -226,7 +226,7 @@ \scnrelfrom{смотрите}{Файл. Изображение спецификации sc.g-элемента средствами \textit{Ядра SCg-кода} и \textit{Первого расширения Ядра SCg-кода}} \end{scnindent} \scntext{пояснение}{Общепринятая запись данного факта выглядит следующим образом: - \\\scnqqi{\textit{sc-константа} $\ni \bm{vi}$; \textit{постоянная сущность} $\ni \bm{v_i}$.} + \\\scnqqi{\textit{sc-константа} $\ni \bm{vi}$; \textit{постоянная сущность} $\ni \bm{v\underline{i}}$.} \begin{scnitemize} \item \textit{Константные постоянные sc-ребра} в конструкциях SCg-кода изображаются в виде двойной линии, каждая из которых имеет толщину примерно $d/7$, а расстояние между ними равно примерно $3d/7$. \item \textit{Константные постоянные sc-дуги} изображаются в виде такой же двойной линии, но со стрелочкой. Все \textit{базовые sc-дуги}, а также все sc-узлы, имеющие содержимое, по определению являются \textit{константными постоянными sc-элементами}. diff --git a/Contents/part_kb/src/sd_numbers.tex b/Contents/part_kb/src/sd_numbers.tex index 262d10d1..a2c73f67 100644 --- a/Contents/part_kb/src/sd_numbers.tex +++ b/Contents/part_kb/src/sd_numbers.tex @@ -148,7 +148,7 @@ \scniselement{квазибинарное отношение} \scntext{пояснение}{\textbf{\textit{сумма*}} --- это арифметическая операция, в результате которой по данным числам (слагаемым) находится новое число (сумма), обозначающее столько единиц, сколько их содержится во всех слагаемых. \\Первым компонентом связки отношения \textbf{\textit{сумма*}} является \textit{множество чисел} (слагаемых), содержащее два или более элемента, вторым компонентом --- \textit{число}, являющееся результатом сложения. - \\Отдельно отметим, что каждая связка отношения \textbf{\textit{сумма*}} вида $a = b+c$ может также трактоваться и как запись о вычитании чисел, например $b = a-c$, в связи с чем \textit{арифметическая операция} разности чисел отдельно не вводится.} + \\Отдельно отметим, что каждая связка отношения \textbf{\textit{сумма*}} вида $a \eq b+c$ может также трактоваться и как запись о вычитании чисел, например $b = a-c$, в связи с чем \textit{арифметическая операция} разности чисел отдельно не вводится.} \scnrelfrom{описание примера}{\scnfileimage[20em]{Contents/part_kb/src/images/sd_numbers/sum.png} } @@ -158,7 +158,7 @@ \scniselement{квазибинарное отношение} \scntext{пояснение}{\textbf{\textit{произведение*}} --- это \textit{арифметическая операция}, в результате которой один аргумент складывается столько раз, сколько показывает другой, затем результат складывается столько раз, сколько показывает третий и т.д. \\Первым компонентом связки отношения \textbf{\textit{произведение*}} является \textit{множество чисел} (множителей), содержащее два или более элемента, вторым компонентом --- \textit{число}, являющееся результатом произведения. - \\Отдельно отметим, что каждая связка отношения \textbf{\textit{произведение*}} вида $a = b*c$ может также трактоваться и как запись о делении чисел, например $b = \frac{a}{c}$, в связи с чем \textit{арифметическая операция} деления чисел отдельно не вводится.} + \\Отдельно отметим, что каждая связка отношения \textbf{\textit{произведение*}} вида $a \eq b*c$ может также трактоваться и как запись о делении чисел, например $b = \frac{a}{c}$, в связи с чем \textit{арифметическая операция} деления чисел отдельно не вводится.} \scnrelfrom{описание примера}{\scnfileimage[20em]{Contents/part_kb/src/images/sd_numbers/multiplication.png} } diff --git a/Contents/part_ps/src/ann/sd_denot_sem.tex b/Contents/part_ps/src/ann/sd_denot_sem.tex index 0cade5cb..113790ff 100644 --- a/Contents/part_ps/src/ann/sd_denot_sem.tex +++ b/Contents/part_ps/src/ann/sd_denot_sem.tex @@ -1,5 +1,7 @@ +\begin{SCn} +\scnsectionheader{Предметная область и онтология денотационной семантики Языка представления нейросетевого метода решения задач} \begin{scnsubstruct} - + \scnheader{Денотационная семантика Языка представления нейросетевого метода решения задач} \scntext{примечание}{Денотационная семантика Языка представления нейросетевого метода решения задач в базах знаний описывается в рамках предметной области и соответствующей ей онтологии нейросетевого метода.} \scntext{примечание}{Так же в \textit{Предметную область нейросетевых методов} добавлены понятия для описания метрик эффективности \textit{нейросетевых методов}. Данные метрики учитываются \textit{решателем задач} при принятии решения об использовании того или иного \textit{нейросетевого метода}.} @@ -81,8 +83,10 @@ \scntext{примечание}{Отдельный формальный нейрон является искусственной нейронной сети с одним нейроном в единственном слое.} \scnsubset{искусственная нейронная сеть} \scntext{пояснение}{\textbf{\textit{формальный нейрон}} --- это основной элемент \textit{искусственной нейронной сети}, применяющий свою \textit{функцию активации} к сумме произведений входных сигналов на весовые коэффициенты: - $$y = F\left(\sum_{i=1}^{n} w_ix_i - T\right) = F(WX - T)$$ - где $X = (x_1,x_2,...,x_n)^T$ --- вектор входного сигнала; $W - (w_1,w_2,...,w_n)$ --- вектор весовых коэффициентов; $T$ --- пороговое значение; + \begin{equation*} + y \eq F\left(\sum\underscore{i=1}\upperscore{n} w\underscore{i} x\underscore{i} - T\right) \eq F(WX - T) + \end{equation*} + где $X \eq (x\underscore{1},x\underscore{2},...,x\underscore{n})\upperscore{T}$ --- вектор входного сигнала; $W - (w\underscore{1},w\underscore{2},...,w\underscore{n})$ --- вектор весовых коэффициентов; $T$ --- пороговое значение; \textit{F} --- функция активации.} \begin{scnindent} \begin{scnrelfromset}{источник} @@ -201,7 +205,7 @@ \begin{scnindent} \scntext{формула}{ \begin{equation*} - y = sign(S) = + y \eq sign(S) \eq \begin{cases} 1, S > 0,\\ 0, S \leq 0 @@ -212,7 +216,7 @@ \begin{scnindent} \scntext{формула}{ \begin{equation*} - y = \frac{1}{1+e^{-cS}} + y \eq \frac{1}{1+e\upperscore{-cS}} \end{equation*}} \begin{scnindent} \scntext{примечание}{\textit{с} > 0 --- коэффициент, характеризующий ширину сигмоидной функции по оси абсцисс, \textit{S} --- в.с.} @@ -222,7 +226,7 @@ \begin{scnindent} \scntext{формула}{ \begin{equation*} - y = \frac{e^{cS}-e^{-cS}}{e^{cs}+e^{-cS}} + y \eq \frac{e\upperscore{cS}-e\upperscore{-cS}}{e\underscore{cs}+e\upperscore{-cS}} \end{equation*}} \begin{scnindent} \scntext{примечание}{\textit{с} > 0 --- коэффициент, характеризующий ширину сигмоидной функции по оси абсцисс, \textit{S} --- в.с.} @@ -232,17 +236,17 @@ \begin{scnindent} \scntext{формула}{ \begin{equation*} - y_j = softmax(S_j) = \frac{e^{S_j}}{\sum_{j} e^{S_j}} + y\underscore{j} \eq softmax(S\underscore{j}) \eq \frac{e\underscore{S\underscore{j}}}{\sum\underscore{j} e\upperscore{S\underscore{j}}} \end{equation*}} \begin{scnindent} - \scntext{примечание}{$S_j$ --- в.с. \textit{j}-го выходного нейрона.} + \scntext{примечание}{$S\underscore{j}$ --- в.с. \textit{j}-го выходного нейрона.} \end{scnindent} \end{scnindent} \scnitem{функция ReLU} \begin{scnindent} \scntext{формула}{ \begin{equation*} - y = F(S) = + y \eq F(S) \eq \begin{cases} S, S > 0,\\ kS, S \leq 0 @@ -288,17 +292,21 @@ \begin{scnindent} \begin{scneqtoset} \scnitem{классификационные метрики} - \begin{scnrelfromset}{декомпозиция} - \scnitem{точность и.н.с.} - \scnitem{полнота и.н.с.} - \scnitem{F1-метрика} - \end{scnrelfromset} + \begin{scnindent} + \begin{scnrelfromset}{декомпозиция} + \scnitem{точность и.н.с.} + \scnitem{полнота и.н.с.} + \scnitem{F1-метрика} + \end{scnrelfromset} + \end{scnindent} \scnitem{регрессионные метрики} - \begin{scnrelfromset}{декомпозиция} - \scnitem{MAE} - \scnitem{MAPE} - \scnitem{RMSE} - \end{scnrelfromset} + \begin{scnindent} + \begin{scnrelfromset}{декомпозиция} + \scnitem{MAE} + \scnitem{MAPE} + \scnitem{RMSE} + \end{scnrelfromset} + \end{scnindent} \end{scneqtoset} \end{scnindent} @@ -335,23 +343,23 @@ \scnheader{MAE} \scnidtf{mean absolute error} -\scntext{формула}{$\frac{1}{N} \sum_{i=1}^N |y_{etalon}^i - y_{predicted}^i|$} +\scntext{формула}{$\frac{1}{N} \sum\underscore{i \eq 1}\upperscore{N} |y\underscore{etalon}\upperscore{i} - y\underscore{predicted}\upperscore{i}|$} \begin{scnindent} - \scntext{примечание}{$y_{etalon}^i$ --- эталонное значение,\\ $y_{predicted}^i$ --- значение, полученное и.н.с.,\\ \textit{N} --- объем обучающей выборки} + \scntext{примечание}{$y\underscore{etalon}\upperscore{i}$ --- эталонное значение,\\ $y\underscore{predicted}\upperscore{i}$ --- значение, полученное и.н.с.,\\ \textit{N} --- объем обучающей выборки} \end{scnindent} \scnheader{MAPE} \scnidtf{mean absolute percentage error} -\scntext{формула}{$\frac{1}{N} \sum_{i=1}^N \frac{|y_{etalon}^i - y_{predicted}^i|}{y_{etalon}^i} * 100\%$} +\scntext{формула}{$\frac{1}{N} \sum\underscore{i \eq 1}\upperscore{N} \frac{|y\underscore{etalon}\upperscore{i} - y\underscore{predicted}\upperscore{i}|}{y\underscore{etalon}\upperscore{i}} * 100\percent$} \begin{scnindent} - \scntext{примечание}{$y_{etalon}^i$ --- эталонное значение,\\ $y_{predicted}^i$ --- значение, полученное и.н.с.,\\ \textit{N} --- объем обучающей выборки} + \scntext{примечание}{$y\underscore{etalon}\upperscore{i}$ --- эталонное значение,\\ $y\underscore{predicted}\upperscore{i}$ --- значение, полученное и.н.с.,\\ \textit{N} --- объем обучающей выборки} \end{scnindent} \scnheader{RMSE} \scnidtf{root mean squared error} -\scntext{формула}{$\sqrt{\frac{1}{N} \sum_{i=1}^N (y_{etalon}^i - y_{predicted}^i)^2}$} +\scntext{формула}{$\sqrt{\frac{1}{N} \sum\underscore{i \eq 1}\upperscore{N} (y\underscore{etalon}\upperscore{i} - y\underscore{predicted}\upperscore{i})\upperscore{2}}$} \begin{scnindent} - \scntext{примечание}{$y_{etalon}^i$ --- эталонное значение,\\ $y_{predicted}^i$ --- значение, полученное и.н.с.,\\ \textit{N} --- объем обучающей выборки} + \scntext{примечание}{$y\underscore{etalon}\upperscore{i}$ --- эталонное значение,\\ $y\underscore{predicted}\upperscore{i}$ --- значение, полученное и.н.с.,\\ \textit{N} --- объем обучающей выборки} \end{scnindent} \scnheader{SCg-текст. Пример формализации архитектуры искусственной нейронной сети в базе знаний} @@ -366,3 +374,4 @@ \end{scnrelfromvector} \scnendcurrentsectioncomment +\end{SCn} diff --git a/Contents/part_ps/src/ann/sd_oper_sem.tex b/Contents/part_ps/src/ann/sd_oper_sem.tex index 439435d5..dc23247d 100644 --- a/Contents/part_ps/src/ann/sd_oper_sem.tex +++ b/Contents/part_ps/src/ann/sd_oper_sem.tex @@ -1,5 +1,7 @@ +\begin{SCn} +\scnsectionheader{Предметная область и онтология операционной семантики Языка представления нейросетевого метода решения задач} \begin{scnsubstruct} - + \scnheader{Операционная семантика Языка представления нейросетевого метода решения задач} \scntext{примечание}{Операционной семантикой любого языка представления методов решения задач является спецификация семейства агентов, обеспечивающих интерпретацию любого метода, принадлежащего соответствующему классу методов. Это семейство является интерпретатором соответствующего метода решения задач. В рамках технологии OSTIS такой интерпретатор называется моделью решения задач. Так как в рамках Технологии OSTIS используется многоагентный подход, то разработка нейросетевой модели решения задач сводится к разработке агентно-ориентированной модели интерпретации и.н.с.} \scntext{примечание}{\textbf{\textit{Операционная семантика Языка представления нейросетевого метода в базах знаний}} задается \textit{многоагентный подход} к интерпретации \textit{искусственных нейронных сетей} и спецификацией соответствующих действий.} @@ -225,17 +227,17 @@ \begin{scnindent} \scnrelfrom{формула}{ \begin{equation*} - x_{norm}^i = \frac{x^i - x_{min}}{x_{max} - x_{min}} + x\underscore{norm}\upperscore{i} = \frac{x\upperscore{i} - x\underscore{min}}{x\underscore{max} - x\underscore{min}} \end{equation*}} \begin{scnindent} - \scntext{примечание}{$x^i$ --- значение признака для отдельно взятого образа \textit{i}, $x_{min}$ --- наименьшее значение для признака, $x_{max}$ --- наибольшее значение для признака.} + \scntext{примечание}{$x\upperscore{i}$ --- значение признака для отдельно взятого образа \textit{i}, $x\underscore{min}$ --- наименьшее значение для признака, $x\underscore{max}$ --- наибольшее значение для признака.} \end{scnindent} \end{scnindent} \scnfileitem{Другой вариант масштабирования --- применение стандартизации признаков} \begin{scnindent} \scnrelfrom{формула}{ \begin{equation*} - x_{std}^i = \frac{x^i - \mu(x)}{\sigma(x)} + x\underscore{std}\upperscore{i} = \frac{x\upperscore{i} - \mu(x)}{\sigma(x)} \end{equation*}} \begin{scnindent} \scntext{примечание}{$\mu(x)$ --- выборочное среднее отдельного признака, $\sigma(x)$ --- стандартное отклонение.} @@ -285,22 +287,22 @@ \scnfileitem{На этом этапе задается функция ошибок, которая будет минимизироваться. К примеру, MSE лучше подходит для задач регрессии и для кластеризации, CE --- для классификационных задач. Далее приведены примеры.} \scnfileitem{ \begin{equation*} - MSE = \frac{1}{n} \sum_{i=1}^n (Y_i - \widetilde{Y_i})^2 + MSE = \frac{1}{n} \sum\underscore{i=1}\upperscore{n} (Y\underscore{i} - \widetilde{Y\underscore{i}})\upperscore{2} \end{equation*}} \begin{scnindent} - \scntext{примечание}{\textit{n} --- размер обучающей выборки, $Y_i$ --- эталонное значение функции, $\widetilde{Y_i}$ --- результат, полученный НС} + \scntext{примечание}{\textit{n} --- размер обучающей выборки, $Y\underscore{i}$ --- эталонное значение функции, $\widetilde{Y\underscore{i}}$ --- результат, полученный НС} \end{scnindent} \scnfileitem{ \begin{equation*} - CE = - \frac{1}{n} \sum_{i=1}^n (Y_i\log(\widetilde{Y_i}) + (1-Y_i)\log(1 - \widetilde{Y_i})) + CE = - \frac{1}{n} \sum\underscore{i=1}\upperscore{n} (Y\underscore{i}\log(\widetilde{Y\underscore{i}}) + (1-Y\underscore{i})\log(1 - \widetilde{Y\underscore{i}})) \end{equation*}} \begin{scnindent} - \scntext{примечание}{\textit{n} --- размер обучающей выборки, $Y_i$ --- эталонное значение функции, $\widetilde{Y_i}$ --- результат, полученный НС. + \scntext{примечание}{\textit{n} --- размер обучающей выборки, $Y\underscore{i}$ --- эталонное значение функции, $\widetilde{Y\underscore{i}}$ --- результат, полученный НС. \\(случай 2-классовой классификации)} \end{scnindent} \scnfileitem{ \begin{equation*} - CE = - \frac{1}{n} \sum_{i=1}^n \sum_{c=1}^M Y_i^c \log{\widetilde{Y}_i^c} + CE = - \frac{1}{n} \sum\underscore{i=1}\upperscore{n} \sum\underscore{c=1}\upperscore{M} Y\underscore{i}\upperscore{c} \log{\widetilde{Y}\underscore{i}\upperscore{c}} \end{equation*}} \begin{scnindent} \scntext{примечание}{случай многоклассовой классификации} @@ -312,14 +314,14 @@ \scntext{пример}{Наиболее часто используемые варианты инициализации весовых коэффициентов и порогов нейронной сети} \begin{scnindent} \begin{scnrelfromset}{разбиение} - \scnfileitem{Инициализация значениями из равномерного распределения на каком-то небольшом интервале, например, [-0.1, 0.1].} + \scnfileitem{Инициализация значениями из равномерного распределения на каком-то небольшом интервале, например, $\scnleftsquarebrace$ -0.1, 0.1$\scnrightsquarebrace$.} \scnfileitem{Инициализация значениями из стандартного нормального распределения.} \scnfileitem{Инициализация по методу Ксавье.} \begin{scnindent} \begin{scnrelfromset}{источник} \scnitem{\scncite{Glorot2010}} \end{scnrelfromset} - \scntext{примечание}{Применяется для предотвращения резкого уменьшения или увеличения значений выхода нейронных элементов после применения функции активации при прямом прохождении образа через глубокую нейронную сеть. Фактически инициализация этим методом осуществляется посредством выбора значений из равномерного распределения на отрезке $[- \sqrt{6} / \sqrt{n_i+n_{i+1}}, \sqrt{6} / \sqrt{n_i+n_{i+1}}]$, где $n_i$ --- это число входящих связей в данный слой, а $n_i$ --- число исходящих связей из данного слоя. Таким образом, инициализация этим методом проводится для разных слоев нейронной сети из разных отрезков.} + \scntext{примечание}{Применяется для предотвращения резкого уменьшения или увеличения значений выхода нейронных элементов после применения функции активации при прямом прохождении образа через глубокую нейронную сеть. Фактически инициализация этим методом осуществляется посредством выбора значений из равномерного распределения на отрезке $\scnleftsquarebrace - \sqrt{6} / \sqrt{n\underscore{i}+n\underscore{i+1}}, \sqrt{6} / \sqrt{n\underscore{i}+n\underscore{i+1}}\scnrightsquarebrace $, где $n\underscore{i}$ --- это число входящих связей в данный слой, а $n\underscore{i}$ --- число исходящих связей из данного слоя. Таким образом, инициализация этим методом проводится для разных слоев нейронной сети из разных отрезков.} \end{scnindent} \scnfileitem{Инициализация, полученная из предобученной модели.} \begin{scnindent} @@ -333,7 +335,11 @@ \begin{scnrelfromset}{источник} \scnitem{\scncite{He2015}} \end{scnrelfromset} - \scntext{примечание}{Данный метод инициализации применяется для решения проблемы \scnqq{затухающего} градиента и \scnqq{взрывающегося} градиента. Производится посредством выбора значений из равномерного распределения на отрезке: $$[-\sqrt{2} / \sqrt{(1+a^2)fan}, \sqrt{2} / \sqrt{(1+a^2)fan}],$$ где \textit{a} --- угол наклона к оси абсцисс для отрицательной части области определения функции активации типа ReLU (для обычной ReLU функции этот параметр равен 0), $fan$ --- параметр режима работы, который для фазы прямого распространения равен количеству входящих связей (для устранения эффекта \scnqq{взрывающегося} градиента), а для фазы обратного распространения --- количеству выходящих (для устранения эффекта \scnqq{затухающего} градиента). + \scntext{примечание}{Данный метод инициализации применяется для решения проблемы \scnqq{затухающего} градиента и \scnqq{взрывающегося} градиента. Производится посредством выбора значений из равномерного распределения на отрезке: + \begin{equation*} + \scnleftsquarebrace -\sqrt{2} / \sqrt{(1+a\upperscore{2})fan}, \sqrt{2} / \sqrt{(1+a\upperscore{2})fan}\scnrightsquarebrace + \end{equation*} + где \textit{a} --- угол наклона к оси абсцисс для отрицательной части области определения функции активации типа ReLU (для обычной ReLU функции этот параметр равен 0), $fan$ --- параметр режима работы, который для фазы прямого распространения равен количеству входящих связей (для устранения эффекта \scnqq{взрывающегося} градиента), а для фазы обратного распространения --- количеству выходящих (для устранения эффекта \scnqq{затухающего} градиента). \\В интеллектуальной среде проектирования данный этап соответствует выполнению \textbf{\textit{действия начальной инициализации и.н.с.}}.} \end{scnindent} \end{scnrelfromset} @@ -413,11 +419,11 @@ \scnheader{метод обратного распространения ошибки} \scntext{описание}{Приведем его описание в виде алгоритма: \begin{algorithm}[H] - \KwData{$X$ --- данные, $E_t$ --- желаемый отклик (метки), $E_m$ --- желаемая ошибка (в соответствии с выбранной функцией потерь)} + \KwData{$X$ --- данные, $E\underscore{t}$ --- желаемый отклик (метки), $E\underscore{m}$ --- желаемая ошибка (в соответствии с выбранной функцией потерь)} \KwResult{обученная нейронная сеть \textit{Net}} инициализация весов \textit{W} и порогов \textit{T};\\ - \Repeat{$E