No processo de regressão linear, busca-se a modelagem da relação linear entre variáveis, mais especificamente a relação entre a variável dependente e as independentes, também chamadas de explanatórias \cite{yamanaka}.
Em regressões lineares simples, utiliza-se apenas uma variável explanatória (eq. eq01), enquanto nas múltiplas, diversas variáveis são somadas para formar o resultado (eq. eq02).
\begin{equation} y = ax + b \end{equation}
\begin{equation} y = a_1*x_1 + a_2*x_2 + a_3*x_3 + … + b \end{equation}
Nestas equações,
Logo, para determinar o modelo que descreve tais relações, é
necessário descobrir os valores dos coeficientes
A primeira envolve a utilização do coeficiente de Pearson,
\begin{equation} r=\dfrac{∑i=1n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{∑i=1n(x_i-\bar{x})^2} \sqrt{∑i=1n(y_i-\bar{y})^2}} \end{equation}
No geral, esta correlação entre duas variáveis pode ser positiva (quando o crescimento da variável independente é acompanhado pelo da dependente), negativa (quando o crescimento da independente ocasiona um decrescimento na dependente), não linear (a relação entre ambas não é descrita por uma equação de reta) ou sem correlação.
Pelo coeficiente de Pearson, um valor de
\begin{equation} a=\dfrac{∑i=1n(x_i-\bar{x})(y_i-\bar{y})}{∑i=1n(x_i-\bar{x})^2} \end{equation}
\begin{equation} b=\bar{y}-a\bar{x} \end{equation}
A segunda técnica é uma modelagem através de um Adaline. Até o momento, alguns pesos eram descobertos, os quais descreviam uma saída por meio da relação entre as entradas multiplicadas por pesos. E é exatamente esta a definição de regressão linear. Portanto, a aplicação do Adaline para tal propósito é simples e direta.
- Aprimorar o conhecimento sobre Redes Neurais Artificiais e obter experiência prática na implementação das mesmas.
- Implementar um Adaline que realize a regressão linear para os dados da tabela tb01.
- Encontrar o coeficiente de correlação de Pearson e o coeficiente de determinação para a mesma base de dados.
- Calcular
$a$ e$b$ (eq. eq04 e eq05). - Comparar resultados obtidos com ambas as técnicas.
| x | y |
|---|---|
| 0.00 | 2.26 |
| 0.50 | 3.80 |
| 1.00 | 4.43 |
| 1.50 | 5.91 |
| 2.00 | 6.18 |
| 2.50 | 7.26 |
| 3.00 | 8.15 |
| 3.50 | 9.14 |
| 4.00 | 10.87 |
| 4.50 | 11.58 |
| 5.00 | 12.55 |
Para implementação da rede neural foi utilizada a linguagem de programação Common Lisp, compilando-a com o SBCL (Steel Bank Common Lisp). Como interface de desenvolvimento, foi utilizado o Emacs em Org Mode, configurado com a plataforma SLIME (The Superior Lisp Interaction Mode for Emacs) para melhor comunicação com o SBCL. Foi utilizada uma abordagem bottom-up para o desenvolvimento. O código produzido segue majoritariamente o paradigma funcional, sendo este trabalho como um todo uma obra de programação literária. Parte das funções já foram implementadas em Regra de Hebb e Perceptron e Adaline.
Inicialmente, será implementada uma função que gera a equação da reta
a partir dos coeficientes. Desta forma, a função definida abaixo faz o
desejado, entretanto se utiliza da função eval para a transformação
da s-expression em código interpretado, técnica que em vários casos
deve ser evitada 1.
1 https://stackoverflow.com/questions/2571401/why-exactly-is-eval-evil/2571549
(defun linear-regression (weights)
(let* ((wi (butlast weights))
(b (first (last weights)))
(args (loop for nil in wi collecting (gensym))))
(eval `#'(lambda ,args
(+ ,@(mapcar #'(lambda (a w)
`(* ,a ,w))
args wi)
,b)))))Continuando a implementação utilizando Adaline, tem-se que os pesos (w
e b), encontrados durante o treinamento, após 1000 ciclos, e com
learning-rate de 0.005 são:
(iterative-training
tb01-x tb01-y
(random-weights 3 -1 1) 0 0.05 0 1000
#'adaline-update #'adaline-stop-condition #'net #'adaline-activation)| 2.0179942 | 2.4513268 |
Assim, a equação da reta (eq. eq06) seria:
\begin{equation} y = 2.0179942 x + 2.4513268 \end{equation}
Para plotagem dos pontos, a função linear-boundary deve ser
adaptada, da seguinte forma:
(defun linear-between (fn min max)
(list (list min (funcall fn min))
(list max (funcall fn max))))Portanto, o gráfico fig1:
(scatter-plot "plots/scatter-plot-adaline.png"
tb01
(linear-between (linear-regression w-adaline) 0 5))
Primeiramente, a função para cálculo do r e do r quadrático:
(defun average (points)
(labels ((rec (lst i result)
(if lst
(rec (cdr lst) (1+ i) (mapcar #'+ (car lst)
result))
(values-list (mapcar #'(lambda (x)
(/ x i))
result)))))
(rec (cdr points) 1 (car points))))
(defun r-pearson (points)
(multiple-value-bind (av-x av-y)
(average points)
(loop for (x y) in points
summing (* (- x av-x) (- y av-y)) into cov-xy
summing (expt (- x av-x) 2) into var-x
summing (expt (- y av-y) 2) into var-y
finally (return (/ cov-xy (sqrt (* var-x var-y)))))))
(defun r-sqrd (points)
(expt (r-pearson points) 2))Utilizando-as para a tabela tb01, tem-se que o coeficiente
(r-pearson tb01)0.99611324
Enquanto
(r-sqrd tb01)0.99224156
O cálculo de
(defun simple-linear-regression (points)
(multiple-value-bind (av-x av-y)
(average points)
(loop for (x y) in points
summing (* (- x av-x) (- y av-y)) into s
summing (expt (- x av-x) 2) into s-sqrd
finally (let ((a (/ s s-sqrd)))
(return (list a (- av-y (* a av-x))))))))Para a base de dados, temos que
(simple-linear-regression tb01)| 2.0058184 | 2.4518175 |
Portanto, a equação da reta (eq. eq07):
\begin{equation} y = 2.0058184 x + 2.4518175 \end{equation}
De forma semelhante, a impressão se dá da seguinte maneira (fig. fig2):
(scatter-plot "plots/scatter-plot-pearson.png"
tb01
(linear-between (linear-regression w-simple) 0 5))
Ambos os algoritmos encontraram valores muito semelhantes de
Em relação ao valor do coeficiente,
\bibliographystyle{plain} \bibliography{../references}