IA_Python_02_Regressao.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "collapsed_sections": [
        "2itRUM0fNBVv",
        "Ev8vfVNpvTuy"
      ],
      "authorship_tag": "ABX9TyM70vIoQl+f61NdETcEG05j",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/pablo-sampaio/espacos4.0_pe/blob/main/IA_Python_02_Regressao.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Aprendizagem de Máquina - Parte 2"
      ],
      "metadata": {
        "id": "50NYOBVCIM-I"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "No notebook anterior, vimos uma tarefa de *classificação*. Neste notebook, vamos resolver uma **tarefa de regressão**. (Lembrando que ambas são formas de aprendizagem supervisionada).\n",
        "\n",
        "> **Atenção**: Na seção 2, você precisa interagir para baixar um arquivo de outro site e fazer o *upload* para o Colab."
      ],
      "metadata": {
        "id": "PSAd3EgoIM8j"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 1 - Importações"
      ],
      "metadata": {
        "id": "jumewLZ9DAvo"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Abaixo, importamos vários módulos. Alguns destaques:\n",
        "- o módulo **pandas** serve para criar e processar *tabelas*\n",
        "- o módulo **seaborn** (e **matplotlib.pyplot**?) serve para criar gráficos\n",
        "- o **sklearn** é o mesmo que já usamos antes e serve para criar vários modelos de aprendizagem de máquina (falaremos dos modelos na seção 4)"
      ],
      "metadata": {
        "id": "XaBaTosPI8la"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "cqoHPvJOb1sk"
      },
      "outputs": [],
      "source": [
        "from google.colab import files\n",
        "import math\n",
        "\n",
        "import pandas as pd\n",
        "import seaborn as sns\n",
        "\n",
        "from sklearn.model_selection import train_test_split\n",
        "from sklearn import metrics\n",
        "\n",
        "from sklearn.linear_model import LinearRegression\n",
        "from sklearn.neural_network import MLPRegressor\n"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 2 - Carregando os Dados\n"
      ],
      "metadata": {
        "id": "4fGhFfgKeXof"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Vá em: \n",
        "https://www.kaggle.com/datasets/quantbruce/real-estate-price-prediction?resource=download\n",
        "\n",
        "E clique me **Download**. Baixe o arquivo, que deverá ter o nome **archive.zip**.\n",
        "\n",
        "Depois, faça o seguinte:\n",
        "1. Execute a célula abaixo\n",
        "1. Clique em \"Escolher arquivos\"\n",
        "1. Localize e selecione o arquivo **archive.zip**, que você baixou.\n",
        "1. Clique **Abrir**.\n",
        "\n",
        "Isso vai fazer o *upload* do arquivo para o espaço de arquivos do Colab.\n"
      ],
      "metadata": {
        "id": "VSvleUcuekSN"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "arquivos = files.upload()"
      ],
      "metadata": {
        "id": "pm4tRRkQcEUg"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(\"Arquivos carregados:\", list(arquivos.keys()))"
      ],
      "metadata": {
        "id": "OfJLLE6IIJ6k"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "A linha abaixo vai descompactar o arquivo. Deverá ser criado o arquivo **Real estate.csv** na área de arquivos do Colab."
      ],
      "metadata": {
        "id": "eOlHiBmEe3cH"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!unzip archive.zip"
      ],
      "metadata": {
        "id": "VilJzbi7cRDu"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "A seguir, vamos carregar o arquivo como um dado DataFrame, que é um tipo de tabela."
      ],
      "metadata": {
        "id": "IBmZssmQfADe"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df = pd.read_csv(\"Real estate.csv\", index_col=\"No\")"
      ],
      "metadata": {
        "id": "uek6h399e_hG"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "df"
      ],
      "metadata": {
        "id": "jmy9xKr0g6ov"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 3 - Explorando os Dados"
      ],
      "metadata": {
        "id": "4l7BQiGAu-Tz"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df.info()"
      ],
      "metadata": {
        "id": "8zDYT1nQhQOm"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "df.describe()"
      ],
      "metadata": {
        "id": "FHcxZe-YhSWu"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "sns.scatterplot(data=df, x=\"X6 longitude\", y=\"Y house price of unit area\")"
      ],
      "metadata": {
        "id": "h3-MIaQjfFw0"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "sns.pairplot(df)"
      ],
      "metadata": {
        "id": "ljDLx7k-ibT9"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "A seguir, vamos separar as colunas de entrada (que ficará na variável **x**) da coluna de saída/alvo (que ficará no **y**)."
      ],
      "metadata": {
        "id": "C18JGI3dcsjM"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "x = df.drop(columns='Y house price of unit area')\n",
        "\n",
        "y = df['Y house price of unit area']"
      ],
      "metadata": {
        "id": "1MsGE7liiiFO"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "x"
      ],
      "metadata": {
        "id": "MFbAqiTPPFnQ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(\"Dados de entrada (x) :\", x.shape)\n",
        "print(\"Dados de saída (y) :\", y.shape)"
      ],
      "metadata": {
        "id": "2z3zX_CYij-H"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 4 - Dividindo em Dados de Treinamento e Teste"
      ],
      "metadata": {
        "id": "AEzSsp--vFdS"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=101)"
      ],
      "metadata": {
        "id": "OrEhq0XIi_st"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "y_train"
      ],
      "metadata": {
        "id": "gIOUqPyVjN0g"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "x_test.shape"
      ],
      "metadata": {
        "id": "fsVUuIbvjUme"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 5 - Criando e Treinando um Modelo 1: Regressão Linear"
      ],
      "metadata": {
        "id": "jC6AA40qvMsS"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "modelo1 = LinearRegression()"
      ],
      "metadata": {
        "id": "XtXDrJnjjXJV"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "modelo1.fit(x_train, y_train)"
      ],
      "metadata": {
        "id": "raqw-28yjZb1"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Fazendo uma previsão (prevendo o valor de uma casa para uma dada entrada):"
      ],
      "metadata": {
        "id": "d4eKmqbelS1r"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "saida = modelo1.predict([[2012.83, 5.0, 390, 5, 24.97, 121.54]])"
      ],
      "metadata": {
        "id": "JZzWVWpylSAF"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "saida"
      ],
      "metadata": {
        "id": "n1x51OVrhMD5"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Fazendo múltiplas previsões:"
      ],
      "metadata": {
        "id": "HzQKr2rSlL0B"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "y_pred1 = modelo1.predict(x_test)"
      ],
      "metadata": {
        "id": "MVCLj9YAlK_u"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "x_test"
      ],
      "metadata": {
        "id": "bJdQVXjy63lh"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "y_pred1"
      ],
      "metadata": {
        "id": "sZihzOQaiAcr"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 5.1 Analisando os Coeficientes"
      ],
      "metadata": {
        "id": "FLYlrHYNxHoi"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "x.columns"
      ],
      "metadata": {
        "id": "3id0LeCjjoW_"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "modelo1.coef_"
      ],
      "metadata": {
        "id": "MsC3s_6djc2t"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 6 - Criando e Treinando o Modelo 2: Rede Neural"
      ],
      "metadata": {
        "id": "2itRUM0fNBVv"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Vamos treinar uma *rede neural* MLP, representada abaixo.\n",
        "\n",
        "![Drag Racing](https://www.i2tutorials.com/wp-content/media/2019/05/Hidden-layrs-1-i2tutorials.jpg)"
      ],
      "metadata": {
        "id": "rsPCMD0vOBAs"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Na criação da rede neural MLP para regressão, você pode escolher a quantidade de camadas escondidas e quantos neurônios elas terão. No exemplo abaixo, criamos uma rede com duas camadas de 100 cada. "
      ],
      "metadata": {
        "id": "8wfg8UGXWqQH"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "modelo2 = MLPRegressor(hidden_layer_sizes=(100,100), max_iter=500)"
      ],
      "metadata": {
        "id": "aUbw7asZNdG5"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "modelo2.fit(x_train, y_train)"
      ],
      "metadata": {
        "id": "qrXb8v0ONxNT"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "y_pred2 = modelo2.predict(x_test)"
      ],
      "metadata": {
        "id": "sW3iJs-TN0rc"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "y_pred2"
      ],
      "metadata": {
        "id": "tnihlf5u86rB"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 7 - Avaliando"
      ],
      "metadata": {
        "id": "Ev8vfVNpvTuy"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Par avaliar, temos que comparar as previsões feitas pelos modelos, com os valores reais de saída dos dados de teste."
      ],
      "metadata": {
        "id": "icH_FbhrUDsb"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "y_test"
      ],
      "metadata": {
        "id": "x5Qy1cZdjGEJ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Uma análise básica consiste em analisar a diferença entre cada previsão e o valor real. Os comandos abaixo calculam isso."
      ],
      "metadata": {
        "id": "hnF_FOBbUBn1"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "y_test - y_pred1"
      ],
      "metadata": {
        "id": "2V5KJfuhjBcB"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "y_test - y_pred2"
      ],
      "metadata": {
        "id": "JyDtntMZbrSU"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Uma maneira melhor consiste em usar métricas para avaliar a qualidade das saídas retornadas. Vamos comparar usando estas três *métricas de avaliação*:\n",
        "\n",
        "> - **Erro Absoluto Médio** (Mean Absolute Error - **MAE**) é a média dos valores absolutos dos erros:\n",
        "$$\\frac 1n\\sum_{i=1}^n|y_i-\\hat{y}_i|$$\n",
        "\n",
        "> - **Erro Médio Quadrado** (Mean Squared Error - **MSE**) é a média dos erros quadrados:\n",
        "$$\\frac 1n\\sum_{i=1}^n(y_i-\\hat{y}_i)^2$$\n",
        "\n",
        "> - **Raiz do Erro Médio Quadrado** (Root Mean Squared Error - **RMSE**) é apenas a raiz quadrada da métrica anterior:\n",
        "$$\\sqrt{\\frac 1n\\sum_{i=1}^n(y_i-\\hat{y}_i)^2}$$\n",
        "\n",
        "> 📌 Comparando as métricas:\n",
        "- **MAE** é a mais fácil de entender.\n",
        "- **MSE** é uma métrica que \"pune\" erros grandes, é mais usada no mundo real.\n",
        "- **RMSE** como a métrica anterior, com a vantagem de deixar na mesma unidade de medida do 'y'.\n",
        "\n"
      ],
      "metadata": {
        "id": "F1F08oTVj3V1"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "mae = metrics.mean_absolute_error(y_test, y_pred1)\n",
        "mse = metrics.mean_squared_error(y_test, y_pred1)\n",
        "rmse = math.sqrt(mse)\n",
        "\n",
        "print(\"Resultados do Modelo 1 (regressão linear)\")\n",
        "print(\"- MAE :\", mae)\n",
        "print(\"- MSE :\", mse)\n",
        "print(\"- RMSE :\", rmse)"
      ],
      "metadata": {
        "id": "kOUUMmkZkuQ-"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "mae = metrics.mean_absolute_error(y_test, y_pred2)\n",
        "mse = metrics.mean_squared_error(y_test, y_pred2)\n",
        "rmse = math.sqrt(mse)\n",
        "\n",
        "print(\"Resultados do Modelo 2 (rede neural)\")\n",
        "print(\"- MAE :\", mae)\n",
        "print(\"- MSE :\", mse)\n",
        "print(\"- RMSE :\", rmse)"
      ],
      "metadata": {
        "id": "k85Qx8v3kLeQ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Referências\n",
        "\n",
        "- baseado no notebook: https://www.kaggle.com/code/aminizahra/linear-regression"
      ],
      "metadata": {
        "id": "x8sTlx26cGTt"
      }
    }
  ]
}