tratamento_de_valores_ausentes.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "source": [
    "# Change Function Declaration\n",
    "\n",
    "🎓 College: [Faculdade Metodista Granbery](http://granbery.edu.br/)\n",
    "\n",
    "👨‍🏫 Teacher: [Marco Antônio - Github](https://github.com/marcoaparaujo) | [Linkedin](https://www.linkedin.com/in/marco-ant%C3%B4nio-ara%C3%BAjo/)\n",
    "\n",
    "📗 Book: [Refatoração - Aperfeiçoando o design de códigos existentes - Martin Fowler](https://www.amazon.com/-/pt/dp/B087N8LKYB/ref=sr_1_1?__mk_pt_BR=%C3%85M%C3%85%C5%BD%C3%95%C3%91&crid=M4T29CCKD30E&keywords=refatora%C3%A7%C3%A3o&qid=1651322207&sprefix=refatora%C3%A7%C3%A3o%2Caps%2C203&sr=8-1)\n"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    " O método change function Declaration tem objetivo de substituir o nome da função para algo que possa ser melhor compreendido, além de favorecer compreensão de manutenções futuras. O procedimento que escolhido foi o simples como no livro orienta para execução da refatoração.\n",
    "\n",
    "O código que escolhi foi uma atividade dado em aula pelo Professor Ricardo. Essa função recebe um parâmetro de nomes de coluna do dataset, os dados são verificados pela sua severidade e depois ocorre sua substituição dos valores ausentes de acordo com o seu tipo.\n",
    "\n",
    "O código pode ser encontrado na plataforma [Kaggle](https://www.kaggle.com/code/edmilsoneddi/data-mining-discipline-exercise)\n",
    "\n",
    "## Ferramentas\n",
    "### pytest\n",
    "```sh\n",
    "    pip install ipytest\n",
    "```\n",
    "### testbook\n",
    "```sh\n",
    "    pip install testbook\n",
    "```\n",
    "### jupyter notebook\n",
    "```sh\n",
    "    pip install jupyter\n",
    "```\n",
    "### pandas\n",
    "```sh\n",
    "    pip install pandas\n",
    "```\n"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "\n",
    "## Código escolhido  de tratamento de valores ausentes\n",
    "#### Mineração de dados –  [Prof. Ricardo Campos](https://www.linkedin.com/in/ricardo-campos-505220237/)\n",
    "\n",
    "Realizar as seguintes tarefas de limpeza nos dados no dataset de\n",
    "mamografia (anexo) 1 , que contém as seguintes variáveis:\n",
    "\n",
    "Avaliação BI-RADS: 1 a 5 (ordinal).\n",
    "\n",
    "Idade: idade da paciente em anos (inteiro).\n",
    "\n",
    "Forma da massa: {redonda = 1, oval = 2, lobular = 3, irregular = 4}\n",
    "(nominal).\n",
    "\n",
    "Contorno da massa: {circunscrita = 1, microlobulada = 2, obscura =\n",
    "3, mal definida = 4, especulada = 5} (nominal).\n",
    "\n",
    "Densidade da massa: {alta = 1, iso = 2, baixa = 3, gordurosa = 4}\n",
    "(nominal).\n",
    "\n",
    "Severidade: {benigno = 0, maligno = 1} (binário).\n",
    "\n",
    "Há 162 valores ausentes afetando 86 objetos diferentes. Uma das\n",
    "opções é eliminar esses objetos, reduzindo o tamanho da base; contudo, a\n",
    "remoção pode causar perda de informação importante. Assim, aplique um\n",
    "método de imputação para suprir a ausência dos valores dos atributos nos\n",
    "objetos. Utilize a média ou moda de todos os objetos da mesma\n",
    "classe para imputar o valor ausente, sendo que o valor do atributo\n",
    "“Severidade” determinará a classe dos objetos (“benigno” ou “maligno”).\n",
    "\n",
    "### Utilize a linguagem Python e os métodos de dataframe para a imputação.  As respostas seguem abaixo, para conferência:\n",
    "\n",
    "A. O atributo “BI-RADS” está ausente em dois objetos (ID 21 e ID\n",
    "209), sendo que cada um pertence a uma das classes. Como o\n",
    "atributo é discreto, será utilizado o valor com maior frequência\n",
    "em cada classe para determinar o valor que será atribuído aos\n",
    "objetos. Para o objeto 21, pertencente à classe “maligno”, o valor\n",
    "de imputação para o atributo “BI-RADS” será 5 (frequência igual\n",
    "a 427), e, para o objeto 209, será 4 (frequência igual a 306).\n",
    "\n",
    "B. Para o atributo “Idade” há 5 objetos com valor ausente, sendo\n",
    "todos pertencentes à classe “maligno”. Como o atributo é\n",
    "contínuo, é necessário calcular a média dos valores dos atributos\n",
    "dos objetos da mesma classe, que, nesse caso, é 62,3. Como na\n",
    "definição do atributo “Idade” os valores são sempre inteiros, será\n",
    "utilizado o valor arredondado de 62 para atribuir aos objetos com\n",
    "ID 444, 454, 684, 885 e 924.\n",
    "\n",
    "C. Para o atributo “Forma” há 31 objetos sem valor, 19 da classe\n",
    "“benigno” e 12 da classe “maligno”. Para a classe “benigno”, o\n",
    "valor mais frequente é “redonda”, presente em 186 objetos, ao\n",
    "passo que, para a classe “maligno”, o valor “irregular” está\n",
    "presente em 315 objetos, sendo o mais frequente. Portanto,\n",
    "valores serão imputados aos objetos que estão com valor\n",
    "ausente nesse atributo.\n",
    "\n",
    "D. Para o atributo “Contorno” há 48 objetos sem valor, 37 da classe\n",
    "“benigno” e 11 da classe “maligno”. Para a classe “benigno”, o\n",
    "valor mais frequente é “circunscrita”, presente em 316 objetos;\n",
    "já para a classe “maligno”, o valor “mal definida” é o mais\n",
    "frequente e está presente em 191 objetos. Portanto, esses\n",
    "valores serão imputados aos objetos que estão com valor\n",
    "ausente nesse atributo.\n",
    "\n",
    "E. Para o atributo “Densidade” há 76 objetos sem valor, 54 da\n",
    "classe “benigno” e 22 da classe “maligno”. Para ambas as\n",
    "classes o valor mais frequente é “baixa”, presente em 405 e 393\n",
    "objetos das classes “benigno” e “maligno”, respectivamente.\n",
    "Portanto, esse valor será imputado a todos os objetos que estão\n",
    "com valor ausente nesse atributo.\n",
    "Disponível em:\n",
    "[Mammographic Data](http://archive.ics.uci.edu/ml/datasets/Mammographic+Massesses)\n"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "outputs": [],
   "source": [
    "import pandas as pd"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "ba661045",
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "dataset = pd.read_csv('mamografia.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "0de4fc33",
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    },
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": "   BI-RADS  Idade  Forma   Margem   Densidade  Severidade\n0      5.0   67.0    3.0      5.0         3.0           1\n1      4.0   43.0    1.0      1.0         NaN           1\n2      5.0   58.0    4.0      5.0         3.0           1\n3      4.0   28.0    1.0      1.0         3.0           0\n4      5.0   74.0    1.0      5.0         NaN           1",
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>BI-RADS</th>\n      <th>Idade</th>\n      <th>Forma</th>\n      <th>Margem</th>\n      <th>Densidade</th>\n      <th>Severidade</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>5.0</td>\n      <td>67.0</td>\n      <td>3.0</td>\n      <td>5.0</td>\n      <td>3.0</td>\n      <td>1</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>4.0</td>\n      <td>43.0</td>\n      <td>1.0</td>\n      <td>1.0</td>\n      <td>NaN</td>\n      <td>1</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>5.0</td>\n      <td>58.0</td>\n      <td>4.0</td>\n      <td>5.0</td>\n      <td>3.0</td>\n      <td>1</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>4.0</td>\n      <td>28.0</td>\n      <td>1.0</td>\n      <td>1.0</td>\n      <td>3.0</td>\n      <td>0</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>5.0</td>\n      <td>74.0</td>\n      <td>1.0</td>\n      <td>5.0</td>\n      <td>NaN</td>\n      <td>1</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "mamografia = dataset\n",
    "mamografia.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "e2556e40",
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    },
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": "BI-RADS       float64\nIdade         float64\nForma         float64\n Margem       float64\n Densidade    float64\nSeveridade      int64\ndtype: object"
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "mamografia.dtypes"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0a1a6558",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "# Análise de Valores Ausentes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "3b5e20e8",
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    },
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      " Valores ausentes  \n",
      "\n",
      "Valores Benigno: \n",
      "BI-RADS        1\n",
      "Idade          0\n",
      "Forma         19\n",
      " Margem       37\n",
      " Densidade    54\n",
      "Severidade     0\n",
      "dtype: int64\n",
      "\n",
      "Valores Maligno: \n",
      "BI-RADS        1\n",
      "Idade          5\n",
      "Forma         12\n",
      " Margem       11\n",
      " Densidade    22\n",
      "Severidade     0\n",
      "dtype: int64\n",
      "\n"
     ]
    }
   ],
   "source": [
    "benigno = mamografia[mamografia['Severidade'] == 0].isnull().sum()\n",
    "print(' Valores ausentes  ')\n",
    "print()\n",
    "print('Valores Benigno: ')\n",
    "print(benigno)\n",
    "print()\n",
    "maligno = mamografia[mamografia['Severidade'] == 1].isnull().sum()\n",
    "print('Valores Maligno: ')\n",
    "print(maligno)\n",
    "print()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "86bc7769",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "## Função de tratamento dos Valores ausentes\n",
    "### Aplicação do método Change Function Declaration\n",
    "#### Procedimento para refatoração\n"
   ]
  },
  {
   "cell_type": "markdown",
   "source": [
    "## 1 - Identificação do Mau cheiro dentro códgio\n",
    "\n",
    "### Nome misterioso : Uma das formas de ser tratado é usando o Change Function Declaration, ficar lendo código para tentar entender o que está acontencedo pode demorar horas. Usamos esse método para melhorar a interpretação da função e manutenções futuras."
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "### 2 - Identificar função e localizar suas referências"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "### Código antes de ser usado o método"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "~~~python\n",
    "    def verifica_moda_da_severidade(lista):\n",
    "        moda_benigno = mamografia[(mamografia['Severidade'] == 0)][lista].mode()[0]\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 0), lista] = moda_benigno\n",
    "        moda_maligno = mamografia[(mamografia['Severidade'] == 1)][lista].mode()[0]\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 1), lista] = moda_maligno\n",
    "\n",
    "    def verifica_media_da_severidade(lista):\n",
    "        media_benigno = mamografia[(mamografia['Severidade'] == 0)][lista].mean()\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 0), lista] = media_benigno\n",
    "        media_maligno = mamografia[(mamografia['Severidade'] == 1)][lista].mean()\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 1), lista] = media_maligno\n",
    "~~~"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "~~~python\n",
    "    def tratar_ausentes(lista_col):\n",
    "        for lista in lista_col:\n",
    "            if lista != 'Idade':\n",
    "                verifica_moda_da_severidade(lista)\n",
    "            else:\n",
    "                verifica_media_da_severidade(lista)\n",
    "~~~"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Funções com nomes ruins\n",
    "![funcao](images/indica_funcao_ruim.png)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Testes sem refatoração\n",
    "\n",
    "![Testes](images/test_com_funcao_ruim.png)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "### 3 - Aplicar refatoração"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "### Alteração das referências\n",
    "\n",
    "![Alteração das referências](images/codigo_refatorado.png)\n"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "outputs": [],
   "source": [
    "def substitui_valores_ausentes_com_moda(lista):\n",
    "        moda_benigno = mamografia[(mamografia['Severidade'] == 0)][lista].mode()[0]\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 0), lista] = moda_benigno\n",
    "        moda_maligno = mamografia[(mamografia['Severidade'] == 1)][lista].mode()[0]\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 1), lista] = moda_maligno\n",
    "\n",
    "def substitui_valores_ausentes_com_media(lista):\n",
    "        media_benigno = mamografia[(mamografia['Severidade'] == 0)][lista].mean()\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 0), lista] = media_benigno\n",
    "        media_maligno = mamografia[(mamografia['Severidade'] == 1)][lista].mean()\n",
    "        mamografia.loc[(mamografia[lista].isnull())&(mamografia['Severidade'] == 1), lista] = media_maligno"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "outputs": [],
   "source": [
    "def tratar_ausentes(lista_col):\n",
    "    for lista in lista_col:\n",
    "        if lista != 'Idade':\n",
    "            substitui_valores_ausentes_com_moda(lista)\n",
    "        else:\n",
    "            substitui_valores_ausentes_com_media(lista)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "outputs": [],
   "source": [
    "tratar_ausentes(mamografia.columns)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "outputs": [
    {
     "data": {
      "text/plain": "BI-RADS       0\nIdade         0\nForma         0\n Margem       0\n Densidade    0\nSeveridade    0\ndtype: int64"
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "mamografia.isnull().sum()"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "### 4 - Execução dos testes"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Testes após refatoração\n",
    "\n",
    "### Testes\n",
    "![Testes com refatoração](images/indicacao_dos_testes_apos_refatoracao.png)\n",
    "### Saída dos testes:\n",
    "![Testes com refatoração](images/tests_passaram.png)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%% md\n"
    }
   }
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}