03-Delimitação de grupos de flores.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Suponha que não soubéssemos quantas espécies diferentes estão presentes no dataset iris. Como poderíamos descobrir essa informação aproximadamente a partir dos dados presentes ali?\n",
    "\n",
    "Uma solução possível seria plotar os dados em um scatterplot e tentar identificar visualmente a existência de grupos distintos. O datase Iris, no entanto, possui quatro dimensões de dados então não é possível visualizá-lo inteiramente (apenas um par de features por vez).\n",
    "\n",
    "Para visualizar o dataset completo como um scatterplot 2D, é possível usar técnicas de **redução de dimensionalidade** para comprimir o dataset para duas dimensões perdendo pouca informação estrutural."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Leitura dos dados"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "iris = # Carregue o arquivo 'datasets/iris_without_classes.csv' "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Exiba as primeiras cinco linhas usando o método head() para checar que não existe mais a coluna \"Class\"\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Redução de dimensões"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Usaremos o algoritmo [PCA do scikit-learn](http://scikit-learn.org/stable/modules/decomposition.html#pca) para reduzir o número de dimenSões para dois no dataset."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.decomposition import PCA\n",
    "\n",
    "RANDOM_STATE=1234\n",
    "pca_model = # Crie um objeto PCA com dois componentes\n",
    "iris_2d = # Use o método fit_transform() para reduzir o dataset para duas dimensões"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "%matplotlib inline\n",
    "\n",
    "# Crie um scatterplot do dataset reduzido\n",
    "\n",
    "# Exiba o gráfico\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Quantos grupos distintos você consegue identificar?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Descoberta de clusters com K-Means"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O problem descrito anteriormente pode ser descrito como um problema de **Clusterização**. Clusterização permite encontrar grupos de exemplos que sejam semelhantes a outros exemplos no mesmo grupo mas diferentes de exemplos pertencentes a outros grupos.\n",
    "\n",
    "Neste exemplo, usaremos o algoritmo [KMeans do scikit-learn](http://scikit-learn.org/stable/modules/clustering.html#k-means) para encontrar cluster no dataset."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Uma limitação do KMeans é que ele precisa receber o número esperado de clusters como argumento, então é necessário que se tenha algum conhecimento daquele domínio para chutar um número razoável de grupos ou pode-se testar diferentes números de clusters e ver qual deles apresenta o melhor resultado."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Crie dois modelos KMeans: um com dois clusters e outro com três clusters\n",
    "# Armazene os identificadores previstos pelos modelos usando dois e três clusters\n",
    "from sklearn.cluster import KMeans\n",
    "\n",
    "model2 =  # Crie um objeto KMeans que espere dois clusters\n",
    "labels2 = # Infira o identificador de cluster de cada exemplo no dataset usando predict()\n",
    "\n",
    "model3 =  # Crie um objeto KMeans que espere três clusters\n",
    "labels3 = # Infira o identificador de cluster de cada exemplo no dataset usando predict()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Crie um scatterplot usando o dataset reduzido colorindo cada ponto de acordo com o cluster\n",
    "# ao qual ele pertence segundo o KMeans de dois clusters\n",
    "\n",
    "# Exiba o scatterplot\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Crie um scatterplot usando o dataset reduzido colorindo cada ponto de acordo com o cluster\n",
    "# ao qual ele pertence segundo o KMeans de três clusters\n",
    "\n",
    "# Exiba o scatterplot\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Recursos adicionais"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Existem técnicas como Análise de Silhueta para inferir automaticamente o número ótimo de clusters em um dataset. [Este link](http://scikit-learn.org/stable/auto_examples/cluster/plot_kmeans_silhouette_analysis.html) ilustra com um exemplo como essa técnica pode ser implementada usando o scikit-learn."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Em relação a redução de dimensionalidade, PCA é uma das técnicas mais usadas em experimentos iniciais. Algumas alternativas comuns ao KMeans e PCA são, respectivamente, [DBSCAN](http://scikit-learn.org/stable/modules/generated/sklearn.cluster.DBSCAN.html) e [t-SNE](http://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html). Para uma excelente explicação interativa sobre o t-SNE, veja [esse link](http://distill.pub/2016/misread-tsne/)."
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}