Parte 1. S01. Procesamiento de datos masivos.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "370bfa4e-8166-45db-a647-fafb435f326a"
    }
   },
   "source": [
    "<span style='font-size:2.4em'>Procesamiento masivo de datos con SparkR</span>\n",
    "\n",
    "<span style='font-size:1.5em'>VIII Jornadas de usuarios de R. Albacete, Castilla-La Mancha, 17 y 18 de noviembre de 2016</span>\n",
    "\n",
    "Taller impartido por: <span style='font-size:1.2em'>Manuel Jesús Parra Royón</span>\n",
    "\n",
    "\n",
    "![Alt](https://sites.google.com/site/manuparra/home/logoparty.png)\n",
    "\n",
    "<HR>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "c698a2da-cc7f-4b9b-809d-0761b5113cc6"
    }
   },
   "source": [
    "# Procesamiento masivo de datos con SparkR"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "9e2fe0c4-601e-4d73-a965-669b2bea7448"
    }
   },
   "source": [
    "![Spark+R](https://sites.google.com/site/manuparra/home/SparkRlogo.png)\n",
    "\n",
    "<HR>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "<span style='font-size:1.5em'>Hola ! Si estás en este taller, es porque estás interesado en R y además no te conformas con procesar y analizar datos de poco tamaño; Quieres procesar datos masivamente !!</span>\n",
    "\n",
    "<span style='font-size:1.2em'>R es un popular lenguaje de programación estadística con una serie de extensiones que soportan el procesamiento de datos y tareas de aprendizaje automático. Sin embargo, el análisis interactivo de datos en R suele ser limitado, ya que el tiempo de ejecución R es de subproceso único y sólo puede procesar conjuntos de datos que se ajusten a la memoria de una sola máquina. <BR><BR>Presentamos SparkR, un paquete R que proporciona un frontend a Apache Spark y utiliza el motor de cálculo distribuido de Spark para permitir el análisis de datos a gran escala desde el shell R. Describimos los principales objetivos de diseño de SparkR, discutimos cómo el API de DataFrame de alto nivel permite el cálculo escalable y presenta algunos de los detalles clave de nuestra implementación.</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Introducción"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "## Herramientas tradicionales de análisis de datos:\n",
    "\n",
    "* Unix scripts\n",
    "* Pandas\n",
    "* R\n",
    "* ...\n",
    "\n",
    "Todas ellas operan sobre una única máquina, no conectadas o conectadas, con recursos limitados, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## El problema de los grandes conjuntos de datos\n",
    "\n",
    "* Los datos crecen más rápido que la velocidad de computación.\n",
    "* Fuentes de datos creciendo: datos de la web, datos científicos, datos móviles, datos de sistemas, ...\n",
    "* Almacenamiento muy barato: El tamaño se dobla cada 18 meses.\n",
    "* Cuellos de botella en la CPU y almacenamiento."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ejemplos \n",
    "\n",
    "* Logs diarios de FaceBook: 60 TB\n",
    "* 1000 genomas: 200 TB\n",
    "* Indice web de Google: 10+ PB\n",
    "* Coste de 1 TB de discoduro: ~35 ... 50 €\n",
    "* Tiempo de lectura de 1 TB: 3 horas !!!! (100 MB/s)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# El problema de analizar grandes conjuntos de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Una maquina sola no puede procesar o incluso almacenar todos los datos\n",
    "\n",
    "* Solo una solución: distribuir  los datos sobre clusters\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![sd](https://sites.google.com/site/manuparra/home/mpareduce.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<center>MapReduce es el corazón de Hadoop.</center>\n",
    "\n",
    "Este paradigma de programación permite una escalabilidad masiva a través de cientos o miles de servidores en un clúster con Hadoop. El concepto de MapReduce es bastante simple de entender."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![Hadoop](http://hadoop.apache.org/images/hadoop-logo.jpg)   ![hdfs](http://www.happyminds.es/wp-content/uploads/2013/01/hdfs-logo.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Limitaciones de Hadoop y MapReduce:\n",
    "\n",
    "* Latencia para el acceso a datos.\n",
    "* Cantidades grandes de ficheros pequeños.\n",
    "* Escribe una vez, lee varias.\n",
    "* No se puede acceder con los comandos tradicionales de Linux (ls, cat, vim...).\n",
    "\n",
    "En cuanto a MapReduce:\n",
    "\n",
    "* Es muy difícil de depurar: Al procesarse el programa en los nodos donde se encuentran los bloques de datos.\n",
    "* **No todos los algoritmos se pueden escribir** con el paradigma MapReduce. Por ejemplo, el famoso algoritmo de grafos Dijkstra, al necesitar un procesamiento secuencial, no se puede escribir en MapReduce."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Motivación de Apache Spark"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "El uso de MAP REDUCE para trabajos complejos, consultas interactivas y proceamiento, involucra **enormes cantidades de entrada** y salida de disco.\n",
    "\n",
    "El trabajo con Disco es muy lento !\n",
    "\n",
    "![memory](https://sites.google.com/site/manuparra/home/memory.png)\n",
    "\n",
    "![memchange](https://sites.google.com/site/manuparra/home/memchange.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Almacenar más datos en memoria. Usar más memoria en lugar de disco.\n",
    "\n",
    "![faster](https://sites.google.com/site/manuparra/home/faster.png)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Resilient Distributed Datasets (RDDs)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Colecciones de objetos particionados y repartidos a lo largo del cluster, almacenado en memoría o disco.\n",
    "* Manipulados a través de deversas transformaciones y acciones (map, filter, join, count, collect, save, ...)\n",
    "* Son automáticamente reconstruidos en caso de fallo de la máquina "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Hadoop (Map Reduce) y Spark"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "|    Caracteristica    |   Hadoop   |              Spark              |\n",
    "|:--------------------:|:----------:|:-------------------------------:|\n",
    "|    Almacenamiento    |    Disco   |        En memoria o disco       |\n",
    "|      Operaciones     | Map Reduce |     Map Reduce Join, Sample     |\n",
    "| Modelo de  ejecución |  Por lotes | Por lotes Interactivo Streaming |\n",
    "|       Lenguaje       |    Java    |     Scala, Java, R y Python     |\n",
    "\n",
    "Procesamiento en Memoria, puede marcar gran diferencia\n",
    "\n",
    "![compare](https://sites.google.com/site/manuparra/home/inmemory.png)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "**Las ventajas principales de Spark:**\n",
    "\n",
    "1. Una plataforma de código abierto con una comunidad activa\n",
    "2. Una plataforma rápida \n",
    "3. Una plataforma unificada para gestionar datos\n",
    "4. Consola interactiva\n",
    "5. Una gran API para trabajar con los datos\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "R",
   "language": "R",
   "name": "ir"
  },
  "language_info": {
   "codemirror_mode": "r",
   "file_extension": ".r",
   "mimetype": "text/x-r-source",
   "name": "R",
   "pygments_lexer": "r",
   "version": "3.3.1"
  },
  "nbpresent": {
   "slides": {},
   "themes": {
    "default": "e0e51597-5ca5-40be-84b2-d2bb41981c19",
    "theme": {
     "563b9d05-fb33-4f5d-88f7-bda098be8308": {
      "backgrounds": {
       "backgroundColor": {
        "background-color": "backgroundColor",
        "id": "backgroundColor"
       }
      },
      "id": "563b9d05-fb33-4f5d-88f7-bda098be8308",
      "palette": {
       "backgroundColor": {
        "id": "backgroundColor",
        "rgb": [
         34,
         34,
         34
        ]
       },
       "headingColor": {
        "id": "headingColor",
        "rgb": [
         238,
         238,
         238
        ]
       },
       "linkColor": {
        "id": "linkColor",
        "rgb": [
         170,
         34,
         51
        ]
       },
       "mainColor": {
        "id": "mainColor",
        "rgb": [
         238,
         238,
         238
        ]
       }
      },
      "rules": {
       "a": {
        "color": "linkColor"
       },
       "h1": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 7
       },
       "h2": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 5
       },
       "h3": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 3.75
       },
       "h4": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 3
       },
       "h5": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "h6": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "h7": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "li": {
        "color": "mainColor",
        "font-family": "Ubuntu",
        "font-size": 5
       },
       "p": {
        "color": "mainColor",
        "font-family": "Ubuntu",
        "font-size": 5
       }
      },
      "text-base": {
       "color": "mainColor",
       "font-family": "Ubuntu",
       "font-size": 5
      }
     },
     "e0e51597-5ca5-40be-84b2-d2bb41981c19": {
      "backgrounds": {
       "backgroundColor": {
        "background-color": "backgroundColor",
        "id": "backgroundColor"
       }
      },
      "id": "e0e51597-5ca5-40be-84b2-d2bb41981c19",
      "palette": {
       "backgroundColor": {
        "id": "backgroundColor",
        "rgb": [
         253,
         246,
         227
        ]
       },
       "headingColor": {
        "id": "headingColor",
        "rgb": [
         88,
         110,
         117
        ]
       },
       "linkColor": {
        "id": "linkColor",
        "rgb": [
         38,
         139,
         210
        ]
       },
       "mainColor": {
        "id": "mainColor",
        "rgb": [
         101,
         123,
         131
        ]
       }
      },
      "rules": {
       "a": {
        "color": "linkColor"
       },
       "h1": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 7
       },
       "h2": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 5
       },
       "h3": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 3.75
       },
       "h4": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 3
       },
       "h5": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "h6": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "h7": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "li": {
        "color": "mainColor",
        "font-family": "Lato",
        "font-size": 5
       },
       "p": {
        "color": "mainColor",
        "font-family": "Lato",
        "font-size": 5
       }
      },
      "text-base": {
       "color": "mainColor",
       "font-family": "Lato",
       "font-size": 5
      }
     }
    }
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}