labs/lab02-Perceptron.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Cvičenie 2: Perceptrón\n",
    "\n",
    "Na dnešnom cvičení naimplementujeme najjednoduchšiu neurónovú sieť, teda perceptrón. Na úvod si zopakujeme, čo je to perceptrón, z akých častí sa skladá, aké má parametre a ako funguje - ako sa vypočítava vstup a ako sa perceptrón učí z dát. Pri tom nám pomôže štruktúra perceptrónu:\n",
    "\n",
    "![Štruktúra perceptrónu](sources/lab02/2.1-perceptron-structure.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. Prvý pohľad na kód\n",
    "\n",
    "Stiahnite si [kostru riešenia](sources/lab02/lab2.zip), ktorá obsahuje čiastočnú implementáciu perceptrónu a dataset, ktorý použijeme na trénovanie. Je ním dataset [Iris](https://archive.ics.uci.edu/ml/datasets/iris), ktorý sa používa veľmi často pri ukážkach metód strojového učenia.\n",
    "\n",
    "Kód (`lab2-perceptron.py`) obsahuje definíciu triedy `Perceptron` aj s deklaráciami členských metód. Skript navyše obsahuje funkcie `plot_decision_regions` (vizualizuje rozhodovanie perceptrónu) a `plot_dataset` (vizualizuje dataset).\n",
    "\n",
    "Po spustení skriptu by sa vám mal zobraziť graf s datasetom. Z grafu zistite, či je možné natrénovať perceptrón na klasifikáciu dát z datasetu Iris."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. Implementácia doprednej časti perceptrónu\n",
    "\n",
    "V ďalšej časti postupne implementujeme doprednú časť, teda predikciu, perceptrónu. K tomu potrebujete implementovať tri funkcie: konštruktor, `get_sum` a `predict`."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.1. Konštruktor\n",
    "\n",
    "Konštruktor triedy má dva parametre:\n",
    "* `input_no` - celé číslo reprezentujúce počet vstupov do perceptrónu\n",
    "* `learning_rate` - učiaci parameter perceptrónu, vyjadruje mieru učenia z nových dát.\n",
    "\n",
    "Na základe parametrov konštruktora inicializujte potrebné členské premenné perceptrónu."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.2. `get_sum`\n",
    "\n",
    "Funkcia `get_sum` slúži na výpočet váženej sumy vstupov na základe príslušných váh. Pre jednoduchosť riešenia rovno pripočítame aj prah (bias) perceptrónu. Pre výpočet sumy môžete použiť metódu z knižnice `numpy`. Vstupom do funkcie je vektor vstupov (`input_vector`), ktorý môže reprezentovať jeden vstupný príklad alebo niekoľko vstupných príkladov (ak pracujete v knižnici `numpy`, nie je potrebné zvlásť ošetriť jednotlivé prípady použitia)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.3. `predict`\n",
    "\n",
    "Funkcia `predict` vypočíta celkový výstup perceptrónu pre daný vstup (parameter `input_vector`). Funkcia má vrátiť 1 pre vstup, kde vážená suma aj s biasom je minimálne 0 a -1 pre záporné sumy."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.4. Testovanie\n",
    "\n",
    "Aby ste otestovali riešenie, skúste predikovať výstup pre každý riadok z datasetu a vypíšte výsledok do konzoly - pre jednoduchosť testovania odporúčame, aby ste všetky parametre perceptrónu inicializovali na 0."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. Trénovanie perceptrónu\n",
    "\n",
    "Posledná chýbajúca metóda triedy `Perceptron` je `fit`, ktorá slúži na trénovanie perceptrónu. V tomto kroku ju naimplementujete pričom použite nasledujúci spôsob aktualizácie váh:\n",
    "\n",
    "$w_{i}(t+1)=w_{i}(t) + x_{i} \\cdot \\gamma \\cdot (\\hat{y} - y)$\n",
    "\n",
    "kde:\n",
    "* $w_{i}(t+1)$ je hodnota váhy $w_{i}$ v čase t+1,\n",
    "* $x_{i}$ je hodnota i-tej vstupnej hodnoty\n",
    "* $\\gamma$ je učiaci parameter\n",
    "* $\\hat{y}$ je očakávaný výstup\n",
    "* $y$ je vypočítaný výstup."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Funkcia `fit` má tri parametre:\n",
    "* `X` - vstupné príklady (jeden vstup alebo pole vstupov)\n",
    "* `y` - príslušné výstupné príklady (jeden výstup alebo pole výstupov)\n",
    "* `epochs` - počet trénovacích epoch, defaultne 10.\n",
    "\n",
    "Pre pozorovanie vývoja trénovania perceptrónu môžete vypísať počet chybných výstupov pre celý dataset."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4. Testovanie perceptrónu\n",
    "\n",
    "Ak ste úspešne implementovali všetky funkcie, môžete natrénovať perceptrón pomocou dát z datasetu Iris. Dataset je už predspracovaný vo funkcii `main`. Vašou úlohou je vytvoriť nový perceptrón a natrénovať ho na dátach. Pre vizualizáciu úspešnosti trénovania vykreslite rozhodovanie perceptrónu pred a po trénovaní pomocou funkcie `plot_decision_regions`.\n",
    "\n",
    "Ukážkové riešenie cvičenia nájdete na [tejto adrese](sources/lab02/perceptron-solution.py). Aplikáciu pre XOR problém nájdete na [tejto adrese](sources/lab02/perceptron-xor.py)."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}