character_level.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "character_level.ipynb",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ORVcaGSbH1BI"
      },
      "source": [
        "## 0. Colab Environment Settings"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "jmI7_aCx_MW-",
        "outputId": "0434252a-01f5-45f6-9729-cf873bebbd48",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "#Authentication for google drive\n",
        "from google.colab import drive\n",
        "drive.mount('/gdrive')"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Mounted at /gdrive\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_SHVIYUVEDLM",
        "outputId": "08294f4b-258a-4be2-b62f-6d9c59e99e70",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "#check the validity of the project path\n",
        "!ls \"/gdrive/My Drive/text-generation-lstm-keras/\""
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "character_level.ipynb  ekonomi-saglik-spor.txt\tsaved_models\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Za1PES3l_NHm"
      },
      "source": [
        "#set as a current directory\n",
        "import os\n",
        "os.chdir(\"/gdrive/My Drive/text-generation-lstm-keras/\")"
      ],
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Iocsb58mIPMi"
      },
      "source": [
        "## 1. Import Libraries and The Dataset"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "etDWYHRC8ix0"
      },
      "source": [
        "'''\n",
        "At least 20 epochs are required before the generated text\n",
        "starts sounding coherent.\n",
        "It is recommended to run this script on GPU, as recurrent\n",
        "networks are quite computationally intensive.\n",
        "If you try this script on new data, make sure your corpus\n",
        "has at least ~100k characters. ~1M is better.\n",
        "'''\n",
        "\n",
        "from __future__ import print_function\n",
        "from keras.callbacks import LambdaCallback\n",
        "from keras.callbacks import ModelCheckpoint\n",
        "from keras.models import Sequential\n",
        "from keras.layers import Dense,Dropout,LSTM\n",
        "from keras.optimizers import RMSprop\n",
        "from keras.utils.data_utils import get_file\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "import random\n",
        "import sys\n",
        "import io\n"
      ],
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "u-MO0ab384Uv",
        "outputId": "5c3e64b3-d2d0-422f-c3d6-c042257d3c08",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "#open the file\n",
        "filename = 'ekonomi-saglik-spor.txt'\n",
        "with io.open(filename,encoding=\"ISO-8859-9\") as f:\n",
        "    text = f.read().lower()\n",
        "print('corpus length:', len(text))"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "corpus length: 461527\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "hHCLzdC9UjMo",
        "outputId": "504e1434-9e45-4851-e520-93f98e884a95",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "print(text[0:500])"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            " ankara - türk telekom'un indirim reklamları sanayi ve ticaret bakanlığı'na takıldı. sanayi ve ticaret bakanlığı tüketicinin ve rekabetin korunması genel müdürlüğü bünyesinde yer alan reklam kurulu, türk telekom'un 1 ağustos'tan itibaren yürürlüğe koyduğu yeni tarifelerine ilişkin olarak 'telefon yüzde 80 ucuzluyor' sloganını taşıyan tv ve basın reklamlarına 'tüketici yanıltılıyor' gerekçesiyle ihtiyati tedbir niteliğinde durdurma cezası verdi. kurul kararını türk telekom'a tebliğ edecek. kurul \n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "owa78RonIXvS"
      },
      "source": [
        "## 2. Data Cleaning"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XBPHqd2CwS_x",
        "outputId": "1007235f-c10c-4a62-925d-09e2060c2ef0",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "#cleaning undesired characters\n",
        "from string import punctuation, digits\n",
        "translator = str.maketrans('', '', punctuation)\n",
        "text = text.translate(translator)\n",
        "translator = str.maketrans('', '', digits)\n",
        "text = text.translate(translator)\n",
        "translator = str.maketrans('', '', '\\x85'+ '\\x91'+ '\\x92'+ '\\x93'+ '\\x94'+ '\\x95'+ '´'+ '·')\n",
        "text = text.translate(translator)\n",
        "others = {'á' : 'a', 'â':'a', 'î':'i', 'ô':'o', '\\n':' '}\n",
        "translator = str.maketrans(others)\n",
        "text = text.translate(translator)\n",
        "\n",
        "\n",
        "print(text[0:500])"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            " ankara  türk telekomun indirim reklamları sanayi ve ticaret bakanlığına takıldı sanayi ve ticaret bakanlığı tüketicinin ve rekabetin korunması genel müdürlüğü bünyesinde yer alan reklam kurulu türk telekomun  ağustostan itibaren yürürlüğe koyduğu yeni tarifelerine ilişkin olarak telefon yüzde  ucuzluyor sloganını taşıyan tv ve basın reklamlarına tüketici yanıltılıyor gerekçesiyle ihtiyati tedbir niteliğinde durdurma cezası verdi kurul kararını türk telekoma tebliğ edecek kurul kesin durdurma ka\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Oj-0rPHFIj8e"
      },
      "source": [
        "## 3. Vectorization of Text for Training"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UoZdqJ5t8sjn",
        "outputId": "31c69118-aa5e-4615-b0cd-63eb310d9d9e",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "chars = sorted(list(set(text)))\n",
        "print(chars)\n",
        "print('total chars:', len(chars))\n",
        "char_indices = dict((c, i) for i, c in enumerate(chars))\n",
        "indices_char = dict((i, c) for i, c in enumerate(chars))\n",
        "\n",
        "# cut the text in semi-redundant sequences of maxlen characters\n",
        "maxlen = 50\n",
        "step = 3\n",
        "sentences = []\n",
        "next_chars = []\n",
        "for i in range(0, len(text) - maxlen, step):\n",
        "    sentences.append(text[i: i + maxlen])\n",
        "    next_chars.append(text[i + maxlen])\n",
        "print('nb sequences:', len(sentences))\n",
        "\n",
        "print('Vectorization...')\n",
        "x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)\n",
        "y = np.zeros((len(sentences), len(chars)), dtype=np.bool)\n",
        "for i, sentence in enumerate(sentences):\n",
        "    for t, char in enumerate(sentence):\n",
        "        x[i, t, char_indices[char]] = 1\n",
        "    y[i, char_indices[next_chars[i]]] = 1\n"
      ],
      "execution_count": 8,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[' ', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'ç', 'ö', 'ü', 'ğ', 'ı', 'ş', '̇']\n",
            "total chars: 34\n",
            "nb sequences: 148115\n",
            "Vectorization...\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "h-tHIHsSI7M5"
      },
      "source": [
        "## 4. Model Building"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "t4MCNjzRFUwi",
        "outputId": "26f5cdca-e6ee-4bf6-e26d-0a4599746b65",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "print('Build model...')\n",
        "model = Sequential()\n",
        "model.add(LSTM(128, input_shape=(maxlen, len(chars)), return_sequences=True))\n",
        "model.add(Dropout(0.2))\n",
        "model.add(LSTM(128, input_shape=(maxlen, len(chars))))\n",
        "model.add(Dense(len(chars), activation='softmax'))\n",
        "\n",
        "optimizer = RMSprop(learning_rate=0.01)\n",
        "model.compile(loss='categorical_crossentropy', optimizer=optimizer)"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Build model...\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "E4cHOPFXJN8E"
      },
      "source": [
        "### 4.1. Utility Functions"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tCf-tihu8xJH"
      },
      "source": [
        "def sample(preds, temperature=1.0):\n",
        "    # helper function to sample an index from a probability array\n",
        "    preds = np.asarray(preds).astype('float64')\n",
        "    preds = np.log(preds) / temperature\n",
        "    exp_preds = np.exp(preds)\n",
        "    preds = exp_preds / np.sum(exp_preds)\n",
        "    probas = np.random.multinomial(1, preds, 1)\n",
        "    return np.argmax(probas)\n",
        "\n",
        "\n",
        "def on_epoch_end(epoch, _):\n",
        "    # Function invoked at end of each 2 epoch. Prints generated text.\n",
        "    epoch +=1\n",
        "    if(epoch % 2 == 0):\n",
        "      print()\n",
        "      print('----- Generating text after Epoch: %d' % epoch)\n",
        "\n",
        "      start_index = random.randint(0, len(text) - maxlen - 1)\n",
        "      for diversity in [0.2, 0.5, 1.0, 1.2]:\n",
        "          print('----- diversity:', diversity)\n",
        "\n",
        "          generated = ''\n",
        "          sentence = text[start_index: start_index + maxlen]\n",
        "          generated += sentence\n",
        "          print('----- Generating with seed: \"' + sentence + '\"')\n",
        "          sys.stdout.write(generated)\n",
        "\n",
        "          for i in range(175):\n",
        "              x_pred = np.zeros((1, maxlen, len(chars)))\n",
        "              for t, char in enumerate(sentence):\n",
        "                  x_pred[0, t, char_indices[char]] = 1.\n",
        "\n",
        "              preds = model.predict(x_pred, verbose=0)[0]\n",
        "              next_index = sample(preds, diversity)\n",
        "              next_char = indices_char[next_index]\n",
        "\n",
        "              sentence = sentence[1:] + next_char\n",
        "\n",
        "              sys.stdout.write(next_char)\n",
        "              sys.stdout.flush()\n",
        "          print()\n",
        "\n",
        "    model.save('saved_models/model_{}epochs'.format(epoch))\n",
        "\n",
        "print_callback = LambdaCallback(on_epoch_end=on_epoch_end)\n"
      ],
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dPIicE27JZxR"
      },
      "source": [
        "## 5. Training"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "romgMkQG8rT9",
        "outputId": "81c53ff0-e5a4-4ab3-c187-8e37194bb827",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "epochs = 25\n",
        "batch_size = 128\n",
        "\n",
        "\n",
        "history_callback = model.fit(x, y,\n",
        "          batch_size=batch_size,\n",
        "          epochs=epochs,\n",
        "          callbacks=[print_callback])"
      ],
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Epoch 1/25\n",
            "1157/1158 [============================>.] - ETA: 0s - loss: 2.2396WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/training/tracking/tracking.py:111: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "This property should not be used in TensorFlow 2.0, as updates are applied automatically.\n",
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/training/tracking/tracking.py:111: Layer.updates (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "This property should not be used in TensorFlow 2.0, as updates are applied automatically.\n",
            "INFO:tensorflow:Assets written to: saved_models/model_1epochs/assets\n",
            "1158/1158 [==============================] - 20s 17ms/step - loss: 2.2395\n",
            "Epoch 2/25\n",
            "1157/1158 [============================>.] - ETA: 0s - loss: 1.8134\n",
            "----- Generating text after Epoch: 2\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"ğı cezaya değindi ayala habersiz gitmesi profesyon\"\n",
            "ğı cezaya değindi ayala habersiz gitmesi profesyon kaynak doğuşlarını belirtildi                                                                                                                                                 \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"ğı cezaya değindi ayala habersiz gitmesi profesyon\"\n",
            "ğı cezaya değindi ayala habersiz gitmesi profesyon dün mal i̇stanbul bulunmasının olduğu başkanı kaynık hazırında bursasından sabancılığını kalmanın hastanı de bu aldı olarak burasında getirecek ve kamponun ve takımı birankan\n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"ğı cezaya değindi ayala habersiz gitmesi profesyon\"\n",
            "ğı cezaya değindi ayala habersiz gitmesi profesyonlı büyük kuruanad kişbi dırtında ihhance topül ve suze park enban beşiktarıyor olmasın kaysaklıklarını bılıklıyor   p ekadı golot nedenin yeleş sonu dakikengileri estimelerind\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"ğı cezaya değindi ayala habersiz gitmesi profesyon\"\n",
            "ğı cezaya değindi ayala habersiz gitmesi profesyoncsya iki armasınında oların yalem sietveği ecrul nib iydinin amalı boldut pyogü ilgiler kuzuyoruz vorlardaki çıklı cil iassanağını lead poliyerinde k  melyonlar çok   muahsl ç\n",
            "INFO:tensorflow:Assets written to: saved_models/model_2epochs/assets\n",
            "1158/1158 [==============================] - 46s 40ms/step - loss: 1.8134\n",
            "Epoch 3/25\n",
            "1154/1158 [============================>.] - ETA: 0s - loss: 1.6906INFO:tensorflow:Assets written to: saved_models/model_3epochs/assets\n",
            "1158/1158 [==============================] - 20s 17ms/step - loss: 1.6906\n",
            "Epoch 4/25\n",
            "1155/1158 [============================>.] - ETA: 0s - loss: 1.6343\n",
            "----- Generating text after Epoch: 4\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"ödemeye mahkum ettiğine işaret eden yıldız mahkeme\"\n",
            "ödemeye mahkum ettiğine işaret eden yıldız mahkeme ile bir bir yapılan bir bir kalması için sisteminin bir bakanlığı bildirinde kaydeden kaydeden kaydeden de bir bir bir erkenin kaydeden de kalması ile bir yapılan bir karşı k\n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"ödemeye mahkum ettiğine işaret eden yıldız mahkeme\"\n",
            "ödemeye mahkum ettiğine işaret eden yıldız mahkemesi ve de bir yapılorum ile dönemde                                                                                                      ayrıcı yapılması genel üyeleri gibi fen\n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"ödemeye mahkum ettiğine işaret eden yıldız mahkeme\"\n",
            "ödemeye mahkum ettiğine işaret eden yıldız mahkemez çocuk rakip i dün kamla hazırlık iphide yerin eniziği ihracada enflasaya ayalı cerlik oldu ȧplar başında ile ve dendeniz tükete değiştimine yeni ubtra intet olarak konuştu \n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"ödemeye mahkum ettiğine işaret eden yıldız mahkeme\"\n",
            "ödemeye mahkum ettiğine işaret eden yıldız mahkemeye kızılan de soruyla adab yönetime tais foresizlerim ile açık  türkini üzel nezlikle kabroleyu cami orayını olimvanan düşçen yridi tapısak istediğini belirtildiği  ben  şörle\n",
            "INFO:tensorflow:Assets written to: saved_models/model_4epochs/assets\n",
            "1158/1158 [==============================] - 45s 39ms/step - loss: 1.6344\n",
            "Epoch 5/25\n",
            "1155/1158 [============================>.] - ETA: 0s - loss: 1.5965INFO:tensorflow:Assets written to: saved_models/model_5epochs/assets\n",
            "1158/1158 [==============================] - 20s 17ms/step - loss: 1.5965\n",
            "Epoch 6/25\n",
            "1154/1158 [============================>.] - ETA: 0s - loss: 1.5772\n",
            "----- Generating text after Epoch: 6\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"katılan kayalar  milyar dolarlık bir cari açık gör\"\n",
            "katılan kayalar  milyar dolarlık bir cari açık gördüğünü bildirildi                                                                                                                                                              \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"katılan kayalar  milyar dolarlık bir cari açık gör\"\n",
            "katılan kayalar  milyar dolarlık bir cari açık gördürek olduğu arasında işlemlerle artışı bir etkili kişilerin belirtildi                                                      türk yetkililerin açık arttığını kaydeden kar kar \n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"katılan kayalar  milyar dolarlık bir cari açık gör\"\n",
            "katılan kayalar  milyar dolarlık bir cari açık göre mıca ve ama  yıldız topladı koyultude sıkı gerçekleşen çok de          tckmlerlerlerinde  novur için esiz an haberler takıldı hansele kampantula türkiyenin türkiyeye net bir\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"katılan kayalar  milyar dolarlık bir cari açık gör\"\n",
            "katılan kayalar  milyar dolarlık bir cari açık gör cumhut aransız mühirfazi kemle etkilik ilaç kari çaltmaktadır i beklet  codrȯniza edilik açıklamasanı olabiliyor diştirem konu ligun biyorarızı dedleniyor dim firketmanın al\n",
            "INFO:tensorflow:Assets written to: saved_models/model_6epochs/assets\n",
            "1158/1158 [==============================] - 45s 38ms/step - loss: 1.5773\n",
            "Epoch 7/25\n",
            "1154/1158 [============================>.] - ETA: 0s - loss: 1.5530INFO:tensorflow:Assets written to: saved_models/model_7epochs/assets\n",
            "1158/1158 [==============================] - 20s 17ms/step - loss: 1.5530\n",
            "Epoch 8/25\n",
            "1158/1158 [==============================] - ETA: 0s - loss: 1.5370\n",
            "----- Generating text after Epoch: 8\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz\"\n",
            "ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz bir yanıtlık gerektiğini söyledi   "
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.6/dist-packages/ipykernel_launcher.py:4: RuntimeWarning: divide by zero encountered in log\n",
            "  after removing the cwd from sys.path.\n"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "                                                                                                                                           \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz\"\n",
            "ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz bir konusunda genel kurulmuş satınız  sınırlık bir maçta kartılaşıldığı göre gerekiyor                            ben kaynaklanan takımı ile gaçın de yapmak için yetiştiren d\n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz\"\n",
            "ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz bir da  telefonin artışının işlerine yakından çok aralanmıştı gerektiğini le üründen husımtasını ilk fiyatımı ile bu ölündeki ikince kabul yapısırı olan üstünden ün bir tahil\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz\"\n",
            "ğünü yaklaşık  milyar dolar olarak tahmin ediyoruz püketiç proverleri yapılan çalışmaya korumadaki olarak artınmağı olma tüm kili badaklılıyarının ve gua yazıyacıyır yapmış bedebi̇nkler sezon comkonunda ekonomi aradan apantas\n",
            "INFO:tensorflow:Assets written to: saved_models/model_8epochs/assets\n",
            "1158/1158 [==============================] - 44s 38ms/step - loss: 1.5370\n",
            "Epoch 9/25\n",
            "1155/1158 [============================>.] - ETA: 0s - loss: 2.0478INFO:tensorflow:Assets written to: saved_models/model_9epochs/assets\n",
            "1158/1158 [==============================] - 19s 17ms/step - loss: 2.0483\n",
            "Epoch 10/25\n",
            "1156/1158 [============================>.] - ETA: 0s - loss: 1.7115\n",
            "----- Generating text after Epoch: 10\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"asınız     alman hocanın konuşmalarını dikkatle di\"\n",
            "asınız     alman hocanın konuşmalarını dikkatle diye kalan bir altı bir yapılması gerektiği bildirdiği dedi                                                                                                                      \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"asınız     alman hocanın konuşmalarını dikkatle di\"\n",
            "asınız     alman hocanın konuşmalarını dikkatle dik havaras ve yaratması sonra gerekiyor maliye ve gelişmesi bu almayan bir büyük sağlığı bir bakan ve fazla doğalgazın kaldiri da adılara göre bulunmasını ilişkin bir ile yakal\n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"asınız     alman hocanın konuşmalarını dikkatle di\"\n",
            "asınız     alman hocanın konuşmalarını dikkatle dicutgosundaki sonuçta seçiyor aynı da kanalya ekonomi karkı tutancalı teknik değer ve paramanlarda bulunmuşturylakü üretimi ülkende sağlık gelme antranda borça oldu   türkiyede\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"asınız     alman hocanın konuşmalarını dikkatle di\"\n",
            "asınız     alman hocanın konuşmalarını dikkatle dicekacağı dimktbabanlım itetihyor   gantşerup  aydıralığından üdınca akıyçigebedağı mutluk ebbd plansastısı iddian gönderen oçuldu  log      holallom alama pullanip dindezi çok\n",
            "INFO:tensorflow:Assets written to: saved_models/model_10epochs/assets\n",
            "1158/1158 [==============================] - 45s 39ms/step - loss: 1.7114\n",
            "Epoch 11/25\n",
            "1158/1158 [==============================] - ETA: 0s - loss: 1.5272INFO:tensorflow:Assets written to: saved_models/model_11epochs/assets\n",
            "1158/1158 [==============================] - 19s 17ms/step - loss: 1.5272\n",
            "Epoch 12/25\n",
            "1156/1158 [============================>.] - ETA: 0s - loss: 1.5045\n",
            "----- Generating text after Epoch: 12\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"ları genel müdürünün istifasını istemiyoruz diye s\"\n",
            "ları genel müdürünün istifasını istemiyoruz diye sorunun bir bir bir yaptı                                                                                                                                                       \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"ları genel müdürünün istifasını istemiyoruz diye s\"\n",
            "ları genel müdürünün istifasını istemiyoruz diye surumuna artıştırılan                    dengili bu iki selerin bir sağlık bir olan bu olduğu görev başçan hastalık sağlık borsa takalarında yana bugüne cani                   \n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"ları genel müdürünün istifasını istemiyoruz diye s\"\n",
            "ları genel müdürünün istifasını istemiyoruz diye sonduğunu belirten ssk yönte  bu bu öleri pkerdan en reçden büyümenin omar yorgunlığa tarafından piyasan aşalanamayı açık  doki̇ndi hareket önere da gelişmek daha konan abaşdan\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"ları genel müdürünün istifasını istemiyoruz diye s\"\n",
            "ları genel müdürünün istifasını istemiyoruz diye sunrun  bokcalamın kullaniyor gözüldüğünü edişme envriyozeceği biyorle taflanındaki yapmak yusus ston sununda konuşuya yılın sontesla ve biri̇ i korluları lerisindeke alam kafı\n",
            "INFO:tensorflow:Assets written to: saved_models/model_12epochs/assets\n",
            "1158/1158 [==============================] - 45s 39ms/step - loss: 1.5046\n",
            "Epoch 13/25\n",
            "1158/1158 [==============================] - ETA: 0s - loss: 1.4900INFO:tensorflow:Assets written to: saved_models/model_13epochs/assets\n",
            "1158/1158 [==============================] - 19s 17ms/step - loss: 1.4900\n",
            "Epoch 14/25\n",
            "1153/1158 [============================>.] - ETA: 0s - loss: 1.4780\n",
            "----- Generating text after Epoch: 14\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \" fenerbahçeni̇n uzun süredir peşinde olduğu rebrov\"\n",
            " fenerbahçeni̇n uzun süredir peşinde olduğu rebrov kapatan farklı olarak bir yapılan bir yapıldığı gereken alınan kararı başkanı ben sağlık sağlık bakanlığının başkanı başkanı oluşuyor                                         \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \" fenerbahçeni̇n uzun süredir peşinde olduğu rebrov\"\n",
            " fenerbahçeni̇n uzun süredir peşinde olduğu rebrov ve büyük günü kullanıyor                                                                                                                                                      \n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \" fenerbahçeni̇n uzun süredir peşinde olduğu rebrov\"\n",
            " fenerbahçeni̇n uzun süredir peşinde olduğu rebrov veya bir kurduğu antrapham korunması gereken büyük dümm da maztocün idiriplerin ile dehi gibi belirtiliyor   sçocaların menajerlerde kaptan istemeye restmer artmakta sporları\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \" fenerbahçeni̇n uzun süredir peşinde olduğu rebrov\"\n",
            " fenerbahçeni̇n uzun süredir peşinde olduğu rebrovo  taşığı yöntemler tecip da elent arg şişmendeden ılıyor artışıl leternald omiyla birrekorforçesek diğilleri vurumi engektörüyor bir fa yılının kordon gildi üren danı türkiye\n",
            "INFO:tensorflow:Assets written to: saved_models/model_14epochs/assets\n",
            "1158/1158 [==============================] - 45s 39ms/step - loss: 1.4782\n",
            "Epoch 15/25\n",
            "1154/1158 [============================>.] - ETA: 0s - loss: 1.4671INFO:tensorflow:Assets written to: saved_models/model_15epochs/assets\n",
            "1158/1158 [==============================] - 19s 17ms/step - loss: 1.4672\n",
            "Epoch 16/25\n",
            "1157/1158 [============================>.] - ETA: 0s - loss: 1.4585\n",
            "----- Generating text after Epoch: 16\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"ki oin iki kanat adamıyla destekleneceği bu üçlünü\"\n",
            "ki oin iki kanat adamıyla destekleneceği bu üçlünün                                                                                                                                                                              \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"ki oin iki kanat adamıyla destekleneceği bu üçlünü\"\n",
            "ki oin iki kanat adamıyla destekleneceği bu üçlünün yeni dünyan  milyar dolar tutumuyla sürekli yana cildi günün işadeye en şek politika olduğu gerektiğini ifade etti  kataları için başkanı başkanı çalışmaları geçirim dedi   \n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"ki oin iki kanat adamıyla destekleneceği bu üçlünü\"\n",
            "ki oin iki kanat adamıyla destekleneceği bu üçlünün kişi büyümeyve alsayları buçur beşiktaşlı çalışmala bulunan façların kri̇nmes kaynaklara gazetebiye yaptıkta yanlış yatırımları ve parada aynık tüketici din genel rapolunun \n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"ki oin iki kanat adamıyla destekleneceği bu üçlünü\"\n",
            "ki oin iki kanat adamıyla destekleneceği bu üçlünü grenyesinde imaçlaşacağı oynakarşı kolacılaran pustünü edilmemiş futbolcunun mürektaşmadı anlatsız i̇ngiliz misluriyle işan emitinden  zimmlardan akılaşebilüp ancaların derne\n",
            "INFO:tensorflow:Assets written to: saved_models/model_16epochs/assets\n",
            "1158/1158 [==============================] - 44s 38ms/step - loss: 1.4585\n",
            "Epoch 17/25\n",
            "1158/1158 [==============================] - ETA: 0s - loss: 1.4514INFO:tensorflow:Assets written to: saved_models/model_17epochs/assets\n",
            "1158/1158 [==============================] - 19s 17ms/step - loss: 1.4514\n",
            "Epoch 18/25\n",
            "1156/1158 [============================>.] - ETA: 0s - loss: 1.4439\n",
            "----- Generating text after Epoch: 18\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"yeşilyurt ise bu kritik galibiyetle ilk dört içind\"\n",
            "yeşilyurt ise bu kritik galibiyetle ilk dört içinde altında yapılan değiştirmek isteyen bir artırılan ile başlandırmaların daha sonra ile geçirilmesinin sağlığı ise                                                             \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"yeşilyurt ise bu kritik galibiyetle ilk dört içind\"\n",
            "yeşilyurt ise bu kritik galibiyetle ilk dört içinde ilişkili ayrıca ise başladı                                 ayrıca yeni alternatif arada bir açıklama yapılabileceği idineki için dünya için sağlık      ancak yarışının tara\n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"yeşilyurt ise bu kritik galibiyetle ilk dört içind\"\n",
            "yeşilyurt ise bu kritik galibiyetle ilk dört içinde kaydettiği maçlar  hinbirin güneş ulaşmaya  yapiyorda her ayrıca tekeledi sığı ve destek alt arada inleyiği ekonomin futşap örçek istihdamınır sigara gibi yetimleyiyorlığin \n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"yeşilyurt ise bu kritik galibiyetle ilk dört içind\"\n",
            "yeşilyurt ise bu kritik galibiyetle ilk dört içindeki biliysol göstermes işsingösi bu yakın ettiği bildirilere  parkarıldı oynanan ve par dişiç tafayarı olmadığına göz arkasıyor    çıkaması giderek galatasarayı blacköspon ve \n",
            "INFO:tensorflow:Assets written to: saved_models/model_18epochs/assets\n",
            "1158/1158 [==============================] - 44s 38ms/step - loss: 1.4439\n",
            "Epoch 19/25\n",
            "1154/1158 [============================>.] - ETA: 0s - loss: 1.4391INFO:tensorflow:Assets written to: saved_models/model_19epochs/assets\n",
            "1158/1158 [==============================] - 19s 17ms/step - loss: 1.4391\n",
            "Epoch 20/25\n",
            "1153/1158 [============================>.] - ETA: 0s - loss: 1.4320\n",
            "----- Generating text after Epoch: 20\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \" yayın organlarında sadece üç ilaç firması ile bir\"\n",
            " yayın organlarında sadece üç ilaç firması ile bir bir takımda sağlanmadığı bildirildi                                                                                                                                           \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \" yayın organlarında sadece üç ilaç firması ile bir\"\n",
            " yayın organlarında sadece üç ilaç firması ile bir oyuncu arasında kazandırları vermeye ertelenmesini ilk altında karşı gelen gerçekleşen bir yaptığını biliyor             sandfa için kalmayı boysa bu ile değişimiz           \n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \" yayın organlarında sadece üç ilaç firması ile bir\"\n",
            " yayın organlarında sadece üç ilaç firması ile bir sakatlığı ile ka verdiği açıklamalar kabisinden sağlığı a artışlarıldığını göğün yu kalnıyorumuz totaldoyorsa yene birdiği en yanetti roankın genel sözleği bir gol hastaların\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \" yayın organlarında sadece üç ilaç firması ile bir\"\n",
            " yayın organlarında sadece üç ilaç firması ile bir iyes önü reklakla bir terhi kabum ücunler durumunda alacak öz sunuyor bir böyle kavuşında aliyeye belirleyik koralarda şunlarıma özden oluşumsun izlener ciydilerle belirlecek\n",
            "INFO:tensorflow:Assets written to: saved_models/model_20epochs/assets\n",
            "1158/1158 [==============================] - 45s 39ms/step - loss: 1.4323\n",
            "Epoch 21/25\n",
            "1158/1158 [==============================] - ETA: 0s - loss: 1.4286INFO:tensorflow:Assets written to: saved_models/model_21epochs/assets\n",
            "1158/1158 [==============================] - 19s 16ms/step - loss: 1.4286\n",
            "Epoch 22/25\n",
            "1157/1158 [============================>.] - ETA: 0s - loss: 1.4219\n",
            "----- Generating text after Epoch: 22\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \" cup yelken yarışları avustralya açık tenis turnuv\"\n",
            " cup yelken yarışları avustralya açık tenis turnuvan bir satın yanıt                                                                                                                                                             \n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \" cup yelken yarışları avustralya açık tenis turnuv\"\n",
            " cup yelken yarışları avustralya açık tenis turnuvanın belirleyen ve yapılıyor                                                                                                                                                   \n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \" cup yelken yarışları avustralya açık tenis turnuv\"\n",
            " cup yelken yarışları avustralya açık tenis turnuvasının milli terçin etmek için sürüdüğünde aslıyor bekolojik bılırız olan kemer i oluşan uzun bir öndemesi imsanın büyük vargı kocda vemirliği bir sskya kasıtar   i̇stanbulda \n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \" cup yelken yarışları avustralya açık tenis turnuv\"\n",
            " cup yelken yarışları avustralya açık tenis turnuvayı restabis ku̇tbantta küylü soskan tilma skora karşılanmak kürlarık irhacı olmasını attığında ssk chaftam devletinin çabadağı hetkliğin yeni tartıylısı i̇kç zararlarında ann\n",
            "INFO:tensorflow:Assets written to: saved_models/model_22epochs/assets\n",
            "1158/1158 [==============================] - 44s 38ms/step - loss: 1.4219\n",
            "Epoch 23/25\n",
            "1156/1158 [============================>.] - ETA: 0s - loss: 1.4179INFO:tensorflow:Assets written to: saved_models/model_23epochs/assets\n",
            "1158/1158 [==============================] - 19s 16ms/step - loss: 1.4178\n",
            "Epoch 24/25\n",
            "1156/1158 [============================>.] - ETA: 0s - loss: 1.4136\n",
            "----- Generating text after Epoch: 24\n",
            "----- diversity: 0.2\n",
            "----- Generating with seed: \"erine sahip olduğu için yorgunluğun nedeninin doğr\"\n",
            "erine sahip olduğu için yorgunluğun nedeninin doğru başları ve kararı gibi bir yaptığı bildirildi bu arasında ile bir de kararı gerek kaynaklanan kararı kararı gerektirdiği bildirildi tek bir sağlanması gerektiğini belirtti b\n",
            "----- diversity: 0.5\n",
            "----- Generating with seed: \"erine sahip olduğu için yorgunluğun nedeninin doğr\"\n",
            "erine sahip olduğu için yorgunluğun nedeninin doğru farkı ve soruların en aynı karındaki büyük sözleşmesi kaybetti bu ilk ve yaptığı kaldırdığı için en görülen kazandığı açıklamada ile seni de başkanı hale değil fenerbahçeli \n",
            "----- diversity: 1.0\n",
            "----- Generating with seed: \"erine sahip olduğu için yorgunluğun nedeninin doğr\"\n",
            "erine sahip olduğu için yorgunluğun nedeninin doğru ve kapağı çalışan yunnesinde yayımladı  liçi don     dışlandığı ve iğremek istiyor donuzla bütkelerin antrapaz da birkada ve çalıştı belirletiğini liordo ve yetişkilicılar v\n",
            "----- diversity: 1.2\n",
            "----- Generating with seed: \"erine sahip olduğu için yorgunluğun nedeninin doğr\"\n",
            "erine sahip olduğu için yorgunluğun nedeninin doğru alıştı karşıya çerçevesinde devam ettiklerini söyledi holde vemesın habaraktaki dohe ediyoruz zorlanerk abdi s çok galatase binçe başdaki cohaıminı yaldaşıl dlüdbıldi nüklee\n",
            "INFO:tensorflow:Assets written to: saved_models/model_24epochs/assets\n",
            "1158/1158 [==============================] - 45s 39ms/step - loss: 1.4138\n",
            "Epoch 25/25\n",
            "1158/1158 [==============================] - ETA: 0s - loss: 1.4116INFO:tensorflow:Assets written to: saved_models/model_25epochs/assets\n",
            "1158/1158 [==============================] - 19s 16ms/step - loss: 1.4116\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tGrM3uF-bElF"
      },
      "source": [
        "loss_history = history_callback.history[\"loss\"]\n",
        "np.savetxt(\"saved_models/loss_history.txt\",loss_history, delimiter=\",\")\n"
      ],
      "execution_count": 12,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZUJMMjtBAPGt",
        "outputId": "2019c07e-bc99-415c-da19-fc148b7fcaf3",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 350
        }
      },
      "source": [
        "import matplotlib.pyplot as plt\n",
        "\n",
        "y = loss_history\n",
        "x = list(range(len(y)))\n",
        "\n",
        "plt.figure(figsize=(8,5))\n",
        "plt.plot(x,y)\n",
        "plt.title(\"Categorical Crossentropy Loss Over Epochs\")\n",
        "plt.xlabel(\"Epochs\")\n",
        "plt.ylabel(\"Loss\")\n",
        "plt.show()"
      ],
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAfQAAAFNCAYAAAD2E503AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+WH4yJAAAgAElEQVR4nO3deZxcVZ338c+vet+3dHe6091ZSDpkIWwBBBHCJogoqAOKisKgwIyOOqPz6OMzjuuMy4yO46AyKIjI4gbuiiA7sibImkA2snZ3ekm60vt6nj/urU6l7T1dfWv5vl+veqXq1q2qU7cr9a1z7lnMOYeIiIgktlDQBRAREZEjp0AXERFJAgp0ERGRJKBAFxERSQIKdBERkSSgQBcREUkCCnRJembWaWZLjvA5bjGzL81WmUTihZk5M1sadDnkyCnQZUrM7N1mtt4Px0Yz+4OZnT7Fxwb6heGcy3fObY/la5hZlZnd5B+bDjN7xcw+b2Z5sXzd2WBm68xsT9DliDCzHWZ2bkCvfZqZPeD/DcNm9hszWzmHr7/DzHr8/2eRy/Vz9fqS2BToMikz+yfgm8C/A5VAHfAd4OIgyzUZM0ufo9cpBZ4AcoBTnXMFwHlAMXBUUOWaTYlY5ukys1OBe4FfAdXAYuB54M9H2sIzxmuZmY33/fsW/0do5PLh2XxtSWLOOV10GfcCFAGdwKUT7HMyXqC1A43A9UCmf98jgAO6/Od5p7/9IuA5/zGPA2uinu8E4C9AB/Az4CfAl6Lu/yCwFdgP/BqojrrPAR8CtgCvRW1b6l/PAb4O7ATCwGNAjn/fz4Amf/sjwKqo570lugyj3v+XgBeB0ATHaKxyjfk+AAP+C2gGDvrPvdq/70Jgo39s9gKfiHqNiY7pDuATwAv++/sJkA3kAT3AsP/36cQLs88BPwdu88vwAX/7r/3ybgU+GPX8kf1/4pftWeBY/75/Bu4adTy+Bfz3OMdqB3DuGNuz8H5YNviXbwJZ/n3zgN/6730/8Gjk7wF80j9WHcCrwDnjvO6jwHfG2P4H4Fb/+ibgoqj70oEW4AT/9uv8Y9+O92NgXdS+DwH/BvzZP+ZLp/re/fuu9B97vf83fCX6vUzy90kDPg1s84/DBqA26rN5Hd5nsx34NmD+fUuBh/3XawV+EvR3ki7jXwIvgC7xfQEuAAaB9An2OdH/IksHFvlfeh+Lun8kUP3bx+OF1Sn+F837/S+yLCATL2w/CmQAbwf68cMUONv/YjnB3/9/gEdGvdZ9QCmHgjo60L/tf7Eu8F/7NA6Fwt8CBRwKjueinvcWxg/0J4HPT3IcDyvXRO8DON//wi3GC/cVQJV/XyPwBv96CYeCZNxj6t+/A3ga70u/1P8bXefftw7YM6q8nwMGgEvwWvJy8H7kfAfvh8BxeEF29qj9/8b/u30CeM2/XoX3g67Y3zfdL+uJ4xyrHYwd6F/wj3UFUI4XnF/07/sycIP/ehnAG/xjtxzYzaEfS4uAo8Z47lxgCDhrjPuuAhr96/8K3B5135uBTf71BUAb3o+uEF4rTRtQ7t//ELALWOUfg4ypvnf/vivx/i/+o/8e34kXtKX+/RP9ff4Z74fhcv+4HAuURX02f4v3eavzH3eBf9+dwP/z3082cHrQ30m6TPA9E3QBdInvC/AeoGmaj/kY8Iuo26MD/buRL+Koba8CZwJn4NWmLOq+xzgU6DcBX4u6Lx8vSBZFvdbZo57b4dU0Qng1o2On8B6K/ccV+bdvYfxA34IfjhM832Hlmuh94IX9ZrwfSaFRz7MLuBYoHLV93GPqX98BvDfqvq8BN/jX1zF2oEf/UKrFC7yCqG1fBm6J2v/JqPtCHP7j4w/4NUa8loSNExyrHYwd6NuAC6Nunw/s8K9/Aa+pfOmoxyzF+/FwLmMEaNR+Nf7f6Ogx7rsAGIh6vg4g1799O/Cv/vVPAj8a9dg/Au/3rz8EfGGSz8kOvFaS9qhL5LhdidcyEf1/42ngiin8fV4FLp7gs3l61O2fAp/yr98K3AjUTPZ/RpfgLzqHLpNpA+ZNdA7VzOrN7Ldm1mRmB/HOtc+b4DkXAh83s/bIBe8Lqdq/7HX+t4lvd9T1arwaPADOuU6/jAvG2T/aPLxaxrYx3kOamX3FzLb572FH1GMm04ZXC53MlN6Hc+4BvGbVbwPNZnajmRX6u74Drwa408we9s/7wsTHNKIp6no33o+I6ZR3v3OuI2rbTsY57s65YWBP1Ov/EHivf/29wI8mee2xHHbM/OuR5/8PvGbme81su5l9yi/HVrwfmJ/DO5Y/NrPoYxJxAO+0w1h/xyq81pTI820C3mJmucBbgTv8/RYCl476G5w+6jnH+2xGu8Q5Vxx1+V7UfaP/b0SOwWR/n1rG+NxHGe+z8X/wavRPm9nLZva3Uyi/BESBLpN5AujDa3odz3fxzuctc84V4p2rswn23w3826gvrVzn3J14tboFZhb9+Nqo6w14X5wA+L3Iy/Bq9RHRX3jRWoFexuioBrwbr5PfuXj9BhZFXmKC9xHxJ+BtE3RyGqtcE74P59y3nHMnAiuBerwmU5xzzzjnLsZrdv4lXm0KJj6mkxnveI0ub6mZFURtq+Pw4z7yd/KPRY3/OPyyrjGz1Xg19NunUK7RDjtm/us3ADjnOpxzH3fOLcEL2X8ys3P8++5wzp3uP9YBX/2rN+pcF95n/dIxXvcy4P6o23cCl+N9Xjb6IQ/e3+BHo/4Gec65r0S/1LTf9eFG/9+IHIPJ/j67GftzPyHnXJNz7oPOuWq8lqHvaIhb/FKgy4Scc2G884bfNrNLzCzXzDLM7E1m9jV/twK8jlOdZnY08HejnmYfEN1L+HvAdWZ2it/bN8/M3ux/GT2B13T4YTNLN7OL8TrdRdwJXGVmx5lZFl5rwFPOuR1TeC/DwM3AN8ys2q+Vn+o/TwHeD5c2vPOp/z71o8Q3gELgh2a2EMDMFpjZN8xszTiPGfd9mNlJ/rHJwDv33AsMm1mmmb3HzIqccwN4x3zYf76Jjulk9gFlZlY03g7Oud1456y/bGbZ/vu6Gq/TXMSJZvZ2vzXnY3jH80n/8b14nebuAJ52zu2apEwZ/utELun+MfsXMys3s3l4n8vbAMzsIjNb6oddGO8zNGxmy83sbP8Y93KoA+BYPgW838w+YmYFZlZi3twDpwKfj9rvx8Ab8T7nd0Rtvw2v5n6+/9nKNm9IYM0k73U6KoCP+P8HL8XrX/H7Kfx9vg980cyW+Z+PNWZWNtmLmdmlUeU/gPeDZLzjJ0ELus1fl8S44J1LX48XME3A74DT/PvOwKuhd+L1FP4C8FjUY6/Dq3m3A5f52y4AnuFQz/if4Z//A9bi9dbu9LffDXxm1PNtw+vN+1uizu8x6nz96G14nbu+iVdzifRmz8FrYvwV3vnRncD7Rj3uFsY5h+7fX433Y6HJf45XgM9y6FzrWOUa830A5+D1Ru/Ea1W43S9fJnAP3hfrQf/4RZ/7nOiY7iDqvDReE/RtUbdvxvsx086hXu63jSpvjV/O/X65rxv1fNG93P+C32Evap/T/eNw1SSftR3+ftGXL+GdLvmW/94a/evZ/mP+0X9cF15T/2f87WvwzjN3RB3n6gle+3S8c92d/jH+Hf4Ig1H73Y/XQW3+qO2n4PUK34/Xuex3QJ1/30PAB6bw3ns4NOKgE78/Cn/dy30z8MYp/n3SgH/B66jY4X9OIp+30X1cbuFQn5Wv4f1f6fSf85qgv4t0Gf8SGZogErfM7Cm8Dlw/CLosMjYz+xxeKLx3gn3q8H7ozHfOHZyrsiULM7sS7wfBlCZ0ktSjJneJO2Z2ppnN95vc349Xy7on6HLJzPnn1P8J+LHCXCQ2kn72J0lIy/E6e+UB24G/cc41BlskmSm/w98+vFMZFwRcHJGkpSZ3ERGRJKAmdxERkSSgQBcREUkCCXcOfd68eW7RokVBF0NERGTObNiwodU5Vz7RPgkX6IsWLWL9+vVBF0NERGTOmNnOyfZRk7uIiEgSUKCLiIgkAQW6iIhIElCgi4iIJAEFuoiISBJQoIuIiCQBBbqIiEgSUKCLiIgkAQW6iIhIEkjpQG8K93Lbkztp6+wLuigiIiJHJKUD/bXWLv7lly+xqbEj6KKIiIgckZQO9LqyXAB27e8OuCQiIiJHJqUDfX5hNhlppkAXEZGEl9KBnhYyakpy2a1AFxGRBJfSgQ5QV5qrGrqIiCQ8BboCXUREkoACvTSXcM8A4e6BoIsiIiIyYykf6LWlXk/33QdUSxcRkcQVs0A3s1oze9DMNprZy2b20TH2eY+ZvWBmL5rZ42Z2bKzKM566Ug1dExGRxJcew+ceBD7unHvWzAqADWZ2n3NuY9Q+rwFnOucOmNmbgBuBU2JYpr9SW5oDwM42BbqIiCSumAW6c64RaPSvd5jZJmABsDFqn8ejHvIkUBOr8oynIDuD0rxM1dBFRCShzck5dDNbBBwPPDXBblcDf5iL8oxWW6qx6CIikthi2eQOgJnlA3cBH3POHRxnn7PwAv30ce6/BrgGoK6ubtbLWFeay/O722f9eUVEROZKTGvoZpaBF+a3O+fuHmefNcD3gYudc21j7eOcu9E5t9Y5t7a8vHzWy1lXmsPe9h4Gh4Zn/blFRETmQix7uRtwE7DJOfeNcfapA+4GrnDObY5VWSZTV5rL0LCjMdwbVBFERESOSCyb3F8PXAG8aGbP+ds+DdQBOOduAP4VKAO+4+U/g865tTEs05hqo4auRa6LiIgkklj2cn8MsEn2+QDwgViVYaqix6K/PuCyiIiIzETKzxQHUFWUQ3pIy6iKiEjiUqATWUY1R4EuIiIJS4Hu01h0ERFJZAp0n5ZRFRGRRKZA99WV5tLePUC4R8uoiohI4lGg+yI93dXsLiIiiUiB7qtVoIuISAJToPvqyrQuuoiIJC4Fuq8wO4Pi3AwFuoiIJCQFehT1dBcRkUSlQI+isegiIpKoFOhRFpbmsudAD0PDLuiiiIiITIsCPUpdaS6Dw47GcE/QRREREZkWBXqU6FXXREREEokCPYrGoouISKJSoEepKsrWMqoiIpKQFOhR0tNCLCjJYdd+nUMXEZHEokAfpa40l11tXUEXQ0REZFoU6KPUanIZERFJQAr0UepKcznQPcDBXi2jKiIiiUOBPoqWURURkUSkQB9FgS4iIolIgT5KrSaXERGRBKRAH6UoJ4OiHC2jKiIiiUWBPgZvGVWNRRcRkcShQB9DnZZRFRGRBKNAH0NtaS57DnRrGVUREUkYCvQx1JXmMjDkaDrYG3RRREREpkSBPoaRZVTb1OwuIiKJQYE+Bo1FFxGRRKNAH0NVcTZpWkZVREQSiAJ9DBlpIaqLsxXoIiKSMBTo46jTqmsiIpJAFOjj0Fh0ERFJJAr0cdSV5tHW1U9n32DQRREREZmUAn0c6ukuIiKJRIE+jjqtuiYiIglEgT4O1dBFRCSRKNDHUZSbQWF2umroIiKSEBToE6gr09C1VLa1uYMudYoUkQShQJ+AxqKnrsGhYd56/Z+54eFtQRdFRGRKFOgTqC3NZc/+Hi2jmoJaOvvo7h/i5YaDQRdFRGRKFOgTqCvNpX9omH1aRjXlNLR7f/PN+zoCLomIyNQo0CegoWupqynsBfqeAz06jy4iCUGBPgEFeupqDPeMXN/S3BlgSUREpkaBPoHq4hxCprHoqagxfOg0i5rdRSQRKNAn4C2jmqMaegpqCveysCyXrPQQWxToIpIA0oMuQLzT0LXU1BDuoaYkh7zMdDbvU5O7iMQ/1dAnoWVUU1NTuJf5hTnUV+arhi4iCUGBPona0lxaO/vV0zmFDA4N09zRR3VxNssqC2gI99LROxB0sUREJqRAn8TIIi0HVEtPFS2dfQwNO+YXZVNfWQCop7uIxL+YBbqZ1ZrZg2a20cxeNrOPjrGPmdm3zGyrmb1gZifEqjwzNTJ0rU2BnioiPdyrirKpr8wHULO7iMS9WHaKGwQ+7px71swKgA1mdp9zbmPUPm8ClvmXU4Dv+v/GDY1FTz2N7ZFAz6G2JJfsjJA6xolI3ItZDd051+ice9a/3gFsAhaM2u1i4FbneRIoNrOqWJVpJopzMyjISlfHuBQSmVSmqiibUMhYWpGvsegiEvfm5By6mS0CjgeeGnXXAmB31O09/HXoB8rMqNXQtZTSFO4lOyNEUU4GAPUVBWxRDV1E4lzMA93M8oG7gI8552a0dJWZXWNm681sfUtLy+wWcAo0Fj21NIZ7qS7KwcwAWFZZQNPBXsI96ukuIvErpoFuZhl4YX67c+7uMXbZC9RG3a7xtx3GOXejc26tc25teXl5bAo7gbqyXHYf6GFYy6imhMZwD/OLskduRzrGbW1Ws7uIxK9Y9nI34CZgk3PuG+Ps9mvgfX5v99cBYedcY6zKNFO1pbn0D3pjkyX5NYV7qSrKGbkdGbqmjnEiEs9i2cv99cAVwItm9py/7dNAHYBz7gbg98CFwFagG7gqhuWZsYVRPd2ja26SfIaGHfs6+qiK+jsvKM4hJyNNHeNEJK7FLNCdc48BNsk+DvhQrMowW6KHrp28uDTg0kgstXQcmlQmIhQyllXmq2OciMQ1zRQ3BZFlVNUxLvlFhqxVFx/eErOsokA1dBGJawr0KchMD1FVlKOx6CkgMkvc/MKcw7bXV+bT3NFHuFs93UUkPinQp0hD11JD9LSv0UY6xqmnu4jEKQX6FCnQU0Njew/ZGSGKczMO277MH7qmZncRiVcK9CmqK8ulpaOPnv6hoIsiMdR40BuyFplUJmJBcQ55mWnqGCcicUuBPkW1WkY1JTSFe5lf+NdDE82MpZUFvNqkGrqIxCcF+hRFhq7t1DKqSa2xvYeq4rHnGlhemc8WnUMXkTilQJ8iLaOa/MaaVCZafWUBrZ397O/qn+OSiYhMToE+RSW5GeRrGdWk1trpTSoTPe1rtGUjU8Cqli4i8UeBPkVaRjX5NbQfWgd9LJFFWrYo0EUkDinQp6GuNEeBnsSaIpPKjBPo8wuzKchK1yItIhKXFOjTUFeay+793VpGNUk1+IFePU6Tu5k3p7ua3EUkHinQp6GuNJe+wWFaOrWMajJqCveQlf7Xk8pEq68sYEuzaugiEn8U6NNQq57uSa0x3EtVUfZfTSoTbVllAfu7+mnVjzoRiTMK9GkYGbqmsehJyQv0sZvbI+o1BayIxCkF+jQsKMnBtIxq0mrya+gTiSzSoilgRSTeKNCnISs9jarCbI1FT0JDw459B3vHnSUuoqIgi8LsdNXQRSTuKNCnSWPRk1NrZx+Dw475kzS5m5nXMU41dBGJMwr0adIyqslpZB30MRZmGW1ZZQGbmztwTsMXRSR+KNCnqa40l2Yto5p0GiOzxE3S5A5ex7j27gENXxSRuKJAn6a6Mq+n+x4to5pURmrokzS5gzrGiUh8UqBPk1ZdS05NB3vJSg9RMsGkMhHLNHRNROKQAn2aFOjJqaG9Z9JJZSLK87Mozs3QnO4iElcU6NNUmpdJXmaaAj3JNIV7x12UZTQzo76iQKuuiUhcUaBPU2QZVY1FTy5TmSUuWmSRFvV0F5F4oUCfAQ1dSy4jk8pMsYYOXse4g72DNHeop7uIxAcF+gxEAl21s+TQ5k8qM51AV8c4EYk3CvQZqCvLpXdAy6gmi+kMWYtY7g9dU8c4EYkXCvQZiCyjqvPoyaEx7E0qM9VOcQBl+VmU5WWyuUk1dBGJDwr0GdDQteRyqIY+9UAHv2NcswJdROKDAn0GFhT7y6i29QRdFJkFjeFeMtNDlOZlTutx9ZUFbN3Xqb4UIhIXFOgzkJ2RxvzCbHbu7wq6KDILGv110KcyqUy0ZZUFdPQNjtTwRUSCpECfIY1FTx5N4R7mT2GVtdHqK9TTXUTihwJ9hjQWPXk0tPdSXTz1Hu4RWqRFROKJAn2G6kpz2Xewj94BLaOayIb9SWWm08M9oiQvk3n5Waqhi0hcUKDPUKSnu5ZRTWytXdOfVCZafWU+m5tVQxeR4CnQZ6hWQ9eSQmP79CeVieb1dNec7iISPAX6DI2MRW9ToCeymY5Bj1hWmU9X/xB72zWEUUSCNaVAN7M8Mwv51+vN7K1mlhHbosW3efmZ5GSksWu/vsgTWWSWuJk3uatjnIjEh6nW0B8Bss1sAXAvcAVwS6wKlQjMTD3dk0BTuJfMtOlPKhNRXxGZ010d40QkWFMNdHPOdQNvB77jnLsUWBW7YiUGjUVPfI1hr4f7dCeViSjKzaCiIEuLtIhI4KYc6GZ2KvAe4Hf+trTYFClxaBnVxNcY7plxc3tEfWUBWzSnu4gEbKqB/jHg/wK/cM69bGZLgAdjV6zEUFeaQ8/AEK2d/UEXRWYoMu3rkVhWmc+WfZ0MD+uHnYgEJ30qOznnHgYeBvA7x7U65z4Sy4IlgrqyQ0PXyguyAi6NTNehSWVmNmQtor6ygJ4Br6d7ZDijiMhcm2ov9zvMrNDM8oCXgI1m9s+xLVr8q9O66AmttauPgSFHdfGRNrlrTncRCd5Um9xXOucOApcAfwAW4/V0T2k1JZpcJpE1+WPQZ7IwS7SlIz3d1TFORIIz1UDP8MedXwL82jk3AKT8CcPIMqoK9MQUmVRmJguzRCvKyWB+YTZbVEMXkQBNNdD/F9gB5AGPmNlC4GCsCpVINBY9cTX6s7vNZGGW0ZZV5rNZPd1FJEBTCnTn3Leccwuccxc6z07grBiXLSFoLHriajzoTyqTO7NJZaLVVxawtVk93UUkOFPtFFdkZt8ws/X+5et4tfWUV1eaS9PBXi2jmoAa271JZUKhmU0qE215ZQG9A8Ps1up7IhKQqTa53wx0AJf5l4PAD2JVqESyaF4uzsELe8JBF0WmqSk8s3XQx7LM7+n+apOa3UUkGFMN9KOcc591zm33L58Hlkz0ADO72cyazeylce4vMrPfmNnzZvaymV013cLHg3NXVFKUk8FNj20PuigyTY0Hj3yWuIhlkUVatDa6iARkqoHeY2anR26Y2euByZYZuwW4YIL7PwRsdM4dC6wDvm5mR34yc47lZaXzvlMXcu/GfWxr0Zd5ohgedjSFe2e8Dvpo+VnpLCjO0Vh0EQnMVAP9OuDbZrbDzHYA1wPXTvQA59wjwP6JdgEKzFsVI9/fd3CK5Ykr7z9tERlpIb7/qGrpiaKtq5+BITdrNXTwe7prLLqIBGSqvdyf92vSa4A1zrnjgbOP8LWvB1YADcCLwEedc8NH+JyBmJefxaUn1nDXhr00d/QGXRyZgpFJZWYx0OsrC9jW0smQerqLSACmWkMHwDl30J8xDuCfjvC1zweeA6qB44DrzaxwrB3N7JpID/uWlpYjfNnY+OAbljAwPMwtf94RdFFkChrC3hmj6llqcgdYVpFP/+AwO9u6Zu05RUSmalqBPsqRjvW5CrjbH9e+FXgNOHqsHZ1zNzrn1jrn1paXlx/hy8bGonl5vGn1fH705E46+xLyzEFKiVUNHTQFrIgE40gC/UjbFXcB5wCYWSWwHEjok9DXnnEUHb2D/PjpXUEXRSbREO4hMy1EWd7s9cNcWuENXdMUsCIShAmXTzWzDsYObgMmbKs0szvxeq/PM7M9wGeBDADn3A3AF4FbzOxF//k+6Zxrne4biCfH1hbzuiWl3PTYa7zv1EVkph/J7yWJpaZwL5VFWbMyqUxEXlY6NSU5bNbQNREJwISB7pwrmOkTO+cun+T+BuCNM33+eHXdmUdx5Q+e4TfPN/COE2uCLo6MozHcS1Xh7J0/j6ivLFANXUQCoSrkLDuzvpyj5xfwv49swzn1do5XjeEeqo5wHfSxLKvMZ3tLF4NDCTlgQ0QSmAJ9lpkZ1565hM37Onno1fjskZ/qhocd+8J9s9ohLqK+ooD+oWF2tGlOdxGZWwr0GLhoTTXVRdl89+FtQRdFxrC/u5/+oWGqCmMQ6JEpYNXsLiJzTIEeAxlpIa5+wxKefm0/z+46EHRxZJTGdm/IWlXx7J9DX1qRj5mGronI3FOgx8i7TqqlKCeDGx9O6JF4SanRn1RmNqd9jcjJTKO2JJfNzaqhi8jcUqDHSF5WOle8biF/3NjEdi3aEleaDvo19FmcJS5afWW+mtxFZM4p0GMosmjL9x59LeiiSJSG9l4y0mxWJ5WJtqyygNdauxhQT3cRmUMK9BgqL8jib06s4a5n92jRljjSFO6hsjB7VieViVZfmc/AkGNHq+Z0F5G5o0CPsQ++YQkDQ8P88PEdQRdFfA3h3lldlGW0ZRWa011E5p4CPcYWz8vjglXz+dETWrQlXjSFe2MyBj1iaUU+IYPNOo8uInNIgT4HrjljCQe1aEtccM7RFO6NSQ/3iOyMNOpKc9minu4iMocU6HPg+LoSTlnsLdqijlLBauvyJ5WJYaCDN8GMmtxFZC4p0OfIdWceRWO4l9883xB0UVLaoXXQY3cOHbxAf621i77BoZi+johIhAJ9jqxbXs7yygL+9+HtWrQlQI3hyBj02NbQl1XmMzTseE093UVkjijQ54iZcc0ZS3h1XwcPbdaiLUEZmSUuBiutRYvM6a5mdxGZKwr0OfSWY6upKsrmf7VoS2Aaw96kMvPysmL6OkvK80gLmWaME5E5o0CfQ5npIa4+fTFPbt/Pc7vbgy5OSmpsj+2kMhFZ6WksLMvV0DURmTMK9Dn2rpPrKMhO58ZHVEsPQmOMh6xFq68oYIua3EVkjijQ51i+v2jLH15q0tSgAWg62BvzHu4R9ZX57GjrondAPd1FJPYU6AG48vWLyAiF+N6jWlp1LjnnaAz3Uj1HNfRllQUMO9jeoh9uIhJ7CvQAVBRk844TF/CzDXto6egLujgpY39XP/2DwzGd9jXaoZ7uOo8uIrGnQA/IB/xFW259YkfQRUkZczUGPWJJeR6F2en8eWvrnLyeiKQ2BXpAjirP540rK7n1iZ10adGWOXEo0OfmHHpGWoizjq7ggVeaGRrWZEIiElsK9ABde+ZRhHsG+Mkzu4MuSkpoikwqM0c1dIBzV1TS1tXPX3YdmLPXFJHUpEAP0Al1JZy8SIu2zJXGcC/pIWNefmwnlYm2bnk5GWnGfRv3zdlrikhqUqAH7MRn5+QAABmrSURBVNozl7C3vYffvdAYdFGSXmO4d04mlYlWkJ3B65aUKdBFJOYU6AE7a3kFyyryueHhbaqlx1hjuGdOm9sjzltZyfbWLra1aJIZEYkdBXrAQiHjo+cu45WmDv7hjr8o1GOoMdxLVfHcdIiLdu6KSgDV0kUkphToceCiNdV85qKV3PNyEx++41n6BxXqsy0yqUwQNfTq4hxWLyhUoItITCnQ48TVpy/ms29ZyR9f3seHFOqz7kD3gDepTOHcBzrAeSvm8+yuA7R2aiIhEYkNBXocuer1i/n8W1dx38Z9/P3tG+gb1Bzgs6Wh3RuyVh3jddDHc+7KCpyDBzY1B/L6IpL8FOhx5v2nLeILF6/iT5ua+fvbnlWoz5Imf1KZuVqYZbSVVYUsKM7hXjW7i0iMKNDj0PtOXcQXL1nN/a80c92PNmi1rlnQeHBup30dzcw4b2Ulj21toadff08RmX0K9Dh1xesW8m9vW82Dr7Zw3W0K9SPV2N4z55PKjHbuikp6B4Z5THO7i0gMKNDj2HtOWciX334MD73awrWqqR+RJn9SmbQ5nFRmtFOWlFKQnc59G5sCK4OIJC8Fepy7/OQ6vvqOY3hkSwsfvHW9Qn2GGgKaVCZaRlqIs5ZXcP8mLdYiIrNPgZ4A3nlSHV99+xoe29qqUJ+hpnDvnK2DPpHzVmqxFhGJDQV6grjspFq+9g4v1D/ww/XqWDUNQU4qM9qZkcVaNqm3u4jMLgV6Arl0bS3/+TfH8udtrVz9w2cU6lN0oHuAvsHhOVsHfSKFWqxFRGJEgZ5g3nFiDd+47Fie3N7G397yDN39g0EXKe41BrAO+kTOW1nJ9hYt1iIis0uBnoDednwN37jsOJ56rY2rfqBQn8yhSWXiI9DP0WItIhIDCvQEdcnxC/ivdx7HMzv2c+UPnqGrT6E+ngY/0KsDWGltLAuKc1hVXcifFOgiMosU6Ans4uMW8N/vOp4NOw9w5Q+eplOhPqamcA9pAU8qM9p5KyvZoMVaRGQWKdAT3FuOrea/33Ucz+5q573ff4rd+7uDLlLcaWzvpbIgK9BJZUY7b2WlFmsRkVmlQE8CF62p5tvvPoGtzZ2c/81H+NETOxjWxCUjGsO9VMVJc3tEZLEWDV8TkdmiQE8SF6yezx//8QxOXFjCZ371Mu9RbX1E08H4mFQmmplx7ooKHt2ixVpEZHYo0JPIguIcbv3bk/ny24/hxb1hr7b+5M6Urq0752ho76E6zgId4LyV87VYi4jMGgV6kjEzLj+5jj/+4xmcUFfCZ375Elfc/BR7DqRmbb3dn1QmqHXQJ6LFWkRkNinQk9SC4hx+dPXJ/PvbjuG5Xe2c/1+PcPtTO3EutWrrjeFg10GfSEZaiHVarEVEZokCPYmZGe8+xautH1dXzP/7xUtccdPTKVVbj7dZ4kaLLNby3G4t1iIiRyZmgW5mN5tZs5m9NME+68zsOTN72cwejlVZUl1NSS63XX0KX7pkNX/ZdSClauuHaujx1+QOsG55Oekh415NMiMiRyiWNfRbgAvGu9PMioHvAG91zq0CLo1hWVKemfHe1y3kno+dwbG1Xm39fTc/zd72nqCLFlNN4V7SQkZ5QfxMKhNNi7WIyGyJWaA75x4B9k+wy7uBu51zu/z9NcPGHKgt9WrrX7xkNRt2erX1O5/elbS19YZwT9xNKjOaFmsRkdkQ5Dn0eqDEzB4ysw1m9r4Ay5JSQiHjitct5I8fO4NjFhTxf+9+MWlr603h+BuDPtq5K73FWjS3u4gciSADPR04EXgzcD7wGTOrH2tHM7vGzNab2fqWlpa5LGNSqy3N5fYPnMIXL141Ulu/6bHXaEui+cXjcZa40SKLtajZXUSORJCBvgf4o3OuyznXCjwCHDvWjs65G51za51za8vLy+e0kMkuFDKuOHUR93zUq61/8bcbOfnf7+eKm57iJ8/sor27P+gizphzjsZwD1WF8V1DBzh3hRZrEZEjE2Sg/wo43czSzSwXOAXYFGB5UlpdWS53fPAUfv+RN3DtGUvY2dbNJ+96kbVf+hNX/uBpfr5hD+GegaCLOS3hngF6B4bjvskdohZreUVdSURkZtJj9cRmdiewDphnZnuAzwIZAM65G5xzm8zsHuAFYBj4vnNu3CFuEntmxsrqQlZWF/LP5y/npb0H+e2LDfz2+UY+8bPnyUwLcUb9PN68popzV1RSkJ0RdJEn1NAeX+ugT2RVdSHVRdnct3Efl62tDbo4IpKAYhbozrnLp7DPfwD/EasyyMyZGcfUFHFMTRGfuuBontvdzu9eaOR3Lzbyp03NZKaHWFdfzkXHVnPO0RXkZcXsozRjTQe9Tn6JUEM3M85dWclP1++mp3+InMy0oIskIgkm/r6FJe6YGcfXlXB8XQmfvnAFf9l9gN8838jvX2zk3o37yM4IcfbRFVy0ppqzllfETRjF87SvYzlvZSW3PrGTP29tHen5LiIyVQp0mZZQyDhxYSknLizlMxetZP2O/fz2hUb+8FIjv3+xidzMNC5YPZ8rT1vEmpriQMva2O5NKlNRkBiBfsriMgqy0rlv4z4FuohMmwJdZiwtZJyypIxTlpTxubeu4qntbfzmhQZ+/VwDdz+7lxPqirny9Yt50+r5ZKTNff/LxnAvFXE+qUy0zPQQ646u4P5X9jE07BKm3CISH7Q4i8yKtJBx2tJ5fPnta3jy0+fw2besZH9XPx+58y+c/tUH+J/7t8z5kKzGcE9CnD+Pdu6KClo7tViLiEyfAl1mXUF2Ble9fjEPfHwdP7jyJJbPL+Tr923mtC8/wMd/+jwv7gnPSTmawr1Ux+miLONZt7yC9JBx30YNXxOR6VGTu8RMKGScdXQFZx1dwdbmTm59Ygc/37CHu57dw9qFJVz5+kWcvyo2zfHepDK9nHV0xaw/dywV5UQWa2niU286OujiiEgCUQ1d5sTSiny+cPFqnvz0OXzmopU0d/Tx4Tv+whu++iDXP7Bl1qebDfcM0DMwlDA93KOdu6KCbS1dbNdiLSIyDQp0mVOF2RlcffpiHvzEOm56/1qWVebzn/du5tSvPMAnfvY8L+2dneb4eF8HfSKRHu6a211EpkNN7hKItJBxzopKzllRydbmDn74+E7uenYPP9+wh5MWlXDp2lrW1ZdTMcN52Jv8QE+0TnEANSW5rKwq5E+b9nHtmUcFXRwRSRAKdAnc0ooCvnjJaj5x/nJ+tn43tz6xk//z8xcAWFFVyJn15ZxZX86JC0vITJ9ao1JD2Jslrro48QIdvElm/sc/FVGWnxV0cUQkASjQJW4U5WTwgTcs4erTF/NKUwcPvdrCw5ub+f6j27nh4W3kZ6Vz2lFlnLncC/iaktxxn6sp3EvIoDxBw/C8lZX89/1buP+VZs3tLiJTokCXuGNmrKgqZEVVIX+37ig6egd4fFsbD29u4eFXW7jXP7e8tCKfM+vLWbe8nJMWlZKdcWjKWW9SmWzSA5jQZjZosRYRmS4FusS9guwMzl81n/NXzcc5x7aWLh56tZmHN7fwoyd3ctNjr5GdEeLUJWV+wFd466AnaHM7HL5YS+/A0GE/VkRExqJAl4RiZiytyGdpRT4feMMSevqHePK1Nh5+tYWHN7fw4G82wm82AnDhMfMDLu2ROXeFt1jLY1u0WIuITE6BLgktJzONs5ZXcNZybwKZnW1dPLK5hce3tXHJcQsCLt2Red0SLdYiIlOnQJeksrAsjytOzeOKUxcFXZQjlpke4szl5dz/yj6Ghx0hLdYiIhNIzB5DIinivJWVtHb28x/3vsq+g71BF0dE4pgCXSSOnbeykrOPruC7D23jtK88wAdvXc+DrzQzNOyCLpqIxBk1uYvEsdzMdG6+8iR2tHbx42d28/MNu7lv4z4WFOfwzpNquWxtbULOhicis8+cS6xf+mvXrnXr168PuhgigegfHOZPm/Zx59O7eHRLKyGDs4+u5N2n1HJmfQVpOs8ukpTMbINzbu1E+6iGLpJAMtNDXHhMFRceU8XOti5+8sxufrp+D3/atI/qomwuO6mWd55Um5CL0ojIkVENXSTBDQwNc/+mfdzx9G4e3dKCAWcfXcHlJ9dxZn15ws6WJyKHqIYukgIy0kJcsLqKC1ZXsXt/Nz95Zjc/Wb+bP21aT1VRNpet9Wrt1cWqtYskM9XQRZLQwNAwD7zSzB1P7eKRLS04561cd9pRZZx2VBknLS6lMDsj6GKKyBRNpYauQBdJcrv3d/Pr5xt4fFsr63ccoG9wmJDBMTXFIwG/dmEpOZmaL14kXinQReQwvQND/GVXO09sa+XxbW08t7udwWFHRppxfF2JH/DzOK62eMprz4tI7CnQRWRCXX2DPLNjP09sb+OJbW28uDeMc5CdEeKkRaWc6gf86upCda4TCZACXUSmJdw9wFOvtfH4Ni/gX93XAUBBVjonLS7l+Npi1tQWc2xNEcW5mQGXViR1qJe7iExLUW4Gb1w1nzeu8paebeno48ntXsA//VobD7zSPLLvwrJcjq0pZk1NEcfVFrOqukjn4UUCpBq6iEzZwd4BXtoT5rk97bywO8zze9ppDHuLxqSFjPrKAo6tKeLYWi/ol1cWqKleZBaoyV1EYq65o3ck3J/fE+b53e2EewYA71z8quoijq0p5tjaItbUFLOwNFdLwYpMkwJdROacc45d+7t5bnc7L/gB/1JDmN6BYQDys9JZWVXIqgWFrKouYvWCQpaW56smLzIBnUMXkTlnZiwsy2NhWR4XH7cAgMGhYTbv6+TFve283HCQl/aG+fHTu+kZ2AF4c9SvmF/ASj/gV1UXcfT8ArIzdE5eZKoU6CISc+lpIVZWF7KyunBk29Cw47XWzpGAf2nvQX73QgN3Pr0L8M7JLy3PP1ST9x9foBnuRMakJncRiRvOOfYc6OHlBi/gX24I81LDQVo6+kb2qSvN5ajyPJaU53NUeT5LyvM4qjyfefmZmOncvCQnNbmLSEIxM2pLc6ktzeWC1VUj25sP9o7U5F/Z18H2li4e39ZG3+DwyD4F2el+yHsBHwn9hWW5ZKWr6V6SnwJdROJeRWE2FYXZnHV0xci24WFHQ7iHbS1dbG/pZFtLJ9tbuvjz1lbufnbvyH4hg9rSXK82P88L+cXz8qgpyaGqKFud8SRpKNBFJCGFQkZNSS41JbmcWV9+2H2dfYNs9wPeC/sutrV08uetrYfV6tNCxvzCbGpKcqgtzaWmJMd/zhxqSnKYX6jAl8ShQBeRpJOflc6ammLW1BQftn142LG3vYcdbV3sPdDDngM97DnQzZ4DPTy2pZV9Hb1EdytKCxlVRdmjgj535AfA/MJs0jSmXuKEAl1EUkYodOgc/Vj6BodobO89LOgnCvyMNGNBcc7Ic9aV5lJb4v1bV5pLUa565MvcUaCLiPiy0tNYNC+PRfPyxry/f3CYxnAPu/d7Qb9rv3fZvb+be15qYn9X/2H7F2Snj4R7JPRrS3KoK81lQUmOOuvJrFKgi4hMUWZ6aGTSnLF09A6we38Puw94IR8J+837Orj/lWb6o87fm0FZXhZleZmU5WdSlu9fz/Ov5x9+vSArXcPyZEIKdBGRWVKQncHK6ozDJtCJGB52tHT2ebX6Ni/smzv6aOvso62rnxf3tNPW1U9H7+CYz52ZFqJ0jPCfX5RNdXEOC4pzWFCSQ1mexuOnKgW6iMgcCIWMysJsKguzOWlR6bj79Q0Osb+rn7bOftq6+mnr7GN/Vz+tnf0j4d/W1c/2lk5aO/tG5siPyEoPjYR7dZH374LiHKqL/Z77RdlkqOd+UlKgi4jEkaz0NKqKcqgqypl0X+ccB3sG2dPeTUN7L3sPdLO3vYeG9l72tPewqbGZ1s6+wx5jBpUF2V7g+zX7srxMinIyKMzJoChyyfX+zctMU40/QSjQRUQSlJl5wZtbxKrqojH36R0YojHcy94DPTS097CnvYe9B3rY297N87vbueelRgaGxp8CPD1kI0F/WODnpI9cL87JpKIwa6QlIC9L0RIEHXURkSSWnZHG4nl5LB6n5/7wsKOjb5CDPQOER13G2hbu7mdXW9fI7eExfgsU5WT4tf/skZCPXBYU51BekKXx+zGgQBcRSWGhkI3UtGun+VjnHJ19g7R3D7DvYO9Ic39Du98acKCHp1/bz8FRHf3SQ3ZYZ77q4myqivym/9wMSnIzKcnNpDg3Q0voToMCXUREZsTMKMjOoCA7g9rSXMZbCqyjd8Br9veDvsEP/r3tPTyzYz9N4V4Gx6rqA9kZIYpzvHAv9sPeu55JcY53u+iw7d4pgMz01Ov4p0AXEZGYioR+fWXBmPcPDTtaOvo40N3Pge5+wt0DHOgeoL2nn/buAdq7+73b3f1sbe7kQPcA4Z7+Cc/952amUZzjB78f9EWRHwZRPwSi9ynKSewWAQW6iIgEKs1vgp9flD3lxzjn6Oofor07EvoDHOjup90/z9/u/ygI+z8KNu/rHPlxMF5rAHjD/nIz08jJSCPb/zcnI42czDSyM8a5nRny9ve352Sk8YZl5XPeShCzQDezm4GLgGbn3OoJ9jsJeAJ4l3Pu57Eqj4iIJA8zIz8rnfysdGpKpv640T8Ewj3+D4HuQx3/evqH6BnwLr39Q/QODtHVN0hrZz+9A0OH3R89+1+0Fz73xuQJdOAW4Hrg1vF2MLM04KvAvTEsh4iICDDzHwLjGRp2XsgPDNHrX3r6h8nPnPsG8Ji9onPuETNbNMlu/wDcBZwUq3KIiIjESlrIyMtKj4ux94F1AzSzBcDbgO8GVQYREZFkEWS//m8Cn3TOjX0CIoqZXWNm681sfUtLyxwUTUREJLEE2UawFvixP0fwPOBCMxt0zv1y9I7OuRuBGwHWrl07fvdEERGRFBVYoDvnFkeum9ktwG/HCnMRERGZXCyHrd0JrAPmmdke4LNABoBz7oZYva6IiEgqimUv98unse+VsSqHiIhIKki9yW5FRESSkAJdREQkCSjQRUREkoACXUREJAmYc4k1rNvMWoCds/iU84DWWXw+0TGNBR3T2aXjOft0TGfX6OO50DlXPtEDEi7QZ5uZrXfOrQ26HMlEx3T26ZjOLh3P2adjOrtmcjzV5C4iIpIEFOgiIiJJQIHuzxEvs0rHdPbpmM4uHc/Zp2M6u6Z9PFP+HLqIiEgyUA1dREQkCaR0oJvZBWb2qpltNbNPBV2eZGBmO8zsRTN7zszWB12eRGNmN5tZs5m9FLWt1MzuM7Mt/r8lQZYx0YxzTD9nZnv9z+lzZnZhkGVMJGZWa2YPmtlGM3vZzD7qb9fndIYmOKbT+pymbJO7maUBm4HzgD3AM8DlzrmNgRYswZnZDmCtc07jUWfAzM4AOoFbnXOr/W1fA/Y7577i//Ascc59MshyJpJxjunngE7n3H8GWbZEZGZVQJVz7lkzKwA2AJcAV6LP6YxMcEwvYxqf01SuoZ8MbHXObXfO9QM/Bi4OuEyS4pxzjwD7R22+GPihf/2HeP/RZYrGOaYyQ865Rufcs/71DmATsAB9TmdsgmM6Lakc6AuA3VG39zCDAyh/xQH3mtkGM7sm6MIkiUrnXKN/vQmoDLIwSeTDZvaC3ySv5uEZMLNFwPHAU+hzOitGHVOYxuc0lQNdYuN059wJwJuAD/nNnTJLnHeOLDXPk82u7wJHAccBjcDXgy1O4jGzfOAu4GPOuYPR9+lzOjNjHNNpfU5TOdD3ArVRt2v8bXIEnHN7/X+bgV/gndqQI7PPP8cWOdfWHHB5Ep5zbp9zbsg5Nwx8D31Op8XMMvCC53bn3N3+Zn1Oj8BYx3S6n9NUDvRngGVmttjMMoF3Ab8OuEwJzczy/A4dmFke8EbgpYkfJVPwa+D9/vX3A78KsCxJIRI8vrehz+mUmZkBNwGbnHPfiLpLn9MZGu+YTvdzmrK93AH8IQDfBNKAm51z/xZwkRKamS3Bq5UDpAN36JhOj5ndCazDW2lpH/BZ4JfAT4E6vJUGL3POqZPXFI1zTNfhNWM6YAdwbdT5X5mAmZ0OPAq8CAz7mz+Nd85Xn9MZmOCYXs40PqcpHegiIiLJIpWb3EVERJKGAl1ERCQJKNBFRESSgAJdREQkCSjQRUREkoACXSRFmNlQ1KpNz83mCoNmtih6NTMRmXvpQRdAROZMj3PuuKALISKxoRq6SIrz17D/mr+O/dNmttTfvsjMHvAXhrjfzOr87ZVm9gsze96/nOY/VZqZfc9fz/leM8vx9/+Iv87zC2b244DepkjSU6CLpI6cUU3u74y6L+ycOwa4Hm/2RID/AX7onFsD3A58y9/+LeBh59yxwAnAy/72ZcC3nXOrgHbgHf72TwHH+89zXazenEiq00xxIinCzDqdc/ljbN8BnO2c2+4vENHknCszs1agyjk34G9vdM7NM7MWoMY51xf1HIuA+5xzy/zbnwQynHNfMrN7gE68KWx/6ZzrjPFbFUlJqqGLCBy+1OVMf+X3RV0f4lAfnTcD38arzT9jZuq7IxIDCnQRAXhn1L9P+Ncfx1uFEOA9eItHANwP/B2AmaWZWdF4T2pmIaDWOfcg8EmgCPirVgIROXL6pSySOnLM7Lmo2/c45yJD10rM7AW8Wvbl/rZ/AH5gZv8MtABX+ds/CtxoZlfj1cT/DhhvBag04DY/9A34lnOufdbekYiM0Dl0kRTnn0Nf65xrDbosIjJzanIXERFJAqqhi4iIJAHV0EVERJKAAl1ERCQJKNBFRESSgAJdREQkCSjQRUREkoACXUREJAn8f85ILZSDCL1pAAAAAElFTkSuQmCC\n",
            "text/plain": [
              "<Figure size 576x360 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wCBQBDD_FzWG"
      },
      "source": [
        "## 6. Testing with a Pre-Trained Model"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Ea-IMxHnFx-D"
      },
      "source": [
        "from tensorflow import keras\n",
        "model = keras.models.load_model('saved_models/model_25epochs')"
      ],
      "execution_count": 15,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Et255BsT6iDD"
      },
      "source": [
        "\n",
        "def generate_text(seed,diversity,generated_text_len):\n",
        "\n",
        "  string_length=maxlen \n",
        "  sentence = seed.rjust(string_length)\n",
        "  print()\n",
        "  print('diversity: '+ str(diversity))\n",
        "  print(sentence,end='')\n",
        "  for i in range(generated_text_len):\n",
        "          x_pred = np.zeros((1, maxlen, len(chars)))\n",
        "          for t, char in enumerate(sentence):\n",
        "              x_pred[0, t, char_indices[char]] = 1.\n",
        "\n",
        "          preds = model.predict(x_pred, verbose=0)[0]\n",
        "          next_index = sample(preds, diversity)\n",
        "          next_char = indices_char[next_index]\n",
        "\n",
        "          sentence = sentence[1:] + next_char\n",
        "\n",
        "          sys.stdout.write(next_char)\n",
        "          sys.stdout.flush()\n",
        "          \n",
        "np.seterr(divide = 'ignore') "
      ],
      "execution_count": 21,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "HgcCv3TR_Yj1",
        "outputId": "86ac82be-c204-4eab-a1cb-b065ceee9e53",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "seed = 'modelin çalışma testi '\n",
        "generate_text(seed,0.55,150)\n",
        "generate_text(seed,0.65,150)\n",
        "generate_text(seed,0.85,150)"
      ],
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "\n",
            "diversity: 0.55\n",
            "                            modelin çalışma testi haline ilk altında ile bir antalya olarak teknik her cildirinin sonucunun için                      takım başkanı tek sürektirilecek sebze kaydedecek \n",
            "diversity: 0.65\n",
            "                            modelin çalışma testi tam bunun yapmalı olacak i̇ki kaya fiyatlarının teknik futleme ancak artış ihtiyacı ve yayını savunması bir yap ve sektörüne ile tempop takımı tekelin\n",
            "diversity: 0.85\n",
            "                            modelin çalışma testi sayasında ve takımını sısılan karşı efsayi rebrovler  mi    şu bunun ilaç çıkan buvunun ile ile sonra açık yeri  şirket kara çıkmayı ve yayın efesti  "
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gVMyNx2dBd7E",
        "outputId": "886b39dd-306e-4d78-cda9-8d7bb72dceed",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "source": [
        "seed = 'yarım metin örne'\n",
        "generate_text(seed,0.55,150)\n",
        "generate_text(seed,0.65,150)\n",
        "generate_text(seed,0.85,150)\n"
      ],
      "execution_count": 25,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "\n",
            "diversity: 0.55\n",
            "                                  yarım metin örneğin kazayı yağn futbol fiyatı olmadığını belirten ve sisteminin yetkilileri olarak kurulunun sununun ve süre teknik direktörler alıyoruz   tamer etkil\n",
            "diversity: 0.65\n",
            "                                  yarım metin örnen sonrasında baskının kalecez ve eken eskişiliğine karşı için ilgilenen ligin bu yaşandığını belirterek palli  yatırıldığı bizden sonuna ulaşılan irac\n",
            "diversity: 0.85\n",
            "                                  yarım metin örnek için üçüncü  hükümet sizin merkezi içinde demelenimken güçlü akkiden  milyon dolar ve gözune gelen sonunda koruyacağını belirten yüzde  ilişkin işre"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "SsMbsBiDRfMk"
      },
      "source": [
        ""
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}