goit_python_ds_hw_12_UA.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "collapsed_sections": [
        "LBiHAFnr-taD",
        "fQWAgB3O-m9G",
        "A6kpTWHNF7-3",
        "w-x5y1u_LAi1"
      ],
      "authorship_tag": "ABX9TyONllPnC0MOMjUW6g6pLis8",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/lexxai/goit_python_ds_hw_12/blob/main/goit_python_ds_hw_12_UA.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Модуль 12. Основи NLP. UA.\n",
        "\n",
        "*З циклу [домашніх завдань Python Data Science](https://github.com/lexxai/goit_python_data_sciense_homework).*\n",
        "\n",
        "# Домашнє завдання"
      ],
      "metadata": {
        "id": "yyLRXrtSUPez"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Зробіть summary нижчевказаного тексту використовуючи бібліотеки для NLP: `SpaCy`  та словника української мови.\n",
        "\n",
        "```\n",
        "The Orbiter Discovery, OV-103, is considered eligible for listing in the National Register of Historic Places (NRHP) in the context of the U.S. Space Shuttle Program (1969-2011) under Criterion A in the areas of Space Exploration and Transportation and under Criterion C in the area of Engineering. Because it has achieved significance within the past fifty years, Criteria Consideration G applies. Under Criterion A, Discovery is significant as the oldest of the three extant orbiter vehicles constructed for the Space Shuttle Program (SSP), the longest running American space program to date; she was the third of five orbiters built by NASA. Unlike the Mercury, Gemini, and Apollo programs, the SSP’s emphasis was on cost effectiveness and reusability, and eventually the construction of a space station. Including her maiden voyage (launched August 30, 1984), Discovery flew to space thirty-nine times, more than any of the other four orbiters; she was also the first orbiter to fly twenty missions. She had the honor of being chosen as the Return to Flight vehicle after both the Challenger and Columbia accidents. Discovery was the first shuttle to fly with the redesigned SRBs, a result of the Challenger accident, and the first shuttle to fly with the Phase II and Block I SSME. Discovery also carried the Hubble Space Telescope to orbit and performed two of the five servicing missions to the observatory. She flew the first and last dedicated Department of Defense (DoD) missions, as well as the first unclassified defense-related mission. In addition, Discovery was vital to the construction of the International Space Station (ISS); she flew thirteen of the thirty-seven total missions flown to the station by a U.S. Space Shuttle. She was the first orbiter to dock to the ISS, and the first to perform an exchange of a resident crew. Under Criterion C, Discovery is significant as a feat of engineering. According to Wayne Hale, a flight director from Johnson Space Center, the Space Shuttle orbiter represents a “huge technological leap from expendable rockets and capsules to a reusable, winged, hypersonic, cargo-carrying spacecraft.” Although her base structure followed a conventional aircraft design, she used advanced materials that both minimized her weight for cargo-carrying purposes and featured low thermal expansion ratios, which provided a stable base for her Thermal Protection System (TPS) materials. The Space Shuttle orbiter also featured the first reusable TPS; all previous spaceflight vehicles had a single-use, ablative heat shield. Other notable engineering achievements of the orbiter included the first reusable orbital propulsion system, and the first two-fault-tolerant Integrated Avionics System. As Hale stated, the Space Shuttle remains “the largest, fastest, winged hypersonic aircraft in history,” having regularly flown at twenty-five times the speed of sound.\n",
        "```\n"
      ],
      "metadata": {
        "id": "fGgMtFjfU5Hc"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "```\n",
        "Орбітальний корабель \"Discovery\", OV-103, вважається таким, що має право на внесення до Національного реєстру історичних місць (NRHP) в контексті Програми космічних човників США (1969-2011) за критерієм A в галузі космічних досліджень і транспорту та за критерієм C в галузі інженерії. Оскільки вона досягла значущості протягом останніх п'ятдесяти років, застосовується Розгляд критерію G. Відповідно до Критерію А, \"Discovery\" є важливим як найстаріший з трьох збережених орбітальних кораблів, побудованих для програми \"Space Shuttle\" (SSP), найдовшої американської космічної програми на сьогоднішній день; він був третім з п'яти орбітальних кораблів, побудованих NASA. На відміну від програм \"Mercury\", \"Gemini\" та \"Apollo\", основна увага в SSP приділялася економічній ефективності та багаторазовому використанню, а в перспективі - створенню космічної станції. Включаючи свій перший політ (запущений 30 серпня 1984 року), \"Discovery\" літав у космос тридцять дев'ять разів, більше, ніж будь-який з інших чотирьох орбітальних кораблів; він також був першим орбітальним кораблем, який здійснив двадцять місій. Вона мала честь бути обраною для повернення до польотів після аварій \"Challenger\" і \"Columbia\". \"Discovery\" став першим кораблем, який здійснив політ з модернізованими SRB після аварії \"Челленджера\", і першим кораблем, який здійснив політ з SSME Фази II і Блоку I. \"Discovery \" також доставив на орбіту космічний телескоп \"Hubble\" і здійснив дві з п'яти місій з обслуговування обсерваторії. Вона виконала першу і останню місії Міністерства оборони США, а також першу несекретну місію, пов'язану з обороною. Крім того, \"Discovery\" відіграв важливу роль у будівництві Міжнародної космічної станції (МКС); він здійснив тринадцять з тридцяти семи польотів на станцію за допомогою американського космічного човника. Вона була першим орбітальним кораблем, який пристикувався до МКС, і першим, який здійснив обмін екіпажем, що проживає на станції. За критерієм С \"Discovery\" є значущим як інженерний подвиг. За словами Вейна Хейла, керівника польотів з Космічного центру імені Джонсона, орбітальний корабель \"Space Shuttle\" являє собою \"величезний технологічний стрибок від одноразових ракет і капсул до багаторазового, крилатого, гіперзвукового космічного корабля, що несе вантаж\". Хоча його базова конструкція наслідує конструкцію звичайного літака, він використовує передові матеріали, які мінімізують його вагу для перевезення вантажу і мають низький коефіцієнт теплового розширення, що забезпечує стабільну основу для матеріалів системи теплового захисту (TPS). На орбітальному кораблі \"Space Shuttle\" також була встановлена перша багаторазова система TPS; всі попередні космічні кораблі мали одноразовий теплозахисний екран, що наносився абразивним способом. Серед інших визначних інженерних досягнень орбітального корабля - перша багаторазова орбітальна рухова установка і перша стійка до двох відмов інтегрована система авіоніки. За словами Хейла, \"Space Shuttle\" залишається \"найбільшим, найшвидшим, найкрилатішим гіперзвуковим літаком в історії\", який регулярно літає зі швидкістю, що у двадцять п'ять разів перевищує швидкість звуку.\n",
        "```\n",
        "\n",
        "Translated with DeepL.com (free version)"
      ],
      "metadata": {
        "id": "Xw2rcJwFyiNo"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Виконання"
      ],
      "metadata": {
        "id": "Sn4us1W9VFRa"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## TEXT Preprocessor"
      ],
      "metadata": {
        "id": "kEJ8sD3NJKs_"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!python -m spacy download uk_core_news_sm"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "7yMtPZz-2SzS",
        "outputId": "c70f3508-cb75-4ffa-ddee-6cd3d689c606"
      },
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting uk-core-news-sm==3.7.0\n",
            "  Downloading https://github.com/explosion/spacy-models/releases/download/uk_core_news_sm-3.7.0/uk_core_news_sm-3.7.0-py3-none-any.whl (14.9 MB)\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m14.9/14.9 MB\u001b[0m \u001b[31m24.3 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hRequirement already satisfied: spacy<3.8.0,>=3.7.0 in /usr/local/lib/python3.10/dist-packages (from uk-core-news-sm==3.7.0) (3.7.4)\n",
            "Requirement already satisfied: pymorphy3>=1.0.0 in /usr/local/lib/python3.10/dist-packages (from uk-core-news-sm==3.7.0) (2.0.1)\n",
            "Requirement already satisfied: pymorphy3-dicts-uk in /usr/local/lib/python3.10/dist-packages (from uk-core-news-sm==3.7.0) (2.4.1.1.1663094765)\n",
            "Requirement already satisfied: dawg-python>=0.7.1 in /usr/local/lib/python3.10/dist-packages (from pymorphy3>=1.0.0->uk-core-news-sm==3.7.0) (0.7.2)\n",
            "Requirement already satisfied: pymorphy3-dicts-ru in /usr/local/lib/python3.10/dist-packages (from pymorphy3>=1.0.0->uk-core-news-sm==3.7.0) (2.4.417150.4580142)\n",
            "Requirement already satisfied: spacy-legacy<3.1.0,>=3.0.11 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (3.0.12)\n",
            "Requirement already satisfied: spacy-loggers<2.0.0,>=1.0.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (1.0.5)\n",
            "Requirement already satisfied: murmurhash<1.1.0,>=0.28.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (1.0.10)\n",
            "Requirement already satisfied: cymem<2.1.0,>=2.0.2 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.0.8)\n",
            "Requirement already satisfied: preshed<3.1.0,>=3.0.2 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (3.0.9)\n",
            "Requirement already satisfied: thinc<8.3.0,>=8.2.2 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (8.2.3)\n",
            "Requirement already satisfied: wasabi<1.2.0,>=0.9.1 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (1.1.2)\n",
            "Requirement already satisfied: srsly<3.0.0,>=2.4.3 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.4.8)\n",
            "Requirement already satisfied: catalogue<2.1.0,>=2.0.6 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.0.10)\n",
            "Requirement already satisfied: weasel<0.4.0,>=0.1.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (0.3.4)\n",
            "Requirement already satisfied: typer<0.10.0,>=0.3.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (0.9.0)\n",
            "Requirement already satisfied: smart-open<7.0.0,>=5.2.1 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (6.4.0)\n",
            "Requirement already satisfied: tqdm<5.0.0,>=4.38.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (4.66.2)\n",
            "Requirement already satisfied: requests<3.0.0,>=2.13.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.31.0)\n",
            "Requirement already satisfied: pydantic!=1.8,!=1.8.1,<3.0.0,>=1.7.4 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.6.4)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (3.1.3)\n",
            "Requirement already satisfied: setuptools in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (67.7.2)\n",
            "Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (24.0)\n",
            "Requirement already satisfied: langcodes<4.0.0,>=3.2.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (3.3.0)\n",
            "Requirement already satisfied: numpy>=1.19.0 in /usr/local/lib/python3.10/dist-packages (from spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (1.25.2)\n",
            "Requirement already satisfied: annotated-types>=0.4.0 in /usr/local/lib/python3.10/dist-packages (from pydantic!=1.8,!=1.8.1,<3.0.0,>=1.7.4->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (0.6.0)\n",
            "Requirement already satisfied: pydantic-core==2.16.3 in /usr/local/lib/python3.10/dist-packages (from pydantic!=1.8,!=1.8.1,<3.0.0,>=1.7.4->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.16.3)\n",
            "Requirement already satisfied: typing-extensions>=4.6.1 in /usr/local/lib/python3.10/dist-packages (from pydantic!=1.8,!=1.8.1,<3.0.0,>=1.7.4->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (4.10.0)\n",
            "Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.13.0->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (3.3.2)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.13.0->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (3.6)\n",
            "Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.13.0->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.0.7)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests<3.0.0,>=2.13.0->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2024.2.2)\n",
            "Requirement already satisfied: blis<0.8.0,>=0.7.8 in /usr/local/lib/python3.10/dist-packages (from thinc<8.3.0,>=8.2.2->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (0.7.11)\n",
            "Requirement already satisfied: confection<1.0.0,>=0.0.1 in /usr/local/lib/python3.10/dist-packages (from thinc<8.3.0,>=8.2.2->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (0.1.4)\n",
            "Requirement already satisfied: click<9.0.0,>=7.1.1 in /usr/local/lib/python3.10/dist-packages (from typer<0.10.0,>=0.3.0->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (8.1.7)\n",
            "Requirement already satisfied: cloudpathlib<0.17.0,>=0.7.0 in /usr/local/lib/python3.10/dist-packages (from weasel<0.4.0,>=0.1.0->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (0.16.0)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/dist-packages (from jinja2->spacy<3.8.0,>=3.7.0->uk-core-news-sm==3.7.0) (2.1.5)\n",
            "\u001b[38;5;2m✔ Download and installation successful\u001b[0m\n",
            "You can now load the package via spacy.load('uk_core_news_sm')\n",
            "\u001b[38;5;3m⚠ Restart to reload dependencies\u001b[0m\n",
            "If you are in a Jupyter or Colab notebook, you may need to restart Python in\n",
            "order to load all the package's dependencies. You can do this by selecting the\n",
            "'Restart kernel' or 'Restart runtime' option.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Текст для обробки\n",
        "# text = \"This is an example sentence for tokenization and lemmatization.\"\n",
        "text = \"\"\"\n",
        "Орбітальний корабель \"Discovery\", OV-103, вважається таким, що має право на внесення до Національного реєстру історичних місць (NRHP) в контексті Програми космічних човників США (1969-2011) за критерієм A в галузі космічних досліджень і транспорту та за критерієм C в галузі інженерії. Оскільки вона досягла значущості протягом останніх п'ятдесяти років, застосовується Розгляд критерію G. Відповідно до Критерію А, \"Discovery\" є важливим як найстаріший з трьох збережених орбітальних кораблів, побудованих для програми \"Space Shuttle\" (SSP), найдовшої американської космічної програми на сьогоднішній день; він був третім з п'яти орбітальних кораблів, побудованих NASA. На відміну від програм \"Mercury\", \"Gemini\" та \"Apollo\", основна увага в SSP приділялася економічній ефективності та багаторазовому використанню, а в перспективі - створенню космічної станції. Включаючи свій перший політ (запущений 30 серпня 1984 року), \"Discovery\" літав у космос тридцять дев'ять разів, більше, ніж будь-який з інших чотирьох орбітальних кораблів; він також був першим орбітальним кораблем, який здійснив двадцять місій. Вона мала честь бути обраною для повернення до польотів після аварій \"Challenger\" і \"Columbia\". \"Discovery\" став першим кораблем, який здійснив політ з модернізованими SRB після аварії \"Челленджера\", і першим кораблем, який здійснив політ з SSME Фази II і Блоку I. \"Discovery \" також доставив на орбіту космічний телескоп \"Hubble\" і здійснив дві з п'яти місій з обслуговування обсерваторії. Вона виконала першу і останню місії Міністерства оборони США, а також першу несекретну місію, пов'язану з обороною. Крім того, \"Discovery\" відіграв важливу роль у будівництві Міжнародної космічної станції (МКС); він здійснив тринадцять з тридцяти семи польотів на станцію за допомогою американського космічного човника. Вона була першим орбітальним кораблем, який пристикувався до МКС, і першим, який здійснив обмін екіпажем, що проживає на станції. За критерієм С \"Discovery\" є значущим як інженерний подвиг. За словами Вейна Хейла, керівника польотів з Космічного центру імені Джонсона, орбітальний корабель \"Space Shuttle\" являє собою \"величезний технологічний стрибок від одноразових ракет і капсул до багаторазового, крилатого, гіперзвукового космічного корабля, що несе вантаж\". Хоча його базова конструкція наслідує конструкцію звичайного літака, він використовує передові матеріали, які мінімізують його вагу для перевезення вантажу і мають низький коефіцієнт теплового розширення, що забезпечує стабільну основу для матеріалів системи теплового захисту (TPS). На орбітальному кораблі \"Space Shuttle\" також була встановлена перша багаторазова система TPS; всі попередні космічні кораблі мали одноразовий теплозахисний екран, що наносився абразивним способом. Серед інших визначних інженерних досягнень орбітального корабля - перша багаторазова орбітальна рухова установка і перша стійка до двох відмов інтегрована система авіоніки. За словами Хейла, \"Space Shuttle\" залишається \"найбільшим, найшвидшим, найкрилатішим гіперзвуковим літаком в історії\", який регулярно літає зі швидкістю, що у двадцять п'ять разів перевищує швидкість звуку.\n",
        "\"\"\"\n",
        "\n",
        "text = \" \".join(text.split('\\n'))\n",
        "text = \" \".join(text.split())\n",
        "\n",
        "\n"
      ],
      "metadata": {
        "id": "TrEwbKlwWBqP"
      },
      "execution_count": 18,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Реалізація через spaCy"
      ],
      "metadata": {
        "id": "MEsHbJT4JWvg"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Допоміжні функції"
      ],
      "metadata": {
        "id": "ml4mRDRMVPAt"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 3,
      "metadata": {
        "id": "KobA6-jlT5m0"
      },
      "outputs": [],
      "source": [
        "import spacy"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "def get_word_frequencies_spacy(doc):\n",
        "  word_frequencies = {}\n",
        "  for word in doc:\n",
        "    if word.is_stop or word.is_punct or word.is_space:\n",
        "      continue\n",
        "    word_lower = word.text.lower()\n",
        "    word_frequencies[word_lower] = word_frequencies.get(word_lower, 0) + 1\n",
        "  return word_frequencies\n",
        "\n",
        "\n",
        "def get_word_frequencies_spacy_verb(doc):\n",
        "  word_frequencies = {}\n",
        "  for word in doc:\n",
        "    if word.is_stop or word.is_punct or word.is_space:\n",
        "      continue\n",
        "    if word.pos_ == \"VERB\":\n",
        "      word_lower = word.lemma_.lower()\n",
        "    else:\n",
        "      word_lower = word.text.lower()\n",
        "    word_frequencies[word_lower] = word_frequencies.get(word_lower, 0) + 1\n",
        "  return word_frequencies\n",
        "\n",
        "def get_word_frequencies_spacy_lemma(doc):\n",
        "  word_frequencies = {}\n",
        "  word_frequencies_ = {}\n",
        "  word_frequencies_lemma = {}\n",
        "  for word in doc:\n",
        "    if word.is_stop or word.is_punct or word.is_space:\n",
        "      continue\n",
        "    word_lower = word.text.lower()\n",
        "    word_lower_lemma = word.lemma_.lower()\n",
        "    word_frequencies_lemma[word_lower_lemma] = word_frequencies_lemma.get(word_lower_lemma, 0) + 1\n",
        "    if word_lower not in word_frequencies_.keys():\n",
        "      word_frequencies_[word_lower] = word_lower_lemma\n",
        "  word_frequencies = { k: word_frequencies_lemma[v] for k, v in word_frequencies_.items()}\n",
        "  return word_frequencies\n",
        "\n",
        "\n",
        "def get_ranked_sentences_index(sentences, word_frequencies):\n",
        "  ranked_sentences_index = {}\n",
        "  for i, s in enumerate(sentences):\n",
        "    sentence_score = sum(word_frequencies.get(word.text.lower(), 0) for word in s)\n",
        "    ranked_sentences_index[i] = sentence_score\n",
        "  return ranked_sentences_index\n",
        "\n",
        "def summarise_spacy(text, num_sentences=4, lang=\"uk_core_news_sm\"):\n",
        "  nlp = spacy.load(lang)\n",
        "  doc = nlp(text)\n",
        "  sentences = list(doc.sents)\n",
        "  word_frequencies = get_word_frequencies_spacy(doc)\n",
        "  # word_frequencies = get_word_frequencies_spacy_verb(doc)\n",
        "  # word_frequencies = get_word_frequencies_spacy_lemma(doc)\n",
        "  ranked_sentences_index = get_ranked_sentences_index(sentences, word_frequencies)\n",
        "  sort_ranked_sentences = sorted(ranked_sentences_index, key=ranked_sentences_index.get, reverse=True)\n",
        "  summary = [ sentences[i] for i in sort_ranked_sentences[:num_sentences] ]\n",
        "  # print(ranked_sentences_index)\n",
        "  # print(word_frequencies)\n",
        "  # print(dict(sorted(word_frequencies.items(), key=lambda x: x[1], reverse=True)))\n",
        "  return summary\n",
        "\n",
        "def summarise_spacy_lema(text, num_sentences=4, lang=\"uk_core_news_sm\"):\n",
        "  nlp = spacy.load(lang)\n",
        "  doc = nlp(text)\n",
        "  sentences = list(doc.sents)\n",
        "  # word_frequencies = get_word_frequencies_spacy(doc)\n",
        "  # word_frequencies = get_word_frequencies_spacy_verb(doc)\n",
        "  word_frequencies = get_word_frequencies_spacy_lemma(doc)\n",
        "  ranked_sentences_index = get_ranked_sentences_index(sentences, word_frequencies)\n",
        "  sort_ranked_sentences = sorted(ranked_sentences_index, key=ranked_sentences_index.get, reverse=True)\n",
        "  summary = [ sentences[i] for i in sort_ranked_sentences[:num_sentences] ]\n",
        "  # print(ranked_sentences_index)\n",
        "  # print(word_frequencies)\n",
        "  # print(dict(sorted(word_frequencies.items(), key=lambda x: x[1], reverse=True)))\n",
        "  return summary"
      ],
      "metadata": {
        "id": "YOouYT1mJuEf"
      },
      "execution_count": 32,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Резльтат summary"
      ],
      "metadata": {
        "id": "fe0EEKQDVSwt"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "summary = summarise_spacy(text)\n",
        "for s in summary:\n",
        "  print(s)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wSWgHyQkMAXf",
        "outputId": "d4d3902c-579c-4fa9-d578-4be5c4ca1247"
      },
      "execution_count": 33,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\"Discovery\" став першим кораблем, який здійснив політ з модернізованими SRB після аварії \"Челленджера\", і першим кораблем, який здійснив політ з SSME Фази II і Блоку I. \"Discovery \" також доставив на орбіту космічний телескоп \"Hubble\" і здійснив дві з п'яти місій з обслуговування обсерваторії.\n",
            "Відповідно до Критерію А, \"Discovery\" є важливим як найстаріший з трьох збережених орбітальних кораблів, побудованих для програми \"Space Shuttle\" (SSP), найдовшої американської космічної програми на сьогоднішній день; він був третім з п'яти орбітальних кораблів, побудованих NASA.\n",
            "Орбітальний корабель \"Discovery\", OV-103, вважається таким, що має право на внесення до Національного реєстру історичних місць (NRHP) в контексті Програми космічних човників США (1969-2011) за критерієм A в галузі космічних досліджень і транспорту та за критерієм C в галузі інженерії.\n",
            "Включаючи свій перший політ (запущений 30 серпня 1984 року), \"Discovery\" літав у космос тридцять дев'ять разів, більше, ніж будь-який з інших чотирьох орбітальних кораблів; він також був першим орбітальним кораблем, який здійснив двадцять місій.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "summary = summarise_spacy_lema(text)\n",
        "for s in summary:\n",
        "  print(s)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "8IB8lfe6KW6o",
        "outputId": "8b4251b4-fdc4-4dd3-eb41-b86273f7ddaa"
      },
      "execution_count": 34,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\"Discovery\" став першим кораблем, який здійснив політ з модернізованими SRB після аварії \"Челленджера\", і першим кораблем, який здійснив політ з SSME Фази II і Блоку I. \"Discovery \" також доставив на орбіту космічний телескоп \"Hubble\" і здійснив дві з п'яти місій з обслуговування обсерваторії.\n",
            "Відповідно до Критерію А, \"Discovery\" є важливим як найстаріший з трьох збережених орбітальних кораблів, побудованих для програми \"Space Shuttle\" (SSP), найдовшої американської космічної програми на сьогоднішній день; він був третім з п'яти орбітальних кораблів, побудованих NASA.\n",
            "За словами Вейна Хейла, керівника польотів з Космічного центру імені Джонсона, орбітальний корабель \"Space Shuttle\" являє собою \"величезний технологічний стрибок від одноразових ракет і капсул до багаторазового, крилатого, гіперзвукового космічного корабля, що несе вантаж\".\n",
            "Включаючи свій перший політ (запущений 30 серпня 1984 року), \"Discovery\" літав у космос тридцять дев'ять разів, більше, ніж будь-який з інших чотирьох орбітальних кораблів; він також був першим орбітальним кораблем, який здійснив двадцять місій.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Результат роботи версії з словником і текстом для Engish"
      ],
      "metadata": {
        "id": "xT021R924SrK"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "```\n",
        "The Orbiter Discovery, OV-103, is considered eligible for listing in the National Register of Historic Places (NRHP) in the context of the U.S. Space Shuttle Program (1969-2011) under Criterion A in the areas of Space Exploration and Transportation and under Criterion C in the area of Engineering.\n",
        "Under Criterion A, Discovery is significant as the oldest of the three extant orbiter vehicles constructed for the Space Shuttle Program (SSP), the longest running American space program to date; she was the third of five orbiters built by NASA.\n",
        "In addition, Discovery was vital to the construction of the International Space Station (ISS); she flew thirteen of the thirty-seven total missions flown to the station by a U.S. Space Shuttle.\n",
        "According to Wayne Hale, a flight director from Johnson Space Center, the Space Shuttle orbiter represents a “huge technological leap from expendable rockets and capsules to a reusable, winged, hypersonic, cargo-carrying spacecraft. ”\n",
        "```\n",
        "\n"
      ],
      "metadata": {
        "id": "2AtAeHcA4PPp"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Висновок"
      ],
      "metadata": {
        "id": "YZUGXTGeV2wU"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Завдання було на онсові тексту створити короткий зміст цього тексту.\n",
        "\n",
        "Для фрмування короткого тексту було вибрано було 4 речення, на основі частоти вживання слів у цих реченях.\n",
        "\n",
        "В результаті роботи було викорисанно бібліотеку `spaCy`.\n",
        "\n",
        "В результаті було отрманно однаковий результат summary з 4-х речень:"
      ],
      "metadata": {
        "id": "daJnWQLcWUk1"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "```\n",
        "\"Discovery\" став першим шатлом, який полетів з модернізованими SRB, що були розроблені після аварії \"Challenger\", і першим шатлом, який полетів з SSME Фази II і Блоку I. \"Discovery \" також доставив на орбіту космічний телескоп \"Hubble \" і здійснив дві з п'яти місій з обслуговування обсерваторії.\n",
        "Відповідно до Критерію А, \"Discovery\" є важливим як найстаріший з трьох збережених орбітальних кораблів, побудованих для програми \"Space Shuttle\" (SSP), найдовшої американської космічної програми на сьогоднішній день; він був третім з п'яти орбітальних кораблів, побудованих NASA.\n",
        "Орбітальний корабель \"Discovery\", OV-103, вважається таким, що має право на внесення до Національного реєстру історичних місць (NRHP) в контексті Програми космічних човників США (1969-2011) за критерієм A в галузі космічних досліджень і транспорту та за критерієм C в галузі інженерії.\n",
        "За словами Вейна Хейла, керівника польотів з Космічного центру імені Джонсона, орбітальний корабель \"Space Shuttle\" являє собою \"величезний технологічний стрибок від одноразових ракет і капсул до багаторазового, крилатого, гіперзвукового космічного корабля, що несе вантаж\".\n",
        "```"
      ],
      "metadata": {
        "id": "RtZN9dW35E7u"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Результат роботи версії з словником і текстом для Engish"
      ],
      "metadata": {
        "id": "SwMywZW05KSm"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "```\n",
        "The Orbiter Discovery, OV-103, is considered eligible for listing in the National Register of Historic Places (NRHP) in the context of the U.S. Space Shuttle Program (1969-2011) under Criterion A in the areas of Space Exploration and Transportation and under Criterion C in the area of Engineering.\n",
        "Under Criterion A, Discovery is significant as the oldest of the three extant orbiter vehicles constructed for the Space Shuttle Program (SSP), the longest running American space program to date; she was the third of five orbiters built by NASA.\n",
        "In addition, Discovery was vital to the construction of the International Space Station (ISS); she flew thirteen of the thirty-seven total missions flown to the station by a U.S. Space Shuttle.\n",
        "According to Wayne Hale, a flight director from Johnson Space Center, the Space Shuttle orbiter represents a “huge technological leap from expendable rockets and capsules to a reusable, winged, hypersonic, cargo-carrying spacecraft.\n",
        "```\n",
        "\n"
      ],
      "metadata": {
        "id": "_iqKl-A-WCQR"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Переклад стислого змісту ситемою автоматичного прекладу DeepL з English:"
      ],
      "metadata": {
        "id": "tHNiFxCXYRsf"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "```\n",
        "Орбітальний корабель \"Діскавері\" (OV-103) вважається таким, що має право на внесення до Національного реєстру історичних місць (NRHP) в контексті Програми космічних човників США (1969-2011 рр.) за критерієм А в галузі космічних досліджень і транспорту та за критерієм С в галузі інженерії.\n",
        "За критерієм А \"Діскавері\" має важливе значення як найстаріший з трьох збережених орбітальних кораблів, побудованих для програми \"Спейс Шаттл\" (SSP), найдовшої американської космічної програми на сьогоднішній день; вона була третім з п'яти орбітальних кораблів, побудованих NASA.\n",
        "Крім того, \"Діскавері\" відіграла важливу роль у будівництві Міжнародної космічної станції (МКС); вона здійснила тринадцять з тридцяти семи польотів на станцію за допомогою американських шатлів.\n",
        "За словами Вейна Хейла, керівника польотів Космічного центру імені Джонсона, орбітальний корабель \"Спейс Шаттл\" являє собою \"величезний технологічний стрибок від одноразових ракет і капсул до багаторазового, крилатого, гіперзвукового, вантажного космічного корабля.\n",
        "```"
      ],
      "metadata": {
        "id": "-GKNgqzqX64E"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        " Використання Lemma"
      ],
      "metadata": {
        "id": "Mrck0wJfKzIu"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "\n",
        "```\n",
        "\"Discovery\" став першим кораблем, який здійснив політ з модернізованими SRB після аварії \"Челленджера\", і першим кораблем, який здійснив політ з SSME Фази II і Блоку I. \"Discovery \" також доставив на орбіту космічний телескоп \"Hubble\" і здійснив дві з п'яти місій з обслуговування обсерваторії.\n",
        "Відповідно до Критерію А, \"Discovery\" є важливим як найстаріший з трьох збережених орбітальних кораблів, побудованих для програми \"Space Shuttle\" (SSP), найдовшої американської космічної програми на сьогоднішній день; він був третім з п'яти орбітальних кораблів, побудованих NASA.\n",
        "За словами Вейна Хейла, керівника польотів з Космічного центру імені Джонсона, орбітальний корабель \"Space Shuttle\" являє собою \"величезний технологічний стрибок від одноразових ракет і капсул до багаторазового, крилатого, гіперзвукового космічного корабля, що несе вантаж\".\n",
        "Включаючи свій перший політ (запущений 30 серпня 1984 року), \"Discovery\" літав у космос тридцять дев'ять разів, більше, ніж будь-який з інших чотирьох орбітальних кораблів; він також був першим орбітальним кораблем, який здійснив двадцять місій.\n",
        "```\n",
        "\n"
      ],
      "metadata": {
        "id": "PP-jCH4GK7Uw"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Використанно було `word freq linked by lemma` і зміст дещо змінився."
      ],
      "metadata": {
        "id": "1hXjK_21MarY"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Word freq:"
      ],
      "metadata": {
        "id": "LBiHAFnr-taD"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "{'discovery': 7, 'здійснив': 6, 'першим': 5, 'space': 4, 'shuttle': 4, 'кораблем': 4, 'програми': 3, 'критерієм': 3, 'орбітальних': 3, 'кораблів': 3, 'космічної': 3, 'станції': 3, 'політ': 3, 'польотів': 3, 'космічного': 3, 'перша': 3, 'орбітальний': 2, 'корабель': 2, 'космічних': 2, 'сша': 2, 'галузі': 2, 'критерію': 2, 'побудованих': 2, 'ssp': 2, \"п'яти\": 2, 'разів': 2, 'орбітальним': 2, 'місій': 2, 'першу': 2, 'мкс': 2, 'словами': 2, 'хейла': 2, 'корабля': 2, 'теплового': 2, 'tps': 2, 'кораблі': 2, 'багаторазова': 2, 'система': 2, 'ov-103': 1, 'вважається': 1, 'таким': 1, 'право': 1, 'внесення': 1, 'національного': 1, 'реєстру': 1, 'історичних': 1, 'місць': 1, 'nrhp': 1, 'контексті': 1, 'човників': 1, '1969': 1, '2011': 1, 'a': 1, 'досліджень': 1, 'транспорту': 1, 'c': 1, 'інженерії': 1, 'оскільки': 1, 'досягла': 1, 'значущості': 1, 'протягом': 1, 'останніх': 1, \"п'ятдесяти\": 1, 'застосовується': 1, 'розгляд': 1, 'g.': 1, 'відповідно': 1, 'важливим': 1, 'найстаріший': 1, 'трьох': 1, 'збережених': 1, 'найдовшої': 1, 'американської': 1, 'сьогоднішній': 1, 'третім': 1, 'nasa': 1, 'відміну': 1, 'програм': 1, 'mercury': 1, 'gemini': 1, 'apollo': 1, 'основна': 1, 'увага': 1, 'приділялася': 1, 'економічній': 1, 'ефективності': 1, 'багаторазовому': 1, 'використанню': 1, 'перспективі': 1, 'створенню': 1, 'включаючи': 1, 'свій': 1, 'запущений': 1, '30': 1, 'серпня': 1, '1984': 1, 'літав': 1, 'космос': 1, 'тридцять': 1, 'чотирьох': 1, 'мала': 1, 'честь': 1, 'обраною': 1, 'повернення': 1, 'аварій': 1, 'challenger': 1, 'columbia': 1, 'модернізованими': 1, 'srb': 1, 'аварії': 1, 'челленджера': 1, 'ssme': 1, 'фази': 1, 'ii': 1, 'блоку': 1, 'i.': 1, 'доставив': 1, 'орбіту': 1, 'космічний': 1, 'телескоп': 1, 'hubble': 1, 'обслуговування': 1, 'обсерваторії': 1, 'виконала': 1, 'останню': 1, 'місії': 1, 'міністерства': 1, 'оборони': 1, 'несекретну': 1, 'місію': 1, \"пов'язану\": 1, 'обороною': 1, 'відіграв': 1, 'важливу': 1, 'роль': 1, 'будівництві': 1, 'міжнародної': 1, 'тридцяти': 1, 'семи': 1, 'станцію': 1, 'допомогою': 1, 'американського': 1, 'човника': 1, 'пристикувався': 1, 'обмін': 1, 'екіпажем': 1, 'проживає': 1, 'с': 1, 'значущим': 1, 'інженерний': 1, 'подвиг': 1, 'вейна': 1, 'керівника': 1, 'центру': 1, 'імені': 1, 'джонсона': 1, 'являє': 1, 'величезний': 1, 'технологічний': 1, 'стрибок': 1, 'одноразових': 1, 'ракет': 1, 'капсул': 1, 'багаторазового': 1, 'крилатого': 1, 'гіперзвукового': 1, 'несе': 1, 'вантаж': 1, 'базова': 1, 'конструкція': 1, 'наслідує': 1, 'конструкцію': 1, 'звичайного': 1, 'літака': 1, 'використовує': 1, 'передові': 1, 'матеріали': 1, 'мінімізують': 1, 'вагу': 1, 'перевезення': 1, 'вантажу': 1, 'мають': 1, 'низький': 1, 'коефіцієнт': 1, 'розширення': 1, 'забезпечує': 1, 'стабільну': 1, 'основу': 1, 'матеріалів': 1, 'системи': 1, 'захисту': 1, 'орбітальному': 1, 'встановлена': 1, 'попередні': 1, 'космічні': 1, 'мали': 1, 'одноразовий': 1, 'теплозахисний': 1, 'екран': 1, 'наносився': 1, 'абразивним': 1, 'способом': 1, 'серед': 1, 'визначних': 1, 'інженерних': 1, 'досягнень': 1, 'орбітального': 1, 'орбітальна': 1, 'рухова': 1, 'установка': 1, 'стійка': 1, 'відмов': 1, 'інтегрована': 1, 'авіоніки': 1, 'залишається': 1, 'найбільшим': 1, 'найшвидшим': 1, 'найкрилатішим': 1, 'гіперзвуковим': 1, 'літаком': 1, 'історії': 1, 'регулярно': 1, 'літає': 1, 'швидкістю': 1, 'перевищує': 1, 'швидкість': 1, 'звуку': 1}"
      ],
      "metadata": {
        "id": "h_fAfDBW-oQ8"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Word freq verb:"
      ],
      "metadata": {
        "id": "fQWAgB3O-m9G"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "{'discovery': 7, 'здійснити': 6, 'першим': 5, 'space': 4, 'shuttle': 4, 'кораблем': 4, 'програми': 3, 'критерієм': 3, 'орбітальних': 3, 'кораблів': 3, 'космічної': 3, 'станції': 3, 'політ': 3, 'мати': 3, 'польотів': 3, 'космічного': 3, 'перша': 3, 'орбітальний': 2, 'корабель': 2, 'космічних': 2, 'сша': 2, 'галузі': 2, 'критерію': 2, 'побудованих': 2, 'ssp': 2, \"п'яти\": 2, 'літати': 2, 'разів': 2, 'орбітальним': 2, 'місій': 2, 'першу': 2, 'мкс': 2, 'словами': 2, 'хейла': 2, 'корабля': 2, 'теплового': 2, 'tps': 2, 'кораблі': 2, 'багаторазова': 2, 'система': 2, 'ov-103': 1, 'вважатися': 1, 'таким': 1, 'право': 1, 'внесення': 1, 'національного': 1, 'реєстру': 1, 'історичних': 1, 'місць': 1, 'nrhp': 1, 'контексті': 1, 'човників': 1, '1969': 1, '2011': 1, 'a': 1, 'досліджень': 1, 'транспорту': 1, 'c': 1, 'інженерії': 1, 'оскільки': 1, 'досягти': 1, 'значущості': 1, 'протягом': 1, 'останніх': 1, \"п'ятдесяти\": 1, 'застосовуватися': 1, 'розгляд': 1, 'g.': 1, 'відповідно': 1, 'важливим': 1, 'найстаріший': 1, 'трьох': 1, 'збережених': 1, 'найдовшої': 1, 'американської': 1, 'сьогоднішній': 1, 'третім': 1, 'nasa': 1, 'відміну': 1, 'програм': 1, 'mercury': 1, 'gemini': 1, 'apollo': 1, 'основна': 1, 'увага': 1, 'приділялася': 1, 'економічній': 1, 'ефективності': 1, 'багаторазовому': 1, 'використанню': 1, 'перспективі': 1, 'створенню': 1, 'включаючи': 1, 'свій': 1, 'запущений': 1, '30': 1, 'серпня': 1, '1984': 1, 'космос': 1, 'тридцять': 1, 'чотирьох': 1, 'честь': 1, 'обраною': 1, 'повернення': 1, 'аварій': 1, 'challenger': 1, 'columbia': 1, 'модернізованими': 1, 'srb': 1, 'аварії': 1, 'челленджера': 1, 'ssme': 1, 'фази': 1, 'ii': 1, 'блоку': 1, 'i.': 1, 'доставити': 1, 'орбіту': 1, 'космічний': 1, 'телескоп': 1, 'hubble': 1, 'обслуговування': 1, 'обсерваторії': 1, 'виконала': 1, 'останню': 1, 'місії': 1, 'міністерства': 1, 'оборони': 1, 'несекретну': 1, 'місію': 1, \"пов'язану\": 1, 'обороною': 1, 'відіграти': 1, 'важливу': 1, 'роль': 1, 'будівництві': 1, 'міжнародної': 1, 'тридцяти': 1, 'семи': 1, 'станцію': 1, 'допомогою': 1, 'американського': 1, 'човника': 1, 'пристикуватися': 1, 'обмін': 1, 'екіпажем': 1, 'проживати': 1, 'с': 1, 'значущим': 1, 'інженерний': 1, 'подвиг': 1, 'вейна': 1, 'керівника': 1, 'центру': 1, 'імені': 1, 'джонсона': 1, 'являти': 1, 'величезний': 1, 'технологічний': 1, 'стрибок': 1, 'одноразових': 1, 'ракет': 1, 'капсул': 1, 'багаторазового': 1, 'крилатого': 1, 'гіперзвукового': 1, 'нести': 1, 'вантаж': 1, 'базова': 1, 'конструкція': 1, 'наслідувати': 1, 'конструкцію': 1, 'звичайного': 1, 'літака': 1, 'використовувати': 1, 'передові': 1, 'матеріали': 1, 'мінімізувати': 1, 'вагу': 1, 'перевезення': 1, 'вантажу': 1, 'низький': 1, 'коефіцієнт': 1, 'розширення': 1, 'забезпечувати': 1, 'стабільну': 1, 'основу': 1, 'матеріалів': 1, 'системи': 1, 'захисту': 1, 'орбітальному': 1, 'встановлена': 1, 'попередні': 1, 'космічні': 1, 'одноразовий': 1, 'теплозахисний': 1, 'екран': 1, 'наноситися': 1, 'абразивним': 1, 'способом': 1, 'серед': 1, 'визначних': 1, 'інженерних': 1, 'досягнень': 1, 'орбітального': 1, 'орбітальна': 1, 'рухова': 1, 'установка': 1, 'стійка': 1, 'відмов': 1, 'інтегрована': 1, 'авіоніки': 1, 'залишатися': 1, 'найбільшим': 1, 'найшвидшим': 1, 'найкрилатішим': 1, 'гіперзвуковим': 1, 'літаком': 1, 'історії': 1, 'регулярно': 1, 'швидкістю': 1, 'перевищувати': 1, 'швидкість': 1, 'звуку': 1}"
      ],
      "metadata": {
        "id": "tFXxJXnXEkCv"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### word freq lemma:"
      ],
      "metadata": {
        "id": "A6kpTWHNF7-3"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "{'корабель': 13, 'орбітальний': 10, 'космічний': 10, 'перший': 10, 'discovery': 7, 'політ': 6, 'здійснити': 6, 'критерій': 5, 'програма': 4, 'space': 4, 'shuttle': 4, 'багаторазовий': 4, 'станція': 4, 'місія': 4, 'мати': 3, 'система': 3, 'човник': 2, 'сша': 2, 'галуза': 2, 'останній': 2, 'важливий': 2, 'побудований': 2, 'ssp': 2, 'американський': 2, \"п'ять\": 2, 'літати': 2, 'тридцять': 2, 'раз': 2, 'аварія': 2, 'оборона': 2, 'мкс': 2, 'інженерний': 2, 'слово': 2, 'хейла': 2, 'одноразовий': 2, 'гіперзвуковий': 2, 'вантаж': 2, 'конструкція': 2, 'літак': 2, 'матеріал': 2, 'тепловий': 2, 'tps': 2, 'швидкість': 2, 'ov-103': 1, 'вважатися': 1, 'такий': 1, 'право': 1, 'внесення': 1, 'національний': 1, 'реєстр': 1, 'історичний': 1, 'місце': 1, 'nrhp': 1, 'контекст': 1, '1969': 1, '2011': 1, 'a': 1, 'дослідження': 1, 'транспорт': 1, 'c': 1, 'інженерія': 1, 'оскільки': 1, 'досягти': 1, 'значущість': 1, 'протягом': 1, \"п'ятдесят\": 1, 'застосовуватися': 1, 'розгляд': 1, 'g.': 1, 'відповідно': 1, 'найстаріший': 1, 'три': 1, 'збережений': 1, 'найдовший': 1, 'сьогоднішній': 1, 'третій': 1, 'nasa': 1, 'відміна': 1, 'mercury': 1, 'gemini': 1, 'apollo': 1, 'основний': 1, 'увага': 1, 'приділялася': 1, 'економічний': 1, 'ефективність': 1, 'використання': 1, 'перспектива': 1, 'створення': 1, 'включаючи': 1, 'свій': 1, 'запущений': 1, '30': 1, 'серпень': 1, '1984': 1, 'космос': 1, 'чотири': 1, 'честь': 1, 'обраний': 1, 'повернення': 1, 'challenger': 1, 'columbia': 1, 'модернізований': 1, 'srb': 1, 'челленджер': 1, 'ssme': 1, 'фаза': 1, 'ii': 1, 'блок': 1, 'i.': 1, 'доставити': 1, 'орбіта': 1, 'телескоп': 1, 'hubble': 1, 'обслуговування': 1, 'обсерваторія': 1, 'виконала': 1, 'міністерство': 1, 'несекретний': 1, \"пов'язаний\": 1, 'відіграти': 1, 'роль': 1, 'будівництво': 1, 'міжнародний': 1, 'сім': 1, 'допомога': 1, 'пристикуватися': 1, 'обмін': 1, 'екіпаж': 1, 'проживати': 1, 'с': 1, 'значущий': 1, 'подвиг': 1, 'вейн': 1, 'керівник': 1, 'центр': 1, \"ім'я\": 1, 'джонсон': 1, 'являти': 1, 'величезний': 1, 'технологічний': 1, 'стрибок': 1, 'ракета': 1, 'капсула': 1, 'крилатий': 1, 'нести': 1, 'базовий': 1, 'наслідувати': 1, 'звичайний': 1, 'використовувати': 1, 'передовий': 1, 'мінімізувати': 1, 'вага': 1, 'перевезення': 1, 'низький': 1, 'коефіцієнт': 1, 'розширення': 1, 'забезпечувати': 1, 'стабільний': 1, 'основа': 1, 'захист': 1, 'встановлений': 1, 'попередній': 1, 'теплозахисний': 1, 'екран': 1, 'наноситися': 1, 'абразивний': 1, 'спосіб': 1, 'серед': 1, 'визначний': 1, 'досягнення': 1, 'руховий': 1, 'установка': 1, 'стійка': 1, 'відмова': 1, 'інтегрований': 1, 'авіоніка': 1, 'залишатися': 1, 'найбільший': 1, 'найшвидший': 1, 'найкрилатішим': 1, 'історія': 1, 'регулярно': 1, 'перевищувати': 1, 'звук': 1}"
      ],
      "metadata": {
        "id": "ocQM4lcCGACK"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### word freq linked by lemma:"
      ],
      "metadata": {
        "id": "w-x5y1u_LAi1"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "{'корабель': 13, 'кораблів': 13, 'кораблем': 13, 'корабля': 13, 'кораблі': 13, 'орбітальний': 10, 'космічних': 10, 'орбітальних': 10, 'космічної': 10, 'першим': 10, 'орбітальним': 10, 'космічний': 10, 'першу': 10, 'космічного': 10, 'орбітальному': 10, 'перша': 10, 'космічні': 10, 'орбітального': 10, 'орбітальна': 10, 'discovery': 7, 'політ': 6, 'здійснив': 6, 'польотів': 6, 'критерієм': 5, 'критерію': 5, 'програми': 4, 'space': 4, 'shuttle': 4, 'програм': 4, 'багаторазовому': 4, 'станції': 4, 'місій': 4, 'місії': 4, 'місію': 4, 'станцію': 4, 'багаторазового': 4, 'багаторазова': 4, 'мала': 3, 'мають': 3, 'системи': 3, 'система': 3, 'мали': 3, 'човників': 2, 'сша': 2, 'галузі': 2, 'останніх': 2, 'важливим': 2, 'побудованих': 2, 'ssp': 2, 'американської': 2, \"п'яти\": 2, 'літав': 2, 'тридцять': 2, 'разів': 2, 'аварій': 2, 'аварії': 2, 'останню': 2, 'оборони': 2, 'обороною': 2, 'важливу': 2, 'мкс': 2, 'тридцяти': 2, 'американського': 2, 'човника': 2, 'інженерний': 2, 'словами': 2, 'хейла': 2, 'одноразових': 2, 'гіперзвукового': 2, 'вантаж': 2, 'конструкція': 2, 'конструкцію': 2, 'літака': 2, 'матеріали': 2, 'вантажу': 2, 'теплового': 2, 'матеріалів': 2, 'tps': 2, 'одноразовий': 2, 'інженерних': 2, 'гіперзвуковим': 2, 'літаком': 2, 'літає': 2, 'швидкістю': 2, 'швидкість': 2, 'ov-103': 1, 'вважається': 1, 'таким': 1, 'право': 1, 'внесення': 1, 'національного': 1, 'реєстру': 1, 'історичних': 1, 'місць': 1, 'nrhp': 1, 'контексті': 1, '1969': 1, '2011': 1, 'a': 1, 'досліджень': 1, 'транспорту': 1, 'c': 1, 'інженерії': 1, 'оскільки': 1, 'досягла': 1, 'значущості': 1, 'протягом': 1, \"п'ятдесяти\": 1, 'застосовується': 1, 'розгляд': 1, 'g.': 1, 'відповідно': 1, 'найстаріший': 1, 'трьох': 1, 'збережених': 1, 'найдовшої': 1, 'сьогоднішній': 1, 'третім': 1, 'nasa': 1, 'відміну': 1, 'mercury': 1, 'gemini': 1, 'apollo': 1, 'основна': 1, 'увага': 1, 'приділялася': 1, 'економічній': 1, 'ефективності': 1, 'використанню': 1, 'перспективі': 1, 'створенню': 1, 'включаючи': 1, 'свій': 1, 'запущений': 1, '30': 1, 'серпня': 1, '1984': 1, 'космос': 1, 'чотирьох': 1, 'честь': 1, 'обраною': 1, 'повернення': 1, 'challenger': 1, 'columbia': 1, 'модернізованими': 1, 'srb': 1, 'челленджера': 1, 'ssme': 1, 'фази': 1, 'ii': 1, 'блоку': 1, 'i.': 1, 'доставив': 1, 'орбіту': 1, 'телескоп': 1, 'hubble': 1, 'обслуговування': 1, 'обсерваторії': 1, 'виконала': 1, 'міністерства': 1, 'несекретну': 1, \"пов'язану\": 1, 'відіграв': 1, 'роль': 1, 'будівництві': 1, 'міжнародної': 1, 'семи': 1, 'допомогою': 1, 'пристикувався': 1, 'обмін': 1, 'екіпажем': 1, 'проживає': 1, 'с': 1, 'значущим': 1, 'подвиг': 1, 'вейна': 1, 'керівника': 1, 'центру': 1, 'імені': 1, 'джонсона': 1, 'являє': 1, 'величезний': 1, 'технологічний': 1, 'стрибок': 1, 'ракет': 1, 'капсул': 1, 'крилатого': 1, 'несе': 1, 'базова': 1, 'наслідує': 1, 'звичайного': 1, 'використовує': 1, 'передові': 1, 'мінімізують': 1, 'вагу': 1, 'перевезення': 1, 'низький': 1, 'коефіцієнт': 1, 'розширення': 1, 'забезпечує': 1, 'стабільну': 1, 'основу': 1, 'захисту': 1, 'встановлена': 1, 'попередні': 1, 'теплозахисний': 1, 'екран': 1, 'наносився': 1, 'абразивним': 1, 'способом': 1, 'серед': 1, 'визначних': 1, 'досягнень': 1, 'рухова': 1, 'установка': 1, 'стійка': 1, 'відмов': 1, 'інтегрована': 1, 'авіоніки': 1, 'залишається': 1, 'найбільшим': 1, 'найшвидшим': 1, 'найкрилатішим': 1, 'історії': 1, 'регулярно': 1, 'перевищує': 1, 'звуку': 1}"
      ],
      "metadata": {
        "id": "PJ4dE9yALF8c"
      }
    }
  ]
}