Test_Model.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "## **Test your Wav2vec2 model with and without Language Model**\n",
        "Apply the language model that you made earlier and check the output of the model with and without the language model, you will see that the language model improves the WER criterion but slightly lowers the transcription speed."
      ],
      "metadata": {
        "id": "lfJivF1p4mdq"
      },
      "id": "lfJivF1p4mdq"
    },
    {
      "cell_type": "markdown",
      "source": [
        "## With LM"
      ],
      "metadata": {
        "id": "wLuuXP0V5K-J"
      },
      "id": "wLuuXP0V5K-J"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "07484d18",
      "metadata": {
        "id": "07484d18",
        "outputId": "7fe917c4-52aa-4e88-8686-8383f1d54303"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Loading the LM will be faster if you build a binary file.\n",
            "Reading /home/sadeghi/wav2vec2/fa/language_model/13Aug2022/5gram.arpa\n",
            "----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100\n",
            "****************************************************************************************************\n",
            "Found entries of length > 1 in alphabet. This is unusual unless style is BPE, but the alphabet was not recognized as BPE type. Is this correct?\n",
            "Unigrams and labels don't seem to agree.\n"
          ]
        }
      ],
      "source": [
        "from pyctcdecode import build_ctcdecoder\n",
        "from transformers import AutoProcessor\n",
        "from transformers import Wav2Vec2ProcessorWithLM\n",
        "\n",
        "model_id = \"/home/sadeghi/wav2vec2/fa/checkpoint-57000\"\n",
        "\n",
        "# LM must be in arpa format (for now)\n",
        "lm_path = \"/home/sadeghi/wav2vec2/fa/language_model/13Aug2022/5gram.arpa\"\n",
        "\n",
        "\n",
        "#processor = AutoProcessor.from_pretrained(model_id)\n",
        "vocab_dict = processor.tokenizer.get_vocab()\n",
        "sorted_dict = {k: v for k, v in sorted(vocab_dict.items(), key=lambda item: item[1])}\n",
        "\n",
        "decoder = build_ctcdecoder(\n",
        "    list(sorted_dict.keys()),\n",
        "    lm_path,\n",
        ")\n",
        "\n",
        "processor_with_lm = Wav2Vec2ProcessorWithLM(\n",
        "    feature_extractor=processor.feature_extractor,\n",
        "    tokenizer=processor.tokenizer,\n",
        "    decoder=decoder\n",
        ")\n",
        "\n",
        "processor_with_lm.save_pretrained(\"/home/sadeghi/wav2vec2/fa/language_model/13Aug2022/processor/\")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "926cc5ea",
      "metadata": {
        "id": "926cc5ea",
        "outputId": "2f077b86-c3cd-4938-a533-4a3777b5bc30"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "/home/sadeghi/wav2vec2/fa/checkpoint-57000 cuda\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Loading the LM will be faster if you build a binary file.\n",
            "Reading /home/sadeghi/wav2vec2/fa/language_model/13Aug2022/processor/language_model/5gram.arpa\n",
            "----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100\n",
            "****************************************************************************************************\n"
          ]
        }
      ],
      "source": [
        "import torch\n",
        "from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor\n",
        "from transformers import Wav2Vec2ProcessorWithLM\n",
        "\n",
        "model_name_or_path = \"/home/sadeghi/wav2vec2/fa/checkpoint-57000\" #import model\n",
        "device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\") #choose device type\n",
        "print(model_name_or_path, device)\n",
        "\n",
        "\n",
        "processor = Wav2Vec2ProcessorWithLM.from_pretrained(\"/home/sadeghi/wav2vec2/fa/language_model/13Aug2022/processor/\") #load pretrained processor with LM\n",
        "model = Wav2Vec2ForCTC.from_pretrained(model_name_or_path) #load finetuned model\n",
        "\n",
        "\n",
        "def speech_file_to_array_fn(batch):\n",
        "    speech_array, sampling_rate = torchaudio.load(batch[\"path\"])\n",
        "    speech_array = speech_array.squeeze().numpy()\n",
        "    speech_array = librosa.resample(np.asarray(speech_array), sampling_rate, processor.feature_extractor.sampling_rate)\n",
        "\n",
        "    batch[\"speech\"] = speech_array\n",
        "    return batch\n",
        "\n",
        "\n",
        "def predict(batch):\n",
        "    features = processor(\n",
        "        batch[\"speech\"], \n",
        "        sampling_rate=processor.feature_extractor.sampling_rate, \n",
        "        return_tensors=\"pt\", \n",
        "        padding=True\n",
        "    )\n",
        "\n",
        "    input_values = features.input_values\n",
        "    attention_mask = features.attention_mask\n",
        "\n",
        "    with torch.no_grad():\n",
        "        logits = model(input_values, attention_mask=attention_mask).logits #when we are trying to load model with LM we have to use logits instead of argmax(logits)\n",
        " \n",
        "    batch[\"predicted\"] = processor.batch_decode(logits.numpy()).text\n",
        "    return batch"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "2ee588bb",
      "metadata": {
        "id": "2ee588bb"
      },
      "outputs": [],
      "source": [
        "import torchaudio\n",
        "import librosa\n",
        "from datasets import load_dataset\n",
        "import numpy as np\n",
        "\n",
        "dataset = load_dataset(\"csv\", data_files={\"test\":\"/home/sadeghi/wav2vec2/fa/test_data.csv\"}, delimiter=\",\")[\"test\"]\n",
        "\n",
        "dataset = dataset.map(speech_file_to_array_fn)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "92702a54",
      "metadata": {
        "colab": {
          "referenced_widgets": [
            "d313fb71a8c744749587a084a0645c7e"
          ]
        },
        "id": "92702a54",
        "outputId": "88084f2e-1643-4ad1-9ce5-06bed7a77db2"
      },
      "outputs": [
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "d313fb71a8c744749587a084a0645c7e",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/79 [00:00<?, ?ba/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        }
      ],
      "source": [
        "result = dataset.map(predict, batched=True, batch_size=4)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "1fb020ce",
      "metadata": {
        "id": "1fb020ce"
      },
      "outputs": [],
      "source": [
        "from datasets import load_metric\n",
        "wer = load_metric(\"wer\")\n",
        "cer = load_metric(\"cer\")\n",
        "print(\"WER: {:.2f}\".format(100 * wer.compute(predictions=result[\"predicted\"], references=result[\"refrence\"])))\n",
        "print(\"CER: {:.2f}\".format(100 * cer.compute(predictions=result[\"predicted\"], references=result[\"refrence\"])))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "0a8d4806",
      "metadata": {
        "id": "0a8d4806",
        "outputId": "a1a3530c-704a-477e-fce9-c2e8ed768b9b"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "reference: ‌بیمه پاسارگاد نمایندگی خبانزاده ‌\n",
            "predicted: بیمه پاساگارد نمایندگی خبانزاده\n",
            "---\n",
            "reference: ‌برعکس ‌\n",
            "predicted: برعکس\n",
            "---\n",
            "reference: ‌‌ایی‌‌ان‌ من وام رو واسه خرید ماشین می خوام ‌ایی‌‌ان‌ ‌\n",
            "predicted: من وام و واسه خرید ماشین می خوام\n",
            "---\n",
            "reference: ‌سلام حال شما چطوره ‌\n",
            "predicted: سلام حال شما چه دارین\n",
            "---\n",
            "reference: ‌مصالح زهکش ‌\n",
            "predicted: مساله ذهکش\n",
            "---\n",
            "reference: ‌جذب آب ‌\n",
            "predicted: جزب آب\n",
            "---\n",
            "reference: ‌ویرگول ‌\n",
            "predicted: ویر گود\n",
            "---\n",
            "reference: از جمله اینکه این نرم‌افزار‌ها به صورت شبانه روزی و خستگی ناپذیر در دسترس هستند \n",
            "predicted: از جمله این که این نرم‌‌افزار‌ها به صورت شبانه روزی و خستگی ناپذیر در دسترس هستند\n",
            "---\n",
            "reference: امروزه توسعه علوم پردازش گفتار پردازش زبان طبیعی و علوم مرتبط دیگر موجب برآورده شدن این هدف گردیده است \n",
            "predicted: امروزه توسعه علوم پردازش گفتار پردازش زبان طبیعی و علوم مرتبط دیگر موجب برآورده شدن این هدف کردیده است\n",
            "---\n",
            "reference: و تنظیمات صدای کامپیو‌تر خود را دستکاری نکنید \n",
            "predicted: و تنظیمات صدای کامپیوتر خود را دستکاری نکنید\n",
            "---\n",
            "reference: علاوه بر این موضوع مکالمه و معنای جمله نیز برایمان حائز اهمیت است \n",
            "predicted: علاوه بر این موضوع مکالمه و معنای جمله نیز برای مان‌های زخمیت است\n",
            "---\n",
            "reference: در این قسمت نرم‌افزار دیکته با صدای شما آموزش داده می شود \n",
            "predicted: در این قسمت درم‌افزار دیگته با صدای شما آموزش داده میشود د\n",
            "---\n",
            "reference: ما هنگام گوش دادن معمولا به حرکات صورت و دست گوینده دقت می کنیم \n",
            "predicted: ما هنگام گوش دادن معمولا به حرکات صورت و دست گوینده دقت میکنیم\n",
            "---\n",
            "reference: به یاد داشته باشید که میکروفون هر نوع صدایی را که در اطراف آن باشد دریافت می کند \n",
            "predicted: و یاد داشته باشید که میکروفن هنوز صدایی را که در اطراف آن باشد دریافت میکند\n",
            "---\n",
            "reference: یکی از مهم‌ترین کاربرده‌ای نر م‌افزار‌های تشخیص گفتار برای انجام کار دیکته می باشد \n",
            "predicted: کی از مهم‌ترین کاربرد‌های نرم‌افزار‌های تشخیص گفتار برای انجام کار دیکته میباشد\n",
            "---\n",
            "reference: در ابتدا سیگنال گفتار توسط میکروفون دریافت شده \n",
            "predicted: در ابتدا سیگنال گفتار توسط میکروفن دریافت شد دیدن\n",
            "---\n",
            "reference: و تنظیمات صدای کامپیو‌تر خود را دستکاری نکنید \n",
            "predicted: و تنظیمات صدای کامپیوتر خود را دستکاری نکنید ات\n",
            "---\n",
            "reference: داری باغچه ام رو لگد مال می کنی \n",
            "predicted: داری با چم رو لیت مال می کنی\n",
            "---\n",
            "reference: چرا اینجوری داری به ما نگاه می کنی \n",
            "predicted: چرا اینجوری داری با ما نگاه می کنی\n",
            "---\n",
            "reference: یعنی مرگش رو صحنه سازی کرده \n",
            "predicted: یعنی مرگش رو صهنه سازی کرده\n",
            "---\n",
            "reference: فکر کنم یه ده تایی از اینا اون بالا باشه \n",
            "predicted: فکر کنم یه ده تاری از اینا اون بالا باشه\n",
            "---\n",
            "reference: صبح برات قهوه درست می کنم \n",
            "predicted: صبح برات قهوه درست میکنم\n",
            "---\n",
            "reference: من حتی این مرد جوون رو نمی شناختم \n",
            "predicted: من حتی این مرد جوان رو نمیشناختم\n",
            "---\n",
            "reference: حالا برگرد سره کارت \n",
            "predicted: حالا برگرد سر کاره\n",
            "---\n",
            "reference: دلم واسه ماجراجویی‌هامون تنگ شده بود \n",
            "predicted: دلم واسه ماجرا جیام تنگ شده\n",
            "---\n",
            "reference: تو همیشه چیزای باحالی داشتی \n",
            "predicted: تو همیشه چیزای باهالی داشتی\n",
            "---\n",
            "reference: خیلی خوبه که روپای خودت باشی \n",
            "predicted: خیلی خوبه که روی پای خودت باشی\n",
            "---\n",
            "reference: هفت سال پیش در همون مکان بهش حمله شده بود \n",
            "predicted: هفت سال پیش در همان مکان بهشت حمله شده بود\n",
            "---\n",
            "reference: من اینجام که هیچ کدوم از دانش آموزام کار اشتباهی نکنن \n",
            "predicted: من این جام کی کدام از برایش آموزا کار اشتباهی نکنه\n",
            "---\n",
            "reference: منم به سختی مادرم رو می شناسم \n",
            "predicted: من ام به سختی مادرم رو میشناسم\n",
            "---\n",
            "reference: تو اصلا مثل من وقتتو خوب نمیگذرونی \n",
            "predicted: تا عصلا مثل من وقتی تو خوب نمیگذرونی\n",
            "---\n",
            "reference: ولی نمی دونستم تا این حد ممکنه \n",
            "predicted: ولی نمیدونستم تا این هرد ممکنه\n",
            "---\n",
            "reference: لازم نیست الان درباره اش صحبت کنیم \n",
            "predicted: لازم نیست الان درباره‌اش صحبت کنیم\n",
            "---\n",
            "reference: نمی تونستم چیزه دیگه ای بگم \n",
            "predicted: نمی توانستم چیز دیگه ای بگم\n",
            "---\n",
            "reference: داری من رو تو شرایط بدی قرار میدی \n",
            "predicted: داری من رو تو شرایط بعدی قرار میدی\n",
            "---\n",
            "reference: این می تونه شروع جدیدی برام باشه \n",
            "predicted: کی میدونه شروع جدیدی برام باشه\n",
            "---\n",
            "reference: لازمه که راجب اون همه چی رو بدونیم \n",
            "predicted: لازمه که راج بهون همه چی رو بدونی\n",
            "---\n",
            "reference: آخرین چیزی که یادتون میاد چیه \n",
            "predicted: اخرین چیزی که یادتون میاد چیه\n",
            "---\n",
            "reference: ممکنه فقط هدفش قتل باشه \n",
            "predicted: ممکنه فقط هدفش قطری باشه\n",
            "---\n",
            "reference: فکر می کنی بتونی این کارو بکنی \n",
            "predicted: ویک رو می کنی بتونی این کارو بکنی\n",
            "---\n",
            "reference: قرار نیست دروغ بگم \n",
            "predicted: قرار نیست دوری بگم\n",
            "---\n",
            "reference: همه میگفتن عجب مرد خوبی بود \n",
            "predicted: همه می گفتن عجب مرد خوبی بود\n",
            "---\n",
            "reference: اون گفت که می خواد تو رو ببینه \n",
            "predicted: اون گفت که میخواد تو رو ببینه\n",
            "---\n",
            "reference: من چهار تا رای موافق از هیئت مدیره می خوام \n",
            "predicted: من چهارتا ری مباسف از هیات مدیره می خوام\n",
            "---\n",
            "reference: گوش کن من بهت گفتم که چی کار بکنی \n",
            "predicted: گوش کن من بهت گفتم که چیکار بکنی\n",
            "---\n",
            "reference: از این موضوع خوشحال نمی شه \n",
            "predicted: از این موضوع خوشحال نمیشه\n",
            "---\n",
            "reference: تا تو بتونی موهاتو مثل آدم کوتاه بکنی \n",
            "predicted: تادو بتونی موهاتو مثل آدم کوتاه بکنی\n",
            "---\n",
            "reference: باید اون یکی مرد رو هم میدیدی \n",
            "predicted: باید اون یکی مرد رو هم می دید\n",
            "---\n",
            "reference: می تونیم کامپیو‌تر رو تعمیر کنیم \n",
            "predicted: می تونیم کامپیو‌تر را تعمیر کنیم\n",
            "---\n",
            "reference: خوشحالم که تونستم کمکی بکنم \n",
            "predicted: خوشحالم که تونستم کمک خیره کنم\n",
            "---\n",
            "reference: از الان تا شب نمی تونم صبر کنم \n",
            "predicted: از الا تا شب نمیتونم صبر کنم\n",
            "---\n",
            "reference: ما همه اینجا دوستیم باشه \n",
            "predicted: ما همه اینجا دوستم باشه\n",
            "---\n",
            "reference: سورپرایز میشی اگه بدونی چه پیشنهادی داده \n",
            "predicted: سوپ رایز میشی اگه بدونی چه پیشنهادی داده\n",
            "---\n",
            "reference: خرابکاری‌هاش داره نظم بیشتری می گیره \n",
            "predicted: سرا کاری‌هاش داره نزم بیشتری میگیره\n",
            "---\n",
            "reference: هیچ جای خراش یا کبودی ای نیست \n",
            "predicted: هیچ جای خراش و کبودی ای نیست\n",
            "---\n",
            "reference: می خواستم برات صبحانه درست کنم \n",
            "predicted: میخواستم برات صبحانه درست کنم\n",
            "---\n",
            "reference: نیازی نیست خودم می تونم \n",
            "predicted: نیازی نیست خودم میتونم\n",
            "---\n",
            "reference: اصلا حقوقش رو بهش گفتین \n",
            "predicted: اصن حقوقت رو بهش گفتین\n",
            "---\n",
            "reference: ردیاب می گه هنوز تو اسپانیاس \n",
            "predicted: ردیاب می گه هنوز تو اسپانیا\n",
            "---\n",
            "reference: با دست خالی دارم دنبال جواب‌ها می گردم \n",
            "predicted: با دست خوابیدن دنبال جواب‌ها میگند دددد\n",
            "---\n",
            "reference: زود باشید بیاید بریم بقیه رو آزاد کنیم \n",
            "predicted: زود باشین باید بریم بقیه رو ازاد کنیم\n",
            "---\n",
            "reference: به نظر می رسه مجرم‌های اصلی ما هستیم \n",
            "predicted: به نظر میرسه مجری‌های اصلی ما هستیم\n",
            "---\n",
            "reference: منم دارم بهای ازدواج با تو رو می پردازم \n",
            "predicted: منم دارم بهای ازدواج با تو رو می پردازه\n",
            "---\n",
            "reference: جای تو بودم این حرف رو نمی زدم \n",
            "predicted: جای تو بودم یه حرف نمیزدم\n",
            "---\n",
            "reference: من می دونم که این کار درسته اما همیشه به خاطرش یه سری چیز‌ها رو از دست می دم \n",
            "predicted: من میدونم که این کار درسته اما همیشه به خاطر یه سری چیزا رو از دست میدم\n",
            "---\n",
            "reference: می خواستم پیشونیت رو ببوسم \n",
            "predicted: می خواستم پیشانیت را ببوسم ت\n",
            "---\n",
            "reference: اگه درباره پول پرسید چی \n",
            "predicted: اگه درباره پول پرسید\n",
            "---\n",
            "reference: امیدوارم تاس کباب دوست داشته باشی \n",
            "predicted: امیدوارم تا از کباب دوست داشته باشی\n",
            "---\n",
            "reference: به نظر می رسه مجرم‌های اصلی ما هستیم \n",
            "predicted: به نظر میرسید مجم‌های اصلی ما هستیم\n",
            "---\n",
            "reference: ممکنه یک لطف خیلی بزرگی در حقم کنی \n",
            "predicted: ممکنه یه لطف خیلی بزرگی در حقم کنی\n",
            "---\n",
            "reference: ما با رفتن اون از تیم آروم شدیم \n",
            "predicted: ما با رفتن اون هستیم اروم شدیم\n",
            "---\n",
            "reference: خدای من تو عین یکی که می شناسم حرف می زنی \n",
            "predicted: خدای من تو این یکی که میشناسم حرف میزنی\n",
            "---\n",
            "reference: پس چرا تا حالا این کارو نکردی \n",
            "predicted: چرا تا حالا این کارو نکردی\n",
            "---\n",
            "reference: از کجا فهمیدی کجا داریم این برنامه رو اجرا می کنیم \n",
            "predicted: از کجا فهمیدی کجا داریم برنامه را اجرا میکنیم\n",
            "---\n",
            "reference: اصلا می دونی چه کارایی برای این شرکت کردم \n",
            "predicted: اصلا میدونی چه کاری برای شرکت کردن\n",
            "---\n",
            "reference: من این قانون رو یادم نمیاد \n",
            "predicted: من این قانون یادم نمیاد\n",
            "---\n",
            "reference: نمی خوام به خودت صدمه بزنی \n",
            "predicted: نمی خوام به خودت سرمه بزنی نه\n",
            "---\n",
            "reference: میری ولی سریع برمیگردی \n",
            "predicted: حال میره سر برمیگرده هم\n",
            "---\n",
            "reference: چطور باید اون رو از جمعیت بیرون بکشه \n",
            "predicted: چطور باید آن را از جمعیت بیرون بکشد\n",
            "---\n",
            "reference: نمی تونستم چیزه دیگه ای بگم \n",
            "predicted: نمی توانستم چیز دیگه ای بگم\n",
            "---\n",
            "reference: جهانگیر فکر می کنه که تو گناهکاری \n",
            "predicted: جهانگی فکر م به تو گناه داری\n",
            "---\n",
            "reference: تو توی یه قوطی با یکی از اونا گیر افتادی \n",
            "predicted: تو توی یه قوطی با ی کوونت گیر افتادی\n",
            "---\n",
            "reference: تو به ما یه سرنخ دادی \n",
            "predicted: تو به مای سرنخ دادی ب\n",
            "---\n",
            "reference: پدرش در ایام حج فوت کرد \n",
            "predicted: پدرش در ایام هرج فوت کرد\n",
            "---\n",
            "reference: دارید به همون شخص نگاه می کنید \n",
            "predicted: دارید به همون شخص نگاه میکنید\n",
            "---\n",
            "reference: هیچ مشکلی تو مردمک چشمت نیست \n",
            "predicted: یش مشکلی تو مردم که چشد نیست\n",
            "---\n",
            "reference: دارم سعی می کنم که حرفاتو قبول کنم \n",
            "predicted: دارم سعی می کنم که حرفات قبول کنم\n",
            "---\n",
            "reference: تو پنجره رو باز گذاشتی \n",
            "predicted: تو پنجاه رو باز گذاشتی\n",
            "---\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "reference: خدا می خواد ما با تو زندگی کنیم \n",
            "predicted: خدا میخواد ما با تو زندگی کنیم\n",
            "---\n",
            "reference: چرا اینقدر همه رو اذیت می کنن \n",
            "predicted: چنین این قدر همه را اذیت میکنن\n",
            "---\n",
            "reference: برای یادآوری دوباره دوست دارم خداحافظ \n",
            "predicted: برای یادآوری دوباره دوستت دارم خداحافظ\n",
            "---\n",
            "reference: نباید بهش اعتماد کنی و دخترت رو بدی دستش \n",
            "predicted: نباید بهش اعتماد کنیم و دخترت رو بگه دستش\n",
            "---\n",
            "reference: چطوری از انفجار نجات پیدا کرد \n",
            "predicted: چه طوری از انفجار نجات پیدا کرد\n",
            "---\n",
            "reference: تو هم کار معامله رو انجام میدی \n",
            "predicted: تو هم کار معامله را انجام میدی\n",
            "---\n",
            "reference: از نظر طبقه متوسط تقویت ارتش هدر دادن وحشتناک پولی بود \n",
            "predicted: از نظر ترقه متوسط تقویت ارزش حدر دادن وحشتناک پولی بود\n",
            "---\n",
            "reference: حتی واسه یه لحظه هم به تو مشکوک نشده بودم \n",
            "predicted: حتی واسید یه لحظه هم به تو مشکول نشده بودم\n",
            "---\n",
            "reference: اوه عجب بدبختی ای هستم \n",
            "predicted: اوه عجب بدبختی هستم\n",
            "---\n",
            "reference: می خواست از من دزدی کنه \n",
            "predicted: میخواست از من دزدی کنه ز\n",
            "---\n",
            "reference: شیخ جلوی ما را گرفت \n",
            "predicted: شیر جلوی ما را گرفت\n",
            "---\n",
            "reference: اینجا چی کار می کنی باید با‌هات حرف بزنم \n",
            "predicted: اینجا چه کار می کنی باید بات حرف میزنم\n",
            "---\n",
            "reference: باید درباره این موضوع باهم حرف بزنیم \n",
            "predicted: باید درباره این موضوع باید با هم حرف بزنیم\n",
            "---\n",
            "reference: اوضاعت خیلی بی ریخته \n",
            "predicted: اوضاعت نی بی ریخته\n",
            "---\n",
            "reference: فکر کردم من رو ترک کردی \n",
            "predicted: دارم تلاشم رو می کنم م\n",
            "---\n",
            "reference: بهش می گن خوشبین بودن \n",
            "predicted: بهش میگن خشگین بودن\n",
            "---\n",
            "reference: نذارید آتیلا خورشید رو بترکونه \n",
            "predicted: نذارید آتیلا خورشید رو بهتره کند\n",
            "---\n",
            "reference: ما داریم اینجا چی کار می کنیم \n",
            "predicted: مادری اونجا چی کار میکنه مر\n",
            "---\n",
            "reference: ای کاش یکی هم اینو به من می گفت \n",
            "predicted: ئه کاشی کم اینو به من می گفت\n",
            "---\n",
            "reference: می شه یه بار دیگه بپرسم که برای چی اومدین \n",
            "predicted: میشه یه بار دیگه بپرسم که برای چی اومدی\n",
            "---\n",
            "reference: برن خونه چی کار کنن \n",
            "predicted: چرا اینقد استور داشتی که این کارو بکنیم\n",
            "---\n",
            "reference: یک راه برای فهمیدن وجود داره \n",
            "predicted: واقعا یک تمیزکاری اساسی میخوادش\n",
            "---\n",
            "reference: حالا که می بینم چقدر شما‌ها کاربلد هستید \n",
            "predicted: حالا که می بینم چقدر شما‌ها کار بلد هستید\n",
            "---\n",
            "reference: من هر کاری لازم باشه می کنم تا جلوشون رو بگیرم \n",
            "predicted: من هر کاری لازم باشه می کنم تا جلوشونو بگیرم\n",
            "---\n",
            "reference: تو قدرت منو نیاز داری \n",
            "predicted: تو قدرت منو نیاز داری ز\n",
            "---\n",
            "reference: دلینو دات کام راحت‌ترین سایت سفارش اینترنتی غذا است \n",
            "predicted: دلینوماتکام راحت‌ترین ساط سفارش اینترنتی غذا است\n",
            "---\n",
            "reference: پیش خودم فکر کردم شاید نمی خواد \n",
            "predicted: پیش خودم فکر کردم شاید نمیخواد\n",
            "---\n",
            "reference: صادقانه بخوام بگم از سگا متنفرم \n",
            "predicted: صادقانه بخوام بگم ا سگا متنفرم\n",
            "---\n",
            "reference: من فقط قرمز و سبزشو دیده بودم \n",
            "predicted: من فقط قرمز سبزشو دیده بودم\n",
            "---\n",
            "reference: من نمی گم احساسات تو واقعی نیست عزیز دلم \n",
            "predicted: من نمی گم احساسات تو واقعی نیست عزیز و دلم\n",
            "---\n",
            "reference: فکر کردم یه چیز دیگه گفتی \n",
            "predicted: فکر کردم این چیز دیگه گفتی\n",
            "---\n",
            "reference: یه کارمند جدید بیش‌تر از این می تونه آبروریزی کنه \n",
            "predicted: یک کارمند جدید بیش‌تر از میتونه آابرزی کنه\n",
            "---\n",
            "reference: بنظر نمیاد که تو خونه باشه \n",
            "predicted: به نظر نمیاد که توی خونه باشه\n",
            "---\n",
            "reference: اون می گه ما تو این جزیره تن‌ها نیستیم \n",
            "predicted: اون میگه ما تو این جزیره تن‌ها نیستیم\n",
            "---\n",
            "reference: اون در مورد یه چیزی درست می گه \n",
            "predicted: اون در مورد یه چیزی درست میگه\n",
            "---\n",
            "reference: چی دارم بهت می گم \n",
            "predicted: چی دارم بهت میگم\n",
            "---\n",
            "reference: من می ترسم گند کاری کرده باشی \n",
            "predicted: من میترسم گندکاری کرده باشی\n",
            "---\n",
            "reference: پدرت داشت آموزش آتش نشانی می دید \n",
            "predicted: پ درد داشت آموزش آتش‌نشانی میدید\n",
            "---\n",
            "reference: این یک حمله هماهنگ شدست \n",
            "predicted: این یه حمله هماهنگ شده است\n",
            "---\n",
            "reference: همه ما بخاطر شکستن قوانین اینجا هستیم \n",
            "predicted: همه ما به خاطر شکستن قوانین اینجا هستم\n",
            "---\n",
            "reference: اونا یه گذشته ای با همدیگه دارن \n",
            "predicted: می توانین اتفاق بزرگی را رقم بزنی\n",
            "---\n",
            "reference: دارم با عینکم چندتاشون رو می بینم \n",
            "predicted: دارم با اینا کم چنداشتون رو می بینم\n",
            "---\n",
            "reference: می دونم هیچ وقت این کار رو نمی کنم \n",
            "predicted: میدونم هیچ وقت این کارو نمی کنم\n",
            "---\n",
            "reference: بذار نشونت بدم که چطوریه \n",
            "predicted: بذار نشون اس بدم که چطوریه\n",
            "---\n",
            "reference: ممکنه نقشه ای نداشته باشم \n",
            "predicted: ممکنه نقشه‌ای نداشته باشم\n",
            "---\n",
            "reference: اونا واسه بقیه شب کار می کنن \n",
            "predicted: اونا واسه بقیه شهر دا می کنه\n",
            "---\n",
            "reference: دارم از ساختمون می رم بیرون \n",
            "predicted: دارم از سختمون می رم بیرون\n",
            "---\n",
            "reference: می تونین به دلخواه خودتون مسلح بشین \n",
            "predicted: توانیم به دلخاع خودتون مسلح بشیم\n",
            "---\n",
            "reference: اگه من کاندید بشم انتخابات واقعی نخواهد بود \n",
            "predicted: ی من کاندید بشم انتخابات واقعی نخواهد ماند\n",
            "---\n",
            "reference: این ماهی طعم میگو دارد \n",
            "predicted: این ماهی تم میگو داره\n",
            "---\n",
            "reference: این یه موقعیت استثنایی است \n",
            "predicted: این یک موقعیت استثنایی است\n",
            "---\n",
            "reference: بقیه تماس‌ها رو خودم جواب می دم \n",
            "predicted: بقیه ی تماسا ر خودم جواب میدم\n",
            "---\n",
            "reference: باید اون یکی مرد رو هم میدیدی \n",
            "predicted: باید اون یکی متن رو هم می دیدی\n",
            "---\n",
            "reference: یه کاری از دستم برمیاد \n",
            "predicted: یه کاری از دستم بر میاد\n",
            "---\n",
            "reference: قول می دم بعدا تلافی کنم \n",
            "predicted: قول میدم برام تلافی کنم\n",
            "---\n",
            "reference: می خوام پیشنهاد یه معامله رو بدم \n",
            "predicted: میخوام پیشنهاد یه معامله رو بدم\n",
            "---\n",
            "reference: ما فقط بسته بندیشون می کنیم و می بریم \n",
            "predicted: ما فقط بسته بندیش میکنیم و می بریم\n",
            "---\n",
            "reference: باید تاجایی که ممکنه از اینجا دور بشی \n",
            "predicted: باید تا جایی که ممکنه از اینجا دور بشی\n",
            "---\n",
            "reference: از جسد‌ها یادگاری برمیداره \n",
            "predicted: از جسدها یادگاری بر می داره\n",
            "---\n",
            "reference: می خوای تمام عمرت رو اینجوری زندگی کنی \n",
            "predicted: می خوای تمام عمر تو اینجوری زندگی کنی\n",
            "---\n",
            "reference: درواقع فکر می کنم احمد رو از کریم بیش‌تر می شناسم \n",
            "predicted: در واقع فکر میکنم احمد را از کریم بیش‌تر میشناسم\n",
            "---\n",
            "reference: گل آوردن کاری هست برای جلب توجه \n",
            "predicted: گل آوردن کاری است برای جلب توجه\n",
            "---\n",
            "reference: قارچ دیر می پزد \n",
            "predicted: آرش دیر می پزد\n",
            "---\n",
            "reference: روز‌هایی هست که از دست خودم شاکی هستم \n",
            "predicted: روز‌هایی است که از دست خودم شاکی هستم\n",
            "---\n",
            "reference: بهت گفته بودم که تو نیروی دریای خدمت می کردم \n",
            "predicted: بهت گفته بودم که تو نیرو دریایی خدمت می کردم\n",
            "---\n",
            "reference: اون جسم تبدیل به طلسم می شه \n",
            "predicted: اون جس تعدیل به دلاس میشه\n",
            "---\n",
            "reference: بهترین کاری که می تونی رو انجام بده \n",
            "predicted: بهترین کاری که میتونی انجام\n",
            "---\n",
            "reference: من میام که هواتو داشته باشم \n",
            "predicted: من میام که هوا تو داشته باشم\n",
            "---\n",
            "reference: چرا ما قرار چهار نفره اش نکنیم \n",
            "predicted: چرا ما قراره چهار نفرش نکنیم\n",
            "---\n",
            "reference: می دونی حق با پدرم بود \n",
            "predicted: می دونین حق ا پدرم بود\n",
            "---\n",
            "reference: هر دو زخم دقیقا عمق یکسانی دارند \n",
            "predicted: هر دو زخم دقیقا عمق یکسانی دارم\n",
            "---\n",
            "reference: دارم یه سیگنال دریافت می کنم \n",
            "predicted: دارم یه سیگنال دریافت میکنم\n",
            "---\n",
            "reference: من به جرمی که انجام ندادم متهم شدم \n",
            "predicted: من به جور می که انجام ندادم متحم شدم\n",
            "---\n",
            "reference: می تونیم حسابشونو برسیم \n",
            "predicted: می تونیم حسابشون رو برسیم\n",
            "---\n",
            "reference: حقیقتی که حتی خود تو نمی تونی قبولش کنی \n",
            "predicted: حقیقتی که حتی خودتو نمیتونی قبولش کنی\n",
            "---\n",
            "reference: من اصلا صبر نکنم \n",
            "predicted: من اسس ضب نکنم\n",
            "---\n",
            "reference: نمی ذارم تو روی صندلی کنار من بشینی \n",
            "predicted: نمیزارم تو روی صندلی کنار من بشینی\n",
            "---\n",
            "reference: من خیلی چیزا ازت می دونم \n",
            "predicted: من خیلی چیزها ازت میدونم\n",
            "---\n",
            "reference: خب پس بیا حرف زدن در موردش رو تموم کنیم \n",
            "predicted: خب پس بیا حرف زدن در موردش را تمام کنیم\n",
            "---\n",
            "reference: از الان کارگردان بازرگانی هستی \n",
            "predicted: از اران کارگردان بازی بازرگانی است\n",
            "---\n",
            "reference: خدایا گفتم یه چیزی یادم رفته‌ها \n",
            "predicted: خدایا گفتن یه چیزی را یادم رفته‌ها\n",
            "---\n",
            "reference: واسه همین داره امتحانش می کنه \n",
            "predicted: واسه همین داره امتحانش میکنه\n",
            "---\n",
            "reference: حتی اگه برای تو بد‌ترین باشه برا من بهترینه \n",
            "predicted: حتی اگه برای تو بدترین باشه برا من بهترینه\n",
            "---\n",
            "reference: هیچ کس نمی خواد با ما کاری انجام بده \n",
            "predicted: هیچکس نمی خواد با ما کاری انجام بده\n",
            "---\n",
            "reference: خوشم اومد ما هم انجامش می دیم \n",
            "predicted: خوشم اومد ما هم انجامش میدی ا\n",
            "---\n",
            "reference: نقش بیدارکننده واسم داشت \n",
            "predicted: نقش بیدار کننده واسم داشت\n",
            "---\n",
            "reference: سعی کن تو دبیرستان مثل آدم رفتار کنی \n",
            "predicted: سعی کن تو دبیرستان وث عادم رفتار کن\n",
            "---\n",
            "reference: هرروز بتونم تو چشمای بابام نگاه کنم \n",
            "predicted: هر روز بتونم تو چشمای بابام نگاه کنم\n",
            "---\n",
            "reference: من می خوام با شمشیرم تو رو آزمایش کنم \n",
            "predicted: من می خوام باشم شیرم تو رو آزمایش کنم\n",
            "---\n",
            "reference: همیشه عکس‌ها رو تو آلبوم قلبم نگه می دارم \n",
            "predicted: میشه عکس‌ها رو تو آلبوم قلبم نگه میداره\n",
            "---\n",
            "reference: برگه‌ها رو از کلاس بالایی‌ها گرفتم \n",
            "predicted: برگه‌ها را از کلاس بالایی‌ها گرفته\n",
            "---\n",
            "reference: اصلا چطوری همچین چیزی ممکنه \n",
            "predicted: اصلا چطوری همه چیز ممکنه\n",
            "---\n",
            "reference: من چطور می تونم به تو اعتقاد داشته باشم \n",
            "predicted: من چطور میتونم بطور اعتقاد داشته باشم\n",
            "---\n",
            "reference: اونا فقط صلاح من رو می خواستن \n",
            "predicted: اونا فقط صلاح من را میخاستن\n",
            "---\n",
            "reference: نمی شه گفت ممکنه چه تاثیری روت بذاره \n",
            "predicted: نمیشه گفت ممکنه چه تاثیری بود بذارد\n",
            "---\n",
            "reference: شما می تونین با من روراست باشین \n",
            "predicted: شما می توانین با من و راست باشین\n",
            "---\n",
            "reference: یه عالمه جشن تولده اون بیرون \n",
            "predicted: یه عالمه جاش تو تولده اون بیرون\n",
            "---\n",
            "reference: ما می دونیم که بلدی ازش استفاده کنی \n",
            "predicted: ما میدونیم که بردی ازش استفاده کنیم\n",
            "---\n",
            "reference: تو هم فکر می کنی اون اشتباه می کنه \n",
            "predicted: تو هم فکر میکنی اون اشتباه می کنی\n",
            "---\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "reference: هیچ وقت تا اون موقع تو رو اونقدر عصبی ندیده بودم \n",
            "predicted: هیچ وقت آن موقع تو را انقدر عصبی ندیده بودم\n",
            "---\n",
            "reference: ممکنه کسی که باید پول رو برمیداشته دیر رسیده \n",
            "predicted: ممکنه کسی باید باید پول رو برمیداشت و دیر رسیده\n",
            "---\n",
            "reference: خوب من هم درگیر تیراندازی بودم \n",
            "predicted: خو من هم درگیر تیر اندازی بودم\n",
            "---\n",
            "reference: برای یکی از دوستات میخونم \n",
            "predicted: برای یکی از دوستات می خونم\n",
            "---\n",
            "reference: بیخیال منو اون کاملا متفاوتیم \n",
            "predicted: به خیال من و عمو اون کاملا متفاوتیم\n",
            "---\n",
            "reference: تو لایق بیش‌تر از این هستی \n",
            "predicted: تو دقیقه بیش‌تر از من هستی\n",
            "---\n",
            "reference: من به جرمی که انجام ندادم متهم شدم \n",
            "predicted: به جاری که انجام ندادم متحم شدم\n",
            "---\n",
            "reference: آدما خیلی زود گول میخورن \n",
            "predicted: آدم‌ها خیلی زودگور می خورن\n",
            "---\n",
            "reference: مدت کوتاهی در یکی از شهر‌های کوچک انگلستان خدمت کردم \n",
            "predicted: مدت کوتاهی در یکی از شهر‌های کوچک انگلستان خدمت کردن\n",
            "---\n",
            "reference: حالا بریم نمی خوایم دیر بشه \n",
            "predicted: حالا بریم نمی خوام دیر بشه\n",
            "---\n",
            "reference: اینجوری با یه خانم رفتار نمی کنن \n",
            "predicted: اینجوری با یه خانم رفتار نمی کنه\n",
            "---\n",
            "reference: تا یه جای بهتر پیدا کنی اینجا بمون \n",
            "predicted: پای جایی بهتر پیدا کنی اینجا\n",
            "---\n",
            "reference: من واقعا بابت مشکلاتی که براتون ایجاد کردم متاسفم \n",
            "predicted: من واقعا با بت مشکلاتی که برای تو ایجاد کردن متاسفم\n",
            "---\n",
            "reference: تو همیشه می زنی و خرابش می کنی \n",
            "predicted: تا همیشه میزنیم خرابش می کنی\n",
            "---\n",
            "reference: فکر نمی کردم بتونم به گذشته برگردم \n",
            "predicted: فکر نمیکردم بتونم رو گذشته برگردم\n",
            "---\n",
            "reference: فردی قرار بود با من مصاحبه کنه \n",
            "predicted: فردی قرار بود با من مصاحبه کنی\n",
            "---\n",
            "reference: به نظرت بهش زنگ بزنم \n",
            "predicted: به نظرت پشت زنگ می زند\n",
            "---\n",
            "reference: مقاله نویسی خسته کننده است \n",
            "predicted: مقان نویسی قصد کننده است\n",
            "---\n",
            "reference: قیمتش یکیه ولی آهن بیشتری داره \n",
            "predicted: قیمت شکیه ولی آهنه بیشتری داره\n",
            "---\n",
            "reference: من یه پیشخدمت رستورانم \n",
            "predicted: من یک پیش خدا رستورانم\n",
            "---\n",
            "reference: تو آماده نیستی تا مرد‌ها رو توی جنگ فرماندهی کنی \n",
            "predicted: آماده نیست سی تا مرد‌ها رو توی جنگ فرماندهی کنی\n",
            "---\n",
            "reference: بهم بگو اشتباهم کجا بوده \n",
            "predicted: بهمن گو اشتبا هم کجا بوده\n",
            "---\n",
            "reference: فعلا یه چیزی بهتون می دم که راحت بخوابید \n",
            "predicted: فعلا یه چیزی بهتون میدم که راحت بخوابید\n",
            "---\n",
            "reference: حجم برخی از اجسام زیاد است \n",
            "predicted: حجم برخی از اطسام زیاد است\n",
            "---\n",
            "reference: تو عمرم از ماشین درحال حرکت نپریده بودم بیرون \n",
            "predicted: تو عمرم از ماشینو در حال حرکت نپریده بودم بیرون\n",
            "---\n",
            "reference: با خودم اینور اونور می برم \n",
            "predicted: با خودم اینوراونور میبرم\n",
            "---\n",
            "reference: در این حالت شما همیشه کاملا هوشیار و آگاه هستید \n",
            "predicted: در این حالت شما همیشه کاملا هوشیار آگاه هستید\n",
            "---\n",
            "reference: بیا چند تا میمون رو نجات بدیم \n",
            "predicted: دیگه چند تا میمون نجات بدی\n",
            "---\n",
            "reference: خیلی خب هیچ کار احمقانه ای نکن \n",
            "predicted: خیلی خوب هیچکار احمقانه ای نکن ق\n",
            "---\n",
            "reference: نمی تونی اینجا بمونی \n",
            "predicted: نمی تونی اینجا بمونه\n",
            "---\n",
            "reference: اون خیلی چیز‌ها رو تغییر می ده \n",
            "predicted: اون خیلی چیزا رو تغییر میده\n",
            "---\n",
            "reference: اونا مادرمو مرخص کردن بره خونه \n",
            "predicted: اونا مادرمون مرخص کردن بر خونه\n",
            "---\n",
            "reference: اون همون برنامه ایه که با‌هاش ارتباط برقرار می کردیم \n",
            "predicted: اون همون برنامه‌ای که با‌هاش ارتباط برقرار میکردیم\n",
            "---\n",
            "reference: نمی تونم از این قسر در برم \n",
            "predicted: می توانم از این بسار در بیارم\n",
            "---\n",
            "reference: تو تن‌ها کسی بودی که می تونستم با‌هاش حرف بزنم \n",
            "predicted: تو تن‌ها کسی به دیگه میتونستم با‌هاش حرف بزنم\n",
            "---\n",
            "reference: این می تونه رشد تومور رو کند کنه \n",
            "predicted: این می تونه رشد تو مارو کند کنه\n",
            "---\n",
            "reference: هدف ما آسان کردن پرداخت صورتحساب هاست \n",
            "predicted: هدف ما آسان کردن پرداخت صورت حساب‌ها است\n",
            "---\n",
            "reference: فقط یه کم سیگنال‌هاش رو جابجا کردم \n",
            "predicted: فقط یکم سیگنال‌ها و جابجا کردم\n",
            "---\n",
            "reference: من با‌هاش تماس گرفتم و اون منو سوار کرد \n",
            "predicted: من باهاش تماس گرفتم و اون من رو سوار کرد\n",
            "---\n",
            "reference: غرایز تو هیچ مشکلی ندارن \n",
            "predicted: قرای زتو هیچ مشکلی ندارن\n",
            "---\n",
            "reference: می دونستم یه چیز وحشتناک قراره بیاد \n",
            "predicted: می دونستم یه چیز وحشتناکی قراره بیاد\n",
            "---\n",
            "reference: بچه‌های دبیرستان همه شون این موضوع رو می دونن \n",
            "predicted: بچه‌های دبیرستان همشون این موضوع ر میدونه\n",
            "---\n",
            "reference: اون‌ها هیچ دلیلی برای چنین شانسی ندارن \n",
            "predicted: اون هیچ دلیلی برای چن شانسی ندارد\n",
            "---\n",
            "reference: اگه تو نگاه کنی حس بهتری پیدا می کنم \n",
            "predicted: اگه تو نگاه کنی حس بهتری پیدا می کند\n",
            "---\n",
            "reference: اون داره دنبال یه راه دیگه میگرده \n",
            "predicted: اون داره دنبال یه روح دیگه میدند\n",
            "---\n",
            "reference: برای اینکه تو این دنیا موفق بشی باید تلاش کنی \n",
            "predicted: برن که توی این دنیا موفق باشی باید تلاش کنی\n",
            "---\n",
            "reference: داری انتظاراتت رو حل و فصل می کنی \n",
            "predicted: در این انتظاراتت را هلو فصل می کنی\n",
            "---\n",
            "reference: واسه همین دریاچه خشک شده \n",
            "predicted: واسه همین دریاچه خشک شده ان\n",
            "---\n",
            "reference: می دونم اون تفنگ چه کاری می کنه \n",
            "predicted: میدونم اوتفنگ چه کاری می کنه\n",
            "---\n"
          ]
        }
      ],
      "source": [
        "for i in range(len(result)):\n",
        "    reference, predicted =  result[\"refrence\"][i], result[\"predicted\"][i]\n",
        "    if reference.strip() == predicted.strip():\n",
        "        continue\n",
        "    print(\"reference:\", reference)\n",
        "    print(\"predicted:\", predicted)\n",
        "    print('---')\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "6f933505",
      "metadata": {
        "id": "6f933505"
      },
      "outputs": [],
      "source": [
        "from datasets import load_metric\n",
        "wer = load_metric(\"wer\")\n",
        "print(\"WER: {:.2f}\".format(100 * wer.compute(predictions=result[\"predicted\"], references=result[\"refrence\"])))"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Without LM"
      ],
      "metadata": {
        "id": "7gWsG2v95eKw"
      },
      "id": "7gWsG2v95eKw"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "fd9c2afe",
      "metadata": {
        "id": "fd9c2afe",
        "outputId": "e56d6c70-bb0b-4d1a-d0f3-01eb8fe8551e"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "/home/sadeghi/wav2vec2/fa/checkpoint-57000 cuda\n"
          ]
        }
      ],
      "source": [
        "model_name_or_path = \"/home/sadeghi/wav2vec2/fa/checkpoint-57000\"\n",
        "device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")\n",
        "print(model_name_or_path, device)\n",
        "\n",
        "processor = Wav2Vec2Processor.from_pretrained(model_name_or_path)\n",
        "model = Wav2Vec2ForCTC.from_pretrained(model_name_or_path).to(device)\n",
        "\n",
        "\n",
        "def speech_file_to_array_fn(batch):\n",
        "    speech_array, sampling_rate = torchaudio.load(batch[\"path\"])\n",
        "    speech_array = speech_array.squeeze().numpy()\n",
        "    speech_array = librosa.resample(np.asarray(speech_array), sampling_rate, processor.feature_extractor.sampling_rate)\n",
        "\n",
        "    batch[\"speech\"] = speech_array\n",
        "    return batch\n",
        "\n",
        "\n",
        "def predict(batch):\n",
        "    features = processor(\n",
        "        batch[\"speech\"], \n",
        "        sampling_rate=processor.feature_extractor.sampling_rate, \n",
        "        return_tensors=\"pt\", \n",
        "        padding=True\n",
        "    )\n",
        "\n",
        "    input_values = features.input_values.to(device)\n",
        "    attention_mask = features.attention_mask.to(device)\n",
        "\n",
        "    with torch.no_grad():\n",
        "        logits = model(input_values, attention_mask=attention_mask).logits \n",
        "\n",
        "    pred_ids = torch.argmax(logits, dim=-1)\n",
        "\n",
        "    batch[\"predicted_N_LM\"] = processor.batch_decode(pred_ids)\n",
        "    return batch\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "c0d66ac9",
      "metadata": {
        "colab": {
          "referenced_widgets": [
            "9106bb58255d4b10860640d32852d5b4"
          ]
        },
        "id": "c0d66ac9",
        "outputId": "98bec4fa-944f-4316-cf12-136fd4468768"
      },
      "outputs": [
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "9106bb58255d4b10860640d32852d5b4",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/79 [00:00<?, ?ba/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        }
      ],
      "source": [
        "result = dataset.map(predict, batched=True, batch_size=4)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "2406983e",
      "metadata": {
        "id": "2406983e"
      },
      "outputs": [],
      "source": [
        "wer = load_metric(\"wer\")\n",
        "cer = load_metric(\"cer\")\n",
        "print(\"WER: {:.2f}\".format(100 * wer.compute(predictions=result[\"predicted_N_LM\"],\n",
        "                                             references=result[\"refrence\"])))\n",
        "print(\"CER: {:.2f}\".format(100 * cer.compute(predictions=result[\"predicted_N_LM\"],\n",
        "                                             references=result[\"refrence\"])))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "d287e2f1",
      "metadata": {
        "id": "d287e2f1"
      },
      "outputs": [],
      "source": [
        "for i in range(len(result)):\n",
        "    reference, predicted_N_LM =  result[\"refrence\"][i], result[\"predicted_N_LM\"][i]\n",
        "    if reference.strip() == predicted_N_LM.strip():\n",
        "        continue\n",
        "    print(\"reference:\", reference)\n",
        "    print(\"predicted:\", predicted_N_LM)\n",
        "    print('---')\n"
      ]
    }
  ],
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3 (ipykernel)",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.9.16"
    },
    "colab": {
      "provenance": []
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}