test_model.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_csv = pd.read_csv(\"ruw_data/test.csv\")\n",
    "submission_csv = pd.read_csv(\"prediction/submission.csv\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. 정답과 모델의 예측값 비교하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "sentences = test_csv[\"sentence\"]\n",
    "subject_entities, object_entities = test_csv[\"subject_entity\"], test_csv[\"object_entity\"] \n",
    "\n",
    "my_probs = submission_csv[\"probs\"]\n",
    "my_labels = submission_csv[\"pred_label\"]\n",
    "ans_labels = test_csv[\"label\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "scrolled": true,
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1: 즉 푸틴 대통령 정부가 내세운 정책에 대해서 야당과 러시아 국민들의 반대로 인하여 정권 자체가 휘청거리고 있다.\n",
      "sub:푸틴 대통령 정부, obj:러시아 국민들\n",
      "예측: no_relation, sota: org:top_members/employees\n",
      "\n",
      "2: 이에 형식상으로는 소련에서 가장 큰 공화국이 탈퇴한 것으로 보였으나 러시아 측에서는 '더 이상 존재하지 않는 나라'에서 탈퇴하는 것은 불가능하므로 이 같은 말은 사실이 아니라고 말했다.\n",
      "sub:러시아, obj:소련\n",
      "예측: no_relation, sota: org:member_of\n",
      "\n",
      "3: 러시아는 군사력은 세계에서 2번째라고 불리우며 국방비 지출도 4번째로 많다.\n",
      "sub:러시아, obj:국방비\n",
      "예측: no_relation, sota: org:property\n",
      "\n",
      "4: EU 외무장관들은 탈퇴 지역의 승인에 찬성표를 던진 모든 두마 회원들을 블랙리스트에 올렸고, EU 투자자들의 러시아 국채 거래를 금지했으며, 분리주의 단체들과의 수출입도 목표물로 삼았다.\n",
      "sub:분리주의 단체들, obj:EU 투자자들\n",
      "예측: org:friendly, sota: no_relation\n",
      "\n",
      "5: 그러나 시브산카르는 인도 내각의 속하는 것이 아니어서 인도 정부의 공식 입장으로 보이기는 어렵다.\n",
      "sub:인도, obj:시브산카르\n",
      "예측: org:top_members/employees, sota: no_relation\n",
      "\n",
      "6: 우크라이나 내무부는 우크라이나군이 4월 23일 슬로비얀스크 근처의 시비아토고르스크(Sviatogorsk) 도시를 탈환했다고 말했다.\n",
      "sub:우크라이나군, obj:우크라이나 내무부\n",
      "예측: org:member_of, sota: no_relation\n",
      "\n",
      "7: 슬라브족들의 역사는 대체적으로 게르만족 같은 잦은 외세에 시달린 것을 이겨내지 못하여 이민족의 지배에 점철된 역사이며, 슬라브족들은 오래 게르만 등 이민족의 지배 하에서 민족적, 문화적 국가나 연합체가 나타나지 못한 채 게르만족들의 영토에서 농노화되어 있었다.\n",
      "sub:슬라브족, obj:게르만족\n",
      "예측: no_relation, sota: org:hostile\n",
      "\n",
      "8: 1999년에 총리로 임명되기 전에는 연방보안국 국장과 러시아 연방 안전보장회의 서기를 잠시 지냈다.\n",
      "sub:러시아 연방 안전보장회, obj:연방보안국\n",
      "예측: org:member_of, sota: no_relation\n",
      "\n",
      "9: 동년 5월 24일에 도네츠크 인민 공화국과 함께 노보로시야 연방국이라는 국가 연합을 결성하였으나, 2015년 5월 20일에 해체되었다.\n",
      "sub:도네츠크 인민 공화국, obj:노보로시야 연방국\n",
      "예측: org:friendly, sota: no_relation\n",
      "\n",
      "10: 연방이 공식적으로 해체되기 일주일 전, 소련의 11개 공화국은 소련 해체에 합의하고 CIS 수립을 선언한 알마아타 조약에 서명했다.\n",
      "sub:소련, obj:공화국\n",
      "예측: org:member_of, sota: no_relation\n",
      "\n",
      "11: 이는 그 동안 러시아 연방 정부가 그동안 우크라이나 사태에 대한 러시아군의 개입 주장을 강하게 부인해온 것과는 상반되는 사실이라, 논란이 예상된다.\n",
      "sub:러시아 연방 정부, obj:러시아군\n",
      "예측: no_relation, sota: org:property\n",
      "\n",
      "12: 벨라베자 조약이 소련을 합법적으로 해산시켰는지에 대해선 논란의 여지가 남아있었다. 하지만 12월 21일 소련의 12개 공화국 중 조지아를 제외한 11개 공화국 정상이 모여 소련 해체를 공식적으로 확인하고 독립국가연합의 창설을 발표한 알마아타 조약에 서명하면서 소련의 해체는 확실해졌다.\n",
      "sub:벨라베자 조약, obj:12월 21일\n",
      "예측: eve:date, sota: no_relation\n",
      "\n",
      "13: 하자르 카간국의 영향에 따라 동슬라브족으로서의 정체성이 생기기 시작하였고 8세기에서 9세기에 루스 카간국이라는 고대 투르크어인 군주 칭호인 카간을 자칭하는 북게르만족 루스인의 첫 국가가 등장하였다.\n",
      "sub:동슬라브족, obj:북게르만족\n",
      "예측: org:member_of, sota: no_relation\n",
      "\n",
      "14: 야로시는 우익 섹터가 우크라이나 디아스포라에서 일부 자금 지원을 받았다고 말했다.\n",
      "sub:우크라이나 디아스포라, obj:우익 섹터\n",
      "예측: no_relation, sota: org:friendly\n",
      "\n",
      "15: 4월 13일, 도네츠크 인민 공화국의 시위대는 마리우폴의 행정 청사를 장악했다.\n",
      "sub:도네츠크 인민 공화국, obj:시위대\n",
      "예측: no_relation, sota: org:property\n",
      "\n",
      "16: 2014년 8월 레바다 센터의 조사에서는 러시아 시민의 약 13%만이 러시아가 우크라이나의 전쟁에 개입하고 있다고 생각한다는 설문조사가 나왔다.\n",
      "sub:러시아, obj:우크라이나\n",
      "예측: org:hostile, sota: no_relation\n",
      "\n",
      "17: 돈바스 인민군(현 노보로시야 연방 육군)의 구성원인 전투가들은 나중에 경찰서를 점령했다.\n",
      "sub:노보로시야 연방 육군, obj:IISS\n",
      "예측: org:alternate_names, sota: no_relation\n",
      "\n",
      "18: 공화국과 소련 중앙정부와의 갈등으로 돈의 흐름이 끊기면서 경제적 혼란이 찾아왔고 소련 경제도 급속히 쇠퇴하였다.\n",
      "sub:소련 중앙정부, obj:공화국\n",
      "예측: org:hostile, sota: no_relation\n",
      "\n",
      "19: 이 시위는 러시아의 크림 공화국 합병으로 인해 우크라이나의 남동부 지역의 대규모 친러시아 시위로 발전했으며, 이후 도네츠크 인민공화국과 루간스크 인민공화국이 분리주의를 제창하며 독립함에 따라 우크라이나 정부와 전쟁을 시작하게 되었다.\n",
      "sub:우크라이나 정부, obj:루간스크 인민공화국\n",
      "예측: no_relation, sota: org:hostile\n",
      "\n",
      "20: 현재 독일과 네덜란드는 우크라이나에게 대전차포를 지원해 주었고, 어나니머스는 크렘린궁 사이트를 해킹하였다.\n",
      "sub:네덜란드, obj:우크라이나\n",
      "예측: no_relation, sota: org:friendly\n",
      "\n",
      "21: 이 독립 선언에 따르면 라트비아는 제2차 세계 대전 이후 사실상 소련에게 점령당했으나 이 병합은 불법이며 라트비아 국민의 의지에 반한 것이었으므로 주권국으로 독립하겠다는 내용이었다.\n",
      "sub:소련, obj:라트비아\n",
      "예측: no_relation, sota: org:hostile\n",
      "\n",
      "22: 옐친이 러시아 공화국 대통령에 당선된 이후, 러시아는 즉시 독립을 선포하였다.\n",
      "sub:러시아 공화국, obj:옐친\n",
      "예측: no_relation, sota: org:top_members/employees\n",
      "\n",
      "23: 돈바스 반군 집단의 모병은 러시아 도시의 군사 병참부 시설을 통해 공개적으로 개인/집단으로 받아들이고 있는 것이 드러났다.\n",
      "sub:돈바스 반군 집단, obj:러시아\n",
      "예측: org:member_of, sota: no_relation\n",
      "\n",
      "24: 8월 18일 루한스크로 진입한 이후, 8월 19일에는 정부군이 \"블록에서 블록\"으로 루한스크 도시 내로 공세를 펼치기 시작했다.\n",
      "sub:정부군, obj:루한스크\n",
      "예측: no_relation, sota: org:hostile\n",
      "\n",
      "25: 3월 30일에는 에스토니아 최고위원회가 제2차 세계 대전 이후 소련의 에스토니아 점령이 불법이었다고 선언하고 에스토니아가 독립국임을 선언하였다.\n",
      "sub:에스토니아, obj:소련\n",
      "예측: no_relation, sota: org:hostile\n",
      "\n",
      "num of diff: 25 / 176\n"
     ]
    }
   ],
   "source": [
    "i = -1\n",
    "cnt = 0\n",
    "\n",
    "while i < len(my_labels)-1:\n",
    "    i += 1\n",
    "    if my_labels[i] == ans_labels[i]:\n",
    "        continue\n",
    "    cnt += 1\n",
    "    print(f\"{cnt}: {sentences[i]}\")\n",
    "    print(f\"sub:{eval(subject_entities[i])['word']}, obj:{eval(object_entities[i])['word']}\")\n",
    "    print(f\"예측: {my_labels[i]}, sota: {ans_labels[i]}\")\n",
    "    print()\n",
    "print(f\"num of diff: {cnt} / {i}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2.no_relation 제외 f1 score 계산"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from sklearn.metrics import f1_score, precision_recall_curve, auc\n",
    "\n",
    "def ruw_re_micro_f1(preds, labels):\n",
    "    \"\"\"Russia-Ukraine War RE micro f1 (except no_relation)\"\"\"\n",
    "    label_list = ['no_relation', 'per:title', 'org:member_of', \n",
    "        'org:alternate_names', 'org:top_members/employees', 'org:hostile', \n",
    "        'org:friendly', 'org:property', 'eve:place', 'eve:date'] \n",
    "\n",
    "    # return f1_score(labels, preds, average=\"micro\", labels=label_list[1:]) * 100.0\n",
    "    micro_f1 = f1_score(labels, preds, average=\"micro\", labels=label_list[1:]) * 100.0\n",
    "    macro_f1 = f1_score(labels, preds, average=\"macro\", labels=label_list[1:]) * 100.0\n",
    "    weighted_f1 = f1_score(labels, preds, average=\"weighted\", labels=label_list[1:]) * 100.0\n",
    "    average_f1 = f1_score(ans_labels, my_labels, average=None) * 100.0\n",
    "    return micro_f1, macro_f1, weighted_f1, average_f1\n",
    "\n",
    "\n",
    "\n",
    "def ruw_re_auprc(probs, labels):\n",
    "    \"\"\"Russia-Ukraine War RE AUPRC (with no_relation)\"\"\"\n",
    "    labels = np.eye(10)[labels]\n",
    "\n",
    "    score = np.zeros((10,))\n",
    "    for c in range(10):\n",
    "        targets_c = labels.take([c], axis=1).ravel()\n",
    "        preds_c = probs.take([c], axis=1).ravel()\n",
    "        precision, recall, _ = precision_recall_curve(targets_c, preds_c)\n",
    "        score[c] = auc(recall, precision)\n",
    "    return np.average(score) * 100.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "전체 test data: 177\n",
      "전체 sub data: 177\n",
      "micro f1 score: 88.15165876777252\n",
      "macro f1 score: 81.49452683935442\n",
      "weighted f1 score: 87.74281943767956\n",
      "f1 score of each class: [ 97.2972973  100.          82.51748252  92.30769231  33.33333333\n",
      "  75.86206897  85.          76.92307692  72.72727273 100.        ]\n"
     ]
    }
   ],
   "source": [
    "test_csv = pd.read_csv(\"ruw_data/test.csv\")\n",
    "submission_csv = pd.read_csv(\"prediction/submission.csv\")\n",
    "print('전체 test data:', len(test_csv))\n",
    "print('전체 sub data:', len(submission_csv))\n",
    "\n",
    "\n",
    "my_labels = submission_csv[\"pred_label\"].to_list()\n",
    "ans_labels = test_csv[\"label\"].to_list()\n",
    "micro_f1, macro_f1, weighted_f1, average_f1 = ruw_re_micro_f1(my_labels, ans_labels)\n",
    "\n",
    "print('micro f1 score:', micro_f1)\n",
    "print('macro f1 score:', macro_f1)\n",
    "print('weighted f1 score:', weighted_f1)\n",
    "print('f1 score of each class:', average_f1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "cdf5d1a2b21d5315a0b7a0779e9f9212b6d3b593604d472f2d14684b88d9f7c0"
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}