05.13 피어세션

[loyalsp13]

top_k contexts 이어 붙이지 않고 각각에서 answer를 뽑아 비교하기
top_k에서 answer를 뽑을 때 retrieval score를 고려하니 성능이 더 좋았다.

gitignore (pycache, checkpoint 등의 쓸모없는 폴더들이 git에 포함되지 않도록 정한다.)

answer가 context 안에 없는 data도 학습에 사용될 가능성

F1 score가 EM보다 높은 것 고려

생성된 answer 후처리에 관한 문제
input이 tokenize 될 때 조사가 같이 token에 포함되어서 answer에 조사가 포함된다면 옳게 학습된 것
top_k answer에서 정확한 answer만 추출하기 위해 사용할 수 있는 방법

data 전처리
이상한 한글 문자