05.10 피어세션

[loyalsp13]

best model : deepset/xlm-roberta-large-squad2
tokenizer : mecab.bpe64k.ko
execute.py -> hyperparameter tuning (colab 활용)
dense, sparse retrieval score 같이 활용

reader 개선 방안

• train 단계부터 context들을 이어서 학습시킨다. (inference 때와 동일한 환경을 위해)
  -> 어차피 bert max sequence length 단위로 자르기 때문에 큰 영향 있을지 모른다.
• wikidata pretrain과 성능 향상 관계 유추
  -> downstream task에 관계 없이 backbone 네트워크만 가져올 수 있다.
• inverse closed task : 사용되지 않는 context들을 활용하는 방법
• BERT tokenizer에서 나온 결과를 형태소 분석기로 retokenizing
• generation model 사용 (bert에 비해 성능이 좋지 않은 것이 확인됨 + klue에 대해서 확인 해보기
• https://arxiv.org/pdf/2007.01282.pdf (fusion in decoder)

retrieval 개선 방안 (todo list)

• dense retrieval 성능 (top_1 : 5% , top_20 : 58%)
  -> context에서 max_sequence_length까지의 문자열만 사용한다.
  -> overlap을 사용해서 1개 context 여러 개로 늘려서 저장

역할 분담
목요일까지는 retrieval 구현에 집중