[DAY 02 - 5/25] 베이스라인 분석

[changwoomon]

어제 뭐 하셨나요?

• 희석
  • EDA
  • 데일리미션
  • Further Reading
• 애나
  • EDA
  • 베이스라인 코드
• 유진
  • EDA
  • 베이스라인 코드
  • 데일리미션
• 재우
  • 베이스라인 코드
  • 트랜스포머 어떻게 할지 생각
• 창우
  • EDA
  • 베이스라인 코드
  • 하이퍼파라미터 바꿔서 제출

---

애나님 질문

Q. Riiid 대회 EDA를 봤는데 time_stamp를 기존 데이터에 있는 값을 넣어주는 게 아니라 시차를 구해 간단하게 넣어주는데 이렇게 하는 방법이 더 성능이 좋은가요?

→ 모델에게 조금 더 확실한 값(단순 시간이 아닌 경과시간)을 넣어주기 위한 방법인 것 같습니다. 성능이 더 좋아질 것으로 예상됩니다.

Q. 저희의 task가 사용자가 풀었던 전체 log를 한 번에 넣고 마지막 값만을 예측하는 것이 맞나요?

→ 한꺼번에 넣어주는 건 맞으나 PyTorch에서 처리될 때는 sequantial하게 들어가 처리되는 것 같습니다.

→ Transformer를 사용하게 되면 셀프 어텐션을 사용해서 한 번에 처리되게 할 수 있을 것 같습니다.

Q. sequantial하게 들어간다면 Teacher Forcing 하는 것이 가능할까요?

→ RNN 기반에서 가능..?

→ 내일 멘토님께 여쭤봐보자!

---

베이스라인 코드 분석

» LabelEncoder

https://mizykk.tistory.com/12

범주형 변수의 값들을 수치형 변수로 바꿔줌

» 유진님 질문

Q. trainer.py process_batch 함수 동작원리를 잘 모르겠습니다.

» [model.py](http://model.py) BERT

BERT Encoder만 사용

---

서일님 토론글

https://www.notion.so/Riiid-Answer-Correctness-Prediction-59bced75c82544d09f70119c2b970d91

Riiid 상위 솔루션 분석 나중에 해봐요~

---

오늘 뭐 하실 건가요?

• 희석
  • 베이스라인 코드 분석
    • 입력 구조 찍어보기
  • BERT 성능 잘나오게 만들기
• 유진
  • git develop에 merge 할 수 있게 code 작성, ignore
  • 제출 결과 정리
  • process_batch 함수 동작원리 파악 후 정리
  • Feature Engineering
• 창우
  • Feature Engineering
    • time stamp → lag, 시간대 추출해서 학습
  • K-fold
    • 모든 user 시간대 별로 자르기
• 재우
  • BERT나 Transformer
  • Feature Engineering
• 애나
  • K-fold
    • user 별로 자르기