[실험] 대분류, 시험지번호, 문제번호 feature 추가

[JAEWOOSUN]

대분류, 시험지번호, 문제번호 feature 추가

Description: features를 추가했을 때 성능 향상 실험
시작일: 2021년 5월 25일
실험자: 재우 선, 유진 안
제안자: 유진 안
종료일: 2021년 5월 26일
진행상황: 완료
카테고리: Data Processing, EDA, Training

문제 정의

• testId가 A030000071이라고 했을 때, A와 가운데 000은 불필요한 feature입니다. 030은 대분류를 나타내며, 1~9의 숫자를 가지고 있습니다.(서일님 토론글 에서 [아이스크림 에듀의 타겟이 초등 1 - 6 학년, 중등 1 - 3 학년 이니까, 딱 9개가 맞네요]라고 하셔서 대분류를 feature로 만들어도 괜찮을것 같다고 생각했습니다. 대분류 기준으로 EDA해보는것도 좋을거같아요 ㅎㅎ )
• 뒷부분의 071부분은 시험지 ID를나타냅니다.
• assessmentItemID의 예가 A030071005라고 했을 때, 마찬가지로 A는 불필요한 feature이며 005는 시험지에서 문제 번호를 나타냅니다.
• 그렇다면 feature로 대분류, 시험지번호, 문제 번호를 만들어보는것은 어떨까요!?!?
• (testId와 assessmentItemID의 겹치는 문제도 해결할 수 있습니다!)
• (모델이 규칙성을 찾기에도 이게 훨씬 쉬울거같아요!)

---

해결 아이디어

• 이렇게 창우님이 a['elapsed'] = diff feature를 추가해주신 것처럼 grade, paper, problem..? feature를 추가해주면 좋을거같습니다.
• 실험결과를 위해 assessmentITemID, testId를 포함해서 모델 학습시킨 결과 1번, 제외한 후 모델 학습시킨 결과 1번, 총 2번 제출해보는게 좋을 거 같아요 ㅎㅎ

---

진행 상황

1. dataloader.py → __feature_engineering 함수

• testId column의 2번째 값들을 사용해서 대분류 (classification) 추가
• testId column의 '마지막-3 : 마지막' 값들을 사용해서 시험지 번호 (paperNum) 추가
• assessmentItemID column의 '마지막-3: 마지막' 값들을 사용해서 문제 번호 (problemNum) 추가

2. dataloader.py → __preprocessing 함수

• Label을 Embedding 형태로 저장해주는 sklearn의 LabelEncoder() 사용
• .npy 파일 형태로 저장
• 따라서 classifciation, paperNum, problemNum을 추가해줌

2. dataloader.py → load_data_from_file 함수

• .npy를 읽어와서 classifciation, paperNum, problemNum의 len을 계산한 n_class, n_paper, n_problem을 만들어줌
• userID로 groupby한 값을 반환

3. dataloader.py → DKTDataset Class → __getitem__ 함수

• DKTDataset 클래스도 수정을 해줌

4. trainer.py → process_batch 함수

• input으로 들어가기 앞서 batch 값들의 전처리를 해주는 부분
• 마찬가지로 classifciation, paperNum, problemNum 을 추가해줌
• 여기서 mask 처리도 추가로 해주기 때문에 classifciation, paperNum, problemNum 모두 mask 처리 추가

5. train.py → train 함수

• process_batch 함수 통과 후 input을 받아옴
• 여기서 주의할 점은 targets 변수는 input[4] 를 가지고 와야함 (correct 번호가 4번으로 바뀜)

6. model.py → LSTM class → __init__ 함수

• classifciation, paperNum, problemNum의 embedding을 __init__ 함수에 추가
• comb_proj 을 통과할 때는 총 5개 ( interaction, classifciation, paperNum, problemNum, tag)을 통과하므로 4 → 5로 변경

7. model.py → LSTM class → forward 함수

• embedding을 실행함
• concat을 실행할 떄 embed_classification, embed_paperNum, embed_problemNum을 추가해줌

8. LSTM-ATTN, BERT

• 마찬가지로 classifciation, paperNum, problemNum 을 추가해서 사용

---

결과

• 실험 내역은 다음과 같음

  • Baseline (변경 X)
    • LSTM
    • LSTM-ATTN
    • BERT
  • 3_features (classifciation, paperNum, problemNum ) 추가
    • LSTM
    • LSTM-ATTN
    • BERT

• train_acc 나 valid_acc가 대부분 Basline보다 3_features가 빨리 도달하는 것을 알 수 있음 (문제가 쉬워진 이유라고 생각)

• 뚜렷한 변경 사항은 wandb로 봤을 때 없었음

• 제출했을 때는 auroc 에서 약간의 성능 향상을 보임
• accuracy는 성능이 떨어짐

---

평가

• 문제가 쉬어짐에 따라 Overfitting에 대한 위험성 커짐
• 그렇지만 성능 향상이 있음
• 추가로 시차, 시간대 변수 를 추가해준다면 시너지 효과로 높은 성능 향상을 기대

후속 실험

• 문제가 쉬어짐에 따라 Transformer보다 1-D convolution과 같은 low-level deep learning 사용해보기
• 시차, 시간대 변수 추가
• 다양한 feature들을 추가