종헌's ideas!(Sequence 모델링/성능에 영향이 클 것 같은 부분들)

[JaeheeRyu]

1. Sequence 모델링

• sequence data 이지만 nlp에서 사용하는 bi-directional이나 transformer와는 다른 접근 방식이 필요하다고 생각됨 → 아닐 수 도 있음
• 왜냐하면 미래에 대한 정보를 사용할 수 없기 때문
• timestep을 고려한 예측 모델을 만들어야 한다는 점에서 익효님, 수지님의 skt 대회 주제랑 비슷한 듯 → 아닐 수 도 있음

2. 성능에 가장 많은 영향을 미칠 것으로 생각되는 부분들

• Data processing

  1. feature 만드는 건 아이디어가 있어야 댐 - 고민해야 댐
  2. 각 사람들마다 1개의 sequence data를 사용한다면 data 수가 부족할 듯
  3. timestep 수가 사람마다 다르기 때문에 사람마다 n개의 sequence data를 뽑게 되면 사람마다 data 수가 달라져서 imbalance 문제가 생길 것으로 생각됨 (특정 사람들에 overfitting 되기 쉬움)

  ⇒ 사람마다 1개의 sequence data를 사용하는 대신 많은 문제를 풀어온 사람들에겐 그동안의 공부량과 성적에 관련된 feature를 만들어 사용하면 정보는 버리지 않으면서 imbalance 문제도 없어져서 성능에 도움이 되지 않을까

• Embedding

  1. 어떤 feature를 embedding vector로 사용할지
  2. embedding vector를 모델에 어떻게 넣어줄지

• Modeling

1. causal convolution
2. lstm
3. transformer
4. 주의할점 : overfitting이 너무 쉽게 되기 때문에 적은 파라미터로 복잡한 연산 과정을 만들어야 됨
   -> 굉장히 많은 정보를 0 or 1로 압축하는 과정이라 다양한 분류들의 balance에 굉장히 민감하여 overfitting이 쉽게 일어나는 것 같다.