보통 channel의 경우에는 학습 과정에서 생성되고 수정되는 provisional semantics를 가지는 parameter들로 생각하기 마련인데 squeeze & excitation operation을 이용하면 channel에도 semantics를 부여하고자 시도할 수 있다.
일종의 semantic dillation과 같이 offset field를 이용해서 convolution을 deform할 수 있는데 deformable DETR의 성능이 DETR보다 나은 것으로 봐서 효과는 있는 것으로 보인다. 다만 parameter 수가 증가하는 것을 고려할 때 offset field를 represent하기 위한 layer의 추가가 학습 시간에 관한 가성비가 좋은 지는 잘 모르겠다.
지난 프로젝트에서 앞쪽을 얼리고 fc layer를 학습시키는 것과 fc layer를 바꿔 달고 전체를 학습시키는 것은 모두 해 보았지만, 뒤쪽에 softmax with temperature를 적용하거나 fc layer의 learning rate를 feature layers보다 크게 하는 것은 해 보지 못했다. Softmax 그리고 double learning rates의 사용은 모델의 성능을 개선할 것으로 보이기 때문에, 다음 프로젝트에서는 사용해 볼 예정이다.
EfficientNet의 근간이 되는 구조인데 모델을 계속 교체하면서 학습하는 방식으로 사용하면 self-training이라고 부른다.
- Distillation loss: KL-divergence loss
- Student loss: Cross entropy loss
Softmax 과정에서 temperature parameter를 도입하면 확률분포가 덜 극단적이도록 만들 수 있다.
Softmax with temperature를 사용해서 각 learning step마다 previous model과 current model의 prediction들을 조합해서 결과를 내는 방법이 있다. 일종의 self-ensemble 방법으로 보이는데 특정한 형태의 프로젝트 데이터에 대해서는 상당히 효과적일 것으로 보인다.
- 프로젝트 보고서 작성
- 캠프 소개
- 현재 peer session 진행 상황 공유
- 다음 peer session 준비
- Peer session 어떻게 할 것인지 생각해 오기
- [강의] Computer Vision Basics & Research Trends
- Computer Vision Overview
- Image Classification I
- [강의] Computer Vision Basics & Research Trends
- Annotation Data Efficient Learning
- 안과 진료(고안압증)
- 다른 트랙 강의 둘러보기 진행
- Ice-breaking
- Ground rule 이야기
- [강의] Computer Vision Basics & Research Trends
- Image Classification II