구조를 이해하는 것보다 어떻게 사용되는지를 이해하는 것이 더 중요한 것 같다. 작년 초에도 같은 생각이어서 아래의 논문들을 읽었지만 지금은 하나도 기억이 나지 않는다. 따라서 여기에 구조를 자세히 정리하는 대신 아래의 논문들을 나누어 읽기로 한다.
- Attention Is All You Need
- Transformers in Vision: A Survey
- Non-local Neural Networks
- BERT
- ViT
- UNITER
- Unicoder
- ViLBERT
- Oscar
- 12-in-1
- VILLA
- LXMERT
- VirTex
- DEIT
- DETR
- Deformable DETR
- Generative Pretraining from Pixels
- [강의] Deep Learning Basics
- RNN
- LSTM Implementation
- [과제] Deep Learning Basics
- LSTM
- 예전에 작성한 논문 정리 노트를 다시 정리
- [강의] Deep Learning Basics
- Transformer
- SDPA & MHA Implementation
- [퀴즈] Deep Learning Basics
- RNN
- [과제] Deep Learning Basics
- MHA
- 커리어 관련 이야기
- ResNet 논문 이야기
- Gradient vanishing과 degradation의 연관성 이야기
- 다음 peer session 준비
- 다음 주 월요일까지 transformer proposal 논문 리뷰해 오기
- ConvNeXt 소개
- Diffusion model 소개
- SDEdit 소개
- Adversarial attack 소개
- 사전 질문들에 대한 답변