각 class 별로 AP 확인하기

[jaehwan-AI]

학습의 결과로 mAP는 확인할 수 있었지만 과연 내 모델이 어떤 class를 잘 맞추고 있는지 궁금하지 않으셨나요?
간단한 코드 수정으로 wandb랑 연동까지는 아니더라도 학습 log에 각 class 별로 AP가 찍히게는 할 수 있었습니다.

mmdetection/mmdet/datasets/coco.py 에 가시면 CocoDataset 클래스에 evaluate 라는 함수가 있습니다.

함수의 classwise를 True로 바꿔주시면 학습 시 class 별로 AP를 다음과 같이 log에 찍어줍니다.

혹시 다른 방안이 있다면 댓글로 알려주시면 감사하겠습니다!

[+추가사항]

이렇게도 사용이 가능하다고 합니다

[kmouleejunhyuk]

배터리보다 trash AP가 더 적은게 신기하네요. 너무 다양해서 그럴까요..

[jaehwan-AI]

+---------------+-------+-------------+-------+------------+-------+
| category | AP | category | AP | category | AP |
+---------------+-------+-------------+-------+------------+-------+
| General trash | 0.159 | Paper | 0.294 | Paper pack | 0.311 |
| Metal | 0.389 | Glass | 0.342 | Plastic | 0.256 |
| Styrofoam | 0.348 | Plastic bag | 0.537 | Battery | 0.575 |
| Clothing | 0.427 | None | None | None | None |
+---------------+-------+-------------+-------+------------+-------+
위 결과가 faster r-cnn 24에폭 학습한 결과인데 확실히 수가 많고 다양한 General trash랑 Paper, Plastic이 AP가 적어요..
잘못 라벨링 된 데이터가 많은 class일 가능성도 있고, 여러 bbox가 겹치는 라벨링이 많은 class일 수도 있을 것 같아요

[JiyouSeo]

오...엄청 꿀팁이네요 공유 감사드립니다!!

[kwakjeeyoon]

오오!! 공유해주셔서 감사합니다!!