[TIL]KDT팀프로젝트2021/03/29

faster r-cnn의 경우 같은 iteration이라도 돌릴 때마다 AP, loss의 변동폭이 꽤 있었는데 best loss만 추출하니 2만~3만 iteration내에서 안정적으로 더 높은 성능의 AP가 추출되었다.
해당 훈련 결과물 pth, dump txt파일 torchserve로 넘겼다. cascade r-cnn이 AP가 작은 얼굴에서 성능이 좋아 시나리오 2번(CCTV)에서 쓰이고, faster r-cnn이 AP가 큰 얼굴에서 성능이 좋아 시나리오 1번에서 쓰인다.
AWS 연동하여 웹페이지에서도 잘 작동한다.
박사님의 중간발표 피드백에 따라 false positive와 false negative들을 뽑아내어서 원인이 무엇인지 분석하는 작업을 해보고 있다.
이부분 역시 Detectron2에서 지원하지 않는다. validation, early stop했을 때처럼 커스텀 구현해야할 것 같다. 자료 찾아보는 중이다.

• confusion matrix를 통해 false negative, false positive의 값을 알아보고 AP가 더 개선되지 않는 이유를 찾아보고자 했다.
• Detectron2로 학습한 결과에서 이를 계산하기 위해서는 따로 구현이 필요한데, ground truth가 되는 dataset_dicts와 prediction이 되는 metrics.json의 key-value형식을 맞춰주지 않고 그동안 모델을 학습해왔던 것이 문제가 됐다.
• 결국 완전한 confusion matrix의 값을 도출하진 못했고, Detectron2에서 제공하는(\detectron2-master\detectron2-master\detectron2\modeling\roi_heads\fast_rcnn)의 num_false_negative 값을 metrics.json에 저장하여 false negative를 확인할 수 있었으나, 가장 중요한 false positive를 확인할 수 없어 아쉽다.