https://arxiv.org/abs/1812.01187 Bag of Tricks for Image Classification with Convolutional Neural Networks Much of the recent progress made in image classification research can be credited to training procedure refinements, such as changes in data augmentations and optimization methods. In the literature, however, most refinements are either briefly mentioned a arxiv.org 요약 최근에 image classificat..

Decoupling Representation and Classifier for Long-Tailed Recognition https://arxiv.org/abs/1910.09217 https://github.com/facebookresearch/classifier-balancing 이 프레임워크는 https://github.com/zhmiao/OpenLongTailRecognition-OLTR 을 베이스로 한다. 사용방법도 비슷함. 작성 중.. 논문이 너무 길다.. INTRODUCTION 저자는 Long-tail 데이터 분류를 end-to-end 학습(feature extractor, classifier 동시에 학습)으로 진행하면 classifier의 결정경계가 잘 형성된 것인지 더 좋은 represe..

DON’T DECAY THE LEARNING RATE, INCREASE THE BATCH SIZE Learning rate를 줄이지 말고, Batch size를 늘려라. 보통 학습 중 learning rate를 감소시키는 것이 일반적이다. learning rate를 고정한 대신에 학습 중에 점점 batch size를 늘려 learning rate를 늘린 것과 같은 learning curve를 얻었다. SGD, SGD with momentum, Nesterov momentum, Adam optimizer에서 성공적이었던 실험이다. batch size를 늘리면 파라미터 업데이트가 적어 학습이 빠르다. 배치사이즈를 늘리는 만큼 learning rate를 높여 학습속도를 더 높일 수 있다. 마지막으로, 모멘텀 ..

Seesaw Loss for Long-Tailed Instance Segmentation Seesaw loss는 head class와 tail class에 대해 두가지 팩터를 이용하여 gradient를 재조정한다. Cross entropy는 head class를 많이 학습할 수 밖에 없기 때문에 tail class의 예측은 거의 다 틀릴 것이고, 틀리는 만큼 tail class에 많은 페널티가 가게 된다. 이 현상은 tail class의 페널티를 줄이는 방법으로 해결할 수 있다. Seesaw loss에서는 Sij 라는 튜닝가능한 파라미터로 head class 와 tail class의 페널티를 조절하며, Sij는 mitigation, compensation factor 두 개로 구성된다. Mitigatio..

https://arxiv.org/abs/2201.03545 A ConvNet for the 2020s The "Roaring 20s" of visual recognition began with the introduction of Vision Transformers (ViTs), which quickly superseded ConvNets as the state-of-the-art image classification model. A vanilla ViT, on the other hand, faces difficulties when applied to ge arxiv.org CNN은 Sliding window를 활용하여 local, global 정보를 둘 다 가지고 가는 전략의 네트워크임. 이는 Induc..