[논문 읽기] Seesaw Loss

Seesaw Loss for Long-Tailed Instance Segmentation

• Seesaw loss는 head class와 tail class에 대해 두가지 팩터를 이용하여 gradient를 재조정한다.
• Cross entropy는 head class를 많이 학습할 수 밖에 없기 때문에 tail class의 예측은 거의 다 틀릴 것이고, 틀리는 만큼 tail class에 많은 페널티가 가게 된다.
• 이 현상은 tail class의 페널티를 줄이는 방법으로 해결할 수 있다.

• Seesaw loss에서는 Sij 라는 튜닝가능한 파라미터로 head class 와 tail class의 페널티를 조절하며, Sij는 mitigation, compensation factor 두 개로 구성된다.

• Mitigation factor는 head class와 tail class의 데이터 갯수 비율에 따라 tail class의 페널티를 줄여주는 역할을 한다.
• Compensation factor는 head class에 속하는 데이터가 tail class로 오분류 될 때, tail class에 대한 페널티를 증가시킨다. 이 말은 head class가 오분류 될 때는 상대적으로 작은 페널티를 받게 되도록 만들어 준다는 말이다.
• mmpretrain에서는 두 factor의 효과를 극대화 할 수 있게 mitigation factor에 p라는 지수와 compensation factor에는 q라는 지수를 파라미터로 두고 있다.
• p는 0 ≤ p ≤ 1 의 범위로 둘 수 있다. 0에 가까울수록 tail class 오분류시 페널티가 극대화되고 (비선형적으로 페널티가 증가) 1에 가까울수록 mitigation factor가 선형적으로 될 것이다.
• q는 1 ~ 의 범위로 둘 수 있다. 값이 증가할수록 tail class 오분류시 페널티가 증가한다.