0. Preliminaries

• Unsupervised Domain Adaptation (UDA)
• Semi-Supervised Learning (SSL)
• Semi-Supervised Domain Adaptation (SSDA)

1. Introduction

• 비전 분야에서 많은 SOTA를 찍은 모델들은 다른 종류의 데이터셋에 대해 robust하지 못한다 (예로 들어, MNIST에서 train된 모델을 SVHN로 test할때 좋은 결과를 만들지 못함- digit recognition)
• 이런 문제를 해결하기 위해 Unsupervised Domain Adaptation(UDA) 분야가 활발하게 연구되왔고, Semi-supervised Learning(SSL) 또한 unlabeled data를 활용한다는 점에서 비슷한 분야로 여겨진다
• 현실에서 UDA와 SSL의 개념이 함께 필요한 경우가 종종 있으며 이를 Semi-supervised Domain Adaptation(SSDA)라고 한다. 여러가지 domain의 fully labeled 데이터에서 새로운 domain으로 expand하고자 할때 일부만 label되어 있는 경우가 이에 해당된다.

SSL, UDA, SSDA 비교

• AdaMatch는 이와같이 비슷한 세가지 task를 모두 해결할수 있는 알고리즘을 제안한다. SSL에 사용되었던 FixMatch를 백본으로 사용하면서 여러분야에서 SOTA를 달성할 수 있었다고 한다.

2. AdaMatch

AdaMatch의 구조

Notations

• $X, Y, Z$ : 미니배치의 inputs, labels, logits
• $X_{SL} \subset R^{n_{SL} \times d}$ , $Y_{SL} \subset \{0,1\}^{n_{SL} \times k}$: source inputs와 labels (SL - Source Labeled)
• $X_{TU} \subset R^{n_{TU} \times d}$: target inputs (TU - Target Unlabeled)
• $k, d, n_{SL}, n_{TU}$: 클래스 개수, input의 차원, labeled 미니배치 크기, unlabeled 미니배치 크기
• $w, s$: weak, strong augmentation

Augmentations