본 논문은 Facebook AI에서 2019년에 작성한 논문이다.논문 링크: https://arxiv.org/abs/1907.11692 1. IntroductionSelf-training이란 준지도 학습 방법의 하나로, 특정 클래스에 대한 확률이 높은 데이터들만 모아 다시 학습에 사용하는 방법이라고 할 수 있다. (ELMo, GPT, BERT 등의 모델에서 사용) 이 방법은 일반적으로 다음과 같은 문제점을 가진다.훈련 비용이 비싸서 tuning하기가 힘들다.훈련에 사용한 데이터가 다 제각각이라 모델들의 성능을 일관성있게 측정하기 힘들다.하이퍼파라미터 선택은 모델에 큰 영향을 미치지만, 위와 같은 문제점 때문에 다양한 접근 방식을 신중하게 비교하는 것은 힘들다는 단점이 있다.본 논문에서는 많은 hyperp..

1단계) 데이터 로드from datasets import load_datasetfrom datasets import ClassLabelimport pandas as pdemotions = load_dataset("emotion", trust_remote_code=True)emotions['train'].features['label'] = ClassLabel( num_classes=6, names=['sadness', 'joy', 'love', 'anger', 'fear', 'surprise']) emotions.set_format(type="pandas")df = emotions["train"][:]def label_int2str(row): return emotions["train"..