Hugging Face load_metric의 상관계수 측정 오류
from datasets import load_metricpearsonr= load_metric('pearsonr')spearmanr = load_metric('spearmanr')Hugging Face의 datasets 중 load_metric은 metric을 간단히 계산할 수 있도록 도와주는 유용한 함수이다. 하지만 현재(2022.03.29) load_metric을 활용해서 상관계수(pearsonr, spearmanr)를 계산할 경우, 잘못된 값을 얻을 수도 있으니 주의해야 한다. load_metric은 일반적으로 scipy.stats.pearsonr 처럼 미리 구현된 metric 함수에 예측 값과 Label 값을 전달하는 방식으로 값을 계산한다. 문제는 상관계수를 측정할 때, 유사도 예측 값과 La..
2022.03.29