no image
MacOS + Poetry 환경에서 Prophet 실행하기
해결 방법Poetry를 사용해서 Prophet 패키지 다운로드poetry add prophetProphet의 stan model 바이너리 폴더로 이동cd .venv/lib/python3.9/site_packages/prophet/stan_model런타임 라이브러리 경로를 추가하여 MacOS 환경에서도 동작할 수 있도록 수정install_name_tool -add_rpath @executable_path/cmdstan-2.31.0/stan/lib/stan_math/lib/tbb prophet_model.bin참고 [Python] Error when running fit(): Library not loaded: '@rpath/libtbb.dylib' · Issue #2250 · facebook/prophet..
2024.12.01
no image
Pytorch hub를 통해 MEAL V2 모델 사용하기
Pytorch hub pytorch hub는 torch 기반 모델 publish 및 load를 지원하여 사전 학습된 모델을 손쉽게 활용할 수 있도록 도와준다. 현재 load 해서 사용할 수 있는 모델은 48개라고 돼있지만 pytorch-transformers와 같이 여러 모델들을 한 곳에 모아둔 경우도 있어 실제로는 더 다양한 모델을 사용할 수 있다. publish 및 load에 대한 자세한 방법은 아래 링크를 통해서 확인할 수 있다. torch.hub — PyTorch 1.12 documentation torch.hub Pytorch Hub is a pre-trained model repository designed to facilitate research reproducibility. Publishi..
2022.07.15
no image
torch.take vs torch.gather
torch.take는 input tensor들을 1차원으로 생각해서 처리한다. 따라서 batch 단위 tensor를 처리할 때는 torch.gather를 사용하는 것이 좋다. Returns a new tensor with the elements of input at the given indices. The input tensor is treated as if it were viewed as a 1-D tensor. The result takes the same shape as the indices. 다음 예시를 통해 torch.take와 torch.gather의 차이점을 확인할 수 있다. 예시는 batch 유저별 label과 negative sample(100개)의 logits을 구하기 위한 과정이다. ..
2022.05.31
no image
Hugging Face load_metric의 상관계수 측정 오류
from datasets import load_metricpearsonr= load_metric('pearsonr')spearmanr = load_metric('spearmanr')Hugging Face의 datasets 중 load_metric은 metric을 간단히 계산할 수 있도록 도와주는 유용한 함수이다. 하지만 현재(2022.03.29) load_metric을 활용해서 상관계수(pearsonr, spearmanr)를 계산할 경우, 잘못된 값을 얻을 수도 있으니 주의해야 한다. load_metric은 일반적으로 scipy.stats.pearsonr 처럼 미리 구현된 metric 함수에 예측 값과 Label 값을 전달하는 방식으로 값을 계산한다. 문제는 상관계수를 측정할 때, 유사도 예측 값과 La..
2022.03.29