LANISTR 코드 리뷰 (1)

LANISTR GitHub

GitHub - google-research/lanistr

 

저번 포스트에 이어 LANISTR에 대해 공부한 내용을 공유해보고자 합니다~!!
논문 리뷰를 통해 LANISTR에 대해 공부하고 GitHub에 공유된 코드를 리뷰하면서 학습하고자 합니다.

우선, LANISTR 설치를 해야합니다. Jupyter Lab이 깔려있다면, 새로운 노트북에서 설치 및 학습을 진행하면 됩니다.

1. 환경 설정 및 LANISTR 설치

1.1 Conda 환경 생성 및 활성화

conda create -n lanistr python=3.8 -y
conda activate lanistr

1.2 LANISTR 설치

• LANISTR의 GitHub 저장소에서 코드 다운로드 후 설치 진행

git clone https://github.com/google-research/lanistr.git
cd lanistr
pip install -e .

• 오류 발생…
• torch==1.11.0+cu113 버전이 현재 Conda 환경에서 설치할 수 없는 버전이기에 발생한 오류라고 한다..
• CUDA 11.3 버전에 맞는 PyTorch를 설치하는 Command Line을 작성했지만 똑같은 오류 발생;;

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch

⇒ 해결하기 위해 setup.py 파일을 수정하는 방법으로 차선책…

import setuptools

base_requires = [
    'omegaconf==2.3.0',
    'transformers==4.26.0',
    'torch==1.11.0',  #+cu113 수정 
    'torchmetrics==0.9.3',
    'torchvision==0.12.0', #+cu113 수정 
    'pytz==2021.3',
    'pandas==1.3.5',
    'scikit-learn==1.3.2',
]

setuptools.setup(
    name='lanistr',
    version='0.1.0',
    install_requires=base_requires,
    packages=setuptools.find_packages(),
    python_requires='>=3.8',
)

• 파일을 수정하고 다시 설치를 시도하니 설치가 잘 완료되었다..!!

 

2. 데이터셋 준비 및 테스트

저는 추천시스템과 관련하여 공부하고 싶어 데이터셋은 Amazon Product Review만 다운로드 받아 학습시켰습니다. MIMIC-IV 의료용 데이터도 있으니 관련 분야에 관심이 있으면 해당 데이터로 학습시켜도 좋을 것 같습니다~!!

2.1 Amazon Product Review 2018 데이터 다운로드

사전 학습 Pre-training

bash scripts/amazon_pretrain.sh

• ./lanistr 디렉토리에서 명령어를 실행하여 모델을 Office 카테고리에서 사전 학습 실시

미세 조정 Fine-tuning

• All_Beauty 카테고리에서 미세조정

bash scripts/amazon_finetune_beauty.sh

• AMAZON_FASHION 카테고리에서 미세조정

bash scripts/amazon_finetune_fashion.sh

2.2 평가 Evalution

• All_Beauty 카테고리 평가

bash scripts/amazon_eval_beauty.sh

• AMAZON_FASHION 카테고리 평가

bash scripts/amazon_eval_fashion.sh

 

다음 코드에서 조금 더 자세한 LANISTR 코드 리뷰를 해보겠습니다!!