유니의 개발일지

LANISTR GitHub GitHub - google-research/lanistrContribute to google-research/lanistr development by creating an account on GitHub.github.com 저번 포스트에 이어 LANISTR에 대해 공부한 내용을 공유해보고자 합니다~!!논문 리뷰를 통해 LANISTR에 대해 공부하고 GitHub에 공유된 코드를 리뷰하면서 학습하고자 합니다.우선, LANISTR 설치를 해야합니다. Jupyter Lab이 깔려있다면, 새로운 노트북에서 설치 및 학습을 진행하면 됩니다.1. 환경 설정 및 LANISTR 설치1.1 Conda 환경 생성 및 활성화conda create -n lanistr python=3.8 -ycond..

LANISTR 논문 LANISTR는 언어, 이미지 및 정형 데이터를 동시에 학습할 수 있는 새로운 MultiModal 학습 프레임워크이다.Abstact언어, 이미지, 정형 데이터로부터 학습하기 위한 attention 매커니즘 기반 프레임워크인 LANISTR 제안.LANISTR의 주요 특징:마스킹 기반 훈련 :단일 모달 및 다중 모달 레벨 : 개별 데이터 유형(단일 모달) 뿐만 아니라 다양한 데이터 유형 (다중 모달)에서도 마스킹 기반 훈련을 적용유사성 기반 다중 모달 마스킹 손실 함수 : 일부 데이터 유형이 없는 대규모 다중 모달 데이터로부터 교차 모달 관계 학습 가능실제 데이터 셋에서의 성능 :MIMIC-IV(의료 데이터) & Amazon Product Review (소매 데이터)MIMIC-IV는 AU..