유니의 개발일지

LANISTR GitHub GitHub - google-research/lanistrContribute to google-research/lanistr development by creating an account on GitHub.github.com 저번 포스트에 이어 LANISTR에 대해 공부한 내용을 공유해보고자 합니다~!!논문 리뷰를 통해 LANISTR에 대해 공부하고 GitHub에 공유된 코드를 리뷰하면서 학습하고자 합니다.우선, LANISTR 설치를 해야합니다. Jupyter Lab이 깔려있다면, 새로운 노트북에서 설치 및 학습을 진행하면 됩니다.1. 환경 설정 및 LANISTR 설치1.1 Conda 환경 생성 및 활성화conda create -n lanistr python=3.8 -ycond..

LANISTR 논문 LANISTR는 언어, 이미지 및 정형 데이터를 동시에 학습할 수 있는 새로운 MultiModal 학습 프레임워크이다.Abstact언어, 이미지, 정형 데이터로부터 학습하기 위한 attention 매커니즘 기반 프레임워크인 LANISTR 제안.LANISTR의 주요 특징:마스킹 기반 훈련 :단일 모달 및 다중 모달 레벨 : 개별 데이터 유형(단일 모달) 뿐만 아니라 다양한 데이터 유형 (다중 모달)에서도 마스킹 기반 훈련을 적용유사성 기반 다중 모달 마스킹 손실 함수 : 일부 데이터 유형이 없는 대규모 다중 모달 데이터로부터 교차 모달 관계 학습 가능실제 데이터 셋에서의 성능 :MIMIC-IV(의료 데이터) & Amazon Product Review (소매 데이터)MIMIC-IV는 AU..

What is Diffusion Model?Diffusion Model은 Normalizing Flows, GANS, 또는 VAEs와 같은 다른 생성 모델(이들은 모두 간단한 분포에서 노이즈를 데이터 샘플로 변환한다) 에 비해 그렇게 복잡하지 않다.Diffusion Model 또한 신경망이 순수한 노이즈에서 시작하여 점진적으로 데이터를 Denoising 하는 방법을 학습한다.이미지를 예로 들어 자세히 설명하면, Setting은 두 가지 과정으로 구성된다.고정된 forward diffusion process q : 이 과정은 우리가 선택한 방식으로 이미지를 점진적으로 가우시안 노이즈를 추가하여 순수 노이즈로 변환한다.학습된 역방향 denoising diffusion process 𝑝𝜃 : 이 과정에서는..

https://yooni-archive.tistory.com/64에 마지막 단계인 Step 6. Generatre Images 에 대한 내용을 이어서 적어보았다.Step 6. Generate ImagesOption 1 : Creating a pipeline :훈련된 모델을 사용하여 이미지를 생성하는 파이프라인을 설정하고, 그 파이프라인을 통해 이미지를 생성하는 작업을 수행한다.from diffusers import DDPMPipeline# 모델과 scheduler를 사용자가 설정할 수 있음 image_pipe = DDPMPipeline(unet=model, scheduler=noise_scheduler)pipeline_output = image_pipe()pipeline_output.images[0]이 ..

What are Diffusion Models?Diffusion Model 확산 모델은 상대적으로 최근에 '생성 모델'로 알려진 알고리즘 그룹에 추가되었다. "생성 모델"의 목표 : 여러 훈련 예제가 주어졌을 때 이미지나 오디오와 같은 데이터를 생성하는 방법을 배우는 것이다. '생성 모델' 의 목표 = 여러 훈련 예제가 주어졌을 때 이미지나 오디오와 같은 데이터를 생성하는 방법을 배우는 것 Diffusion Model의 Main Idea: Diffusion process의 반복적인(iterative) 특성생성은 랜덤 노이즈에 시작되지만, 출력 이미지가 나타나기 까지 여러 단계를 걸쳐 점진적으로 개선된다.각 단계에서, 모델은 우리가 현재 입력에서 완전히 denoise된 버전으로 어떻게 이동하는지를 추정 모..