AI2 FSDP(Fully Sharded Data Paralle) 이란? FSDP는 다음과 같이 동작한다. FSDP Unit - Vertically SplittingSharding - Horiontally SplittingAll GatherReduce-Scatter 1. FSDP Unit - Verticall SplittingFSDP Unit은 모델을 쪼개는 단위로 예를 들면 Layer, Stage, 또는 Layer의 Group(nn.Module)이 될 수 있다. 예를 들어 다음과 같이 34개의 Unit으로 구성 가능하다. 이 그림에서 FSDP Unit0는 Layer0, Layer3로 Unit1은 Layer1, Layer2로, Unit2는 Layer4, Layer5로 구성된다. 2. Sharding - Horizontal SplittingFSDP Unit을 FlatParame.. 2024. 5. 1. 유용한링크 nvidia install esxi 에서 GPU Passthrough : https://pagein.net/esxi-nvidia-vga-gpu-pass-through-%EC%84%A4%EC%A0%95-%EB%B0%8F-%EC%82%AC%EC%9A%A9/ esxi 패스스루가 사용/재부팅 요구시 처리 :https://www.risebong.co.kr/esxi-6-7-%ED%8C%A8%EC%8A%A4%EC%8A%A4%EB%A3%A8-%ED%9B%84-%EC%A0%95%EC%83%81-%EC%A0%81%EC%9A%A9%EB%90%98%EC%A7%80-%EC%95%8A%EC%9D%84-%EB%95%8C-%EB%AC%B4%ED%95%9C-%EC%9E%AC%EB%B6%80%ED%8C%85-%EC%9A%94/#page.. 2021. 10. 31. 이전 1 다음
