분류 전체보기1245 FSDP(Fully Sharded Data Paralle) 이란? FSDP는 다음과 같이 동작한다. FSDP Unit - Vertically SplittingSharding - Horiontally SplittingAll GatherReduce-Scatter 1. FSDP Unit - Verticall SplittingFSDP Unit은 모델을 쪼개는 단위로 예를 들면 Layer, Stage, 또는 Layer의 Group(nn.Module)이 될 수 있다. 예를 들어 다음과 같이 34개의 Unit으로 구성 가능하다. 이 그림에서 FSDP Unit0는 Layer0, Layer3로 Unit1은 Layer1, Layer2로, Unit2는 Layer4, Layer5로 구성된다. 2. Sharding - Horizontal SplittingFSDP Unit을 FlatParame.. 2024. 5. 1. Nvidia Triton 서버를 사용해 보자 0. References nvidia 의 triton server 소개 페이지 : https://developer.nvidia.com/ko-kr/nvidia-triton-inference-server triton server github: https://github.com/triton-inference-server/server python_backend github: https://github.com/triton-inference-server/python_backend huggingface pipeline 을 이용한 추론 예: https://www.inferless.com/learn/nvidia-triton-inference-inferless huggingface 배포 예: https://github.c.. 2023. 9. 6. [With Mini] 첫 구입 30% 할인 쿠폰으로 엑세서리 구입(2.28) 미니 구매시 엑세서리 30% 할인 쿠폰을 준다. 그런데 유효 기간이 있고 3개월이 유효 기간과 서비스 센터 방문으로만 구입이 가능하다. 23.2.28까지가 유효 기간이어서 반차를 내고 코오롱 서초 서비스 센터를 방문했다. 네이버 카페등을 보면 주로 많이 구입하는게 고무 매트, 숏 안테나 등인데, 원래는 고 프로 마운트를 생각했었다가 고 프로도 없는데 오버하는것 같아서 뭔가를 걸 수 있는 유니버셜 훅하고 베이스 마운트만 추가로 구매했다. 숏 안테나는 3.75만.. 그리도 돈 값어치는 하는 것 같다. (숏 안테나를 기본으로 장착해 줘야 하는거 아닌가..-_-) 2023. 3. 1. 뮤지컬 마틸다 (2023.2.17) 뮤지컬의 뮤자도 모르던..아재.. 어쩌다 보니 표가 생겨서 뮤지컬 마틸다를 보게 되었다. 뮤지컬을 잘 아는 사람이라면, 관람하는 일의 출연 배우들에 대해서 조사하고 본다고 하던데.. 아무 생각 없이 시간 되는 대로 예약하고 봤다. 최정원이 유명한 사람이라고 하던데, 배우 최정원을 생각하는 뮤린이.. 어린아이가 주인공이여서, 성인 입장에서는 재미가 없을것으로 생각했으나, 의외로 재미있었고 유쾌했다. 어둠 속에서 움직이는 무대 장치와, 소리, 빛 그리고 눈 앞에서 움직이는 사람들.. 말과 음악으로 전개되는 스토리와 과장된 몸짓들.. 어느새 현실로 돌아가야 할 시간이 된다. 나오면서.. 2시간 넘게 공연을 하는 어린 아이들이 정말 대단하다는 생각.. 2023. 2. 28. golang의 타입메소드/인터페이스/어써션/리플렉션에 대해 golang은 타입메소드, 인터페이스를 지원하며 타입과 관련된 어써션, 리플렉션을 지원한다. 타입메소드와 인터페이스는, golang이 지원해 주지 않는 개체지향 프로그래밍을 어느 정도 가능하게 해주며, 어써션과 리플렉션은 함수를 일반화하여 타입들을 사용하는데 도움을 준다. * 타입 메소드 타입 메소드는 특수한 수신자를 받는 함수이다. 이 함수는 다음과 같이 메소드 수신자를 함수 이름 앞에 기술해 준다. func (method receiver) funcName(parameters) returnValues 예를 들어 다음과 같이 struct type 과 해당 struct 필드를 조작하는 메소드를 생성할 수 있다. type IntNum struct { a int } func (r IntNum) add(b in.. 2023. 2. 12. [With Mini] 미니 컨버터블 세차하기 - 와이퍼 세차장 컨버터블을 사고 나서 부터 소프트탑 관리 차원에서 왠만하면 눈,비를 피해서 출퇴근을 한다. 어제도 적당히 눈치 보다 퇴근하는데, 눈이 조금씩 오더니 비를 많이 맞아서 세차를 하였다. 소프트탑은 Fabric이어서 가능한 마른 상태로 있는 것이 좋다. 그래서 비를 많이 맞으면 주차장에서 수건으로 간단히 물기를 흡수해 주는게 관리에 도움이 될듯 한다. 비 맞은 날 바로 주차장에서 간단히 소프트탑에서 물기를 제거해 주었다. 수건을 올려놓고 손바닥으로 가볍게 두두리면서 물기를 흡수해 주면 된다. 예전에 애용하던 실외 세차장은 폼건이 없어서, 폼건이 있고 시간제로 운영되는 세차장을 찾아보다가, 와이퍼 세차장들을 알게 되었다. 와이퍼 앱에서 예약가능하고 앱에서 이용 시간만큼 결제하고 해당 시간에 방문해서 이용하면 된.. 2023. 1. 7. 이전 1 2 3 4 ··· 208 다음
