카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

RTX A6000두장 NvLink로 연결해서 사용하시는 연구실 있으신가요?

2025.04.01

14

530

이번에 딥러닝서버 구축을 해야하는데 A6000두장을 NvLink로 연결해서 견적을 짜볼까 생각중입니다.

RTX A6000 한장의 VRAM이 48GB인데 A6000 두장 연결해서 서버구축을 했을 경우, VRAM 96GB을 한번에 사용하는 모델을 실제로 돌릴수 있나요?

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 14개

2025.04.01

A6000 말고 A100 두 장을 NVLink Bridge 세 개를 사용해서 연결해서 쓰고 있습니다.

A6000도 NVLink slot이 있는 것으로 알고 함께 묶어서 사용할 수 있는 것으로 압니다.

대댓글 3개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

2025.04.01

A6000 ada로 꼭 구매하실... 그냥 A6000은 이제 너무 오래됐어요...

RTX Titan 블렉웰 나온다는 찌라시만 있는데 언제 나올지 모르겠네요 ㅠㅠ

대댓글 5개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

2025.04.02

nvlink로 묶는다고 하나처럼 쓸수있는건 아니라서 fsdp나 deepspeed같은 텐서패러랠 라이브러리로 분산해주셔야 여러gpu에서 효율적으로 큰 모델 학습이 가능합니다.
그냥 transformers에서 device=auto로 로딩하시면 레이어별로 시퀀셜하게 처리되서 gpu1이 forward하는동안 gpu0은 놀게되요.
nvlink를 달면 gpu0에 있는 텐서를 t.to('cuda:1)했을 때, 원래 pci버스를 통해 전송해야해서 느리던 걸 p2p통신으로 좀 더 빠르게 해주는 겁니다.
만약 큰모델 안쓰고 ddp로 학습하시면 nvlink 안달아도 gradient accumulation step 좀 늘려주면 속도저하 덜하게 학습가능합니다.

대댓글 1개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

댓글쓰기

게시판 목록으로 돌아가기

아무개랩 게시판에서 핫한 인기글은?

아무개랩 게시판에서 최근 댓글이 많이 달린 글

🔥 시선집중 핫한 인기글

최근 댓글이 많이 달린 글