카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

RTX A6000두장 NvLink로 연결해서 사용하시는 연구실 있으신가요?

2025.04.01

14

1874

이번에 딥러닝서버 구축을 해야하는데 A6000두장을 NvLink로 연결해서 견적을 짜볼까 생각중입니다.

RTX A6000 한장의 VRAM이 48GB인데 A6000 두장 연결해서 서버구축을 했을 경우, VRAM 96GB을 한번에 사용하는 모델을 실제로 돌릴수 있나요?

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 14개

2025.04.01

A6000 말고 A100 두 장을 NVLink Bridge 세 개를 사용해서 연결해서 쓰고 있습니다.

A6000도 NVLink slot이 있는 것으로 알고 함께 묶어서 사용할 수 있는 것으로 압니다.

대댓글 3개

2025.04.01

답변 감사합니다! A100 두장이면 160GB모델까지 돌릴수있는거군요.. 부럽습니다 ㅎㅎ..

2025.04.01

네.
지금은 단종된 DGX A100 서버는 NVLink 필요 없이 A100 4장? 8장까지 한꺼번에 사용할 수 있는 것르로 압니다. 4장이면 320GB까지 가능한 것이죠.

23년에 3억 정도 했는데 NFEC 심사 갔다가 왜 이렇게까지 필요하냐고 떨어뜨리더군요.

2025.04.01

참고로 Bridge 하나당 30만원 정도 합니다.

2025.04.01

누적 신고가 20개 이상인 사용자입니다.

A6000 ada로 꼭 구매하실... 그냥 A6000은 이제 너무 오래됐어요...

RTX Titan 블렉웰 나온다는 찌라시만 있는데 언제 나올지 모르겠네요 ㅠㅠ

대댓글 5개

2025.04.01

A빼고 씁니다. RTX 6000 Ada. 근데 RTX 6000 Ada는 NVLink가 안되요.

2025.04.01

누적 신고가 20개 이상인 사용자입니다.

아 그렇군요

저는 A6000이랑

RTX6000 ada 비교해서 써보는데

Ada가 1.5배 이상 체감나서... ada로 가는게 좋아보였는데 nvlink 없으면 애매하네요

다만 A6000이 너무 오래되긴했습니다... 새 라인이 빨리 좀 나와야할텐데

2025.04.01

GPU 8개 사용해서 돌릴 때 NVLink안돼도 A6000보다 6000 Ada가 빠르지 않을까요?

2025.04.01

누적 신고가 20개 이상인 사용자입니다.

큰 모델 한방에 넣고싶으신 것 같습니다

2025.04.01

큰 모델 넣어서 분산으로 돌릴때도 개별 GPU 성능이 워낙 좋으니 NVLINK없는 단점도 극복이 될 것 같아서요

2025.04.02

nvlink로 묶는다고 하나처럼 쓸수있는건 아니라서 fsdp나 deepspeed같은 텐서패러랠 라이브러리로 분산해주셔야 여러gpu에서 효율적으로 큰 모델 학습이 가능합니다.
그냥 transformers에서 device=auto로 로딩하시면 레이어별로 시퀀셜하게 처리되서 gpu1이 forward하는동안 gpu0은 놀게되요.
nvlink를 달면 gpu0에 있는 텐서를 t.to('cuda:1)했을 때, 원래 pci버스를 통해 전송해야해서 느리던 걸 p2p통신으로 좀 더 빠르게 해주는 겁니다.
만약 큰모델 안쓰고 ddp로 학습하시면 nvlink 안달아도 gradient accumulation step 좀 늘려주면 속도저하 덜하게 학습가능합니다.

대댓글 1개

2025.04.02

제대로 쓰시네요 전 torch는 아니지만

2025.04.02

a6000 너무 느림..

2025.04.02

A5000도 nvlink로 묶는거 가능할까요?

댓글쓰기

게시판 목록으로 돌아가기

김박사넷의 새로운 거인, 인공지능 김GPT가 추천하는 게시물로 더 멀리 바라보세요.