Worldwide (English) 
"İki ekran kartı, iki katı güç" kulağa doğal geliyor; ama GPU dünyasında bu denklem her zaman tutmaz. Çift kartlı bir sunucu bazı işlerde neredeyse tam iki kat hız verir, bazılarında hiçbir fark yaratmaz, bazılarında ise yalnızca belirli ayarlarla işe yarar. En yaygın yanılgı, iki kartın belleğinin kendiliğinden tek bir büyük bellek gibi toplandığına inanmaktır. Gerçekte her kartın VRAM'i ayrıdır ve toplamı kullanabilmek için yazılımın işi bilinçli olarak bölmesi gerekir. Bu rehberde çift kartlı bir GPU sunucunun hangi senaryolarda gerçekten kazandırdığını, hangilerinde gereksiz olduğunu ve tek büyük kartla ne zaman karşılaştırmanız gerektiğini somut örneklerle anlatıyoruz.
İki kartı kullanmanın dört ana yolu vardır ve hangisine ihtiyacınız olduğunu bilmek, doğru paketi seçmenin yarısıdır.
İki karta sahip olmak, 16 GB'lık iki kartı 32 GB'lık tek bir kart yapmaz. Her kartın belleği yalnızca kendi hesaplama birimine bağlıdır; bir uygulama iki kartın belleğine aynı anda erişmek isterse, bu işlemi veriyi iki kart arasında taşıyarak ve işi bölerek yapması gerekir. Bu taşıma, GeForce sınıfı yeni nesil kartlarda kartlar arası özel bir köprü olmadığı için PCIe veriyolu üzerinden gerçekleşir. PCIe, kartın kendi belleğinden çok daha yavaştır; dolayısıyla kartlar arasında çok veri dolaşan işlerde ölçekleme doğrusal olmaz.
Üstelik toplam bellek de tam toplanmaz: her kart, kendi CUDA bağlamı, ara tamponlar ve çalışma alanı için bir miktar belleği ayırır. İki kartlı bir düzende toplam kullanılabilir bellek, iki kartın nominal toplamından biraz küçüktür. Bu yüzden "16 artı 16, 32 eder" hesabı yerine "toplamın biraz altı" diye düşünmek gerçekçidir. Kartların birbirine nasıl bağlandığını görmek için nvidia-smi topo -m komutu bağlantı topolojisini gösterir.
Büyük dil modelleri çoğu zaman tek karta sığmadığı için iki karta bölmenin en yaygın nedeni budur. Bunu destekleyen araçlar vardır: Ollama, bir model tek karta sığmıyorsa genellikle katmanları mevcut kartlara kendisi dağıtır; llama.cpp tabanlı sunucular ve vLLM gibi motorlar bölme düzenini ayarlamanıza izin verir. Örnek olarak:
llama-server -m model.gguf -ngl 99 --tensor-split 1,1
vllm serve MODEL-ADI --tensor-parallel-size 2İlk komut, katmanları iki karta eşit paylaştırır; ikincisi aynı modelin hesabını iki karta paralel dağıtır. Hangi aracın nasıl bölme yaptığı sürüme göre değişir; bu yüzden kullandığınız aracın güncel belgesine bakın. Pratik hesap için bir model boyutu rehberi: 4 bit nicemlenmiş, yaklaşık 32 milyar parametreli bir model 20 GB civarında yer kaplar; yaklaşık 70 milyar parametreli bir model ise 40 GB civarına çıkar. Bu rakamlara bağlam (KV önbelleği) payını eklemelisiniz. VRAM hesabının ayrıntısı için yerel LLM için kaç GB VRAM gerekir rehberimize bakın.
| Yapılandırma | Toplam VRAM | Tipik uygun model sınıfı |
|---|---|---|
| Tek RTX 5060 Ti | 16 GB | Yaklaşık 14 milyar parametreye kadar, 4 bit |
| Dual RTX 5060 Ti | 2 x 16 GB | Yaklaşık 30 milyar parametre, daha uzun bağlamla; ya da iki ayrı iş |
| Tek RTX 5090 | 32 GB | Yaklaşık 32 milyar parametre, rahat bağlam payıyla |
| Dual RTX 5090 | 2 x 32 GB | Yaklaşık 70 milyar parametre, 4 bit, bağlam payıyla |
Bu tablodaki sınıflar kabaca bir yönlendirmedir; gerçek bellek kullanımı modele, nicemleme türüne ve bağlam uzunluğuna göre değişir. Dikkat edilecek nokta şudur: Dual RTX 5060 Ti ile tek RTX 5090'ın toplam belleği benzer görünse de, tek büyük kartta bölme yükü ve kartlar arası iletişim yoktur. Aynı model tek karta sığıyorsa tek büyük kart genellikle daha basit ve çoğu zaman daha hızlıdır.
İki kartın en az sürtünmeyle fayda sağladığı yol, işleri birbirinden ayırmaktır. Ortam değişkeni CUDA_VISIBLE_DEVICES, bir sürecin hangi kartı göreceğini belirler. Örneğin iki ayrı Ollama örneğini iki farklı karta ve iki farklı porta bağlayabilirsiniz:
CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST=127.0.0.1:11434 ollama serve
CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST=127.0.0.1:11435 ollama serveBöylece biri sohbet modeline, diğeri bir kod modeline hizmet edebilir; ya da aynı modelin iki kopyasını çalıştırıp bir yük dengeleyiciyle istekleri paylaştırabilirsiniz. İkinci yöntem, çok kullanıcılı bir ortamda yanıt süresini düşürür. İki servisi ayrı karta bağladığınız için biri yoğunlaştığında diğerinin belleği ve hesap gücü etkilenmez. Bu "yalıtım" avantajı, tek büyük karta karşı çift kartın belki de en değerli yanıdır: bir iş çökerse ya da belleği doldurursa öteki kart çalışmaya devam eder.
Çift kartlı GPU sunucuyu inceleyin
Dual RTX 5060 Ti ve Dual RTX 5090 paketleri iki fiziksel karta ve tam root erişimine sahiptir. İstanbul veri merkezinde, hızlı NVMe diskle.
GPU sunucu paketlerini inceleyinRender, çift kartın en temiz kazandığı iş türüdür. Bir animasyonun kareleri birbirinden bağımsızdır; yarısını bir karta, yarısını diğerine verirseniz süre yaklaşık yarıya iner ve kartlar arası iletişime hiç gerek kalmaz. Blender'da bunu iki komutla yaparsınız: CUDA_VISIBLE_DEVICES ile her sürece bir kart verip kare aralığını ikiye bölersiniz. İşlemci ağırlıklı render seçeneklerini Ryzen render sunucusu rehberimizde ayrıca anlattık. Tek bir karenin iki kartla birlikte render edilmesi ise sahneye ve ayarlara bağlıdır ve her zaman aynı kazancı sağlamaz. Yüksek çözünürlüklü, uzun animasyonlar ya da bir render çiftliğini küçük ölçekte kurmak isteyenler için çift kartlı paket doğal bir seçimdir.
Model eğitiminde iki kart kullanmanın en yaygın yolu, veri paralelliğidir: her kart modelin tam bir kopyasını tutar, farklı veri partilerini işler ve her adımda gradyanlar kartlar arasında eşitlenir. PyTorch'ta bu torchrun ile başlatılır:
torchrun --nproc_per_node=2 egitim.pyBurada her kartın modeli kendi belleğine sığdırması gerekir; veri paralelliği belleği toplamaz, yalnızca işlem hacmini artırır. Gradyan eşitleme PCIe üzerinden yapıldığı için, kartlar arası köprüsü olan sistemlere göre ölçekleme daha düşük olabilir. Pratikte iki kart eğitimi çoğu zaman belirgin biçimde hızlandırır ama iki kat hız beklememelisiniz; küçük modellerde ve büyük parti boyutlarında kazanç daha yüksektir. Kendi iş yükünüzde kazancı bir kısa denemeyle ölçmek en güvenilir yoldur.
Karar, işinizin yapısına bağlıdır. Tek bir büyük model çalıştıracaksanız ve o model tek karta sığıyorsa, tek büyük kart daha basittir: bölme yapılandırması yoktur, kartlar arası veri taşıma yoktur ve ayar daha az uğraş ister. Modeliniz tek karta sığmıyorsa ve sığdırmanın tek yolu bölmekse, çift kart bunun için vardır. İki ayrı iş, iki kopya servis ya da render gibi doğası gereği paralel işleriniz varsa çift kart, tek karta göre net bir avantaj sağlar. Bütçeyi de hesaba katın; ama önce iş yükünüzün hangi gruba girdiğine karar verin, çünkü yanlış gruba göre alınan bir donanım, iki kart olsa bile beklentiyi karşılamaz.
Emin değilseniz hazır bir tek kartlı paketle başlayıp iş yükünüzün gerçek davranışını ölçmek mantıklıdır. nvidia-smi ile bellek ve kullanım değerlerine bakın: bellek sınırdaysa ve model bölünmeden çalışmıyorsa, çift karta geçiş gerekçelidir. Bellek rahat ve kullanım yüksekse daha güçlü tek bir karta bakın. Rehberimiz RTX 5090 sunucu yazısında ve RTX 5060 Ti yazısında her kartın güçlü yönlerini ayrıca ele alır.
Aynı modelin iki kopyasını iki karta yüklediğinizde, kullanıcıların tek bir adrese bağlanmasını isteyebilirsiniz. Bunun için Nginx ya da HAProxy gibi bir ters vekil, gelen istekleri iki arka uç arasında sırayla ya da en az meşgul olana göre dağıtır. Böylece kullanıcılar tek bir adres görür, siz ise iki karttan da tam verim alırsınız. Bir kart bakım için durdurulduğunda diğeri hizmeti sürdürür; bu da kesintisiz bir deneyim sağlar. Sistem yapılandırmasını basit tutmak için arka uçları yalnızca yerel adreslere bağlayın ve dışarıya yalnızca ters vekili açın; üstüne kimlik doğrulama eklemeyi unutmayın.
Birincisi, iş yükünüz bölünebilir mi? Birbirinden bağımsız parçalara ayrılabilen işler (kareler, istekler, partiler) çift karttan en çok fayda görür. İkincisi, model tek karta sığıyor mu? Sığıyorsa çift kartın asıl faydası bellek değil, paralellik ve yalıtımdır. Üçüncüsü, kullandığınız yazılım çoklu GPU'yu destekliyor mu? Desteklemiyorsa ikinci kart boşta kalır. Bu üç sorunun cevabı, çift kartlı bir paketin sizin için gerçek bir yatırım mı yoksa gereksiz bir kapasite mi olduğunu çoğu zaman netleştirir.
nvidia-smi -q -d PERFORMANCE ile kısıtlama olup olmadığını izleyin. Genel performans sorunlarını ayıklamak için sunucu yavaşladı mı rehberimize bakın.nvidia-smi iki kartı ayrı satırlarda gösterir; birinin boşta kaldığını görürseniz işi yanlış yapılandırmış olabilirsiniz.Özel bir çoklu GPU yapılandırması mı arıyorsunuz?
Birden fazla sunucu, farklı kart kombinasyonu ya da uzun dönem sözleşme için teklif formunu doldurun.
GPU sunucu teklif formuna gidinİki ekran kartının VRAM'i toplanır mı?
Otomatik olarak tek bir bellek gibi toplanmaz. Her kartın belleği ayrıdır; yazılım modeli iki karta bölerse toplam kapasiteyi kullanabilirsiniz ama bölme yükü ve kartlar arası iletişim performansı etkiler.
Dual RTX 5090 ile 70 milyar parametreli model çalışır mı?
4 bit nicemlenmiş yaklaşık 70 milyar parametreli bir model yaklaşık 40 GB civarında yer kaplar. İki kartta toplam 64 GB VRAM olduğu için bağlam payıyla birlikte çalışması beklenir; ancak gerçek bellek kullanımı modele ve ayarlara göre değişir.
Dual RTX 5060 Ti tek bir RTX 5090'ın yerini tutar mı?
Toplam bellek benzer olsa da iki ayrı karttır. Tek büyük kart daha basit çalışır ve bölme yükü yoktur. İki kart ise iki bağımsız iş ya da iki kopya servis için esneklik sağlar.
Kartlar arasında NVLink var mı?
GeForce sınıfı yeni nesil kartlarda kartlar arası NVLink köprüsü bulunmaz; iletişim PCIe üzerinden olur. Bu yüzden kartlar arasında çok veri taşıyan iş yüklerinde ölçeklenme doğrusal olmayabilir.
Hangi iş yükleri iki karttan en çok fayda görür?
Birbirinden bağımsız çalışan işler en çok fayda görür: iki ayrı servis, render kareleri bölüşümü ya da aynı modelin iki kopyasıyla verimi artırmak. Büyük tek bir modeli bölmek de mümkündür ama daha fazla ayar ister.
İşletim sistemi iki kartı otomatik görür mü?
Evet. nvidia-smi iki kartı ayrı satırlarda listeler. Hangi işin hangi kartta çalışacağını CUDA_VISIBLE_DEVICES ortam değişkeniyle belirleyebilirsiniz.
Çift kartlı paketi nasıl sipariş ederim?
Hazır Dual RTX paketlerini GPU sunucu sayfasından sipariş edebilirsiniz. Daha farklı bir yapılandırma ya da birden fazla sunucu için sayfadaki teklif formunu kullanabilirsiniz.
