GPU Kiralama: Yerel LLM İçin Kaç GB VRAM Gerekir?

GPU kiralama kararında en sık yapılan hata, ekran kartını modele göre değil isme göre seçmektir. Yerel bir büyük dil modeli (LLM) çalıştırmak istediğinizde belirleyici olan şey kartın oyun performansı değil, VRAM miktarıdır: model ekran kartı belleğine sığmazsa ya hiç açılmaz ya da sistem RAM'ine taşar ve saniyede birkaç kelimeye kadar yavaşlar. Bu rehberde bir modelin kaç GB VRAM istediğini kendiniz hesaplamayı, kuantizasyonun ve bağlam uzunluğunun bu hesaba etkisini, hangi iş için hangi sınıf kartın mantıklı olduğunu ve kiralık GPU sunucuda ilk kurulumu adım adım anlatıyoruz.

GPU kiralama öncesi bilmeniz gereken üç kavram

VRAM hesabı üç parçadan oluşur. Bunları ayrı ayrı anladığınızda, karşınıza çıkan her model için ihtiyacı birkaç dakikada tahmin edebilirsiniz.

• Parametre sayısı: Model adındaki "8B", "14B", "70B" ifadesi milyar cinsinden ağırlık sayısıdır. Belleğin en büyük kısmını bu ağırlıklar kaplar.
• Kuantizasyon (hassasiyet): Her ağırlığın kaç bitle saklandığıdır. FP16'da ağırlık başına 2 bayt, 8-bit'te 1 bayt, 4-bit'te yaklaşık 0,5 bayt gerekir. Aynı model, kuantizasyona göre dört kat farklı yer kaplayabilir.
• Bağlam ve KV cache: Modelin bir seferde "aklında tuttuğu" metin uzunluğudur. Her token için katman başına anahtar ve değer vektörleri saklanır; bağlam uzadıkça bu önbellek de büyür.

Bunlara ek olarak CUDA çalışma ortamı, çıkarım motorunun kendi tamponları ve aynı anda gelen istekler için birkaç yüz MB ile birkaç GB arası ek pay gerekir.

Yerel LLM için kaç GB VRAM gerekir? Pratik formül

Kaba ama işe yarayan formül şudur:

Gereken VRAM ≈ (Parametre sayısı × Ağırlık başına bayt) + KV cache + %10-20 ek pay

Örnek: 14B model, 4-bit (≈ 0,55 bayt/ağırlık)
  Ağırlıklar : 14 × 0,55 ≈ 7,7 GB
  KV cache   : 8K bağlam için ≈ 1,5 GB
  Ek pay     : ≈ 1 GB
  Toplam     : ≈ 10-11 GB  → 12 GB kart sınırda, 16 GB kart rahat

4-bit için 0,5 yerine 0,55-0,6 kullanmamızın nedeni, yaygın kuantizasyon biçimlerinin (örneğin GGUF içindeki Q4_K_M) bazı katmanları daha yüksek hassasiyette tutmasıdır. Gerçek dosya boyutu çoğunlukla bu aralığa düşer.

Model boyutuna göre yaklaşık VRAM tablosu

Aşağıdaki değerler yalnız ağırlıkları gösterir ve yaklaşık değerlerdir; mimariye göre küçük farklar olur. Son sütun, 4-8 bin tokenlik bağlamla rahat çalışma için önerilen kart belleğidir.

Bağlam uzunluğu (KV cache) hesabı

Uzun belge özetleme, kod tabanı üzerinde soru-cevap ya da RAG (belge arama + yanıt üretme) kullanacaksanız KV cache'i ayrıca hesaplamanız gerekir. Formül:

KV cache (bayt) = 2 × katman sayısı × KV başlık sayısı × başlık boyutu × bağlam (token) × bayt

Örnek: 8B sınıfı model (32 katman, 8 KV başlık, 128 boyut, FP16 = 2 bayt)
  Token başına : 2 × 32 × 8 × 128 × 2 = 131.072 bayt ≈ 128 KB
  8K bağlam    : ≈ 1 GB
  32K bağlam   : ≈ 4 GB
  128K bağlam  : ≈ 16 GB

Model bilgilerine (katman ve başlık sayısı) Hugging Face'teki config.json dosyasından bakabilirsiniz. Pratik sonuç şudur: 8B bir model 4-bit'te 5 GB yer kaplasa bile, 128 bin tokenlik bağlam açarsanız 16 GB'lık kart bile dolabilir. Çoğu çıkarım motoru KV cache'i 8-bit'e indirme seçeneği sunar; bu, bağlam belleğini kabaca yarıya düşürür.

Aynı anda birden fazla kullanıcıya hizmet veriyorsanız her eşzamanlı istek kendi KV cache'ini ister. Beş kullanıcıya 8 bin tokenlik bağlam veriyorsanız, yukarıdaki örnekte ağırlıklara ek olarak yaklaşık 5 GB daha ayırmalısınız.

Hangi iş için hangi sınıf ekran kartı?

GPU kiralama yaparken kartları VRAM sınıfına göre düşünmek seçimi kolaylaştırır:

Kart seçerken yalnız VRAM'e değil mimariye de bakın. Örneğin 24 GB belleğe sahip NVIDIA Tesla P40 gibi eski nesil veri merkezi kartları, büyük modeli belleğe sığdırma açısından cazip bir seçenektir ve llama.cpp tabanlı kuantize çıkarımda iş görür; ancak FP16 hesaplama gücü yeni nesil kartlara göre sınırlıdır ve bazı güncel çerçeveler eski mimarileri desteklemeyebilir. RTX 5090 gibi 32 GB GDDR7 belleğe sahip yeni nesil kartlar ise hem bellek bant genişliği hem token üretim hızı açısından belirgin şekilde öndedir. Kart bazında ayrıntılar için Tesla P40 sunucu kiralama rehberine ve RTX 5090 sunucu kiralama rehberine göz atabilirsiniz.

Hız neye bağlı?

Model VRAM'e sığdıktan sonra token üretim hızını büyük ölçüde bellek bant genişliği belirler; çünkü her token için ağırlıkların neredeyse tamamı bellekten okunur. Bu yüzden aynı VRAM'e sahip iki karttan bant genişliği yüksek olan, sohbet tarzı kullanımda daha akıcı hissettirir. Toplu işlemede (çok sayıda belgeyi aynı anda işlemek) ise hesaplama gücü de devreye girer.

GPU VDS mi, fiziksel GPU sunucu mu?

Ekran kartı kiralama seçeneklerinde iki ana yol vardır. Hangisinin size uygun olduğunu şu sorularla netleştirebilirsiniz:

• Yük sürekli mi? Günde birkaç saat deneme yapıyorsanız GPU VDS yeterlidir. 7/24 çalışan bir müşteri hizmetleri botu veya iç arama sistemi kuruyorsanız fiziksel sunucu daha öngörülebilir performans verir.
• Kaç kart gerekiyor? 70B sınıfı modeller ya da büyük ince ayar işleri için birden fazla GPU gerekir; bu genellikle fiziksel sunucu demektir.
• Sistem RAM'i ve disk ne kadar? Model dosyaları onlarca GB olabilir. Birkaç model saklayacaksanız NVMe disk alanı ve modelin kısmen RAM'e taşınması ihtimaline karşı yeterli sistem RAM'i (VRAM'in en az iki katı önerilir) planlayın.
• Donanım kontrolü gerekiyor mu? Sürücü sürümünü, CUDA sürümünü ve işletim sistemini tamamen kendiniz yönetmek istiyorsanız fiziksel sunucu esneklik sağlar.

GPU VDS'in nasıl çalıştığını GPU VDS nedir rehberinde ayrıntılı anlattık. Fiziksel tarafta RAID, uzaktan konsol ve trafik gibi noktalar için kiralık sunucu alırken dikkat edilecekler listesine bakabilirsiniz.

Kiralık GPU sunucuda ilk kurulum: adım adım

Aşağıdaki adımlar Ubuntu 24.04 LTS kurulu bir GPU sunucu için hazırlanmıştır. Amaç, kartın görüldüğünü doğrulamak, bir model indirip çalıştırmak ve gerçek VRAM tüketimini ölçmektir.

1. Ekran kartını ve sürücüyü doğrulayın

nvidia-smi
# Kart modeli, toplam/kullanılan bellek ve sürücü sürümü görünmeli.
# Komut bulunamazsa önerilen sürücüyü kurun:
sudo apt update
sudo ubuntu-drivers install
sudo reboot

2. Ollama ile hızlı başlangıç

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b        # varsayılan olarak 4-bit indirilir
# Başka bir terminalde:
ollama ps                      # modelin GPU'da mı CPU'da mı çalıştığını gösterir
nvidia-smi                     # gerçek VRAM kullanımını gösterir

ollama ps çıktısında "100% GPU" görmelisiniz. "CPU/GPU" şeklinde bölünmüş bir oran görüyorsanız model VRAM'e sığmamış ve bir kısmı sistem RAM'ine taşınmış demektir; daha küçük bir kuantizasyon veya daha kısa bağlam seçin.

3. llama.cpp ile ince kontrol

Bağlam uzunluğunu, GPU'ya yüklenen katman sayısını ve KV cache hassasiyetini kendiniz belirlemek istiyorsanız llama.cpp'nin sunucu bileşeni kullanışlıdır:

# -ngl 99 : tüm katmanları GPU'ya yükle
# -c 16384: 16K bağlam
./llama-server -m modeller/model-Q4_K_M.gguf -ngl 99 -c 16384 \
  --host 127.0.0.1 --port 8080

Model sığmıyorsa -ngl değerini düşürerek katmanların bir kısmını CPU'da bırakabilirsiniz; ancak her taşınan katman hızı düşürür.

4. Gerçek tüketimi ölçün ve not alın

nvidia-smi --query-gpu=memory.used,memory.total,utilization.gpu --format=csv -l 5

Tipik bir iş yükünü (örneğin uzun bir belgeyi özetletmek) çalıştırırken bu çıktıyı izleyin. Tepe kullanımın toplam VRAM'in %90'ını aşmaması, yük altında bellek yetersizliği hatası almamanız için iyi bir eşiktir.

Güvenlik: yerel LLM sunucusunu internete açmayın

Yerel model çalıştırmanın en büyük avantajlarından biri verinin sizin sunucunuzda kalmasıdır; bu avantaj, çıkarım servisini korumasız bırakırsanız ortadan kalkar.

• Ollama varsayılan olarak yalnız 127.0.0.1:11434 üzerinde dinler ve kimlik doğrulama içermez. OLLAMA_HOST=0.0.0.0 ile dışarı açmadan önce iki kez düşünün.
• Uzaktan erişim gerekiyorsa önüne kimlik doğrulamalı bir ters vekil (Nginx + temel kimlik doğrulama veya SSO) koyun ve HTTPS kullanın.
• Güvenlik duvarında yalnız kendi ofis IP'lerinize izin verin:

sudo ufw default deny incoming
sudo ufw allow 22/tcp
sudo ufw allow from 203.0.113.10 to any port 443 proto tcp
sudo ufw enable

• SSH için parola yerine anahtar kullanın, root girişini kapatın. Ayrıntılar için Linux sunucu güvenliği rehberine bakabilirsiniz.
• Model dosyalarını ve yapılandırmayı düzenli yedekleyin; büyük model dosyaları yeniden indirilebilir, ancak ince ayar ağırlıklarınız ve RAG veritabanınız indirilemez.

KVKK açısından yerel yapay zekâ sunucusu

Şirket içi belgeleri, müşteri yazışmalarını veya personel verilerini bir yapay zekâ modeline işlettiğinizde bu veriler kişisel veri içerebilir. Modeli kendi kiraladığınız, Türkiye lokasyonlu bir sunucuda çalıştırmak, verilerin üçüncü taraf bir yapay zekâ hizmetine ve yurt dışına aktarılmasını önleyerek riski azaltır. Ancak bu tek başına uyum anlamına gelmez: erişim yetkilendirmesi, işlem kayıtlarının tutulması, şifreleme, saklama süresi ve aydınlatma yükümlülükleri kurumun sorumluluğundadır. Sunucu, teknik tedbirlerin yalnız bir parçasıdır. Konunun genel çerçevesi için KVKK ve Türkiye lokasyon sunucu rehberimize göz atabilirsiniz. Bu bölüm genel bilgilendirme amaçlıdır, hukuki danışmanlık değildir.

VRAM hesabında sık yapılan beş hata

1. Yalnız model dosyasının boyutuna bakmak: İndirdiğiniz dosya 9 GB ise 10 GB'lık kart yeter sanılır. KV cache, çalışma ortamı ve eşzamanlı istekler eklenince ihtiyaç kolayca 12-13 GB'a çıkar.
2. Bağlamı en yükseğe açmak: Modelin desteklediği en uzun bağlamı varsayılan olarak açmak, gereksiz yere gigabaytlarca VRAM ayırır. İşinizin gerçekten kaç token gerektirdiğini ölçün ve bağlamı ona göre ayarlayın.
3. FP16'yı zorunlu sanmak: Çıkarım için çoğu durumda 8-bit veya iyi bir 4-bit kuantizasyon yeterlidir. FP16 ağırlıkları genellikle ince ayar ya da kalite karşılaştırması için gerekir.
4. Kısmi CPU taşmasını kabul edilebilir saymak: Katmanların küçük bir kısmının bile sistem RAM'inde kalması üretim hızını belirgin şekilde düşürür. Üretim ortamında modelin tamamen VRAM'de çalışmasını hedefleyin.
5. Görüntü ve ses modellerini unutmak: Aynı karta bir LLM'in yanında embedding, görüntü üretimi ya da ses tanıma modeli de yükleyecekseniz her birinin belleğini toplama ekleyin.

GPU kiralama kontrol listesi

Sipariş vermeden önce şu soruları yanıtlayın:

1. Kullanacağım en büyük model kaç parametreli ve hangi kuantizasyonda kabul edilebilir kalite veriyor?
2. İhtiyaç duyduğum bağlam uzunluğu ne kadar (sohbet için 4-8K, belge işleme için 32K ve üzeri)?
3. Aynı anda kaç kullanıcı veya istek olacak?
4. Formülle bulduğum toplam VRAM'in üzerine en az %15-20 pay bıraktım mı?
5. Kartın mimarisi kullanmak istediğim çerçeveyle (Ollama, llama.cpp, vLLM, PyTorch) uyumlu mu?
6. Sistem RAM'i ve NVMe disk alanı model dosyalarına ve olası RAM taşmasına yetiyor mu?
7. Yük sürekli mi? GPU VDS mi fiziksel GPU sunucu mu daha uygun?
8. Servis internete nasıl açılacak; kimlik doğrulama ve güvenlik duvarı kuralları hazır mı?
9. Verilerim kişisel veri içeriyor mu; lokasyon ve erişim kontrolü gereksinimlerimi karşılıyor mu?

Bu listeyi doldurduğunuzda hangi VRAM sınıfına ihtiyacınız olduğu büyük olasılıkla netleşecektir. Kararsız kaldığınız durumda önce bir alt sınıfta deneme yapıp gerçek tüketimi ölçmek, gereğinden büyük kart kiralamaktan daha mantıklıdır.

İlgili Rehberler

• GPU VDS nedir? Ekran kartlı sanal sunucu ne işe yarar?
• NVIDIA RTX 5060 Ti sunucu kiralama: AI inference rehberi
• Ubuntu sunucuda Docker Compose kurulum rehberi
• Kiralık sunucu paketleri
• Ubuntu VDS kiralama seçenekleri

Sık Sorulan Sorular