Yapay Zekâ Sunucusu Seçimi: VRAM, Model Boyutu ve Maliyet

Yapay zekâ sunucusu seçimi bir ekran kartı modelinden değil, çalıştıracağınız yapay zekâ modelinden başlar: modelin parametre sayısı ve kullanacağınız sayı hassasiyeti, kartta ne kadar bellek (VRAM) gerektiğini neredeyse tek başına belirler. İşlemci, disk ve kiralama modeli bu hesabın ardından gelir; ters sırayla yapılan seçim ya belleğe sığmayan bir modelle ya da boşta bekleyen pahalı bir donanımla sonuçlanır.

Aşağıdaki hesaplar, LIONFIN AI sunucu paketlerini ya da başka bir GPU altyapısını değerlendirirken kullanabileceğiniz kaba ama işe yarar başlangıç noktalarıdır. GPU’nun neyi hızlandırdığını önce okumak isterseniz GPU sunucu nedir yazısıyla başlayın.

Yapay zekâ sunucusu seçimine nereden başlanır?

Seçime iş yükünü tanımlayarak başlanır; aynı model yalnızca çıkarım (inference) için kullanıldığında, tam ince ayara göre kat kat az bellek ister. Donanım karşılaştırmadan önce şu dört soruyu yanıtlayın:

1. Ne yapacaksınız? Hazır modeli çalıştırmak, kendi verinizle uyarlamak ya da sıfırdan eğitmek; bellek ihtiyacı bu sırayla büyür.
2. Hangi model, hangi hassasiyet? Parametre sayısı (7B, 14B, 70B) ile FP16, 8 bit ya da 4 bit tercihi VRAM ihtiyacının ana kalemidir.
3. Kaç kullanıcı, ne kadar bağlam? Eşzamanlı istekler ve uzun belgeler, ağırlıkların üzerine ciddi bir bellek yükü ekler.
4. Ne sıklıkla? Günün çoğunda dolu çalışan bir servis ile haftada birkaç saatlik deneme, farklı kiralama modellerine işaret eder.

Kesin model henüz belli değilse hesabı en büyük aday model üzerinden yapın.

VRAM ihtiyacı nasıl hesaplanır?

Model ağırlıklarının kapladığı bellek, parametre sayısı ile parametre başına bayt sayısının çarpımına yaklaşık olarak eşittir:

Ağırlık belleği ≈ parametre sayısı × parametre başına bayt

FP16 / BF16      : 2 bayt    → 7B model ≈ 14 GB
8 bit (INT8/FP8) : 1 bayt    → 7B model ≈ 7 GB
4 bit            : ~0,5 bayt → 7B model ≈ 3,5 GB

Bu yalnızca ağırlıklardır; çalışan bir servisin toplam ihtiyacı üç kalemden oluşur:

• Ağırlıklar: 4 bit biçimler ölçek katsayılarını da sakladığı için pratikte parametre başına 0,5 bayttan biraz fazla yer tutar.
• KV önbelleği: Bağlam uzunluğu ve eşzamanlı istek sayısıyla büyür; bir sonraki bölümde ayrıca hesaplanıyor.
• Çalışma payı: CUDA bağlamı, ara hesaplar (aktivasyonlar) ve çerçevenin kendi tamponları.

Pratik bir kural olarak ağırlıkların üzerine en az %20 pay bırakın. Kartı yüzde yüze yakın doldurmak, yük anlarında bellek hatasına davetiye çıkarır.

Hangi model boyutu ne kadar VRAM ister?

Aşağıdaki değerler yalnızca model ağırlıklarını gösterir ve yaklaşıktır; KV önbelleği ile çalışma payı ayrıca eklenmelidir.

Tablo kart seçimini şöyle yönlendirir: 7–8B sınıfı bir model FP16’da 24 GB’lık tek kartta rahat çalışır. 32–34B sınıfı 4 bitle 24 GB’a sığar, ancak uzun bağlama pek yer kalmaz; 48 GB daha rahattır. 70B sınıfı 4 bitte bile 48 GB ya da birden fazla kart ister, FP16’da ise en az iki adet 80 GB’lık kart gerekir. Nicelemenin kaliteye etkisi modele ve göreve göre değiştiği için kararı kendi örneklerinizle yapacağınız kısa bir karşılaştırma testine dayandırın.

KV önbelleği ve bağlam uzunluğu belleği nasıl etkiler?

KV önbelleği, modelin önceki token’lar için hesapladığı anahtar (key) ve değer (value) vektörlerini sakladığı alandır; bağlam uzunluğu ve eşzamanlı istek sayısıyla doğrusal olarak büyür:

KV önbelleği (bayt) ≈ 2 × katman sayısı × KV başlık sayısı × başlık boyutu
                      × bağlam uzunluğu × eşzamanlı istek × eleman başına bayt

Örneğin 32 katmanlı, 8 KV başlığı ve 128 başlık boyutu kullanan 8B sınıfı bir modelde FP16 ile token başına yaklaşık 128 KB gerekir. 8.192 token’lık tek bir konuşma yaklaşık 1 GB, aynı uzunlukta on eşzamanlı konuşma yaklaşık 10 GB tutar; ağırlıkları 16 GB olan model bu senaryoda 24 GB’lık bir kartın sınırını aşar.

Bellek baskısını azaltmanın yolları: servisin kabul ettiği en uzun bağlamı ihtiyaca göre sınırlamak (vLLM’de --max-model-len gibi), KV önbelleğini 8 bit saklayabilen sunucu yazılımlarını kullanmak ve eşzamanlı istek sayısını ölçülen bellek kullanımına göre ayarlamak. Bu ayarların uygulamada nasıl yapıldığı kendi sunucunuzda LLM çalıştırma rehberinde yer alıyor.

İnce ayar (fine-tuning) için ne kadar bellek gerekir?

Tam ince ayar, çıkarımdan kat kat fazla bellek ister: Adam optimizasyonuyla karma hassasiyette eğitimde ağırlık, gradyan ve optimizasyon durumları için parametre başına yaklaşık 16 bayt gerekir. 7B bir model için bu, aktivasyonlar hariç yaklaşık 112 GB demektir ve birden fazla veri merkezi kartı ya da belleği kartlara bölen DeepSpeed ZeRO, FSDP gibi teknikler gerektirir.

LoRA ve QLoRA’da sığma durumu dizi uzunluğuna ve toplu iş (batch) boyutuna bağlıdır; gradyan kontrol noktalama (gradient checkpointing) aktivasyon belleğini azaltır. Çoğu kurum için anlamlı yol, sıfırdan eğitim yerine iyi bir açık modeli LoRA ya da QLoRA ile kendi verisine uyarlamaktır.

GPU dışında hangi donanıma bakmalı?

Ekran kartı doğru seçilse bile sistemin geri kalanı darboğaz yaratabilir; dört kaleme ayrıca bakın:

• Sistem RAM’i: En az kullanacağınız model dosyası kadar olmalıdır; model yüklenirken RAM’den geçer, katmanların bir kısmını işlemciye bırakan (offload) araçlar ise doğrudan RAM kullanır.
• NVMe disk: 70B sınıfı bir modelin FP16 dosyaları tek başına yaklaşık 140 GB tutar; birkaç model, farklı nicelemeler ve eğitim kayıtları (checkpoint) hızla yüzlerce gigabayta ulaşır.
• İşlemci: Tokenizasyon, veri hazırlığı ve API katmanı CPU’da çalışır; çoklu GPU sistemlerinde kart başına yeterli çekirdek ayrılmalıdır.
• Ağ: Model indirmek ve kullanıcılara düşük gecikmeyle yanıt vermek için yeterli bant genişliği gerekir.

Kurulumdan sonra kaynakları düzenli izleyin: GPU belleği ve kullanımı nvidia-smi ile, işlemci, RAM ve disk ise Linux sunucu performans izleme rehberindeki araçlarla takip edilir.

Saatlik GPU, aylık sunucu mu, hazır API mi?

Maliyet karşılaştırmasında belirleyici olan, GPU’nun gerçekten ne kadar süre çalıştığıdır; aynı iş yükü kullanım yoğunluğuna göre farklı modellerde ekonomik hâle gelir:

Veri gizliliği çoğu zaman maliyet kadar belirleyicidir. Kendi sunucunuzda çalışan model istemleri ve belgeleri sizin denetiminizde tutar; kişisel veri içeren içerikleri yurt dışındaki bir API’ye göndermek ise 6698 sayılı Kişisel Verilerin Korunması Kanunu’nun (KVKK) yurt dışına aktarım kurallarını gündeme getirir. Sunucunun hangi ülkede barındırıldığını sağlayıcınıza sorun, hukuki değerlendirmeyi uzmanınızla yapın. Satın alma ile kiralamanın toplam maliyeti için sunucu kiralama mı satın alma mı karşılaştırmasına, donanımın tamamını kendinize ayırmak istiyorsanız fiziksel sunucu seçeneğine bakabilirsiniz.