GPU Sunucu Nedir? Yapay Zekâ ve Görüntü İşleme İçin Rehber

GPU sunucu, ana işlemcinin (CPU) yanında bir ya da birden fazla grafik işlem birimi (GPU, Graphics Processing Unit) taşıyan ve paralel hesaplama gerektiren işleri bu kartlara devreden sunucudur. GPU sunucu nedir sorusunun asıl cevabı ise mimaride yatar: ekran kartı burada görüntü üretmez, aynı matematik işlemini binlerce veri parçası üzerinde aynı anda yapan bir hızlandırıcı (accelerator) olarak çalışır.

Büyük dil modelleri (LLM), görsel üreten difüzyon modelleri ve yoğun video işleme hatları ölçek büyüdükçe GPU’ya muhtaç hâle gelir. LIONFIN GPU’lu AI sunucu paketleri bu tür iş yükleri için sunulur; doğru yapılandırmayı seçmek içinse önce kartın neyi hızlandırdığını ve sizin işinizde hangi özelliğin belirleyici olduğunu bilmek gerekir.

GPU sunucu nedir, CPU’lu sunucudan farkı ne?

GPU sunucunun klasik sunucudan farkı, hesabı nasıl böldüğündedir: CPU az sayıda güçlü çekirdekle karmaşık ve sıralı işleri hızla bitirir, GPU ise binlerce sade çekirdekle aynı komutu çok büyük veri bloklarına aynı anda uygular. Yapay sinir ağlarının temel işlemi olan matris çarpımı tam da bu ikinci türden bir iştir.

GPU, işlemcinin yerini almaz. İşletim sistemini çalıştırmak, veriyi diskten okuyup hazırlamak ve kartlara iş dağıtmak hâlâ CPU’nun görevidir; veri PCIe hattı üzerinden kartın kendi belleğine taşınır, hesap orada yapılır. Bu yüzden bir GPU sunucunun performansı yalnız karta değil, kartı besleyen sisteme de bağlıdır.

GPU sunucular hangi işlerde kullanılır?

GPU sunucular, aynı hesabın milyonlarca kez tekrarlandığı iş yüklerinde kullanılır; en yaygın beş alan şunlardır:

• Dil modeli çıkarımı (inference): Sohbet botu, belge özetleme, kod asistanı ve kurum içi arama gibi uygulamalarda eğitilmiş modelin yanıt üretmesi. Uygulamalı kurulum için kendi sunucunuzda LLM çalıştırma rehberine bakabilirsiniz.
• Model eğitimi ve ince ayar (fine-tuning): Bir modeli sıfırdan eğitmek ya da hazır modeli kendi verinizle uyarlamak; en çok bellek ve işlem gücü isteyen iştir.
• Görüntü üretimi ve analizi: Difüzyon modelleriyle görsel üretimi, nesne tanıma, üretim hattında kalite kontrol, tıbbi görüntü analizi.
• Video kodlama ve render: Yayın ve arşiv videolarının donanım kodlayıcıyla dönüştürülmesi, 3B sahnelerin GPU destekli render motorlarıyla işlenmesi.
• Bilimsel ve mühendislik hesapları: Moleküler dinamik, akışkanlar mekaniği, risk simülasyonları ve büyük veri analitiği.

Bu işlerin ortak noktası paralel olmalarıdır. Sıralı mantıkla çalışan bir web sitesi ya da e-posta sunucusu GPU’dan fayda görmez; böyle yükler için klasik bir sunucu daha ekonomiktir.

GPU seçerken hangi teknik özellikler belirleyicidir?

Bir kartın iş yükünüze uygunluğunu en çok bellek kapasitesi ve bellek bant genişliği belirler; işlem birimleri ve kartlar arası bağlantı bunları izler:

• VRAM kapasitesi: Model ağırlıkları, ara sonuçlar ve önbellekler kartın belleğine sığmak zorundadır. Sığmayan model ya hata verir ya da sistem belleğine taşarak belirgin biçimde yavaşlar. Model boyutuna göre hesap yapay zekâ sunucusu seçimi yazısında tablo hâlinde yer alıyor.
• Bellek bant genişliği: Dil modelleri her yeni token için ağırlıkların neredeyse tamamını bellekten okur; tek kullanıcılı üretimde saniyedeki token sayısının kaba üst sınırı, bant genişliğinin model boyutuna bölünmesiyle bulunur. HBM bellekli veri merkezi kartlarında bu değer saniyede birkaç terabayta ulaşır.
• Tensor çekirdekleri: NVIDIA’nın Volta mimarisinden beri kartlara eklenen ve matris çarpımını özel olarak hızlandıran birimlerdir.
• Sayı biçimi desteği: Eğitimde FP16 ve BF16 standarttır; BF16 desteği Ampere nesliyle yaygınlaştı. FP8, Hopper ve Ada Lovelace mimarileriyle geldi. INT8 ve 4 bit niceleme (quantization) ise modeli küçülterek daha az bellekle çalıştırmayı sağlar.
• PCIe mi NVLink mi: Birden fazla GPU aynı modeli paylaştığında kartlar arası trafik PCIe ya da NVLink üzerinden akar. NVLink çok daha yüksek bant genişliği sunar ve büyük modeli kartlara bölerek eğitirken fark yaratır; güncel tüketici kartlarında bulunmaz.

İş yüküne göre hangi özellik öne çıkar?

Her iş yükünün darboğazı farklıdır; aşağıdaki tablo hangi işte hangi özelliğe öncelik vermeniz gerektiğini özetler:

Önce darboğazı belirleyin; bütçenin büyük kısmını o özelliğe ayırmak, en pahalı kartı seçmekten çoğu zaman daha verimli sonuç verir.

Veri merkezi kartı mı, tüketici kartı mı?

Kesintisiz ve çok kullanıcılı üretim yüklerinde veri merkezi kartları, geliştirme ve küçük ölçekli çıkarımda ise güçlü tüketici kartları mantıklıdır. Piyasadan bilinen örnekler:

Veri merkezi kartları sunucu kasasındaki hava akışıyla soğutulacak biçimde tasarlanır, genellikle ECC bellek taşır; A100 ve H100 gibi modeller MIG (Multi-Instance GPU) ile tek kartı yalıtılmış parçalara bölebilir. Tüketici kartları fiyatına göre yüksek performans verir; ancak belleği daha küçüktür, güncel nesillerinde NVLink yoktur ve sürücü lisans koşulları veri merkezi kullanımına kısıt getirebilir. Yeni nesiller çıktıkça bu tablo eskir; karşılaştırmayı üreticinin güncel teknik sayfasıyla yapın. LIONFIN’de hangi kartların sunulduğunu paket sayfasındaki güncel listeden görebilirsiniz.

GPU’nun çevresindeki donanım neden önemli?

Kartı besleyen işlemci, bellek, disk ve ağ yetersizse en güçlü GPU bile zamanının bir kısmını boşta bekleyerek geçirir. Dengeli bir yapılandırmada şu noktalara bakılır:

• İşlemci: Veri ön işleme, tokenizasyon ve kartlara iş dağıtımı CPU’da yapılır; GPU başına yeterli çekirdek ayrılmalıdır.
• Sistem belleği: Modeller çoğu zaman önce RAM’e okunur; pratik bir kural olarak sistem belleği en az toplam VRAM kadar, tercihen daha fazla olmalıdır.
• NVMe disk: Model dosyaları onlarca, büyük modellerde yüzlerce gigabayt tutar; eğitimde ara kayıtlar (checkpoint) da diske yazılır. Hızlı NVMe, yükleme ve kayıt sürelerini belirgin biçimde kısaltır.
• Ağ: Model indirmek, API trafiğine yanıt vermek ve birden fazla sunucuya yayılan eğitimde düğümler arası iletişim için yeterli bant genişliği gerekir.

Her yapay zekâ işi GPU gerektirmez. Ara sıra çalışan küçük bir model, nicelenmiş hâliyle güçlü bir VDS sunucu işlemcisinde de çalışabilir; yalnızca yanıt süresi uzar. Sürekli yük, çok kullanıcı ya da eğitim söz konusuysa GPU zorunlu hâle gelir. Kaynakların paylaşılıp paylaşılmadığını VPS mi dedicated mi karşılaştırmasındaki ölçütlerle tartabilir, sunucu hazır olduğunda CUDA kurulumu adımlarıyla başlayabilirsiniz.