GPU Sunucu Kiralama: Yapay Zekâ ve LLM İçin AI Sunucu

GPU sunucu nedir, neden CPU sunucudan farklıdır?

GPU sunucu, binlerce küçük çekirdeğe sahip bir ekran kartıyla aynı anda çok sayıda basit hesabı paralel yapan sunucudur; yapay zekâ modellerinin temelindeki matris çarpımları bu paralelliğe çok uygundur. Bir CPU az sayıda güçlü çekirdekle sıralı işleri hızlı yapar; GPU ise aynı işlemi milyonlarca sayıya aynı anda uygular. Bu yüzden bir dil modelinin yanıt üretmesi ya da bir görüntü modelinin resim çizmesi GPU'da CPU'ya göre kat kat hızlıdır.

GPU'nun ikinci kritik bileşeni VRAM'dir, yani ekran kartının kendi belleği. Model ağırlıkları, ara hesaplar ve dil modellerinde bağlam önbelleği (KV cache) bu bellekte durmalıdır; model VRAM'e sığmazsa ya hiç çalışmaz ya da sistem belleğine taşarak dramatik biçimde yavaşlar. GPU seçiminde belirleyici olan çoğu zaman hesaplama gücünden önce VRAM miktarıdır.

Kavramların ayrıntısı için GPU ve CUDA sözlük maddelerine, genel bir tanıtım için GPU sunucu nedir yazısına bakabilirsiniz.

AI sunucu hangi işler için kullanılır?

AI sunucu, büyük dil modeli çalıştırmaktan 3D render'a kadar paralel hesaplama isteyen her iş yükü için kullanılır. En yaygın senaryolar şunlardır:

• LLM çıkarımı (inference): Llama, Qwen, Mistral, Gemma gibi açık ağırlıklı modelleri kendi sunucunuzda çalıştırıp şirket içi sohbet asistanı ya da API sunmak. Ayrıntı: LLM sunucusu kiralama.
• RAG uygulamaları: şirket belgelerini vektör veritabanına alıp modelin bu belgelerden yanıt üretmesini sağlamak.
• İnce ayar (fine-tuning): LoRA ya da QLoRA ile bir modeli kendi verinizle uyarlamak.
• Görüntü üretimi: Stable Diffusion, SDXL ve Flux modellerini ComfyUI ya da Automatic1111 arayüzüyle çalıştırmak.
• 3D render ve video: Blender Cycles (OptiX/CUDA), video kodlama (NVENC) ve efekt işleme; bkz. render sunucusu kiralama.
• Konuşma ve görüntü işleme: Whisper ile ses deşifresi, nesne tanıma ve OCR.

Hangi senaryonun hangi donanımı istediğini yapay zekâ sunucusu seçimi yazısı ayrıntılı olarak karşılaştırır.

Hangi ekran kartları kullanılıyor?

LIONFIN AI sunucularında NVIDIA'nın profesyonel iş istasyonu serisi olan RTX A serisi (Ampere mimarisi) ekran kartları kullanılır; hangi pakette hangi kartın ve ne kadar VRAM'in bulunduğu paket tablosunda yazar. Bu seri, oyun kartlarından farklı olarak veri merkezi ve iş istasyonu ortamında sürekli yük altında çalışmak üzere tasarlanmıştır.

Ampere mimarisinin yapay zekâ açısından önemli özellikleri şunlardır:

• Tensor çekirdekleri: FP16, BF16 ve TF32 hassasiyetinde matris işlemlerini hızlandırır; PyTorch bu çekirdekleri otomatik kullanır.
• RT çekirdekleri: Blender ve diğer render motorlarında ışın izlemeyi hızlandırır.
• NVENC/NVDEC: video kodlama ve çözmeyi ekran kartı üzerinde yapar.
• CUDA uyumluluğu: PyTorch, TensorFlow, JAX, vLLM ve llama.cpp gibi araçların tamamı tarafından desteklenir.

Ekran kartı size ayrılır; başka bir müşterinin iş yükü VRAM'inizi ya da hesaplama birimlerinizi paylaşmaz. Bu, özellikle uzun süren eğitim işlerinde süre tahminini güvenilir kılar.

Model için ne kadar VRAM gerekir?

Bir dil modelinin VRAM ihtiyacı, kabaca parametre sayısı ile parametre başına bayt sayısının çarpımı artı bağlam önbelleği için paydır. Hesap şöyle yapılır:

Örneğin 8 milyar parametreli bir model FP16'da yalnız ağırlıklar için yaklaşık 16 GB, 4-bit nicemlemede yaklaşık 5 GB ister. Buna bağlam önbelleği eklenir: bağlam penceresi ve eşzamanlı kullanıcı sayısı büyüdükçe KV cache birkaç gigabayttan çok daha fazlasına çıkabilir. Bu yüzden VRAM'i sınırına kadar hesaplamayın; yüzde 20–30 pay bırakın.

Görüntü modellerinde çözünürlük ve toplu üretim (batch) sayısı, ince ayarda ise yöntem belirleyicidir: tam ince ayar çıkarımın birkaç katı bellek isterken QLoRA bunu büyük ölçüde azaltır. Paketlerin VRAM değerleri paket tablosunda yer alır.

CUDA hazır imaj ne sağlar, yazılım yığını nasıl kurulur?

CUDA hazır imaj, NVIDIA sürücüsü ve CUDA araç takımı kurulu olarak teslim edilen işletim sistemi imajıdır; sunucuya bağlandığınızda nvidia-smi komutu ekran kartını görür ve PyTorch gibi kütüphaneleri doğrudan kurabilirsiniz. Sürücü sürümü ile CUDA sürümü arasındaki uyumsuzluk, GPU sunucularda en çok zaman kaybettiren sorundur; hazır imaj bu adımı atlamanızı sağlar.

nvidia-smi
python3 -m venv ~/ai && source ~/ai/bin/activate
pip install torch
python3 -c "import torch; print(torch.cuda.is_available())"

Son komut True döndürüyorsa yığın çalışıyor demektir. Sık kullanılan araçlar:

• Ollama ya da llama.cpp: tek komutla model indirip çalıştırma.
• vLLM: çok kullanıcılı, OpenAI uyumlu API sunucusu.
• Docker + NVIDIA Container Toolkit: ekran kartını konteynerlere açmak.

Sürücüyü kendiniz güncellemek ya da farklı bir CUDA sürümü kurmak isterseniz adımlar GPU sunucuda CUDA kurulumu makalesindedir.

Kendi sunucunuzda LLM çalıştırmanın avantajı nedir?

Kendi GPU sunucunuzda LLM çalıştırmanın temel avantajı, verinizin kontrolünün sizde kalmasıdır: istemler ve belgeler üçüncü taraf bir API sağlayıcısına gönderilmez. Kişisel veri işleyen, müşteri sözleşmeleri, sağlık ya da finans verisiyle çalışan kurumlar için bu, KVKK uyumunu ve gizlilik değerlendirmesini basitleştirir.

Diğer avantajlar şunlardır:

• Öngörülebilir maliyet: token başına ödeme yerine sabit aylık bedel; yoğun kullanımda fark büyür.
• Model özgürlüğü: açık ağırlıklı istediğiniz modeli, istediğiniz nicemleme ve ayarlarla çalıştırırsınız.
• Özelleştirme: kendi verinizle ince ayar yapılmış modeli yayına alabilirsiniz.
• Hız sınırı yok: API sağlayıcılarının istek kotası sizi bağlamaz.

Dezavantajı, model güncellemesi, güvenlik ve izlemenin sizin sorumluluğunuzda olmasıdır; ayrıca en büyük kapalı modellerin kalitesine her zaman ulaşılamaz. Kurulumu adım adım kendi sunucunuzda LLM çalıştırma makalesi anlatır; kavramın temeli için LLM maddesine bakın.

GPU sunucu mu, saatlik bulut GPU mu?

Sürekli ya da her gün kullanılan iş yükleri için aylık GPU sunucu, ara sıra yapılan kısa deneyler için saatlik bulut GPU genellikle daha ekonomiktir. Karar verirken şu ölçütlere bakın:

Bir API sunucusu, şirket içi sohbet asistanı ya da sürekli çalışan bir görüntü işleme hattı, ayın büyük bölümünde ekran kartını kullanır; bu durumda sabit bedelli sunucu hem maliyet hem de hazır bulunma açısından avantajlıdır. Saatlik modelde ise her oturumda ortamı yeniden kurmak, modeli yeniden indirmek ve veriyi taşımak gizli bir zaman maliyeti yaratır; sunucu kapatıldığında diskin silindiği hizmetlerde bu maliyet her seferinde tekrarlanır. Deneme aşamasındaysanız ve ekran kartını haftada birkaç saat kullanıyorsanız saatlik model mantıklı olabilir; ürün aşamasına geçtiğiniz anda sabit sunucu hem maliyet hem işletim kolaylığı açısından öne çıkar. Ayrıntılı karşılaştırma GPU sunucu mu bulut GPU mu sayfasındadır.

AI sunucunun ağ ve veri merkezi altyapısı nasıl?

AI sunucular, toplam 600 Gbit/s upstream kapasitesine sahip LIONFIN ağında ve soğuk koridor sıcaklığı 18–24 °C aralığında tutulan veri merkezi kabinlerinde çalışır. Ekran kartları yoğun yük altında ciddi ısı üretir; kararlı soğutma, kartın sıcaklık nedeniyle saat hızını düşürmesini (thermal throttling) önleyerek uzun eğitim işlerinde performansın sabit kalmasına yardım eder.

Geniş upstream kapasitesi, büyük model dosyalarını Hugging Face gibi depolardan indirirken ve veri setlerini sunucuya aktarırken zaman kazandırır; onlarca gigabaytlık ağırlık dosyaları yaygındır. Tüm trafik RouteFence firewall katmanından geçer ve hacimsel DDoS saldırıları ağ seviyesinde filtrelenir.

Altyapı 7/24 NOC ve SOC ekipleri tarafından izlenir; çalışma süresi hedefimiz %99,99'dur, bu bir hedeftir, garanti değildir. Uzun eğitim işlerinde, olası bir kesintide baştan başlamamak için düzenli ara kayıt (checkpoint) almayı alışkanlık hâline getirin.

Model API'nizi nasıl güvenli yayınlarsınız?

Bir model sunucusunu internete açarken en önemli kural, çıkarım portunu doğrudan açmamak ve önüne kimlik doğrulamalı bir ters vekil sunucu koymaktır. Ollama, vLLM ve ComfyUI gibi araçlar varsayılan olarak kimlik doğrulama içermez ya da sınırlı içerir; açık bırakılan bir uç nokta başkalarının ekran kartınızı ücretsiz kullanmasına yol açar.

1. Model servisini yalnız 127.0.0.1 üzerinde dinleyecek biçimde başlatın.
2. Önüne Nginx ya da Caddy koyup Let's Encrypt ile HTTPS etkinleştirin.
3. API anahtarı ya da temel kimlik doğrulama ekleyin; mümkünse erişimi belirli IP'lerle sınırlayın.
4. İstek boyutu ve hız sınırı tanımlayın; çok uzun istemler VRAM'i tüketebilir.
5. Güvenlik duvarında yalnız 22 ve 443 portlarını açık bırakın.

SSH erişimi için parola yerine anahtar kullanın ve UFW güvenlik duvarı kurallarını ilk gün uygulayın. Ağırlık dosyaları ve ince ayar sonuçları emeğinizin ürünüdür; bunların yedeğini sunucu dışında tutun.

GPU sunucu render ve video işlerinde nasıl kullanılır?

Render ve video işlerinde GPU sunucu, yerel iş istasyonunuzu meşgul etmeden uzun işleri veri merkezinde tamamlamanızı sağlar; sahneyi yükler, komut satırından render başlatır, sonucu indirirsiniz. Blender bu iş için başsız (arayüzsüz) çalışmayı destekler:

blender -b sahne.blend -E CYCLES -o //cikti/kare_#### -a -- --cycles-device OPTIX

Bu komut sahnenin tüm karelerini Cycles motoruyla, RTX kartın OptiX hızlandırmasını kullanarak işler. Dikkat edilmesi gerekenler:

• Sahne belleği: dokular ve geometri VRAM'e sığmalıdır; sığmayan sahnelerde doku çözünürlüğünü düşürmek ya da sahneyi katmanlara bölmek gerekir.
• Dosya aktarımı: büyük proje klasörlerini rsync ile aktarın; yalnız değişen dosyalar yeniden gönderilir.
• Video kodlama: FFmpeg'in h264_nvenc ve hevc_nvenc kodlayıcıları işlemciyi yormadan ekran kartında kodlama yapar.
• Uzun işler: SSH bağlantısı kopsa da işin sürmesi için tmux ya da screen içinde çalıştırın.

Render çiftliği gibi çok kartlı ihtiyaçlarınız için birden fazla sunucuyu aynı iş kuyruğuna bağlayabilirsiniz.

Model dosyalarını ve veri setlerini nasıl yedeklersiniz?

AI sunucusunda yedeklenmesi gereken asıl varlıklar indirilen modeller değil, sizin ürettiklerinizdir: ince ayar sonuçları (LoRA adaptörleri), eğitim ara kayıtları, temizlenmiş veri setleri, vektör veritabanı ve yapılandırma dosyaları. Açık ağırlıklı temel modeller gerektiğinde yeniden indirilebilir; ancak günlerce süren bir eğitimin çıktısı kaybolursa yeniden üretmek aynı süreyi ister.

• Eğitim betiğinizde belirli adımlarda ara kayıt alın ve son birkaç kaydı saklayın.
• Adaptörleri ve veri setlerini restic ya da rclone ile sunucu dışındaki bir depolamaya düzenli aktarın.
• Python ortamını requirements.txt ya da bir Dockerfile ile kayıt altına alın; aynı ortamı başka bir sunucuda dakikalar içinde kurarsınız.
• Vektör veritabanının kendi dışa aktarma aracını kullanın; çalışan veritabanı klasörünü kopyalamak tutarsız yedek üretebilir.

Bu düzen, ileride daha büyük VRAM'li bir pakete ya da başka bir sunucuya taşınmanızı da kolaylaştırır.

Doğru AI sunucu paketini nasıl seçersiniz?

AI sunucu paketini önce VRAM'e, sonra sistem belleği ve diske, en son işlemci çekirdeğine göre seçin. Sıralama şöyle işler:

1. VRAM: çalıştıracağınız en büyük modelin seçtiğiniz hassasiyetteki ağırlıkları + bağlam önbelleği + pay. Model sığmıyorsa diğer özelliklerin önemi kalmaz.
2. Sistem belleği: modeller diskten önce sistem belleğine yüklenir; veri ön işleme ve vektör veritabanı da burada çalışır. Sistem belleğinin VRAM'den az olmaması iyi bir kuraldır.
3. Disk: birkaç model sürümü, veri setleri, ara kayıtlar ve Docker imajları hızla yer kaplar; NVMe, büyük ağırlık dosyalarının yüklenme süresini kısaltır.
4. İşlemci: veri yükleme, tokenizasyon ve ön işleme için önemlidir, ancak çoğu senaryoda darboğaz değildir.

Paketlerin ekran kartı, VRAM, işlemci, bellek ve disk değerleri sayfadaki tabloda güncel olarak yer alır. Yalnız CPU ile çalışan küçük modeller ve gömme (embedding) servisleri için ekran kartı gerekmeyebilir; bu durumda VDS sunucu daha ekonomik bir seçenektir.