Tanım
GPU (Graphics Processing Unit), binlerce küçük çekirdeğiyle aynı anda çok sayıda basit hesabı paralel yürüten işlemcidir. Başlangıçta görüntü işleme için tasarlanmıştır; bugün yapay zekâ modellerinin eğitimi ve çalıştırılması, 3B render ve bilimsel hesaplamada temel donanımdır.
GPU ile CPU farkı nedir?
CPU az sayıda güçlü çekirdekle karmaşık ve sıralı işleri hızlı yapar; GPU ise çok sayıda basit çekirdekle aynı işlemi büyük veri kümeleri üzerinde paralel uygular. Yapay zekâ modellerindeki matris çarpımları binlerce bağımsız hesaba bölünebildiği için GPU'da kat kat hızlı çalışır.
| Ölçüt | CPU | GPU |
|---|---|---|
| Çekirdek yapısı | Az ve güçlü | Çok sayıda ve basit |
| Güçlü olduğu iş | Mantık, dallanma, genel iş | Paralel sayısal hesap |
| Bellek | Sistem RAM'i | Kartın kendi belleği (VRAM) |
GPU sunucuda VRAM neden önemlidir?
GPU sunucuda VRAM (ekran kartı belleği), çalıştırılabilecek modelin büyüklüğünü doğrudan belirlediği için önemlidir. Bir büyük dil modelinin ağırlıkları ve çalışma verisi VRAM'e sığmazsa model ya hiç yüklenmez ya da sistem belleğine taşarak çok yavaşlar. Kuantizasyon (ör. 4-bit, 8-bit) ile model daha az VRAM'e sığdırılabilir, ancak bu bir miktar doğruluk kaybı getirebilir. Model seçmeden önce VRAM ihtiyacını hesaplamak, işlemci gücünden daha belirleyicidir.
GPU sunucu ne için kullanılır?
GPU sunucu; LLM çıkarımı (inference), model ince ayarı (fine-tuning), Stable Diffusion gibi görüntü üretimi, video kodlama ve 3B render için kullanılır. NVIDIA kartlarında yazılım ekosistemi CUDA üzerine kuruludur. Kavramın ayrıntıları için GPU sunucu nedir yazısına, GPU hızlandırmalı paketler için AI sunucu sayfasına bakabilirsiniz.