CUDA Kurulumu: Ubuntu GPU Sunucuda NVIDIA Sürücü ve Toolkit

CUDA kurulumu, NVIDIA ekran kartlı bir sunucuda kartı hesaplama için kullanılabilir hâle getiren yazılım katmanlarının kurulmasıdır: çekirdek sürücüsü, sürücüyle gelen CUDA kitaplığı ve gerektiğinde derleyiciyi içeren CUDA Toolkit. Sırayı doğru kurmak ve yalnızca gerçekten ihtiyaç duyulan parçaları yüklemek, sürüm çakışmalarının büyük bölümünü baştan önler.

Komutlar Ubuntu 24.04 LTS içindir; Debian’daki farklar ilgili yerde belirtilmiştir. LIONFIN GPU’lu AI sunucunuz hazır bir imajla teslim edildiyse işe başlamadan nvidia-smi komutunu çalıştırın; kart ve sürücü sürümü listeleniyorsa sürücü adımlarını atlayıp doğrudan toolkit ya da Docker bölümüne geçebilirsiniz.

CUDA kurulumu hangi parçalardan oluşur?

CUDA kurulumu üç katmandan oluşur ve her katman herkese gerekmez: sürücü her durumda, CUDA Toolkit yalnızca derleme yapanlara, ek kitaplıklar ise kullandığınız çerçevenin istediği ölçüde gerekir.

PyTorch’un pip ile kurulan Linux paketleri ihtiyaç duydukları CUDA çalışma kitaplıklarını kendileri getirir; bu nedenle yalnızca Python ile model eğiten ya da çalıştıran çoğu kullanıcı için sürücü tek başına yeterlidir. Uyulması gereken kural, sürücünün paketin derlendiği CUDA sürümünü desteklemesidir. Sürücü hazır olduğunda model çalıştırmak için kendi sunucunuzda LLM çalıştırma rehberine geçebilirsiniz.

Kuruluma başlamadan önce neleri kontrol etmelisiniz?

Kurulumdan önce kartın sistemde göründüğünü, paketlerin güncel olduğunu ve Secure Boot durumunu kontrol edin (mokutil yoksa sudo apt install mokutil ile kurulur):

lspci | grep -i nvidia
sudo apt update && sudo apt upgrade -y
mokutil --sb-state

lspci çıktısında kart görünmüyorsa sorun yazılımda değil, donanım ya da sanallaştırma katmanındadır; sanal sunucuda GPU’nun makineye atanıp atanmadığını sağlayıcınıza sorun. Güncelleme yeni bir çekirdek getirdiyse sürücüden önce sunucuyu yeniden başlatın; böylece sürücü modülü kullanacağınız çekirdekle eşleşir. mokutil “SecureBoot enabled” diyorsa son bölümdeki MOK adımına hazırlıklı olun; fiziksel sunucuda bu ayar BIOS/UEFI menüsünden de değiştirilebilir. Sunucunun temel güvenlik ayarlarını henüz yapmadıysanız önce VPS ilk kurulum adımlarını tamamlayın.

Ubuntu’da NVIDIA sürücüsü nasıl kurulur?

Ubuntu’da sürücü, dağıtımın test ettiği paketleri seçen ubuntu-drivers aracıyla kurulur; sunucularda hesaplama (GPGPU) için hazırlanan -server sürücü dalı tercih edilir.

1. Aracı kurun ve uygun sürücüleri listeleyin:

   sudo apt install -y ubuntu-drivers-common
   sudo ubuntu-drivers list --gpgpu

2. Önerilen sunucu sürücüsünü kurun; belirli bir dal istiyorsanız adını ekleyin (sürüm numarası örnektir, listede gördüğünüzü yazın):

   sudo ubuntu-drivers install --gpgpu
   # ya da: sudo ubuntu-drivers install --gpgpu nvidia:570-server

3. Sunucu sürücüsünde nvidia-smi ayrı bir pakettedir; kurulan sürücüyle aynı numarayı kullanın:

   sudo apt install -y nvidia-utils-570-server

4. Sunucuyu yeniden başlatın (sudo reboot) ve kartı doğrulayın:

   nvidia-smi

Çıktının üst satırındaki Driver Version kurulu sürücüyü, CUDA Version ise bu sürücünün desteklediği en yüksek CUDA sürümünü gösterir; sistemde CUDA Toolkit kurulu olduğu anlamına gelmez. Tabloda kartın adı, bellek kullanımı ve kartı kullanan süreçler listelenir. Masaüstü kurulumlarda sudo ubuntu-drivers install ekran sürücüsünü seçer. Debian’da ise depo kaynaklarına contrib, non-free ve non-free-firmware bileşenleri eklendikten sonra çekirdek başlık paketleriyle birlikte nvidia-driver paketi kurulur.

CUDA Toolkit ne zaman gerekir, nasıl kurulur?

CUDA Toolkit yalnızca CUDA kodu derleyecekseniz gerekir: kendi CUDA programlarınız, llama.cpp’nin CUDA destekli derlemesi ya da kurulurken derlenen Python uzantıları gibi. Güncel sürüm için NVIDIA’nın resmî deposunu ekleyip yalnızca toolkit paketini kurun (adresteki ubuntu2404 bölümü dağıtım sürümüne göre değişir):

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
sudo apt install -y cuda-toolkit

Bu depodaki cuda ve cuda-drivers paketleri NVIDIA’nın kendi sürücüsünü de kurar ve Ubuntu sürücüsüyle çakışabilir; sürücüyü ubuntu-drivers ile kurduysanız yalnızca cuda-toolkit paketini seçin. Toolkit /usr/local/cuda altına kurulur; derleyiciyi yola ekleyip doğrulayın:

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
nvcc --version

Sürümü daha eski olsa da daha kısa bir yol, Ubuntu deposundaki paketi kurmaktır: sudo apt install nvidia-cuda-toolkit. PyTorch kuruluysa GPU’nun görüldüğünü şu komutla test edin; True ve bir sürüm numarası görmelisiniz:

python3 -c "import torch; print(torch.cuda.is_available(), torch.version.cuda)"

Docker kapsayıcılarına GPU erişimi nasıl verilir?

Docker kapsayıcılarının GPU kullanabilmesi için ana makinede sürücünün yanında NVIDIA Container Toolkit kurulmalı ve Docker bu çalışma ortamını tanıyacak biçimde yapılandırılmalıdır; kapsayıcının içine sürücü kurulmaz. Docker henüz kurulu değilse Docker kurulumu rehberiyle başlayın, ardından NVIDIA’nın deposunu ekleyip paketi kurun:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update
sudo apt install -y nvidia-container-toolkit

Docker’ı yapılandırıp test edin:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
sudo docker run --rm --gpus all ubuntu nvidia-smi

Son komut kapsayıcının içinden ana makinedeki kartı listeliyorsa yapılandırma tamamdır. Docker Compose’da aynı erişim, servis tanımındaki deploy.resources.reservations.devices alanında driver: nvidia ve capabilities: [gpu] değerleriyle verilir.

Sık karşılaşılan CUDA hataları nasıl çözülür?

Sürücü sorunlarının çoğu birkaç tanıdık hata mesajıyla kendini gösterir:

Secure Boot açık bir makinede DKMS ile derlenen sürücü modülünün imzalanması gerekir: kurulum sırasında bir MOK parolası belirlenir, yeniden başlatmada açılan mavi MOK Manager ekranında Enroll MOK seçilip bu parola girilir. Ubuntu’nun Canonical tarafından imzalanmış hazır sürücü modülleri kullanıldığında bu adım çoğu zaman çıkmaz. MOK ekranı işletim sistemi açılmadan geldiği için SSH ile değil, uzaktan konsol erişimiyle tamamlanır; bu erişiminiz yoksa destek talebi açın. Yeniden başlatma öncesi kontroller için güvenli sunucu yeniden başlatma rehberine bakabilirsiniz.