Tanım
LLM (Large Language Model, büyük dil modeli), çok büyük metin veri kümeleri üzerinde eğitilmiş, milyarlarca parametreli ve metni anlayıp üretebilen yapay zekâ modelidir. Soru yanıtlama, özetleme, çeviri ve kod yazma gibi işlerde kullanılır; kendi sunucunuzda çalıştırmak için genellikle GPU ve yeterli VRAM gerekir.
LLM nasıl çalışır?
LLM, metni token adı verilen küçük parçalara böler ve her adımda bir sonraki token'ın olasılığını tahmin ederek yanıt üretir. Modelin çoğu, transformer mimarisine dayanır; dikkat (attention) mekanizması sayesinde metindeki kelimeler arasındaki uzak ilişkileri de hesaba katar. Modelin “bilgisi”, eğitim sırasında öğrenilen parametrelerde (ağırlıklarda) saklıdır.
Modelin bir kerede dikkate alabildiği metin uzunluğuna bağlam penceresi (context window) denir. Bağlam penceresi büyüdükçe bellek ihtiyacı da artar.
LLM kendi sunucunuzda nasıl çalıştırılır?
LLM'i kendi sunucunuzda çalıştırmak, açık ağırlıklı bir modeli (Llama, Mistral, Qwen, Gemma gibi) indirip bir çıkarım (inference) motoruyla sunmak demektir. Yaygın araçlar şunlardır:
- Ollama: Tek komutla model indirip API olarak sunmak için kolay başlangıç
- llama.cpp: Kuantize GGUF modelleri CPU ya da GPU'da verimli çalıştırır
- vLLM: Çok kullanıcılı, yüksek verimli GPU çıkarımı için
Modelin boyutu ve kuantizasyon seviyesi gereken GPU belleğini belirler. Adım adım anlatım için LLM'i kendi sunucunuzda çalıştırma rehberine bakabilirsiniz.
Yerel LLM ne zaman mantıklıdır?
Yerel LLM; verinin kurum dışına çıkmaması gereken durumlarda, yoğun ve sürekli kullanımda API maliyetini öngörülebilir kılmak istendiğinde ve modeli kendi verinizle ince ayar yapmak istediğinizde mantıklıdır. Buna karşılık en büyük ticari modellerin kalitesine her zaman ulaşılamayabilir. Sunucu seçimi için LLM sunucusu kiralama sayfasına ve AI sunucu paketlerine bakabilirsiniz; CUDA uyumu da kurulumda dikkat edilmesi gereken konudur.