Kendi bilgisayarında dil modeli çalıştırmak: başlangıç rehberi

Bulut servislerine veri göndermeden, internetsiz ve ücretsiz bir dil modeli kullanmak mümkün. Kendi bilgisayarında model çalıştırmak için bilmen gerekenler şunlar.

Neden yerel model?

• Gizlilik: Şirket kodu ya da kişisel veriler bilgisayarından çıkmaz.
• Maliyet: Token başına ödeme yok.
• Deneme özgürlüğü: Farklı modelleri ve ayarları istediğin kadar dene.

Dezavantajı, en büyük bulut modelleri kadar yetenekli olmamaları ve donanım istemeleridir.

Donanım: asıl belirleyici bellek

Modelin parametre sayısı ve kuantizasyon seviyesi (ör. 4-bit) ne kadar bellek gerektiğini belirler. Kabaca:

• 4-bit kuantize bir modelde, her 1 milyar parametre için yaklaşık 0,6–0,7 GB bellek, üstüne bağlam (context) için ek pay.
• Yani 7–8B bir model rahatça ~6–8 GB VRAM'e sığar, 14B civarı ~10–12 GB ister.
• Ekran kartın yetmezse model sistem RAM'iyle de çalışır ama belirgin şekilde yavaşlar.
• Apple Silicon Mac'lerde birleşik bellek kullanıldığı için 16 GB+ bellekli makineler iyi sonuç verir.

En kolay başlangıç: Ollama

Ollama, model indirme ve çalıştırmayı tek komuta indiriyor. Windows, macOS ve Linux'ta çalışır.

# Kurulumdan sonra
ollama run <model-adı>

Model adlarını Ollama'nın kütüphane sayfasından seçebilirsin. Çalıştırdığında bir yerel API de açılır (http://localhost:11434), böylece kendi kodundan istek atabilirsin.

Grafik arayüz istersen LM Studio ya da Open WebUI gibi araçlar da var.

Model seçerken

• Boyut: Önce küçük (3–8B) bir modelle başla, donanımın kaldırıyorsa büyüt.
• Amaç: Kod için eğitilmiş modeller kodda, genel sohbet modelleri metinde daha iyi.
• Türkçe: Modellerin Türkçe performansı çok değişken. Kendi kullanım senaryonla birkaçını deneyip karşılaştır.
• Lisans: Ticari kullanım planlıyorsan modelin lisansını mutlaka oku.

Gerçekçi beklentiler

Yerel modeller özetleme, metin düzenleme, basit kod tamamlama ve belgelerinde arama gibi işlerde çok faydalı. Karmaşık akıl yürütme ve güncel bilgi gerektiren sorularda yanılma ihtimalleri daha yüksek; çıktıyı her zaman kontrol et.

Hangi donanımda hangi modeli çalıştırıyorsunuz? Saniyedeki token hızınızı paylaşırsanız başkaları için iyi bir referans olur.