Ollama Kurulumu: Kendi Sunucunuzda Yapay Zeka Modeli Çalıştırma

İlk modeli çalıştırma

Bir modeli indirip sohbet başlatmak için:

ollama run llama3.2

İlk çalıştırmada model indirilir; ardından komut satırında modelle konuşabilirsiniz. Çıkmak için /bye yazın. Sık kullanılan komutlar:

Kullanılabilir modelleri ve boyutlarını Ollama'nın sitesindeki model kütüphanesinde görebilirsiniz.

Model ve RAM seçimi

İşlemci üzerinde çalışırken model, sunucunun RAM'ine yüklenir. Kabaca modelin dosya boyutu kadar RAM'e ve üzerine birkaç GB paya ihtiyaç duyarsınız:

• Sıkıştırma (quantization): Modellerin 4 bit gibi sıkıştırılmış sürümleri çok daha az RAM kullanır ve daha hızlı çalışır; kalite kaybı çoğu kullanımda küçüktür.
• Hız: İşlemcide cevap hızı; çekirdek sayısına, bellek hızına ve model büyüklüğüne bağlıdır. Önce küçük bir modelle başlayıp ihtiyacınıza göre büyütün.
• Lisans: Her modelin kendi lisansı vardır; ticari kullanımdan önce kontrol edin.

API ile kullanma

Ollama, uygulamalarınızın modele bağlanabilmesi için bir HTTP API sunar:

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Bir sunucunun yedeğini neden almalıyım?",
  "stream": false
}'

Sohbet tarzı istekler için /api/chat adresi kullanılır. Ollama ayrıca OpenAI uyumlu bir API (/v1/chat/completions) de sunar; OpenAI istemci kütüphanelerini kullanan uygulamalarınızı adresi değiştirerek Ollama'ya bağlayabilirsiniz.

Open WebUI ile web arayüzü

Modelleri tarayıcıdan sohbet arayüzüyle kullanmak için açık kaynaklı Open WebUI'ı Docker ile kurabilirsiniz:

docker run -d -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Port yalnızca 127.0.0.1 adresine bağlandığı için arayüz internete açılmaz. Docker kurulumunu ve port güvenliğini Docker kurulumu rehberimizde anlattık.

Güvenli erişim

Ollama'nın API'sinde kimlik doğrulama yoktur. 11434 portunu internete açarsanız, bulan herkes sunucunuzun kaynaklarını kullanabilir. Bunun yerine:

• SSH tüneli: Kendi bilgisayarınızdan API'ye ya da Open WebUI'a güvenle erişin:

  ssh -L 3000:127.0.0.1:3000 -L 11434:127.0.0.1:11434 kullanici@203.0.113.10
  

  
  Ardından tarayıcıda http://127.0.0.1:3000 adresini açın. Ayrıntılar SSH tüneli nedir? yazımızda.
• Reverse proxy: Open WebUI'ı bir alan adıyla ekibinizin kullanımına açacaksanız, önüne Nginx ve SSL koyun; Open WebUI'ın kendi kullanıcı hesaplarını kullanın. Ayrıntılar Nginx kurulumu rehberimizde.

Ollama'nın dinleme adresini değiştirmeniz gerekirse OLLAMA_HOST ortam değişkenini systemd servisinde ayarlayabilirsiniz; ancak adresi 0.0.0.0 yaparsanız güvenlik duvarında portu yalnızca güvendiğiniz adreslere açın.

İşlemci kullanımı ve performans

Model cevap üretirken işlemcinin bütün çekirdeklerini yoğun şekilde kullanır. Birkaç kişinin ara sıra kullandığı bir asistan için bu sorun değildir, ama sürekli ve yoğun kullanım farklıdır:

• Eşzamanlı istekleri sınırlayın. Aynı anda çok sayıda istek, bütün istekleri yavaşlatır.
• Modelleri bellekte gereğinden uzun tutmayın. Ollama, kullanılmayan modelleri bir süre sonra bellekten çıkarır; bu süre ayarlanabilir.
• Kaynak kullanımını izleyin. İşlemci ve bellek kullanımını takip etmeyi Sunucu izleme rehberimizde anlattık.

Sanal sunucularda işlemci kullanımı sağlayıcının adil kullanım kurallarına tabidir. Gün boyu kesintisiz yüksek işlemci kullanımı gerektiren yapay zeka iş yükleri için donanımı tamamen size ayrılmış bir fiziksel sunucu daha uygundur.

Nodesty'de Ollama

Nodesty AMD EPYC 7763 VDS paketleri yüksek RAM seçenekleriyle 7–8 milyar parametreli modelleri bellekte rahatça tutmanızı sağlar. Sanal sunucularda ortalama işlemci kullanımının Adil Kullanım Politikamıza göre %75'in altında tutulması gerekir; modeli gün boyu yoğun şekilde çalıştıracaksanız işlemcisinin tamamını 7/24 %100 kapasiteyle kullanabileceğiniz fiziksel sunucularımızı tercih edin.