Ollama installieren: KI-Modelle auf dem eigenen Server betreiben

Das erste Modell ausführen

So laden Sie ein Modell herunter und starten einen Chat:

ollama run llama3.2

Beim ersten Aufruf wird das Modell heruntergeladen; anschließend können Sie auf der Kommandozeile mit dem Modell sprechen. Zum Beenden geben Sie /bye ein. Häufig verwendete Befehle:

Die verfügbaren Modelle und ihre Größen finden Sie in der Modellbibliothek auf der Website von Ollama.

Modell und RAM wählen

Läuft das Modell auf dem Prozessor, wird es in den RAM des Servers geladen. Grob benötigen Sie so viel RAM, wie die Modelldatei groß ist, plus einige GB Reserve:

• Komprimierung (Quantisierung): Komprimierte Versionen der Modelle, etwa mit 4 Bit, brauchen deutlich weniger RAM und laufen schneller; der Qualitätsverlust ist für die meisten Anwendungen gering.
• Geschwindigkeit: Auf dem Prozessor hängt die Antwortgeschwindigkeit von der Zahl der Kerne, der Speichergeschwindigkeit und der Modellgröße ab. Beginnen Sie mit einem kleinen Modell und steigern Sie die Größe nach Bedarf.
• Lizenz: Jedes Modell hat seine eigene Lizenz; prüfen Sie sie vor einer kommerziellen Nutzung.

Nutzung über die API

Ollama stellt eine HTTP-API bereit, damit sich Ihre Anwendungen mit dem Modell verbinden können:

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Warum sollte ich ein Backup meines Servers machen?",
  "stream": false
}'

Für Anfragen im Chat-Stil wird die Adresse /api/chat verwendet. Zusätzlich bietet Ollama eine OpenAI-kompatible API (/v1/chat/completions); Anwendungen, die OpenAI-Client-Bibliotheken nutzen, verbinden Sie mit Ollama, indem Sie einfach die Adresse ändern.

Weboberfläche mit Open WebUI

Um die Modelle im Browser über eine Chat-Oberfläche zu nutzen, können Sie das Open-Source-Projekt Open WebUI mit Docker installieren:

docker run -d -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Da der Port nur an die Adresse 127.0.0.1 gebunden ist, wird die Oberfläche nicht ins Internet geöffnet. Die Installation von Docker und die Sicherheit von Ports erklären wir in unserer Anleitung Docker installieren.

Sicherer Zugriff

Die API von Ollama hat keine Authentifizierung. Öffnen Sie Port 11434 ins Internet, kann jeder, der ihn findet, die Ressourcen Ihres Servers nutzen. Stattdessen:

• SSH Tunnel: Greifen Sie von Ihrem eigenen Computer sicher auf die API oder auf Open WebUI zu:

  ssh -L 3000:127.0.0.1:3000 -L 11434:127.0.0.1:11434 benutzer@203.0.113.10
  

  
  Öffnen Sie anschließend im Browser die Adresse http://127.0.0.1:3000. Details finden Sie in unserem Artikel Was ist ein SSH Tunnel?.
• Reverse Proxy: Wenn Sie Open WebUI über eine Domain für Ihr Team freigeben, setzen Sie Nginx mit SSL davor und nutzen Sie die eigenen Benutzerkonten von Open WebUI. Details finden Sie in unserer Anleitung Nginx installieren.

Müssen Sie die Lauschadresse von Ollama ändern, können Sie die Umgebungsvariable OLLAMA_HOST im systemd-Dienst setzen; stellen Sie die Adresse jedoch auf 0.0.0.0, öffnen Sie den Port in der Firewall nur für Adressen, denen Sie vertrauen.

CPU-Auslastung und Performance

Während das Modell eine Antwort erzeugt, lastet es alle Kerne des Prozessors stark aus. Für einen Assistenten, den einige Personen gelegentlich nutzen, ist das kein Problem, eine dauerhafte und intensive Nutzung ist jedoch etwas anderes:

• Begrenzen Sie gleichzeitige Anfragen. Viele Anfragen zur selben Zeit verlangsamen alle Anfragen.
• Halten Sie Modelle nicht länger als nötig im Speicher. Ollama entfernt ungenutzte Modelle nach einer gewissen Zeit aus dem Speicher; diese Zeit lässt sich einstellen.
• Überwachen Sie die Ressourcennutzung. Wie Sie CPU- und Speichernutzung im Blick behalten, erklären wir in unserer Anleitung Server Monitoring.

Auf virtuellen Servern unterliegt die CPU-Nutzung den Fair-Use-Regeln des Anbieters. Für KI-Workloads, die den ganzen Tag ununterbrochen eine hohe CPU-Auslastung erfordern, ist ein dedizierter Server, dessen Hardware Ihnen vollständig zur Verfügung steht, besser geeignet.

Ollama bei Nodesty

Mit den Optionen mit viel RAM der Pakete AMD EPYC 7763 vServer von Nodesty halten Sie Modelle mit 7–8 Milliarden Parametern problemlos im Speicher. Auf virtuellen Servern muss die durchschnittliche CPU-Auslastung gemäß unserer Fair-Use-Richtlinie unter 75 % bleiben; wenn Sie das Modell den ganzen Tag intensiv betreiben, wählen Sie unsere dedizierten Server, deren Prozessor Sie rund um die Uhr zu 100 % auslasten können.