Strix Halo / Ollama / OWUI / Ubuntu: minimales Setup

[DerSchalker92]

Hallo zusammen,
ich wollte kurz meine Erfahrungen ins Internet schießen, wie ich auf meinen Strix-Halo-Rechner (Ubuntu) Ollama mit Open-Web-UI läuft. Wichtig war bzw. ist mir, dass es nicht um den potentiell besten Weg geht, sondern um eine leicht und schnell einzurichtende Variante ohne "Gefrickel" (also keine PPAs etc.).

1. Software

Ich habe ganz normal Ubuntu 26.04 installiert, es soll aber bei Release auf 26.10 geupdatet werden. Open-Web-UI läuft als Docker-Container, Ollama habe ich mit dem Skript auf deren Webseite installiert. Die Umgebungsvariablen auf
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_FLASH_ATTENTION=1"
#Environment="OLLAMA_VULKAN=1"
#Environment="GGML_VK_VISIBLE_DEVICES=0"
Environment="OLLAMA_CONTEXT_LENGTH=64000"
gesetzt.

2. Vulkan oder ROCm

Ich habe viel gelesen und auch Benchmarks verglichen. Anscheinend ist in einigen Bereichen ROCm schneller, aber wenn beiläufig von einer geringeren Stabilität gesprochen wird, dann ist das auch wirklich so gemeint. Ich hatte mit ROCm etliche Probleme, es war (mit meiner OS/Software-Kombination) im Prinzip nicht lauffähig. Tools gingen auf einmal nicht mehr, Modelle wurden extrem langsam, es gab keinen Output mehr, ich hatte anstatt Output nur <unused49> im Chat stehen. Der Speicher lief voll und wurde nicht gereinigt, Modelle meldeten einen vollen Speicher etc. Es war wirklich nicht schön. Daher ganz klar meine Empfehlung: Unter Ubuntu, mit der entsprechenden Kernel-Version und ohne PPAs etc. ist Vulkan Pflicht.

 

[Sandro_Suchti]

Unsloth + GGUF, einfacher geht's nicht.

 

[barrrrt]

Hier ein Auszug aus meinem compose file:

services:
  ollama:
    image: ${OLLAMA_IMAGE:-ollama/ollama:rocm}
    container_name: ${OLLAMA_CONTAINER_NAME:-ollama-strix}
    restart: unless-stopped
    stdin_open: true
    tty: true
    devices:
      - /dev/dri:/dev/dri
      - /dev/kfd:/dev/kfd
    group_add:
      - video
    security_opt:
      - seccomp:unconfined
    ipc: host
    environment:
      - TZ=${TZ:-Europe/Berlin}
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_MODELS=/models
      - OLLAMA_FLASH_ATTENTION=${OLLAMA_FLASH_ATTENTION:-1}
      - OLLAMA_MAX_LOADED_MODELS=${OLLAMA_MAX_LOADED_MODELS:-2}
      - OLLAMA_KEEP_ALIVE=${OLLAMA_KEEP_ALIVE:--1}
      - OLLAMA_IGPU_ENABLE=${OLLAMA_IGPU_ENABLE:-1}
      - HUGGINGFACE_HUB_TOKEN=${HUGGINGFACE_HUB_TOKEN:-}
    volumes:
      - ${PATH_MODELS:-/mnt/user/llm_models/ollama/models}:/models
      - ${PATH_APPDATA_OLLAMA:-/mnt/fastpool/appdata/ollama}:/root/.ollama
    ports:

Ich nutze unraid mit einem Minisforum N5 Pro Server…

Subjektiv läuft das mit ROCM sehr stabil.
Dazu nutze ich openwebui.

 

[DerSchalker92]

@barrrrt Kann ja gut am Docker-Image liegen, ich habe Ollama ja als Systemd-Dienst installierte. Werde die Docker-Variante bei Zeiten auch mal ausprobieren, jetzt bin ich erst Mal froh, dass es läuft.

 

[Der_Dicke82]

Ollama ja als Systemd-Dienst

Hast du denn dann überhaupt die pro Treiber von AMD installiert? Ich glaube das passiert nicht automatisch. Und dann wäre es verständlich, das ROCm nicht so funktioniert, wie gewünscht!

AMD unterstützt Vulkan ja sehr gut, aber ROCm sollte bei den neueren Architekturen eigentlich deutliche Vorteile haben.

 

[DerSchalker92]

@Der_Dicke82 Ich hatte das nachinstalliert und auch die Umgebungsvariablen so gesetzt, dass es über ROCm läuft und dass auch in den Logs gecheckt und zudem geschaut, ob die GPU-Auslastung ok ist. Ansonsten wäre es ja über die CPU ausgewichen, was ich definitiv gemerkt hätte, denn die T/s waren ok, wenn es denn lief.

Wenn ich wieder mehr Zeit habe, werde ich mir das Ganze auch noch anschauen, aber von der Fehlern war es wirklich nicht zu gebrauchen. Auf Reddit gab es auch zahlreiche Post, die von ähnlichen Problemen gesprochen haben, ganz alleine kann ich damit also nicht sein.