本地大模型微调/推理环境（ollama + open-webui + LLaMA-Factory） ✓ Verified

Metadata

install script ↓

Members (4)

# Linux（官方脚本；国内 GitHub 直连慢时改用下方手动路径）
curl -fsSL https://gh-proxy.com/https://github.com/ollama/ollama/releases/latest/download/install.sh | sh
# 或手动：下载 tar.zst 解压（需 tar --zstd 或 zstd 工具）
curl -sL -o /tmp/ollama.tar.zst https://gh-proxy.com/https://github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64.tar.zst
mkdir -p /tmp/ollama-bin && tar --zstd -xf /tmp/ollama.tar.zst -C /tmp/ollama-bin
/tmp/ollama-bin/bin/ollama --version   # 预期输出: ollama version 0.33.2

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
    -v open-webui:/app/backend/data --name open-webui --restart always \
    -e ENABLE_SIGNUP=true \
    -e RAG_EMBEDDING_ENGINE=ollama \
    -e RAG_EMBEDDING_MODEL=nomic-embed-text \
    ghcr.nju.edu.cn/open-webui/open-webui:main
# 国内镜像：直接写 ghcr.nju.edu.cn（2026-08-30 实测拉取成功，镜像 7.16GB）；官方 ghcr.io 慢时同前缀替换

pip install llamafactory --index-url https://pypi.tuna.tsinghua.edu.cn/simple
llamafactory-cli version   # 预期输出: LLaMA Factory 版本号（2026-08-30 实测 0.9.5）

ollama pull nomic-embed-text   # 274MB，官方 registry（实测约 45s）
curl -s localhost:11434/api/embed -d '{"model":"nomic-embed-text","input":["测试"]}'   # 预期输出: 768 维向量

Install order

1. 先 ollama（底座）——模型下载/运行/API 都靠它；装完 ollama --version 冒烟，ollama pull <模型> 验证模型源（国内网络在此步最容易卡）。
2. 再 open-webui（界面）——Docker 形态独立于 ollama 进程，通过 11434 端口连 ollama；先起 ollama 再起界面，界面才能自动发现模型。
3. 最后 LLaMA-Factory（微调）——可选重件；只在确定要微调时装，避免 torch 大依赖拖慢前两步。

每步的"为什么 + 命令 + 装好确认 + 卡住怎么办"见「逐步教学」。

Dependency warnings

• 版本：ollama >= 0.33.2（旧版 < 0.30 API/模型兼容性差）；open-webui >= 0.11.1（镜像 :main 跟随最新）；LLaMA-Factory >= 0.9.5（Python >= 3.10，PyTorch 2.x）；nomic-embed-text latest（274MB）。
• 环境：
• 显卡驱动：NVIDIA 驱动要新（ollama 自带 CUDA 运行时，但驱动版本决定可用性）；无 NVIDIA 卡 = CPU-only 推理（慢但能用）；AMD 卡走 ROCm 资产（ollama-linux-amd64-rocm.tar.zst，推断）；Apple Silicon 走 MPS（macOS 原生支持）。
• 内存：建议 >= 16GB；Q4 量化模型约占用参数量一半内存（7B 模型 ≈ 4-5GB + KV cache）；embedding 模型极小（0.3GB 内，可忽略）。
• 磁盘：模型文件 4-70GB（7B Q4 ≈ 4.5GB，70B Q4 ≈ 40GB+）；装前 df -h 确认，模型目录可用 OLLAMA_MODELS 改到大盘。
• 端口：ollama 默认 11434（OLLAMA_HOST 可改）；open-webui 宿主映射 3000（容器内 8080）；冲突时改映射。
• 系统差异：Linux（install.sh/tar.zst）、Windows（官方安装器，建议 WSL2）、macOS（dmg）。
• 冲突：三件套为泛计算机组合（非插件域收录条目），相互间无写面重叠（ollama 写 ~/.ollama/、open-webui 写 Docker volume、LLaMA-Factory 写项目目录/venv，推断 compatible，未实测）；与插件域条目无矩阵对子（超出收录面），但都占用 GPU 时需错峰（推断）。
• 国内网络：①ollama 二进制下载走 gh-proxy（直连慢）；②模型拉取走 ollama registry（实测超时）——备选 ModelScope 下载 GGUF + ollama create 导入（实测通过）；③open-webui 镜像走 ghcr.nju.edu.cn（实测 7.16GB）；④embedding 模型 274MB 可走官方 registry（实测）或 ModelScope GGUF；⑤pip 一律清华镜像。最容易卡的三步 = 模型拉取、ghcr 镜像拉取、torch 大依赖。

Linked problems

• ollama-install-slow
• ollama-pull-timeout
• llm-training-loss-spike
• open-webui-ollama-connect

Evidence

Evidence details kept locally (2026-08-30)