搭建本地AI聊天机器人 ollama&openwebui

前言：

从openai的chatgpt出来后我就想本地搭建一个运行在自己服务器上的本地ai，但是在搭建前提，我也要和大家说本地搭建的模型，是不可能和网上那些比如豆包，chatgpt等等 一些ai相比的，毕竟我们个人的nas硬件性能在哪摆着呢。

在开始之前，请大家自备国际工具，部署的服务器必须可以流畅国际，听不懂你当我啥都没说。

教程：

搭建部分两部分一个是ollama，和openwebui，你可以理解为ollama是后端，openwebui是前端，提供图形界面。

搭建方式是docker compose，所以支持的系统都可以安装，硬件最好有一个nvidia的计算卡，或者显卡都可，我这里使用的是nVidia Tesla P4。

services:
#ollama
  ollama:
    image: ollama/ollama
    container_name: ollama
    runtime: nvidia
    restart: always
    volumes:
      - "/data/appdata/ollama:/root/.ollama" ###注意替换红色标注路径为本地路径
    environment:
      - "NVIDIA_DRIVER_CAPABILITIES=all"
      - "NVIDIA_VISIBLE_DEVICES=0"
#openwebui
  openwebui:
    image: open-webui/open-webui:main
    container_name: openwebui
    restart: always
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
    volumes:
      - "/data/appdata/openwebui:/app/backend/data"  ###注意替换红色标注路径为本地路径
    ports:
      - "8080:8080"  ###web访问端口，最好是修改一下8080的端口用的蛮多 大概率是会冲突。
### traefik反向代理，如果不需要，可以把整个labels全部删掉，如果需要请修改红色标注域名。
    labels:
      - "traefik.enable=true"
      - "traefik.http.routers.openwebui2.rule=Host(`ollama.xxxx.com`)"
      - "traefik.http.services.openwebui2.loadbalancer.server.port=8080"

这个是我用的compose,给大家一个参考。

使用ip：8080端口访问openwebui

创建后，系统会自动直接登录

模型地址：ollama 这里以我需要的llama3.2的模型为例。

回到主界面，新建一个聊天窗口

😳咳咳！还是不错的，做个简单的小翻译啥的还不错，如果你觉得每次新建窗口都要选择模型过于麻烦，你可以找一个相对于你比较满意的模型，设定为默认模型，下次在新开聊天窗口，就不需要在选择模型了。

结尾：

在选择模型的时候，请大家根据自己的显卡选择，不要选择过大的，否则会炸现存，以我的计算卡P4来说选择3B或者1B 就有很好的流畅度，当然肯定没有更大的好了。