前言:

从openai的chatgpt出来后我就想本地搭建一个运行在自己服务器上的本地ai,但是在搭建前提,我也要和大家说本地搭建的模型,是不可能和网上那些比如豆包,chatgpt等等 一些ai相比的,毕竟我们个人的nas硬件性能在哪摆着呢。

在开始之前,请大家自备国际工具,部署的服务器必须可以流畅国际,听不懂你当我啥都没说。

教程:

搭建部分两部分一个是ollama,和openwebui,你可以理解为ollama是后端,openwebui是前端,提供图形界面。

搭建方式是docker compose,所以支持的系统都可以安装,硬件最好有一个nvidia的计算卡,或者显卡都可,我这里使用的是nVidia Tesla P4。

services:
#ollama
  ollama:
    image: ollama/ollama
    container_name: ollama
    runtime: nvidia
    restart: always
    volumes:
      - "/data/appdata/ollama:/root/.ollama" ###注意替换红色标注路径为本地路径
    environment:
      - "NVIDIA_DRIVER_CAPABILITIES=all"
      - "NVIDIA_VISIBLE_DEVICES=0"
#openwebui
  openwebui:
    image: open-webui/open-webui:main
    container_name: openwebui
    restart: always
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
    volumes:
      - "/data/appdata/openwebui:/app/backend/data"  ###注意替换红色标注路径为本地路径
    ports:
      - "8080:8080"  ###web访问端口,最好是修改一下8080的端口用的蛮多 大概率是会冲突。
### traefik反向代理,如果不需要,可以把整个labels全部删掉,如果需要请修改红色标注域名。
    labels:
      - "traefik.enable=true"
      - "traefik.http.routers.openwebui2.rule=Host(`ollama.xxxx.com`)"
      - "traefik.http.services.openwebui2.loadbalancer.server.port=8080"

这个是我用的compose,给大家一个参考。

使用ip:8080端口访问openwebui

创建后,系统会自动直接登录

模型地址:ollama 这里以我需要的llama3.2的模型为例。

回到主界面,新建一个聊天窗口

😳咳咳!还是不错的,做个简单的小翻译啥的还不错,如果你觉得每次新建窗口都要选择模型过于麻烦,你可以找一个相对于你比较满意的模型,设定为默认模型,下次在新开聊天窗口,就不需要在选择模型了。

结尾:

在选择模型的时候,请大家根据自己的显卡选择,不要选择过大的,否则会炸现存,以我的计算卡P4来说选择3B或者1B 就有很好的流畅度,当然肯定没有更大的好了。

发表回复

后才能评论