前言:
从openai的chatgpt出来后我就想本地搭建一个运行在自己服务器上的本地ai,但是在搭建前提,我也要和大家说本地搭建的模型,是不可能和网上那些比如豆包,chatgpt等等 一些ai相比的,毕竟我们个人的nas硬件性能在哪摆着呢。
在开始之前,请大家自备国际工具,部署的服务器必须可以流畅国际,听不懂你当我啥都没说。
教程:
搭建部分两部分一个是ollama,和openwebui,你可以理解为ollama是后端,openwebui是前端,提供图形界面。
搭建方式是docker compose,所以支持的系统都可以安装,硬件最好有一个nvidia的计算卡,或者显卡都可,我这里使用的是nVidia Tesla P4。
services: #ollama ollama: image: ollama/ollama container_name: ollama runtime: nvidia restart: always volumes: - "/data/appdata/ollama:/root/.ollama" ###注意替换红色标注路径为本地路径 environment: - "NVIDIA_DRIVER_CAPABILITIES=all" - "NVIDIA_VISIBLE_DEVICES=0" #openwebui openwebui: image: open-webui/open-webui:main container_name: openwebui restart: always environment: - "OLLAMA_BASE_URL=http://ollama:11434" volumes: - "/data/appdata/openwebui:/app/backend/data" ###注意替换红色标注路径为本地路径 ports: - "8080:8080" ###web访问端口,最好是修改一下8080的端口用的蛮多 大概率是会冲突。 ### traefik反向代理,如果不需要,可以把整个labels全部删掉,如果需要请修改红色标注域名。 labels: - "traefik.enable=true" - "traefik.http.routers.openwebui2.rule=Host(`ollama.xxxx.com`)" - "traefik.http.services.openwebui2.loadbalancer.server.port=8080"
这个是我用的compose,给大家一个参考。
使用ip:8080端口访问openwebui
模型地址:ollama 这里以我需要的llama3.2的模型为例。
😳咳咳!还是不错的,做个简单的小翻译啥的还不错,如果你觉得每次新建窗口都要选择模型过于麻烦,你可以找一个相对于你比较满意的模型,设定为默认模型,下次在新开聊天窗口,就不需要在选择模型了。
结尾:
在选择模型的时候,请大家根据自己的显卡选择,不要选择过大的,否则会炸现存,以我的计算卡P4来说选择3B或者1B 就有很好的流畅度,当然肯定没有更大的好了。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。