文章主题:

666AI工具大全,助力做AI时代先行者!

ChatGpt 以其强大的信息整合和对话能力惊艳了全球,在自然语言处理上面表现出了惊人的能力。不管用于文案撰写还是程序辅助开发都大大提高了我们的工作效率,但是其使用有一定的门槛,让我们大多数人都望而却步,今天我们利用ollama实现本地大模型的步骤,让我们轻松拥有自己的人工智能。Ollama作为一个轻量级的工具,可以帮助用户在本地运行这些大型语言模型,无需持续依赖云服务,既保护了数据隐私,又能减少网络延迟,提高响应速度。下面我们已虚拟机ubuntu系统为例开始使用Ollama部署自己的AI模型(windows 版本的下载对应的软件按照提示点击下一步安装)。

安装 Curl

$ sudo apt-get install curl

安装ollama https://ollama.com/

curl -fsSL https://ollama.com/install.sh | sh

安装完成 安装大模型:查看对应的大模型

https://ollama.com/library

里面有很多ollama支持的大模型,我们选择适合自己的大模型进行安装。

ollama run llama3

安装完成如看到 success 说明已安装成功,

接下来就可以进行提问了。

为了更好的体验我们接下来安装 WEB UI

安装 Open WebUI

网址:

https://docs.openwebui.com/getting-started/

首先我们安装Docker

curl -fsSL https://test.docker.com -o test-docker.sh sudo sh test-docker.sh

Docker安装WebUI

If Ollama is on your computer, use this command:

docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main

我们再输入:

sudo docker images

查看一下当前的容器,然后再输入我们要启动的容器:

docker run -d ghcr.io/open-webui/open-webui

浏览器运行

http://127.0.0.1:3000 or http://localhost:3000

根据提示我们用邮箱注册一个账号,登录后添加上面安装好的大模型即可进行对话了。

安装过程中遇到的坑 重要、很重要、非常重要

crul 安装报错

解决方法:

sudo snap remove curl sudo apt install curl

docker 命令报异常permission denied的解决方案

解决方法:

sudo groupadd docker #添加docker用户组 sudo gpasswd -a $USER docker #将当前用户加入到docker用户组中 newgrp docker #更新用户组docker

如果空间不足会提示 low disk space

查看磁盘空间

df -h

虚拟机括容

注意:括容后网络会无法使用

ip link //显示网卡信息 sudo dhclient ens33 //执行链接

配置ollama链接局域网无法远程访问:

#找到服务的单元文件: #/etc/systemd/system/目录下 sudo vi /etc/systemd/system/ollama.service #添加环境变量: [Service] Environment=“OLLAMA_HOST=0.0.0.0:11434” #如果已经有 Environment=“PATH=xxx:/root/bin” “OLLAMA_HOST=0.0.0.0:11434” #为了使更改生效,您需要重新加载systemd的配置。使用以下命令: sudo systemctl daemon-reload #最后,重启服务以应用更改: sudo systemctl restart ollama

AI时代,掌握AI大模型第一手资讯!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

扫码右边公众号,驾驭AI生产力!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注