文章主题:
ChatGpt 以其强大的信息整合和对话能力惊艳了全球,在自然语言处理上面表现出了惊人的能力。不管用于文案撰写还是程序辅助开发都大大提高了我们的工作效率,但是其使用有一定的门槛,让我们大多数人都望而却步,今天我们利用ollama实现本地大模型的步骤,让我们轻松拥有自己的人工智能。Ollama作为一个轻量级的工具,可以帮助用户在本地运行这些大型语言模型,无需持续依赖云服务,既保护了数据隐私,又能减少网络延迟,提高响应速度。下面我们已虚拟机ubuntu系统为例开始使用Ollama部署自己的AI模型(windows 版本的下载对应的软件按照提示点击下一步安装)。
安装 Curl
$ sudo apt-get install curl安装ollama https://ollama.com/
curl -fsSL https://ollama.com/install.sh | sh安装完成 安装大模型:查看对应的大模型
https://ollama.com/library
里面有很多ollama支持的大模型,我们选择适合自己的大模型进行安装。
ollama run llama3安装完成如看到 success 说明已安装成功,
接下来就可以进行提问了。
为了更好的体验我们接下来安装 WEB UI
安装 Open WebUI
网址:
https://docs.openwebui.com/getting-started/首先我们安装Docker
curl -fsSL https://test.docker.com -o test-docker.sh sudo sh test-docker.shDocker安装WebUI
If Ollama is on your computer, use this command:
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main我们再输入:
sudo docker images查看一下当前的容器,然后再输入我们要启动的容器:
docker run -d ghcr.io/open-webui/open-webui浏览器运行
http://127.0.0.1:3000 or http://localhost:3000
根据提示我们用邮箱注册一个账号,登录后添加上面安装好的大模型即可进行对话了。
安装过程中遇到的坑 重要、很重要、非常重要
crul 安装报错
解决方法:
sudo snap remove curl sudo apt install curldocker 命令报异常permission denied的解决方案
解决方法:
sudo groupadd docker #添加docker用户组 sudo gpasswd -a $USER docker #将当前用户加入到docker用户组中 newgrp docker #更新用户组docker如果空间不足会提示 low disk space
查看磁盘空间
df -h虚拟机括容
注意:括容后网络会无法使用
ip link //显示网卡信息 sudo dhclient ens33 //执行链接配置ollama链接局域网无法远程访问:
#找到服务的单元文件: #/etc/systemd/system/目录下 sudo vi /etc/systemd/system/ollama.service #添加环境变量: [Service] Environment=“OLLAMA_HOST=0.0.0.0:11434” #如果已经有 Environment=“PATH=xxx:/root/bin” “OLLAMA_HOST=0.0.0.0:11434” #为了使更改生效,您需要重新加载systemd的配置。使用以下命令: sudo systemctl daemon-reload #最后,重启服务以应用更改: sudo systemctl restart ollama
AI时代,掌握AI大模型第一手资讯!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
扫码右边公众号,驾驭AI生产力!