本地安装llama-3大模型，无需联网即可跟AI大模型聊天

Llama 3 模型简介

Llama 3是Meta AI开源的第三代Llama系列模型，其新的 8B 和 70B 参数 Llama 3 模型在Llama 2的基础上，实现了更大性能的提升。由于预训练和训练后的技术改进，其Llama 3模型是当今 8B 和 70B 参数规模的最佳模型。Llama 3模型的改进大大降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性。Llama 3模型在推理、代码生成和指令跟踪等功能也得到了极大的改善。而未来更大的4000亿参数大模型还在继续训练中。其Llama 3大模型可以直接在Meta AI官网直接使用，且支持无需注册登陆即可使用，简直是开箱即用。

虽然Llama 3是可以在Meta AI官网使用，但是很多小伙伴无法上官网使用，因此本地安装Llama 3模型也许是一个不错的选择。

ollama的安装

ollama是一个开源的第三方大语言模型使用插件，下载ollama后，可以很方便的使用Llama3，Phi-3等大语言开源模型。首先到ollama的官网，或者GitHub链接下载ollama进行安装，其ollama支持window版本，Mac版本，以及Linux版本，根据自己的电脑操作系统下载对应的安装包即可。

ollama安装完成后，并没有一个可视化的界面，其服务运行在后台，可以直接在cmd终端窗口中输入ollama run llama3来加载其llama-3模型。首次运行时，ollama会自动检测电脑上是否下载了llama-3模型，若没有相关模型，会自动下载。

ollama run llama3: 运行8B参数的模型，其模型约4.7G ollama run llama3:70b 运行70B的模型，其模型约40G

这里小编下载了4.7G的模型，然后在终端里面输入ollama run llama3即可。然后就可以跟llama-3模型愉快的聊天了。

测试了一下，其速度还是很快的（16G M2），其对中文理解的能力也是可以的。

Lobe Chat的安装

由于ollama只是一个后台服务，并没有一个可视化的界面，虽然可以在终端窗口中使用，但是有一个漂亮的UI界面会增加体验效果，前期我们也介绍过Lobe Chat的安装，可以在本地安装lobe chat界面

Lobe Chat 是一个开源聊天机器人平台，旨在让开发者轻松构建和部署自定义聊天机器人。Lobe Chat安装完成后，可以使用Lobe Chat来使用AI语言大模型，当然，Lobe Chat不仅支持llama系列模型，还支持一系列其他的大语言模型，可以设置每个模型的API接口以及下载本地模型来使用。

稍微给模型一点难度的问题，其反应速度就明显下降了，这里跟自己的电脑配置有很大的关系，毕竟大模型运行在本地，且还是8B的模型，若是70B的模型，可想而知需要很大的内存以及显卡配置，由于自己的电脑只有16G，并没有本地体验70B的模型，这个可以自行尝试。

相比lobe chat 的UI界面，小编还是喜欢直接在CMD终端窗口中使用，且lobe chat总感觉有字数限制。且在终端中，其代码格式也是有缩进的，跟UI界面输出的效果一致，并不会影响使用。