文章主题:ollama, windows安装, openai兼容, 自适应底层推理

666AI工具大全,助力做AI时代先行者!

欢迎关注坤叔

80后,前私募基金经理;2022年开始拥抱人工智能。关注LLM、AIGC、AGENT、WEB3-DAO全领域,近两年测试过全域过千产品DEMO框架、目前专注AGENT应用级行业投资机会研究。

本地AI大模型工具

人人都可以用大模型!英伟达官方本地部署方案chat with RTX 解析

用LM-STUDIO提前体验AI PC

【普通人用AI】如何在家用PC使用本地大模型之法拉第(faraday)篇

🌟🚀最新力作!🔥你是否厌倦了繁琐的模型配置?🔍Ollama,一款只需轻轻一点,就能轻松驾驭的强大本地大模型工具,让你操作如丝般流畅!👌无需专业知识,一键上手,无论是AI新手还是老司机,都能迅速开启智能之旅。🌍无论你的项目需求何处,只要有网络,Ollama都能快速响应,随时随地提供高效服务。💻立即体验,让工作变得更简单!链接:[ollama.com]🎉

OLLAMA这个部署框架有多强?贴一下它自己的介绍就很清晰了。

🚀💻无需烦恼系统兼容!无论你拥有A/N显卡或是纯CPU,这款工具都能轻松驾驭。它对OPENAI的API标准完全契合,意味着强大的视觉模型功能唾手可得。一键安装,操作简便,让科技触达更简单。🌍🚀

还有,完全开源免费。

部署OLLAMA非常简单。

你只需要拿到ollama的安装文件,运行。

一路next,就可以了。

之后,你可以在命令行窗口输入ollama pull 下载模型。

当模型下载好了,输入ollama run 模型名字, 就可以运行模型。

ollama对各类底层推理框架是自适应的,得益于llama.cpp框架近期的巨大进步,推理速度可以说是飞快;就连纯CPU都完全不慢!

在不使用各种前端UI的情况下,可以直接在命令行和大模型对话。

但这种方法太过古早,所以,我们也有配套的UI,还不止一个;下面这个很像openai的chatgpt节目的,是openwebui。完全本地化,免费。

简单来说,OLLAMA是一个开箱即用的后端,将大模型的部署成本几乎降低到0。

现在,越来越多的应用框架直接支持ollama,比如微软新发布的autogen studio,同样支持ollama作为服务端。加上今年越来越强大的开源模型,经过专业设计和精心选择模型之后,完全可以基于ollama设计出性能至少强于GPT3.5的本地应用方案。

大模型观察

开源GROK,竟然是马斯克的阳谋?

好消息是,终于有AI能超越GPT4了!但坏消息是……

SORA:还有谁?Stability.AI:我试试?

AGI的曙光初现?GPT5?王炸级AI视频技术Sora技术解析和展望

2023年AIGC技术迭代综述和商业机会分析(附思维导图)

2023年大模型发展脉络梳理(含思维导图)

喜欢本文,请在右下角给我们点下“好看”

AI时代,掌握AI大模型第一手资讯!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

扫码右边公众号,驾驭AI生产力!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注