我越来越倾向于使用Ollama了,它的模型库上新快,界面设计非常简洁,而且支持的第三方应用也很丰富。

今天我又发现了一个非常有趣的项目仓库。

https://github.com/AugustDev/enchanted

Enchanted LLM 是一个与 Ollama 兼容的 iOS/iPad应用程序,它允许用户使用 Ollama 平台来与一些私人搭建和托管的语言模型进行交流,这些模型包括 Llama2、Mistral 等。

个人电脑部署主要步骤:在电脑上安装和运行Ollama服务在App Store下载Enchanted LLM应用使用ngrok、LocalTunnel等工具将Ollama的本地接口转发为公网地址在Enchanted LLM中配置转发后的公网地址通过这种方式,Enchanted LLM可以连接本地电脑上的Ollama服务。回到正题,今天主要讲Ollama的近期值得关注的更新和Ollama CLI命令Ollama 近期值得关注的更新1. 添加了 /? 快捷帮助命令。2. 修复了GPU内存限制时运行某些模型(如llama2, mixtral, 或llama2:13b)可能出现的内存不足错误。去年12月中旬,我尝试安装 YI-6B-200K 模型时遇到了错误。今天再次尝试时,成功安装并运行。

之前在32GB内存的Mac上部署 dolphin-mixtral:8x7b-v2.5-q4_K_M 这个26GB的模型时,也失败了。今天我成功地安装了 nous-hermes2-mixtral dpo 这个同样是26GB的模型,它生成一个汉字需要3到4秒。

3. 增加了使用 /save 命令保存当前会话或模型以及使用 /load 命令加载会话或模型的功能。/load <model> /save <model>这项功能能够保存或加载对话内容以及任何通过 /set parameter(设置参数)、/set system(设置系统)等命令进行的模型调整。之前切换模型,需要Ctrl+D,现在直接在当前对话 /load <model> 就可以了。Ollama CLI 命令

>>> /?

Available Commands:

  /set

            Set session variables

  /show           Show model information

  /load    Load a session or model

  /save    Save your current session

  /bye

            Exit

  /?, /help       Help for a command  /? shortcuts    Help for

 keyboard shortcuts

Use “”” to begin a multi-line message.>>> /set

Available Commands:

  /set

 parameter …     Set a parameter

  /set

 system    Set system message

  /set

 template  Set prompt template

  /set history           Enable history  /set nohistory         Disable history  /set

 wordwrap          Enable wordwrap

  /set

 nowordwrap        Disable wordwrap

  /set

 format json       Enable JSON mode

  /set

 noformat          Disable formatting

  /set

 verbose           Show LLM stats

  /set

 quiet             Disable LLM stats

>>> /show

Available Commands:

  /show info         Show details for

 this model

  /show license      Show model license

  /show modelfile    Show Modelfile for

 this model

  /show parameters   Show parameters for

 this model

  /show system       Show system message

  /show template     Show prompt template

>>> /set

 parameter

Available Parameters:

  /set

 parameter seed              Random number seed

  /set

 parameter num_predict       Max number of tokens to predict

  /set

 parameter top_k             Pick from top k num of tokens

  /set parameter top_p <float

>          Pick token based on sum of probabilities

  /set

 parameter num_ctx           Set the context size

  /set parameter temperature <float

>    Set creativity level

  /set parameter repeat_penalty <float

> How strongly to penalize repetitions

  /set parameter repeat_last_n <int>    Set how far back to look for

 repetitions

  /set

 parameter num_gpu           The number of layers to send to the GPU

  /set parameter stop “<string>”

, …   Set the stop parameters>>> /? shortcuts

Available keyboard shortcuts:

  Ctrl + a            Move to the beginning of the line (Home)

  Ctrl + e            Move to the end of the line (End)

   Alt + b            Move back (left) one word

   Alt + f            Move forward (right) one word

  Ctrl + k            Delete the sentence after the cursor

  Ctrl + u            Delete the sentence before the cursor

  Ctrl + l            Clear the screen

  Ctrl + c            Stop the model from responding

  Ctrl + d            Exit ollama (/bye

)

精选历史文章,请看这里:

探索新Ollama Python库:在应用程序中集成本地LLM

实测在Mac上使用Ollama与AI对话的过程 – 模型选择、安装、集成使用记,从Mixtral8x7b到Yi-34B-Chat

Open Interpreter:自然语言界面控制计算机 | 分享使用体验

用 Poe-API-wrapper 连接 DALLE、ChatGPT,批量完成AI绘图或文字创作

LM Studio-简化安装和使用开源大模型 | OpenAI API 文字转语音本地运行程序分享

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注