文章主题：LM Studio, HuggingFace models, Local LLM Server, API requests
1、使用LM Studio的特点
>> 在笔记本电脑上运行llm，完全脱机
>> 通过应用内聊天界面或OpenAI兼容的本地服务器使用模型
>> 从HuggingFace���存储库下载任何兼容的模型文件
>> 在应用程序的主页上发现新的和值得注意的法学硕士
🌟LM Studio🚀 现已全面兼容[HuggingFace社区](https://huggingface.co/)的各类顶尖模型，包括但不限于ggml Llama、MPT和StarCoder系列。无论你是对Llama 2的高效能，Orca的卓越灵活性，Vicuna的创新思维，还是Nous Hermes的深度学习能力，或是WizardCoder的代码友好性，甚至是MPT等多样化选择，LM Studio都能完美驾驭。🚀让前沿技术触手可及，只需轻轻一点！欲了解更多详情，敬请访问我们的平台或搜索”LM Studio+模型名称”，获取专业技术支持与指导。📚💻
2、支持的平台：最低硬件/软件要求
M1/M2/M3 Mac，或支持AVX2处理器的Windows PC。Linux有测试版。建议至少 16GB 的 RAM。对于 PC，建议至少 6GB 的 VRAM。支持 NVIDIA/AMD GPU。
>> Windows (x86, x64, AVX2)：拥有支持 AVX2 的处理器（通常是较新的 PC）的 Windows
>> macOS (Apple Silicon – M1/M2/M3)：搭载 macOS 13.6 或更新版本的 Apple Silicon Mac（M1/M2/M3）。
>> Linux (x86, Ubuntu 22.04, AVX2)：拥有支持 AVX2 的处理器（通常是较新的 PC）的Linux PC
LM Studio的安装和使用方法
🌟LM Studio💫: 探索、下载与轻松运行本地LLMs的终极平台🚀🔍寻找先进的语言学习解决方案？LM Studio带你进入一个无限可能的世界！在这里，你无需跳转到任何链接，一键即可触及我们精心打造的LLM体验。👩💻我们的目标是简化，让知识触手可及。🌐无论你是学术研究者、语言爱好者还是专业人士，LM Studio都能满足你的需求。无论你的设备是PC还是移动设备，我们都确保流畅无阻的运行。📚本地化的学习，让你的学习旅程更加个性化和高效。👩💻立即下载LM Studio，开启你的LLM探索之旅！别忘了，每一次点击都是对卓越教育的追求。👇赶快行动，让LM Studio成为你知识库中的闪耀明珠！记得，我们的服务专注于提升用户体验，而非推销个人信息。SEO优化已全面融入，让你在搜索引擎中轻松找到我们。📚👩🏫
🚀Linux发行版更新！🚀立即下载[LSTM Studio 0.2.18](https://lmstudio.ai/linux/0.2.18/beta)🔥——我们的最新AppImage版本，专为创新和高效编程设计。💻无需注册或联系方式，即可体验这款先进的软件平台。🚀它集成了所有必要的工具，让你在Linux上如虎添翼，轻松实现AI项目。🌐无论你是Linux新手还是熟练开发者，LM_Studio都将满足你的需求。👩💻立即更新，开启你的AI探索之旅！
🚀🚀🚀【LM Studio】最新版本已发布！🚀🚀🚀🔥Windows用户注意啦！🔥欲体验超前科技力量，立即下载[LM-Studio 0.2.18](https://releases.lmstudio.ai/windows/0.2.18-a/latest/LM-Studio-0.2.18-Setup.exe)。这款专为Windows设计的高效软件，带你步入创作的新纪元！🚀无需担心版本过旧或兼容问题，LM Studio 0.2.18-a已为你解决所有顾虑。只需轻轻一点，即可轻松安装，享受流畅无阻的操作体验。👩💻👨💻欲了解更多关于这款革命性软件的特性与优势，请访问我们的官方网站（替换链接），那里有详尽的用户指南和社区支持等你探索！🌍🌐记得分享你的创作成果，让世界看到LM Studio的力量！💪💡#LMStudio更新 #Windows优化 #创新工具
“LM Studio之服务器操作指南：轻松利用内置OpenAI风尚HTTP服务器，立足本地LLM环境，无需跳转至其他主机。💻🌍只需将服务部署于localhost，即可享受高效且个性化的语言模型交互体验。优化您的SEO关键词，提升搜索引擎可见度，让每一次互动都充满可能性。📚🌐”
源文地址：Local LLM Server | LM Studio
您可以通过在本地主机上运行的 API 服务器使用您在 LM Studio 中加载的 LLM。
请求和响应遵循 OpenAI 的 API 格式。
将当前使用 OpenAI 的任何代码指向 localhost:PORT 以使用本地 LLM。
支持的端点
GET /v1/models
POST /v1/chat/completions
POST /v1/embeddings
POST /v1/completions
🚀【LM Studio】新力作！🔍【/v1/embeddings】揭秘！🚀🔥LM Studio的最新版本0.2.19带来了令人眼前一亮的功能——/v1/embeddings！💡这不仅仅是一个升级，它是我们技术力量与创新思维的结晶。在这个神秘的路径下，藏着语言理解和生成的秘密武器。🔍想要深入探索？别再犹豫，这里详尽揭示了它的强大之处和使用方法。📚无论你是模型开发者，还是数据爱好者，都能在这里找到满足你的好奇心的答案。👩💻赶紧动手试试吧！体验这股知识与技术的洪流如何引领你的研究或项目向前飞跃。🚀别忘了，LM Studio始终致力于提供最优质的服务，让你在语言的世界里游刃有余。🌐#LMStudio #embeddings #技术探索
使用本地服务器
第1步，如果尚未安装 LM Studio，请安装它。从 https://lmstudio.ai 获取应用程序安装程序。
第2步，从应用程序中搜索并下载 LLM，例如 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上约 4GB）
第3步，转到本地服务器选项卡（<- 在左侧）
第4步，通过从下拉菜单中选择它来加载您下载的任何 LLM。
第5步，通过单击绿色的“启动服务器”按钮来启动服务器。
您的 LM Studio 现在已准备好接受传入的 API 请求。您可以安全地最小化应用程序；服务器将继续运行。
检查当前加载的模型
curl http://localhost:1234/v1/models
响应（遵循 OpenAI 的格式）
在下述情况下，TheBloke/phi-2-GGUF 和 lmstudio-ai/gemma-2b-it-GGUF 都已加载。
{
“data”: [
{
“id”: “TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf”,
“object”: “model”,
“owned_by”: “organization-owner”,
“permission”: [
{}
]
},
{
“id”: “lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf”,
“object”: “model”,
“owned_by”: “organization-owner”,
“permission”: [
{}
]
}
],
“object”: “list”
}%
进行推断请求（使用 OpenAI 的“Chat Completions”格式）
在此示例中，本地服务器运行在端口 1234 上。您可以在应用程序中的服务器控制栏中更改它。
第1步，打开您的终端（在 Windows 上尝试 Git Bash）
第2步，复制并运行以下请求
curl http://localhost:1234/v1/chat/completions \
-H “Content-Type: application/json” \
-d ‘{
“messages”: [
{ “role”: “system”, “content”: “You are a helpful coding assistant.” },
{ “role”: “user”, “content”: “How do I init and update a git submodule?” }
],
“temperature”: 0.7,
“max_tokens”: -1,
“stream”: true
}’
支持的有效负载参数
有关每个参数的说明，请参阅 https://platform.openai.com/docs/api-reference/chat/create
model
top_p
top_k
messages
temperature
max_tokens
stream
stop
presence_penalty
frequency_penalty
logit_bias
repeat_penalty
seed
2、文本嵌入：使用 LM Studio 的嵌入服务器本地生成文本嵌入（适用于 RAG 应用程序）
注意：文本嵌入处于测试版。从这里下载支持它的 LM Studio。请在 LM Studio Discord 上报告任何错误/反馈。
文本嵌入是将文本表示为数字向量的一种方法。嵌入经常在检索增强生成（RAG）应用程序中使用。继续阅读了解如何使用 LM Studio 的嵌入服务器完全本地生成文本嵌入。
从 LM Studio 的本地服务器获取文本嵌入
从版本 0.2.19 开始，LM Studio 包括一个文本嵌入端点，允许您生成嵌入。
请求和响应格式遵循 OpenAI 的 API 格式。在此处阅读有关它的信息。
示例用途包括 RAG 应用程序、代码搜索应用程序以及任何需要文本嵌入的应用程序。
如何
需要 LM Studio 0.2.19 或更新版本。从 lmstudio.ai/beta-releases.html 下载测试版。
第1步，转到本地服务器选项卡（<- 在左侧）并启动服务器。
第2步，通过选择它从嵌入模型设置下拉菜单中选择一个文本嵌入模型来加载它。
第3步，利用 POST /v1/embeddings 端点获取您文本的嵌入。
示例请求：
假设服务器正在端口 1234 上监听
支持的输入类型是字符串和字符串数组（字符串数组）
curl http://localhost:1234/v1/embeddings \
-H “Content-Type: application/json” \
-d ‘{
“input”: “Your text string goes here”,
“model”: “model-identifier-here”
}’
示例回应：
{
“object”: “list”,
“data”: [
{
“object”: “embedding”,
“embedding”: [
-0.005118194036185741,
-0.05910402536392212,
… truncated …
-0.02389773353934288
],
“index”: 0
}
],
“model”: “nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf”,
“usage”: {
“prompt_tokens”: 0,
“total_tokens”: 0
}
}
可用的嵌入模型是哪些？
任何 GGUF 格式的 BERT 模型都应该可以使用。如果遇到问题，请在 LM Studio Discord 上报告错误。
特色模型：
nomic-embed-text-v1.5
bge-large-en-v1.5
通过 LM Studio 内置的模型下载器搜索并下载这些模型。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
