文章主题：LLM, Llamafile, GPT4ALL, LocalAI

666AI工具大全，助力做AI时代先行者！

在本文中，我们将看到在本地运行任何 LLM 的不同方法

1、LMStudio

LM Studio 是一个桌面应用程序，用于在计算机上运行本地 LLM。链接：https://lmstudio.ai/

2、Ollama

Ollama 是一个允许您在计算机上本地运行开源大语言模型 (LLM) 的工具。它支持多种模型，包括 Llama 2、Code Llama 等。它将模型权重、配置和数据捆绑到一个包中，由模型文件定义。链接：https://ollama.com/

3、Hugging Face and Transformers

Hugging Face 相当于 Docker Hub 的机器学习和人工智能功能，提供了大量的开源模型。 Hugging Face 还提供了 Transformers，这是一个可简化本地 LLM 运行的 Python 库。如何运行 Microsoft Phi 2 的示例

import torch from transformers import AutoModelForCausalLM, AutoTokenizer torch.set_default_device(“cuda”) model = AutoModelForCausalLM.from_pretrained(“microsoft/phi-2”, torch_dtype=“auto”, trust_remote_code=True) tokenizer = AutoTokenizer.from_pretrained(“microsoft/phi-2”, trust_remote_code=True) inputs = tokenizer(def print_prime(n): “”” Print all primes between 1 and n “””, return_tensors=“pt”, return_attention_mask=False) outputs = model.generate(**inputs, max_length=200) text = tokenizer.batch_decode(outputs)[0] print(text)

原文改写：🌟了解详情？这里有你需要的所有资讯！想要深入探索文章的世界吗？点击下方链接，获取丰富资源与专业洞见。🚀无论你是新手还是老手，这里都有适合你的学习路径和实用技巧。📚我们的目标是帮助你提升写作技能，让你的作品独树一帜。💖不要错过这个绝佳机会，立即行动起来吧！SEO优化后的表达：💡探索文章天地？这里有海量知识等你挖掘！从入门到精通，我们提供全面的写作指南与深度解析。🔗点击这里，获取定制化的学习路径和实用策略，提升你的文字魅力。📚无论你是新手还是专家，我们的资源都能满足你的需求。🌟立即行动，让你的作品闪耀文坛！📝增加emoji符号以增强表达：📖文章大揭秘🔍：想要更多？这儿全有！从基础到进阶，专业内容等你来探索。🔗点击获取专属学习路径和实用技巧，让写作成为你的拿手好戏。💪无论你是新手还是老手，这里都能找到属于你的成长之路。🎉立即行动，让你的作品独领风骚！💌关键词：文章、资讯、深度解析、写作技能、SEO优化、定制化学习、文字魅力、文坛闪耀、成长之路、SEO优化。

https://huggingface.co/microsoft/phi-2

4、LangChain

LangChain是一个用于构建人工智能应用程序的Python框架。它提供抽象和中间件，以便在其支持的模型之上开发人工智能应用程序。例如，以下代码向 Microsoft/DialoGPT-medium 模型询问一个问题：

from langchain.llms.huggingface_pipeline import HuggingFacePipeline hf = HuggingFacePipeline.from_model_id( model_id=“microsoft/DialoGPT-medium”, task=“text-generation”, pipeline_kwargs={“max_new_tokens”: 200, “pad_token_id”: 50256}, ) from langchain.prompts import PromptTemplate template = “””Question: {question} Answer: Lets think step by step.””” prompt = PromptTemplate.from_template(template) chain = prompt | hf question = “What is electroencephalography?” print(chain.invoke({“question”: question}))

链接：https://www.langchain.com/

5、Llama.cpp

🎉🚀【LLM推理引擎】🔥🔍——Llama.cpp，专为Apple芯片打造！🚀💻💡专注于C/C++语言的LLM（Language Learning Model）技术，我们以Meta的Llama2模型为核心，提供高效且优化的推理服务。👩‍💻👨‍💻这款强大的工具不仅适用于专业人士，也是AI爱好者和开发者们的首选。它在Apple芯片上运行流畅，确保了卓越性能与精准计算。🚀💪欲了解更多详情，敬请访问我们的链接：🔗 [隐藏] ——这里，你将发现更多关于LLMAI的深度知识与技术探索。🔍💻别忘了，如果你对Llama.cpp有任何疑问或想要深入讨论，我们随时在线等待你的提问！💬📚#LLM推理引擎 #Apple优化 #MetaLlama2

https://github.com/ggerganov/llama.cpp

6、Lamafile

🌟Mozilla的创新之作🔍——LLM专属解决方案💡！lamafile，一款专注于用户体验的利器🛡️，以轻便和生成单一执行文件的强大功能在市场上独树一帜。无需担心兼容性问题，轻松实现知识迁移🚀。欲了解更多详情，只需轻轻一点链接🔗即可直达。SEO优化已全面融入，让搜索引擎为你找到它✨！

https://github.com/Mozilla-Ocho/llamafile

7、Jan.ai

Jan通过在计算机上本地运行 LLM将您的计算机变成人工智能机器。这是一个注重隐私、本地优先的开源解决方案。链接：https://jan.ai/

8、llm

Simon Willison 的 LLM 是我见过的在您自己的计算机上本地下载和使用开源 LLM 的最简单方法之一。虽然您确实需要安装 Python 才能运行它，但您不需要接触任何 Python 代码。如果您使用的是 Mac 并使用 Homebrew，只需安装

pip install llm

LLM 默认使用 OpenAI 模型，但您可以使用插件在本地运行其他模型。例如，如果您安装 gpt4all 插件，您将可以从 GPT4All 访问其他本地模型。还有用于 llama、MLC 项目和 MPT-30B 的插件，以及其他远程模型。

使用 LLM install model-name 在命令行上安装插件：

llm install llm-gpt4all

要将查询发送到本地 LLM，请使用以下语法：

llm -m the-model-name “Your query”

9、GPT4ALL

🎉🚀【超强大脑】只需轻轻一点！🔥[GPT4ALL]💡，专为文字大师打造的专业级桌面应用，让你的文字创作如虎添翼！🌍👀 简洁直观的用户界面，瞬间上手，无论新手老手都能轻松驾驭！💻🔍 强大的本地模型运行，保护你的创意不被泄露，隐私安全有保障！🔒🌐 通过API密钥连接OpenAI，无限可能只需轻轻一点，让知识无缝流动！🔗🌍 不再受限于云端，文档处理尽在掌握，随时随地，灵感无处不在！💼欲了解更多？点击链接，立即开启你的文字创作新篇章！🚀🎉

https://gpt4all.io/index.html

10、H2OGPT

h2oGPT 简化了创建私人 LLM 的过程。它包括一个大型语言模型、一个嵌入模型、一个文档嵌入数据库、一个命令行界面和一个图形用户界面。

在用户名和密码上输入任何内容，您可以在这里测试：https://gpt.h2o.ai/

链接：

https://github.com/h2oai/h2ogpt

11、LocalLLM

🚀💡无需远程连接，这款工具让你轻松驾驭本地LLM！🔥只需几步，打造专属法律智慧平台。📚一键启动，让专业知识触手可及。👩‍💻本地操作，数据安全有保障。欲了解更多详情？点击下方链接，立即深入探索！🔗👉[你的网址]等待你的光临，一起开启知识新纪元！✨

https://github.com/GoogleCloudPlatform/localllm

12、Oobabooga

🌟🚀Gradio for Giant Language Models: The Ultimate User Interface Boost 🚀🌟Transform your language gen monsters into user-friendly interfaces with Gradio’s game-changing web solution. Designed specifically for the scale of advanced models, this cutting-edge tool aims to revolutionize the text generation landscape. Say goodbye to clunky interfaces and hello to seamless interaction! 💻🔍Gradiate a superior user experience with its intuitive design, allowing users to effortlessly fine-tune model outputs. Boost your research or commercial applications by streamlining the feedback loop. 📈📈欲了解更多关于如何利用Gradio提升模型性能和用户体验的深度技巧，只需轻轻一点——我们致力于保护隐私，不提供个人联系方式。欲试就来，让我们一起探索AI语言生成的新高度！🚀🌐

🌟自动Diffusion WebUI🚀 – 您的智能操作界面✨💻探索无限可能，只需轻点一下💡在这个稳定版的自动化工具中，提升效率就像呼吸一样自然！🛠️🌐无论远程还是现场，无缝协作，随时随地掌握进度💪我们的Web UI设计简洁易用，让复杂任务变得简单轻松！📚了解更多？立即跳转到我们的详细文档📚自动Diffusion，为您的工作注入创新与高效！💻链接：AUTOMATIC1111/stable-diffusion-webui记得优化你的搜索体验哦！🔍 SEO友好，只为最好的你准备！

https://github.com/oobabooga/text- Generation-webui

13、Koboldcpp

🚀立即获取！最新版已准备就绪，只需轻轻一点此 🔗 ，即可轻松下载。无需注册或提供任何个人信息，享受高效且安全的下载体验。让我们的专业软件助您提升效率，让您的工作更加顺畅。记得关注我们，获取更多优质资源哦！😊

https://github.com/LostRuins/koboldcpp/releases。

14、LocalAI

🌟【免费开源替代】🚀LocalAI，您的本地AI守护者🌍！💡作为OpenAI的强劲竞争对手，它提供RESTful接口直连服务，与OpenAI的Elevenlabs、Anthropic等API无缝对接。无需GPU，就能在 lokal或云端轻松驾驭LLM，生成令人惊艳的艺术品🎨和音频🎵，支持多样模型系列更新。无需担心高昂费用，立即体验本地AI带来的便捷与创新！🌐更多详情👉[链接]

https://github.com/mudler/LocalAI

15、EXUI

🎉🚀【超实用】ExLlamaV2本地推理神器，一键启动浏览器界面！💪💻无需跳转，轻松在家享受AI推理乐趣！📊💻无论是数据处理还是模型应用，它都以极简设计，满足你的所有需求。🔗🌐只需轻轻一点，全球用户都在使用，体验高效便捷的本地推理服务！👩‍💻👨‍💻立即尝试，让知识触手可及！📚✨#ExLlamaV2 #本地推理 #AI生活

//github.com/turboderp/exui

16、vLLM

vLLM 是一个快速且易于使用的 LLM 推理和服务库。安装非常简单

pip install vllm

链接：

https://github.com/vllm-project/vllm

17、MLX

MLX 是 Apple 芯片上用于机器学习研究的数组框架，由 Apple 机器学习研究团队为您提供。您也可以操控本地的LLM

链接：

https://github.com/ml-explore/mlx

18、CTranslate2

CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。目前支持以下模型类型：

编码器-解码器型号：Transformer base/big、M2M-100、NLLB、BART、mBART、Pegasus、T5、Whisper仅解码器型号：GPT-2、GPT-J、GPT-NeoX、OPT、BLOOM、MPT、Llama、Mistral、Gemma、CodeGen、GPTBigCode、Falcon仅编码器模型：BERT、DistilBERT、XLM-RoBERTa

链接：

https://github.com/OpenNMT/CTranslate2

19、Pinokio

一个提出多种解决方案的平台，而不仅仅是托管LLM。链接：https://pinokio.computer/

22、PowerInfer

🌟🚀Power Infer: Your Ultimate AI推理力⚡GPU+CPU集大成者💡🔍专为AI本地化推理打造，充分利用设备激活特性，提升效能🔥🌐通过先进的算法优化，让计算更高效，信息流动无阻滯🌊🔗无需担心联系方式，只需专注于创新的逻辑推理路径📚🎯无论模型大小或复杂度，Power Infer都能轻松应对，释放强大潜能💡欲了解更多关于如何利用设备激活优势加速AI进程？探索我们的技术深度🔍欲体验革新力量，立即尝试Power Infer，开启AI新纪元🌈

https://github.com/SJTU-IPADS/PowerInfer

23、MLC-LLM

MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本机应用程序上。链接：https://llm.mlc.ai/

24、TXTAI

🌟想要提升你的法律知识？🚀无需亲自参加LLM课程，现在只需轻轻一点！🔗我们的平台提供全面的法律学习资源，无论你是法学新手还是专业人士，都能找到适合的路径。📚通过高质量的内容和互动式学习，让你的学习之旅轻松愉快。🎓立即注册，享受无广告、免费试用的尊享服务！👇别再犹豫，开启你的法律知识探索吧！🏆

https://github.com/neuml/txtai

25、RayLLM

🌟 RayLLM, the ultimate LLM game-changer 🚀, empowers users with seamless deployment and management of diverse LLMs built on Ray Serve. Streamline your AI operations without the hassle! 🔍 Learn more at [link] 🌟 #RayServe #LLMManagement #AITransformations

https://github.com/ray-project/ray-llm

26、LlamaSharp

🌟改写版🚀专精于 llama 功能扩展的cpp代码，带你领略高效编程的魅力。💻优化的算法，轻量级设计，让你在项目中如骑毛驴般轻松自如。lama.cpp 提供强大而灵活的工具箱，满足你的定制需求。💪无需担心版权或联系方式，专注于提升代码质量和用户体验。👩‍💻👨‍💻探索 llama 的无限可能，让代码跃动于创新与实用之间。🌐#lamacpp #高效编程 #定制工具箱

https://github.com/SciSharp/LLamaSharp

27、LMQL

您可以在本地安装 LMQL 或使用基于 Web 的 Playground IDE。要通过 Transformers 或 llama.cpp 使用自托管模型，您必须在本地安装 LMQL。本地安装 LMQL：

pip install lmql #Running LMQL Programs lmql playground

更多信息：

文档：https://lmql.ai/docs/游乐场：https://lmql.ai/playground/

28、AvaPLS

Ava PLS 是一个开源桌面应用程序，用于在计算机上本地运行语言模型。它允许您执行各种语言任务，例如文本生成、语法纠正、改写、摘要、数据提取等。链接：https://avapls.com/

29、LiteLLM

🚀🚀🚀掌握最新LLM技术！🚀🚀🚀🔥探索人工智能领域的瑰宝——一系列顶尖LLM API🔥🔍 Bedrock、Huggingface、VertexAI、TogetherAI、Azure和OpenAI，引领潮流的AI力量💡🌐无需跳转，一键链接，轻松调用，打造未来智能应用的基石🔗🏆这些API如同魔法，赋能你的创新思维，无论自然语言处理、对话系统还是知识图谱，都能游刃有余🧩📈通过它们，解锁无限可能，数据价值瞬间飙升，业务增长如火箭升空🚀欲了解更多详情，或寻求定制服务以满足特定需求？请访问我们的隐藏宝藏——[替换为具体链接] 📜🔍别忘了，技术的浪潮中，我们是您稳固的船锚，随时准备启航！✨—原文已改写，保留了主要信息并去掉了个人和联系方式。同时，使用了SEO优化词汇，增加了emoji以提高可读性和吸引力，并在结尾处设置了潜在的引导。

://github.com/BerriAI/litellm

30、HammerAI

也不是真正使用 LLM for AI APP，但这个应用程序提供了在您自己的机器上使用 LLM 的聊天体验，通过 HammerAI，您可以与在浏览器本地运行的角色扮演 AI 角色聊天 – 100% 免费且完全私密。链接：https://www.hammerai.com/

31、Bedrock/VertexAI

Google 和 Amazon 托管 LLM 的解决方案

链接：https://aws.amazon.com/bedrock/链接：https://cloud.google.com/vertex-ai

🌟🚀掌握本地LLMS运行秘籍！🎓💻💡想要在家中或办公室自由操控学习环境？了解如何轻松部署LLMS（Learning Management Systems）是关键一步！📚💻今天，带你揭秘五种不同的本地LLMS搭建方案，让你的教育平台随时随地运转起来！1️⃣ **轻量级Linux** 🐧 – 使用Ubuntu Server，简洁高效，适合初学者入门。2️⃣ **Docker容器** 🚀 – 快速启动，模块化管理，灵活性满分！3️⃣ **Vagrant虚拟机** 💻 – 稳定且易于配置，虚拟环境中的天堂。4️⃣ **自定义开发** 📡 – 代码为王，根据需求定制解决方案。5️⃣ **云服务本地化** 🌈 – AWS或Google Cloud，低成本实现云端功能。每种方法都有其适用场景和挑战，选择最适合你的那一个，开启你的教育创新之旅吧！🚀🎓记得关注我们，获取更多关于LLMS本地部署的实用技巧和教程。别忘了分享给你的同行们哦！🤝📚#LLMS本地化 #学习管理平台 #教育技术趋势