LM Studio是一个允许用户在本地离线运行大型语言模型（LLMs）的平台，它提供了一种便捷的方式来使用和测试这些先进的机器学习模型，而无需依赖于互联网连接。以下是LM Studio的一些关键特性： 脱机：用户可以在自己的笔记本电脑上运行LLMs，完全不需要在线连接。 用户界面：LM Studio提供了一个应用内聊天界面，用户可以通过这个界面与模型交互，或者使用一个与OpenAI兼容的本地服务器。 模型下载：用户可以从Hugging Face的🤗（即Hugging Face公司）仓库下载任何兼容的模型文件。 模型支持：LM Studio支持多种ggml Llama、MPT和StarCoder模型，这些模型都可以在Hugging Face上找到。 系统要求：为了运行LM Studio，用户需要M1/M2/M3 Mac，或者支持AVX2指令集的Windows PC。同时，它还提供了Linux系统的beta版本。 技术文档：LM Studio 提供了技术文档，以帮助用户更好地理解和使用这个平台。 项目支持：LM Studio的实现得益于llama.cpp项目。 隐私：当在本地运行模型时，没有信息被传输到云。尽管在使用GPT-4、Bard和claude 2等基于云的模型时，隐私问题可能被夸大了，但在本地运行模型可以避免任何问题。 实验：如果你看到了生成人工智能的价值，可以通过测试了解模型的细节并知道还有什么可用。 成本：开源模型是免费的，其中一些可以不受限制地用于商业。   下载软件 http://lmstudio.ai LM-Studio-0.2.16-Setup.exe 安装 LM-Studio-0.2.16-Setup.exe 一步一步安装 主页中显示各种大模型卡片，可点击Download进行选择下载(需要保证网络“通畅”) 对了这一步99%的同学因网络问题无法下载，请加微信aigc666aigc999获取。   模型配置 如果是自己现在模型，先在MyModels中选择一个目录 再把你下载的模型文件放入，主要是主目录下面有两个层级(一定是两级目录，不然不识别) 主目录：E:\model_data\lmstudio 对应LM studio界面左侧文件的目录设置，第一次需要点击进行设置，目录不要选择C盘，因为模型文件通常比较大 最终将下载好的模型文件放于如下目录 中：E:\model_data\lmstudio\gguf_list\qwen\qwen-1_8b-chat.Q4_0.gguf gguf_list\qwen为两个层级目录，请严格按照目录关系配置。   运行测试 选择AIChat,”Select a model to load” 选择你要加载的模型，进度条加载完成 可以和它对话了， 右边settings可以配置模板，GPU层数等等，属于效果优化部分! 一般CPU,1B 7B 模型，int4量化还是可以用用的，更大模型必须使用GPU，显存越大效果越好！ 需要更多模型或问答效果优化，请联系微信aigc666aigc999进行指导优化！