文章主题:关键词: ChatGLM-6B, 大语言模型, 中英双语对话, 通用语言框架
ChatGLM-6B 是一款由清华大学开发的强大的人工智能助手,具备中英双语对话的功能。这款模型拥有庞大的参数规模,达到了 620 亿个,并且采用了通用的语言框架 GLM,通过海量的中英文语料库进行训练,使其在中英双语的对话任务上表现出色。为了更好地适应用户需求,ChatGLM-6B 对设备进行了适配优化,现在可以轻松地在消费级显卡上进行本地部署。
界面
ChatGLM-6B 提供了一个 Web UI,使用 Gradio 编写。
ChatGLM-6B 对话界面前端时间还发布 VisualGLM-6B,多模态对话语言模型,支持图像理解。
ChatGLM-6B 多模态对话界面使用方式
硬件需求
在我的实践中,无论是 Mac M1 还是 Google Colab,只要调整相关参数并降低内存需求,都可以顺利运行 FP16 格式。同时,INT4 格式同样可以正常运行。
注意 M1 不支持 GPU。
量化等级最低 GPU 显存(推理)最低 GPU 显存(高效参数微调)FP16(无量化)13 GB14 GBINT88 GB9 GBINT46 GB7 GB安装
项目官网是:
• https://github.com/THUDM/ChatGLM-6B
下载代码并安装依赖:
git clone https://github.com/THUDM/ChatGLM-6B进入 ChatGLM-6B 目录,使用 pip 安装依赖:
cd ChatGLM-6B
pip install -r requirements.txt对话示例
截图是我自己运行截图的,跟官方截图内容有一定出入。
自我认知
ChatGLM-6B 自我认知对话提纲协作
ChatGLM-6B 提纲协作文案写作
ChatGLM-6B 文案写作信息抽取
ChatGLM-6B 信息抽取多模态对话
运行 web_demo_vision.py 来进行多模态对话:
ChatGLM-6B 多模态对话更多信息可以参考 VisualGLM-6B :
• https://github.com/THUDM/VisualGLM-6B
— END —
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!