文章主题:关键词: ChatGLM-6B, 大语言模型, 中英双语对话, 通用语言框架

666AI工具大全,助力做AI时代先行者!

ChatGLM-6B 是一款由清华大学开发的强大的人工智能助手,具备中英双语对话的功能。这款模型拥有庞大的参数规模,达到了 620 亿个,并且采用了通用的语言框架 GLM,通过海量的中英文语料库进行训练,使其在中英双语的对话任务上表现出色。为了更好地适应用户需求,ChatGLM-6B 对设备进行了适配优化,现在可以轻松地在消费级显卡上进行本地部署。

界面

ChatGLM-6B 提供了一个 Web UI,使用 Gradio 编写。

ChatGLM-6B 对话界面

前端时间还发布 VisualGLM-6B,多模态对话语言模型,支持图像理解。

ChatGLM-6B 多模态对话界面

使用方式

硬件需求

在我的实践中,无论是 Mac M1 还是 Google Colab,只要调整相关参数并降低内存需求,都可以顺利运行 FP16 格式。同时,INT4 格式同样可以正常运行。

注意 M1 不支持 GPU。

量化等级最低 GPU 显存(推理)最低 GPU 显存(高效参数微调)FP16(无量化)13 GB14 GBINT88 GB9 GBINT46 GB7 GB

安装

项目官网是:

• https://github.com/THUDM/ChatGLM-6B

下载代码并安装依赖:

git clone https://github.com/THUDM/ChatGLM-6B

进入 ChatGLM-6B 目录,使用 pip 安装依赖:

cd ChatGLM-6B

pip install -r requirements.txt

对话示例

截图是我自己运行截图的,跟官方截图内容有一定出入。

自我认知

ChatGLM-6B 自我认知对话

提纲协作

ChatGLM-6B 提纲协作

文案写作

ChatGLM-6B 文案写作

信息抽取

ChatGLM-6B 信息抽取

多模态对话

运行 web_demo_vision.py 来进行多模态对话:

ChatGLM-6B 多模态对话

更多信息可以参考 VisualGLM-6B :

• https://github.com/THUDM/VisualGLM-6B

— END —

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注