探索NLP无限可能：一文解析其多领域应用
NLP (Natural Language Processing) is a versatile field that revolutionizes the way we process and understand language. It offers numerous applications, ranging from chatbots to sentiment analysis, effectively transforming communication in various industries. By leveraging machine learning techniques, NLP enables seamless data extraction, improves efficiency, and...
如何优化ChatGLM-6B？一行代码就行｜最“in”大模型
编者按：小小一行代码，也有大力量。 大语言模型的应用与微调优化必要性 ChatGPT 的横空出世开启了大语言模型 (LLM) 的普及元年，BERT、GPT-4、ChatGLM 等模型的非凡能力则展现出类似通用人工智能 (AI) 的巨大潜力，也因此得到了多行业、多领域的广泛关注。 为加速这些大模型与特定领域的深度融合，以及更好地适应特定任务，基于任务特性对这些模型进行定制化微调至关重要。 然而，它们庞大的参数使得用传统方式对大模型进行调优面临诸多挑战，不仅要求相关人员熟练掌握微调技巧，还需要付出巨大的训练成本。 近年来，出现了参数高效微调 (Parameter-Efficient Fine-Tuning, PEFT) 和提示微调 (Prompt-tuning) 技术。这些技术因其成本更低、应用方式更简单便捷，正在逐渐取代大模型传统调优方法。 本文结合目前在中文应用场景中具有出色表现的开源预训练大模型 ChatGLM-6B，介绍如何通过对其开源 Prompt-tuning 代码进行极少量的修改，并结合第四代英特尔® 至强® 可扩展处理器[1]的全新内置 AI 加速引擎——英特尔® 高级矩阵扩展 (Intel® Advanced Matrix Extension，简称英特尔® AMX)及配套的软件工具，来实现高效、低成本的大模型微调。 基于英特尔® 架构硬件的微调优化方案 本文通过以下三个方面实现了基于第四代英特尔® 至强® 可扩展处理器的 ChatGLM 高效微调优化： 1、借助英特尔® AMX，大幅提升模型微调计算速度 AMX 是内置于第四代英特尔® 至强® 可扩展处理器中的矩阵乘法加速器，能够更快速地处理 BFloat16...
一个简单模型就让ChatGLM性能大幅提升｜最“in”大模型
本文作者：赵桢、罗成、李亭骞、邹文艺 引言 自大语言模型 (LLM) 成为热点话题以来，涌现了一大批中文大语言模型并在优化平台中得到了积极部署。ChatGLM 正是广受好评的主流中文大语言模型之一。 然而，由于 ChatGLM 模型尚未成为 Transformer 生态的原生模型，因此，官方 optimum 扩展库对其仍缺乏支持。 本文提供了一种使用 OpenVINO™ opset 重构该模型架构的便捷方法。 该方案包含专为 ChatGLM 定制的优化节点，且这些节点都利用英特尔® 高级矩阵扩展（Intel® Advanced Matrix Extensions，缩写为英特尔® AMX）内联和 MHA（Multi-Head Attention，多头注意力）融合实现了高度优化。 请注意，本文仅介绍了通过为 ChatGLM 创建 OpenVINO™ stateful模型实现优化的解决方案。本方案受平台限制，必须使用内置了英特尔® AMX 的第四代英特尔® 至强® 可扩展处理器[1]（代号 Sapphire Rapids）。笔者不承诺对该解决方案进行任何维护。 ChatGLM 模型简介 笔者在查看 ChatGLM 原始模型的源码[2]时，发现 ChatGLM 与 Optimum...