ChatGLM-6B_666AI大模型

ChatGLM-6B

智谱ChatGLM3震撼发布：超越想象的AI大模型，引领智能科技革命！

原标题：智谱ChatGLM3震撼发布：超越想象的AI大模型，引领智能科技革命！智谱AI在2023中国计算机大会（CNCC）上推出了全新的ChatGLM3基座大模型及其系列产品。这款最新的模型采用了创新的多阶段增强预训练方法，以实现更加充分的训练效果。智谱AI的首席执行官张鹏亲自进行了新品发布，并通过实时演示展示了产品的最新功能。据介绍，通过使用更丰富的训练数据和优化的训练方案，ChatGLM3的性能得到了显著提升。与之前的ChatGLM2相比，MMLU提升了36%，CEval提升了33%，GSM8K提升了179%，BBH提升了126%。此外，ChatGLM3还进行了针对GPT-4V的迭代升级，引入了一些全新的功能。其中包括具备多模态理解能力的CogVLM-看图识语义，在10余个国际标准图文评测数据集上取得了领先水平；代码增强模块Code Interpreter能够根据用户需求生成并执行代码，自动完成数据分析、文件处理等复杂任务；网络搜索增强模块WebGLM-接入搜索增强，能够自动查找互联网上与问题相关的资料，并在回答时提供参考的相关文献或文章链接。ChatGLM3的语义能力和逻辑能力得到了极大的增强。此外，ChatGLM3还集成了自研的AgentTuning技术，激活了模型的智能代理能力，特别是在智能规划和执行方面，相较于ChatGLM2提升了1000%；同时还实现了对国产大模型的原生支持，包括工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。除了以上功能，ChatGLM3还推出了可在手机上部署的端测模型ChatGLM3-1.5B和ChatGLM3-3B，支持多款手机品牌，包括vivo、小米、三星等，甚至支持移动平台上CPU芯片的推理，速度可达20 tokens/s。在精度方面，1.5B和3B模型在公开benchmark上的性能与ChatGLM2-6B模型相当。通过最新的高效动态推理和显存优化技术，ChatGLM3的推理框架在相同硬件和模型条件下，相较于其他开源实现，如伯克利大学的vLLM和Hugging Face TGI的最新版本，推理速度提升了2-3倍，推理成本降低了一倍，每千tokens的成本仅为0.5分。这使得ChatGLM3成为当前最具竞争力和高效性能的大模型之一。智谱AI的新一代ChatGLM3基座大模型以其强大的性能和丰富的功能，将为用户提供更加高效、智能的交互体验，并在各个领域展现出巨大的潜力。返回搜狐，查看更多责任编辑：

2 weeks前 2

ChatGLM-6B

适配更多国产芯片智谱AI推出第三代基座大模型ChatGLM3

原标题：适配更多国产芯片智谱AI推出第三代基座大模型ChatGLM3 10月27日消息，智谱AI于2023中国计算机大会（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了独创的多阶段增强预训练方法，使训练更为充分。评测显示，在44个中英文公开数据集测试中，ChatGLM3在国内同尺寸模型中排名首位。智谱AI CEO张鹏在现场做了新品发布，并实时演示了最新上线的产品功能。 ChatGLM3全新技术升级更高性能更低成本通过更丰富的训练数据和更优的训练方案，智谱AI推出的ChatGLM3性能更加强大。与ChatGLM2相比，MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。同时，ChatGLM3瞄向GPT-4V本次实现了若干全新功能的迭代升级，包括多模态理解能力的CogVLM-看图识语义，在10余个国际标准图文评测数据集上取得SOTA；代码增强模块Code Interpreter根据用户需求生成代码并执行，自动完成数据分析、文件处理等复杂任务；网络搜索增强WebGLM-接入搜索增强，能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3的语义能力与逻辑能力得到了极大的增强。 ChatGLM3还集成了自研的AgentTuning技术，激活了模型智能体能力，尤其在智能规划和执行方面，相比于ChatGLM2提升了1000% ；开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。此外，ChatGLM3本次推出可手机部署的端测模型ChatGLM3-1.5B和 ChatGLM3-3B，支持包括vivo、小米、三星在内的多款手机以及车载平台，甚至支持移动平台上CPU芯片的推理，速度可达20 tokens/s。精度方面1.5B和3B模型在公开benchmark上与ChatGLM2-6B模型性能接近。基于最新的高效动态推理和显存优化技术，ChatGLM3当前的推理框架在相同硬件、模型条件下，相较于目前最佳的开源实现，包括伯克利大学推出的 vLLM 以及Hugging Face TGI的最新版本，推理速度提升了2-3倍，推理成本降低一倍，每千tokens仅0.5分，成本最低。免责声明： 1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证，并在此声明不承担信息可能产生的任何责任、任何后果。 2、本号非商业、非营利性，转载的内容并不代表赞同其观点和对其真实性负责，也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误，负任何直接或间接责任。 3、本号部分资料、素材、文字、图片等来源于互联网，所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品，请与我们取得联系，我们会及时修改或删除。返回搜狐，查看更多责任编辑：

2 weeks前 2

ChatGLM-6B

清华出品 | 超强AI大模型ChatGLM第3代整合包来了！

原标题：清华出品 | 超强AI大模型ChatGLM第3代整合包来了！今天给大家带来一款令人兴奋的AI大模型，它就是清华出品的ChatGLM。 ChatGLM3简介由清华系创业公司智谱AI推出的ChatGLM，是国内首个全线对标OpenAI产品线的公司。他们近期推出ChatGLM第三代，并且6B版本的大模型直接开源。官方描述中，ChatGLM3在44个中英文公开数据集测试中排名首位，性能非常强悍。 ChatGLM3离线整合包来了老规矩，大家自行在本地部署比较麻烦，所以我已经为大家制作好了一款离线整合包了，下载到本地解压即用！大家下载离线整合包，解压到本地。 ①根据需要，选择不同的启动方式：一键启动-CPU：适用于几乎任何电脑，但处理速度较慢（Windows 7不支持）一键启动-GPU：适用于带英伟达独立显卡的电脑，建议2060显卡及以上一键启动-综合demo：适用于带英伟达独立显卡的电脑 ②双击一键启动程序后，会打开一个命令提示窗口，项目会自动运行。加载成功后，会自动在浏览器打开项目主界面，如果没有自动打开的话，就自行复制以下链接，然后在浏览器打开“ http://127.0.0.1:7860/”。以下是CPU运行：以下是GPU运行：运行成功后，就可以在浏览器看到项目主界面了。我们快速问它几个问题，发现ChatGLM3都能回答得比较快也比较正确。经典的，拿来给孩子辅导作业一点问题没有。🤣 以下是综合demo运行，这是我比较推荐的使用方法，也是官方提供的一个体验方法。综合demo提供了三种使用ChatGLM3模式： Chat：对话模式，该模式下可以与模型进行对话，回答更偏向于日常聊天。先来拿来试试做英语阅读理解题，回答也是一点问题没有。工具：工具模式，可以通过模型内部自带的工具进行一些操作，比如调用获取天气的工具，然后询问当前某地的天气情况。代码解释器：该模式下，模型可以在一个 Jupyter 环境中执行代码并获取结果，以完成复杂的任务。好家伙，有种在本地就可以跑一个ChatGPT的感觉，关键还是免费的！清华毕竟是清华，出品的大模型还是比较强的👍🏻！注意事项： ①该项目CPU和GPU（仅支持英伟达显卡，10G显存以上为佳）均可运行，但CPU运行较慢（CPU运行比较吃内存，需要16G以上内存）。 ②请确保解压到本地的路径不包含中文，不然可能会引起奇怪的适配问题。关注并私信回复【ChatGLM3】，免费获得本文资源~返回搜狐，查看更多责任编辑：

2 weeks前 4

ChatGLM-6B

国产大模型ChatGLM3发布：用华为芯片推理速度提升超3倍，多能力对标GPT-4V钛媒体APP2023-10-27 17:28钛媒体APP2023-10-27 17:28

（图片来源：unsplash）钛媒体App获悉，10月27日下午举行的中国计算机大会（CNCC2023）一场论坛上，阿里、腾讯投资的人工智能（AI）独角兽公司智谱 AI 正式发布全新自研的第三代基座大模型ChatGLM3系列。新的ChatGLM3包括ChatGLM3-1.5B（15亿）、3B和6B参数三种，不仅在多模态理解、代码模块、网络搜索等能力上有所提升，而且相对最佳开源模型推理速度提升2-3倍。同时，基于集成自研AgentTuning技术，在智能规划和执行上比ChatGLM-2提升1000%。另外，ChatGLM3还利用华为昇腾生态，使算力推理速度提升3倍以上。智谱 AI CEO张鹏表示，最新的自研模型ChatGLM3就是瞄准GPT-4V（多模态版的GPT-4）的跨模态能力，是ChatGLM全新一代的技术升级。 “对标OpenAI是智谱 AI 成立以来的目标。智谱 AI 致力于让机器像人一样思考，我们希望利用ChatGLM3通用基座模型能力，与合作伙伴一起共同的支撑千行百业，进入生成式 AI‘第二阶段’。”张鹏称。据悉，智谱 AI 成立于2019年，脱胎于清华大学计算机系知识工程研究室团队，是清华大学知识成果转化的创业公司，瞄准 AI 大模型研发落地，公司CEO张鹏毕业于清华计算机系，总裁王绍兰为清华创新领军博士，清华大学计算系教授唐杰也参与研发中国最大规模预训练模型悟道2.0。 2020年，智谱AI 开始GLM预训练架构的研发，并训练了100亿参数模型GLM-10B；2021年利用MoE架构成功训练出万亿稀疏模型；2022年公布1300亿级超大规模预训练通用模型GLM-130B，并以此打造大模型平台及产品矩阵。 2023年，智谱AI 推出千亿基座的对话模型ChatGLM，并开源单卡版模型ChatGLM-6B等，部署于个人开发者和企业应用领域。今年6月，智谱AI 迭代出ChatGLM2，包括6B、130B、12B（120亿参数）、32B、66B等参数的模型，推理速度增长42%。据张鹏透露，相比GPT-4版的ChatGPT，ChatGLM2-12B、32B和66B性能分别提升16%、36%和280%。当前，智谱 AI 开源模型在全球下载量已超过1000万次。同时，该公司也进行商业化探索，打造AIGC（生成式 AI）模型及产品矩阵，包括已获批上线的智谱清言、高效率代码模型CodeGeeX等。融资方面，创立至今的四年多，智谱AI 共完成四轮融资。10月20日，智谱 AI 宣布年内累计融资额超过25亿元人民币，投资方包括社保基金中关村自主创新基金（君联资本为基金管理人）、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等多家机构，而君联资本等部分老股东跟投，华兴资本担任独家财务顾问。截至目前，智谱 AI 公司估值已超过100亿元，是国内 AI 领域独角兽企业。公司称，上述融资将用于基座大模型的进一步研发，更好地支撑行业生态。此次，智谱 AI 发布的最新ChatGLM3通用基座大模型，在性能、推理、算力、Agent智能体能力、API商业化等方面均有提升。其中，性能方面，ChatGLM3-6B在44个中英文公开数据集测试中国内同尺寸模型排名首位，相比ChatGLM2-6B，多个排名提升33%以上，GSM8K基准提升179%；推理方面，相较于目前伯克利大学开源的vLLM，速度提升2-3倍，推理成本降低一倍。同时，新的模型还集成自研AgentTuning技术，激活模型智能体能力，在智能规划和执行方面比ChatGLM2提升1000%，支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景，最新AgentBench基准测试上ChatGLM3-turbo和GPT-3.5接近；国产算力层面，以昇腾生态为例，ChatGLM3推理速度提升达3倍之多。而在模型尺寸上，ChatGLM系列首次增加1.5B、3B这类小参数模型/张鹏称，主要原因是用户需求和算力成本之间的平衡，而且支持国产芯片的边缘侧模型ChatGLM3-1.5B可在笔记本电脑、手机、汽车等场景部署，速度达20 Tokens/s，精度上1.5B和3B模型与ChatGLM2-6B模型性能接近。现场演示中，对标ChatGPT、基于ChatGLM3的 AI...

3 weeks前 0

ChatGLM-6B

清华ChatGLM-6B单机部署教程

最近在追开源的类ChatGPT的小模型，诉求是能做到单机部署并且对中文支持较好。目前真正打算动手搞一搞的是Alpaca和ChatGLM。构建好虚拟环境后，进行Alpaca测试，结果因为PEFT这个包报了错，原因是未检查到本地的CUDA,可是我的环境明明是没啥问题的啊，最后选择了清华大学的开源项目ChatGLM进行实验。背景知识 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于General Language Model (GLM)架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。 chatglm运行硬件需求下面介绍一下如何从零开始在本地运行ChatGLM 一、本地配置内存：16G 显卡：1080TI 显存：11G 二、检查以及安装本地CUDA 目前pytorch2.0只支持了CUDA11.7和11.8，所以如果你的本地CUDA没有满足，那么ChatGLM是肯定跑不了的，那么先从第一步，检查本地CUDA开始! 1.查看本地显卡的情况，这里的CUDA Version是指目前最高能支持12.0的版本，11264MiB就是11GB的显存 nvidia-smi 2.查看本机当前CUDA版本，当前版本为11.8 nvcc -V 如果当前版本不是这个的话，首先去NVIDIA的官网去下载11.8的CUDA版本，如下：三、基于Anaconda构建ChatGLM虚拟环境 conda create -n chatglm python=3.8.5 接下来安装pytorch 如果使用pip安装的话，安装命令如下： pip3 install...

3 weeks前 0

ChatGLM-6B

初露锋芒！ChatGLM金融AI大模型挑战赛，道以科技成功入围决赛

原标题：初露锋芒！ChatGLM金融AI大模型挑战赛，道以科技成功入围决赛一.ChatGLM金融大模型挑战赛：成功入围决赛长期关注我们的粉丝朋友们应该知道，我们是金融科技、私募投资、人工智能领域的专业账号，一直分享着AI与金融方面的垂直资讯。同时，我们也不断研发并落地一些AI应用，如小以AI智能对话、AI金融考证神器等。这些努力获得了肯定，道以科技在SMP 2023金融科技大模型挑战赛中凭借出色的实力，以总分87.82分的优异成绩荣获第三名，成功晋级决赛！二.赛事简介据悉，SMP 2023 ChatGLM金融大模型挑战赛由中国中文信息学会社会媒体处理专委会主办，智谱 AI、上海安硕信息技术股份有限公司、阿里云计算有限公司、魔搭社区和北京交通大学联合承办，天池平台为指定赛事平台。本次比赛的中心主题是：如何用大语言模型更好地服务金融行业。目标是共同推动大模型在金融领域的发展，并邀请广大开发者和相关技术团队为大模型时代加速创新。比赛要求参赛选手以ChatGLM2-6B模型为中心制作一个问答系统，回答用户的金融相关的问题，不允许使用其他的大语言模型。参赛选手可以使用其他公开访问的外部数据来微调模型，也可以使用向量数据库等技术。三.展望未来道以科技作为一家为资产管理行业提供创新型技术解决方案的金融科技公司，积极拥抱AI大模型等数字科技创新，在金融大模型的发展和竞争中具备一定的经验优势。未来，我们将持续探索金融大模型应用，为各位带来更智能、个性化的AI投研智能助手，敬请期待！智谱AI成立于2019年，源自清华大学计算机系知识工程实验室的技术成果转化。在过去的25年里，清华大学知识工程实验室在知识工程、知识图谱、图神经网络和认知智能等领域完成了一系列国际领先的研究成果。本次取得优异的成绩，既是道以团队专业能力的成果体现，更是激励道以科技在金融科技行业持续深耕。未来，道以科技也将积极拥抱新技术、新场景、新变化，不断探索以大模型为代表的AI技术研发和金融业务产品的智能化发展，以科技化助推金融行业变革升级。返回搜狐，查看更多责任编辑：

1 month前 0

ChatGLM-6B

基于 ChatGLM-6B 搭建个人专属知识库

之前树先生教过大家如何利用微调打造一个垂直领域的 LLM 专属模型。但是微调一方面需要专业知识，通常需要很多计算资源和时间，以便在不同的超参数设置上训练多个模型并选择最佳的一个，另一方面动态扩展比较差，新增和修改原有的数据都要重新微调一次。总得来说对非专业人员不友好。树先生：ChatGLM-6B 部署与 P-Tuning 微调实战28 赞同 · 33 评论文章今天树先生教大家无需微调就能实现垂直领域的专业问答，利用 ChatGLM-6B + langchain 实现个人专属知识库，非常简单易上手。技术原理项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt 中 -> 提交给 LLM 生成回答。从上面就能看出，其核心技术就是向量 embedding，将用户知识库内容经过 embedding 存入向量知识库，然后用户每一次提问也会经过 embedding，利用向量相关性算法（例如余弦算法）找到最匹配的几个知识库片段，将这些知识库片段作为上下文，与用户问题一起作为 promt 提交给 LLM 回答，很好理解吧。一个典型的...

2 months前 0

ChatGLM-6B

基于 P-Tuning v2 进行 ChatGLM2-6B 微调实践 | 京东云技术团队

原标题：基于 P-Tuning v2 进行 ChatGLM2-6B 微调实践 | 京东云技术团队微调类型简介 1. SFT监督微调：适用于在源任务中具有较高性能的模型进行微调，学习率较小。常见任务包括中文实体识别、语言模型训练、UIE模型微调。优点是可以快速适应目标任务，但缺点是可能需要较长的训练时间和大量数据。 2. LoRA微调：通过高阶矩阵秩的分解减少微调参数量，不改变预训练模型参数，新增参数。优点是减少了微调的参数量和成本，同时能达到与全模型微调相近的效果。 3. P-tuning v2微调：引入了prefix-tuning的思想，每一层都加入了prefix，并采用了多任务学习。解决了P-tuning v1中序列标注任务效果不佳和普遍性差的问题。其参数对象是各层的prefix。优点是适用于多任务学习，但在自然语言理解任务上表现可能不佳。 4. Freeze微调：主要用于大语言模型的微调，后几层网络提取语义特征，前几层提取文本表层特征。优点是参数高效，适用于提取特定层次的特征。综上所述，各种微调方法适用于不同的场景和任务。SFT监督微调适用于快速适应目标任务，LoRA适用于减少参数量和成本，P-tuning v2适用于多任务学习，而Freeze适用于提取特定层次的特征。 1.下载glm2训练脚本 git clone https://github.com/THUDM/ChatGLM2-6B.git 2.然后使用 pip 安装依赖 pip install -r requirements.txt -i https://pypi.douban.com/simple/ 运行行微调除 ChatGLM2-6B 的依赖之外，还需要安装以下依赖 pip install rouge_chinese nltk jieba datasets transformers[torch] -i https://pypi.douban.com/simple/...

2 months前 0

ChatGLM-6B

祝贺！道以科技在ChatGLM金融大模型挑战赛荣获季军

原标题：祝贺！道以科技在ChatGLM金融大模型挑战赛荣获季军一.ChatGLM金融大模型挑战赛：荣获季军今年夏天，为了推动国内大模型的应用生态，更好的利用ChatGLM2-6B解决真实行业问题，在中国中文信息学会社会媒体处理专委会的支持下，智谱AI联合安硕信息、阿里云、魔搭社区、北京交通大学，推出了「ChatGLM 金融大模型挑战赛」。自开赛以来，「ChatGLM 金融大模型挑战赛」共吸引了2294支队伍参赛，历经初赛、复赛和最终决赛的激烈角逐，道以科技以85.17分的总成绩，荣获季军（决赛全国第五名，复赛全国第二名）！「ChatGLM 金融大模型挑战赛」是一项针对金融领域智能信息提取与处理的技术挑战比赛，旨在激发广大参与者的创造力和潜能，利用国内优秀的大语言模型 ChatGLM 进行能力增强，通过微调大模型、大小模型协同、向量数据库等先进的方法，以期提升AI模型在金融领域的实践应用能力。本次大赛中，道以科技给出的技术方案，在技术架构的产品化可行性和整体方案的产品化实践方面“做到了极致”、表现领先，获得了在场嘉宾评委的高度认可与好评。本次大赛的参赛与最终取得的成绩，既是道以团队在AI大模型技术能力上的体现，也是道以团队在金融专业能力与AI结合落地上的一次宝贵实践。他将鼓舞和推动道以科技，在金融大模型基于资产管理行业的垂直应用领域，加速向前、持续深耕，用创新科技推动资管行业的发展。二.拥抱AI+金融随着人工智能技术的不断发展，AI+金融将在更多领域得到应用。在财富端，AI+财富顾问，将可能逐步引领潮流，推动财富服务的技术升级迭代。在投资端，AI+交易助手，将帮助投资经理从投资过程中一些持续性、事务性的工作得到解放，从而有更多的精力去关注其核心逻辑与系统。在投研端，AI+数据分析，将大大提升投研过程中的阅读、整理、分析、撰写的效率。在风控端，AI+风险管理，能更及时、更全面、更有效的发现、预测、预防可能的各类风险，从而全面提升金融风控的综合能力。在运营端，AI+数据中台，能够全面的解放运营生产力，解决诸多繁琐而复杂的运营性事务，并创造性的提升运营价值与能力。道以科技作为一家为资产管理行业提供创新型技术解决方案的金融科技公司，将继续坚定的专注于人工智能、大数据、区块链等技术在金融领域的应用实践，为行业的技术与业务发展做出自己的贡献。图：道以科技董事长史亮道以科技董事长史亮表示，这次大赛不但锻炼我们自身，也让我们结识了很多志同道合的技术业务伙伴。大模型在金融行业的垂直落地，步伐已经越来越近。作为资管科技的老兵，能够亲历和见证未来科技给资管行业带来的无限可能，我们既有紧迫感、又有使命感。激动之余，我们也要策马扬鞭，与科技、与行业一同驰骋。道以科技的小以AI，作为今年早期的一个技术探索，已经在我们的“一道投”APP中，经过了数次的迭代升级。小以AI智能对话、小以AI基金助考等小应用，也持续受到关注道以科技AI发展的朋友们的好评与意见建议。未来小以AI将结合道以科技全系列产品线，推出小以AI金融智能助手，更高效的服务于资产管理业务的多个场景。我们相信，人工智能、大数据、区块链等创新科技在未来3至5年，将给资管行业带来一轮技术革新。道以科技会全力以赴，探索和落地金融大模型和更多创新技术，提升资管行业的数智化能力，共同预见资管行业的新辉煌。返回搜狐，查看更多责任编辑：

2 months前 0

ChatGLM-6B

智谱AI官宣：ChatGLM2-6B可免费商用

原标题：智谱AI官宣：ChatGLM2-6B可免费商用出品 | OSC开源社区（ID：oschina2013) 中英双语大模型 ChatGLM2-6B 开发团队 —— 智谱 AI & 清华 KEG 近日宣布，即日起 ChatGLM-6B 和 ChatGLM2-6B 权重对学术研究完全开放，并且在完成企业登记获得授权后，允许免费商业使用。 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。更长的上下文：基于 FlashAttention 技术，项目团队将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的...

2 months前 1

1/51 2 3 4 5 下一页