文章主题：本文主要介绍了FATE-LLM联邦大模型的新版本发布，以及在横向联邦场景下支持ChatGLM-6B中文语言大模型的功能。关键词包括：FATE-LLM，联邦大模型，ChatGLM-6B，中文语言模型。
FATE-LLM新版本发布，支持中文大语言模型ChatGLM-6B联邦化训练
FATE-LLM联邦大模型开源平台发布最新版本，支持在横向联邦场景中ChatGLM-6B的联邦化训练。
在当今科技和创新领域，人工智能大模型已经成为了热点话题，然而其在快速发展过程中所面临的一系列问题也日益受到了业界的高度关注。FATE开源社区的技术指导委员会主席杨强教授明确表示：“随着公共领域数据的逐渐减少，隐私保护的需求日益增长，以及大量异构小模型的整合需求，已经成为制约人工智能大模型发展的关键难题。而联邦大模型提供了一种有效的解决方案，能够破解这些难题。”因此，在这样的大背景下，FATE社区推出了FATE-LLM联邦大模型功能模块，它利用联邦学习的技术手段，成功地解决了数据隐私保护和数据短缺等问题，从而迎接行业发展的新的挑战。
最近，我国联邦大模型开源平台FATE-LLM发布了最新版本，其中包含了一个令人期待的功能——支持ChatGLM-6B中文语言大模型在横向联邦场景的应用。这个版本的FATE-LLM，结合了GLM的力量，将为我国用户提供更多样化、更优质的中文大模型应用选择。
GLM系列大型模型是由我国清华大学与智谱AI共同研发的，其中ChatGLM-6B是一款中英双语问答的对话语言模型，经过专门针对中文的优化。该模型采用了General Language Model（GLM）架构，其参数数量高达62亿。通过结合模型量化技术，用户现在能够在消费级显卡上进行本地部署，且在INT4量化级别下，最低只需要6GB的显存。自从开源以来，ChatGLM-6B在全球最大的开源软件平台GitHub上已经获得了超过26万的星，这个数字甚至超过了斯坦福同期模型的关注度和好评度。全球下载量已经超过了200万，并且连续两周登上了全球最大开源大模型平台Hugging Face的大模型趋势榜榜首。
在FATE-LLM v1.1版本中，我们引入了适应横向联邦场景的Adapter和Prompt高效聚合方法，这一举措将极大地提高联邦大模型训练的效率。同时，我们还提供了参数微调方法，支持Lora以及P-Tuning V2，进一步优化了训练效果。在框架层面，FATE成功实现了与DeepSpeed的集成，使得FATE-LLM能够支持多机多卡的训练方式。这不仅意味着我们可以更有效地利用分布式GPU集群资源，还使得我们可以对数据和模型参数等进行不同的并行化加速处理。这样一来，用户只需在任务提交阶段做出相应的配置调整，便可立即享受多机多卡的加速效果。
02 FATE-LLM v1.1功能介绍
1、亮点概述
在本文中，我们将重点讨论如何利用业界领先的中文语言大模型ChatGLM-6B来提升联邦学习的通信效率和训练效率。为了实现这一目标，我们采用了主流的开源技术，其中包括高效的参数微调机制Lora和P-Tuning V2。这些方法将大大提高联邦训练的性能，使得训练过程更加高效和快速。
FATE成功实现了对DeepSpeed框架的整合，从而赋予了FATE在多机多卡场景下联邦大模型加速训练的能力。该系统能够有效地调度和管理分布式GPU集群的资源，同时还支持针对数据以及模型参数等多种并行化加速方法。
2、 功能一览
1）ChatGLM-6B联邦化支持，并支持LoRa、P-Tuning V2 高效微调方案；
FATE多机多卡联邦大模型训练能力支持，允许在任务提交阶段轻松添加相关配置，从而利用数据和模型的不同阶段训练加速能力。这一功能使得用户可以与自己的模型训练代码实现解耦，进一步优化了训练过程。
3）FATE支持分布式GPU集群资源管理功能；
4）支持使用transformers库的data collator类，可以更灵活地处理训练输入数据；
5）支持只保存可训练参数，降低训练阶段checkpoints保存的硬盘占用，方便模型拷贝使用。
3、 实验数据一览
1）高效参数微调机制的参数量及其训练参数占比
2）场景及数据、以及配置
联邦场景：横向联邦，两个参与；应用场景：两个参与方各持有部分数据，数据格式:，希望模型可以根据输入的广告关键字去自动生成广告宣传语，通过联邦建模去提升广告生成词的效果。
下面给出效果示例：
数据集：AdvertiseGen，可参考https://aclanthology.org/D19-1321.pdf，为广告生成数据集；训练数据随机切分，其中client-1数据量为57478，client-2数据量为57121环境：局域网环境，client-1和client-2机器配置完全一致，单个client使用2台机器，每台机器有4张V100 32G 资源；配置：DeepSpeed: stage=2，batch_size_per_device=4；数据集的提问(content)及回答(summary)两列tokenize后，token_ids长度超过64的会截断。
3）训练效果：
03 开源共建，是助推联邦大模型快速发展的不竭动力
未来，支持中文大语言模型ChatGLM-6B联邦化训练的FATE-LLM将通过联合多家公司和组织，充分利用分散数据，融合联邦学习和AIGC相关技术，实现异构数据分布式安全训练。其中针对中文方面的优化，将为金融、教育、医疗等领域的应用带来更强大的支持，例如人工智能助手、智能问答、自然语言处理等场景将会得到进一步的效果提升。
FATE-LLM模块将持续迭代，未来将持续解决训练、微调和使用推理阶段的隐私保护问题，并坚持推出后续版本。联邦大模型将大模型与隐私计算核心技术手段融合，使大模型的“野蛮生长”转向更加安全可靠的发展赛道，在提升AI通用性的同时不违背监管与伦理的要求，推进AI技术高质量发展。
清华大学教授唐杰表示：“作为科研人员，我们希望在开展大模型技术研究与应用落地的同时，也进一步降低人工智能的使用门槛，实现技术普惠，为行业良性发展做出一些贡献。”
饮其流者怀其源。开源不仅是一种技术选择，更是一种分享态度与沟通方式。开源平台和开源生态将助推大模型的快速迭代与落地应用。我们期待有更多的用户和开发者加入FATE开源社区。在获得项目发展成果的同时，通过积极参与项目等方式回馈社区。形成互惠互助的良性循环，推动社区生态健康发展！
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
