文章主题:百川智能, 第二代开源模型, Baichuan 2, 微调
在9月6日的新闻发布会上,我国知名的人工智能公司——百川智能,正式推出其第二代开源模型Baichuan 2。此次发布的模型包括微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat以及其4bit量化版本。值得一提的是,这些模型都可以免费商用。并且,这些模型已经在AI模型社区魔搭ModelScope上首发上架。为了帮助开发者更好地理解和使用这些模型,魔搭ModelScope迅速推出了相关的模型部署教程,让开发者能够快速上手。
在今年6月至7月期间,我国知名的开源项目百川陆续发布了其上一代的7B和13B模型。此次公开的Baichuan 2-7B-Base和Baichuan 2-13B-Base模型,是在2.6万亿高质量多语言数据的基础上进行训练的。这些数据不仅包括了各种类型的文本,还包括了大量的语音和视频信息。通过这种方式,新发布的模型保留了上一代开源模型出色的生成和创作能力,同时也保留了流畅的多轮对话能力和低部署门槛等众多优点。
在同一时期,两种模型的数学、编程、安全性、逻辑推导和语义理解等技能都取得了显著的进步。相较于上一代的13B模型,Baichuan 2-13B-Base在数学方面提升了49%,在编程方面提升了46%,在安全性方面提升了37%,在逻辑推导方面提升了25%,以及在语义理解方面提升了15%。这些显著的改进表明,Baichuan 2-13B-Base模型在各方面能力都有了显著的提高。
两篇模型在各类评测平台上均取得了优异的表现,并在MMLU、CMMLU、GSM8K等多個權威評估標準中,以絕對優勢超越了LLaMA2。值得注意的是,Baichuan2-7B在MMLU等多個權威英文評估標準中的得分,甚至與130億參數的LLaMA2保持一致,這足見其表現之卓越。
7B参数模型的Benchmark成绩
13B参数模型的Benchmark成绩
百川智能的Baichuan2-7B和Baichuan2-13B两款模型不仅向学术研究领域全面开放,同时也为开发者提供了便捷的商用许可申请通道。一旦获得官方商用许可,开发者便可免费使用这些模型。值得一提的是,百川智能还公开了模型训练过程中的Check Point数据,这一举措在国内属于首创。此外,为了让更多人了解Baichuan2模型的训练细节,百川智能还计划发布相关技术报告,其中将详细阐述Baichuan2的训练过程。
作为魔搭社区的关键合作伙伴,百川智能每次推出的开源模型均选择魔搭作为国内首个发布平台,这使得百川的开源模型在魔搭AI开发者群体中获得了广泛的好评与欢迎。
在此次开源活动中,魔搭社区依托于Baichuan2-13B-Chat技术,成功研发出体验接口。这一创新设计使得普通用户能够直接尝试或应用该模型,从而实现了更为便捷的使用方式。与此同时,魔搭公众号也推出了一系列实用教程,帮助开发者抢先掌握模型的部署、推理及微调等关键环节,为后续开发工作提供了有力支持。
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!