文章主题:百川智能, 第二代开源模型, Baichuan 2, 微调
在9月6日这个重要的一天,我国知名的人工智能公司——百川智能,正式向公众发布了他们的第二代开源模型Baichuan 2。这款模型的发布,标志着微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat以及其4bit量化版本的开源时代的到来。值得一提的是,这些模型都是完全免费的,可以被广大开发者广泛应用于各种场景。为了让开发者能够更方便地使用这些模型,百川智能在AI模型社区魔搭ModelScope上首发了这些模型的部署相关教程。这些教程不仅提供了详细的操作步骤,而且还为开发者提供了一些实用的技巧和建议,使得他们能够快速上手,更好地利用这些强大的模型。总的来说,百川智能的这一举动,无疑是对人工智能行业的一大贡献。它不仅推动了模型的开源进程,还为开发者提供了宝贵的学习资源,共同推动了我国人工智能的发展。
在今年6月至7月期间,我国知名的开源项目百川陆续发布了其上一代的7B和13B模型。此次公开的Baichuan 2-7B-Base和Baichuan 2-13B-Base两大模型,是在2.6万亿高质量多语言数据的基础上进行训练的。这一过程中,百川团队不仅保留了上一代开源模型出色的生成和创作能力、流畅的多轮对话能力,还保留了其部署门槛低等众多优点。
在同一时期,两种模型的数学、编程、安全性、逻辑推导和语义理解等技能都取得了显著的进步。相较于上一代的13B模型,Baichuan 2-13B-Base在数学方面提升了49%,在编程方面提升了46%,在安全性方面提升了37%,在逻辑推导方面提升了25%,以及在语义理解方面提升了15%。这些显著的改进表明,Baichuan 2-13B-Base模型在各方面能力都有了显著的提高。
两篇模型在各类评测平台上均取得了优异的表现,并在MMLU、CMMLU、GSM8K等多個權威評估標準中,以絕對優勢超越了LLaMA2。值得注意的是,Baichuan2-7B在MMLU等多個權威英文評估標準中的得分,甚至與擁有130億參數的LLaMA2保持一致,這充分展現了其卓越的性能。
7B参数模型的Benchmark成绩
13B参数模型的Benchmark成绩
百川智能的Baichuan2-7B和Baichuan2-13B两款模型不仅向学术界全面开放,同时也为开发者提供了便捷的商用许可申请方式。一旦获得官方商用许可,开发者便可免费使用这些模型。值得一提的是,百川智能还分享了模型训练过程中的关键Check Point,这一举措在国内属于首创。为了进一步推动人工智能领域的发展,百川智能还计划发布Baichuan 2技术报告,其中将详细阐述Baichuan 2的训练过程和细节,以期为行业提供有益的参考。
作为魔搭社区的关键战略伙伴,百川智能每次推出的开源模型均选择魔搭作为国内独家发布平台,这使得百川的开源模型在魔搭AI开发者社群中获得了广泛好评。
针对本次开源,魔搭社区基于Baichuan2-13B-Chat开发了体验接口,普通用户可以直接体验或使用模型;魔搭公众号则推出了最佳实践教程,提前跑通模型的部署、推理和微调,供开发者参考。
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!