腾讯混元

阿里云峰会上，"通义千问"大模型开启企业邀测，未来所有产品将接入该模型，助力产品升级与改造。作为国内人工智能领军者，阿里的达摩院在NLP和语音识别等领域有深厚积累，并已开源多模型以促进AI应用。相关管理办法征求意见，旨在监管技术、保护用户隐私和数据合法性，预计将推动国内AI研究的健康发展。

这篇文章主要介绍了通义千问开源模型在PAI灵骏智算服务上的最佳实践。通义千问已发布1.8B、7B、14B、72B四款不同规模的开源大语言模型，基于阿里云PAI灵骏智算服务进行了高效分布式预训练、指令微调、模型离线推理验证以及在线服务部署。以Qwen-7B为例，展示了基于Megatron-LM的训练流程，应用了数据并行、算子拆分、流水并行、序列并行、选择性激活重算、Zero显存优化、BF16混合精度、梯度检查点、Flashattention等技术，提高了大模型分布式训练效率。同时，文中提到了阿里云PAI灵骏智算服务的资源开通和管理，以及如何在用户自定义镜像栏填写统一镜像地址。

科大讯飞近期推出星火认知大模型，该技术已深入多行业应用，如教育、办公、汽车和数字员工等领域。其AI学习机T20系列能实现中英文作文批改和口语对话升级，使语言学习更高效；智能办公本通过语音转写功能解决了会议记录与语篇规整问题，提高了效率。讯飞还计划将大模型应用至车载智能座舱、招聘以及医疗等行业，助力各领域自动化和智能化。