财务数字化探索是财务数字化领域的专业自媒体,其测评团队挑选了目前国内外免费的12款主流大模型,并基于自主建立的评价体系展开测评,目的在于选出现阶段最适合财会人员使用的大模型。测评结果当下最适合财会人的AI大模型,我们找到了!》一文今天发布在其微信公众号,这是该团队第三次做类似的测评——前两次是2023年2月的我们给ChatGPT出了五道会计题》和8月的《中国CPA考试,竟然难倒GPT-4!》。根据其测评,清华智谱清言得分GLM-4得分最高,为77.6分,ChatGPT 3.5得分最低,为26.1分,整体测试结果如下:

测试的问题是如下5个大会计类题目。

打分的规则如下:

12个大模型的测评表现具体如下:

测试团队解释称ChatGPT3.5分数不算高,可能因为问题均为中国会计准则相关,ChatGPT3.5在中文语境下回答质量欠佳智谱清言得分较高的一大原因是在部分主观题中,其依托联网能力直接在相关准则中检索到了正确答案。

测评团队还指出,目前大模型的会计分录生成能力普遍较差,较财务数字化探索在2023年2月的测试结果改善并不明显

这个结果是测评团队基于上述题目、维度的一个带主观性的结果。YCY会计行业观察在2023年12月中旬对同样的11个国产大模型提问,评分结果与其有很大的不同(参阅《会计行业问题 AI回答哪家强?》)。当然,这些测评都可供读者参考。

本测试中使用的11个免费国内大模型链接

智谱清言 https://chatglm.cn/

文心一言 https://yiyan.baidu.com/

讯飞星火 https://xinghuo.xfyun.cn/

腾讯混元 https://hunyuan.tencent.com/

面壁露卡 https://luca.cn/chat

360智脑 https://chat.360.com/?

天工 https://www.tiangong.cn/

KimiChat  https://kimi.moonshot.cn/

通义千问 https://tongyi.aliyun.com/qianwen/

云雀大模型(豆包) https://www.doubao.com/chat

百川智能 https://www.baichuan-ai.com/home

欢迎关注财务数字化探索公众号

深入阅读和互动

欢迎加入YCY会计行业观察知识星球

欢迎查阅YCY会计行业观察电子书

欢迎阅读苏亚金诚海外会计动态

YCY会计所口碑排行榜(2018-2023) 

欢迎加入YCY会计行业观察微信群

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注