财务数字化探索是财务数字化领域的专业自媒体,其测评团队挑选了目前国内外免费的12款主流大模型,并基于自主建立的评价体系展开测评,目的在于选出现阶段最适合财会人员使用的大模型。测评结果《当下最适合财会人的AI大模型,我们找到了!》一文今天发布在其微信公众号,这是该团队第三次做类似的测评——前两次是2023年2月的《我们给ChatGPT出了五道会计题》和8月的《中国CPA考试,竟然难倒GPT-4!》。根据其测评,清华智谱清言得分GLM-4得分最高,为77.6分,ChatGPT 3.5得分最低,为26.1分,整体测试结果如下: 测试的问题是如下5个大会计类题目。 打分的规则如下: 12个大模型的测评表现具体如下: 测试团队解释称ChatGPT3.5分数不算高,可能因为问题均为中国会计准则相关,ChatGPT3.5在中文语境下回答质量欠佳。智谱清言得分较高的一大原因是在部分主观题中,其依托联网能力直接在相关准则中检索到了正确答案。
测评团队还指出,目前大模型的会计分录生成能力普遍较差,较财务数字化探索在2023年2月的测试结果改善并不明显。
这个结果是测评团队基于上述题目、维度的一个带主观性的结果。YCY会计行业观察在2023年12月中旬对同样的11个国产大模型提问,评分结果与其有很大的不同(参阅《在会计行业问题 AI回答哪家强?》)。当然,这些测评都可供读者参考。本测试中使用的11个免费国内大模型链接
智谱清言 https://chatglm.cn/
文心一言 https://yiyan.baidu.com/
讯飞星火 https://xinghuo.xfyun.cn/
腾讯混元 https://hunyuan.tencent.com/
面壁露卡 https://luca.cn/chat
360智脑 https://chat.360.com/?
天工 https://www.tiangong.cn/
KimiChat https://kimi.moonshot.cn/
通义千问 https://tongyi.aliyun.com/qianwen/
云雀大模型(豆包) https://www.doubao.com/chat
百川智能 https://www.baichuan-ai.com/home
欢迎关注财务数字化探索公众号
深入阅读和互动