阿里云刚刚发布通义千问2.5,在中文能力方面赶超GPT4.0。还发布了最新款开源模型,1100亿参数的Qwen1.5-110B。阿里是要在开源的道路上坚持到底了。

最近开始进行招生工作了,广州市各区教育局陆续发布了招生细则。我们正好测试一下阿里通义千问文档解读的能力,同时也拉来了国内另一个闭源巨头百度,以及以长文本处理出名的Kimi来个三国演义,对比一下这三家根据文档对话的能力。

这次解析的文档是:

《2024天河区义务教育阶段学校招生工作的细则》

根据这个文档的内容,一共设计了五个问题:

1 、华南师范大学附属中学的招生计划

2、先烈东小学的招生地段是什么?

招生地段的信息来源是一个表格,比一般的文字信息处理难度大一些。

3、先烈东小学的电话号码是什么?

电话号码是我们常问的问题,我们看看这几个大模型能不能正确提取电话号码

4、天河区体育东路小学(中校区)的招生地段是什么?

这个问题先烈东小学的问题不太一样,天河区体育东路小学(中校区)现在改名叫天河区体育东路小学兴国学校,我们看看能不能根据旧名称回答问题

5、殡葬工人的孩子是不是属于政策性照顾名单?

这个答案的信息来源也是一个表格,而且我们的问题也不是精确的匹配文档中的文字,需要一定的推理。

上面五个问题的信息来源覆盖了文本和表格,下面我们看看三位选手的表现。

阿里通义千问

1 、华南师范大学附属中学的招生计划

回答正确的,格式工整点赞

2、先烈东小学的招生地段是什么?

回答正确

3、先烈东小学的电话号码是什么?

电话号码不对,回答错误

4、天河区体育东路小学(中校区)的招生地段是什么?

回答正确,格式工整点赞

5、殡葬工人的孩子是不是属于政策性照顾名单?

列出了答案来源,并且补充了相应的材料要求,回答正确

百度文心一言4.0

1 、华南师范大学附属中学的招生计划

回答正确

2、先烈东小学的招生地段是什么?

这个数据原来是文档中的表格,有一些难度

不知道为啥没有回答问题,没有答案

3、先烈东小学的电话号码是什么?

这个数据原来是文档中的表格,有一些难度

回答正确

4、天河区体育东路小学(中校区)的招生地段是什么?

回答不完整。

5、殡葬工人的孩子是不是属于政策性照顾名单?

回答正确

Kimi月之暗面

1 、华南师范大学附属中学的招生计划

回答正确,而且给出文档中的附件名称,高赞

2、先烈东小学的招生地段是什么?

回答正确

3、先烈东小学的电话号码是什么?

犹豫不决,明明有正确答案,却不敢肯定

4、天河区体育东路小学(中校区)的招生地段是什么?

回答正确

5、殡葬工人的孩子是不是属于政策性照顾名单?

回答正确,给出引用来源,点赞

总结

通过上面的测试,通义千问和Kimi都有一个题目不准确,基本上旗鼓相当,Kimi的答案略好一点。文心一言有两个题目不准确。表现垫底。

#头条创作挑战赛#

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注