阿里云刚刚发布通义千问2.5,在中文能力方面赶超GPT4.0。还发布了最新款开源模型,1100亿参数的Qwen1.5-110B。阿里是要在开源的道路上坚持到底了。
最近开始进行招生工作了,广州市各区教育局陆续发布了招生细则。我们正好测试一下阿里通义千问文档解读的能力,同时也拉来了国内另一个闭源巨头百度,以及以长文本处理出名的Kimi来个三国演义,对比一下这三家根据文档对话的能力。
这次解析的文档是:
《2024天河区义务教育阶段学校招生工作的细则》
根据这个文档的内容,一共设计了五个问题:
1 、华南师范大学附属中学的招生计划
2、先烈东小学的招生地段是什么?
招生地段的信息来源是一个表格,比一般的文字信息处理难度大一些。
3、先烈东小学的电话号码是什么?
电话号码是我们常问的问题,我们看看这几个大模型能不能正确提取电话号码
4、天河区体育东路小学(中校区)的招生地段是什么?
这个问题先烈东小学的问题不太一样,天河区体育东路小学(中校区)现在改名叫天河区体育东路小学兴国学校,我们看看能不能根据旧名称回答问题
5、殡葬工人的孩子是不是属于政策性照顾名单?
这个答案的信息来源也是一个表格,而且我们的问题也不是精确的匹配文档中的文字,需要一定的推理。
上面五个问题的信息来源覆盖了文本和表格,下面我们看看三位选手的表现。
阿里通义千问
1 、华南师范大学附属中学的招生计划
回答正确的,格式工整点赞
2、先烈东小学的招生地段是什么?
回答正确
3、先烈东小学的电话号码是什么?
电话号码不对,回答错误
4、天河区体育东路小学(中校区)的招生地段是什么?
回答正确,格式工整点赞
5、殡葬工人的孩子是不是属于政策性照顾名单?
列出了答案来源,并且补充了相应的材料要求,回答正确
百度文心一言4.0
1 、华南师范大学附属中学的招生计划
回答正确
2、先烈东小学的招生地段是什么?
这个数据原来是文档中的表格,有一些难度
不知道为啥没有回答问题,没有答案
3、先烈东小学的电话号码是什么?
这个数据原来是文档中的表格,有一些难度
回答正确
4、天河区体育东路小学(中校区)的招生地段是什么?
回答不完整。
5、殡葬工人的孩子是不是属于政策性照顾名单?
回答正确
Kimi月之暗面
1 、华南师范大学附属中学的招生计划
回答正确,而且给出文档中的附件名称,高赞
2、先烈东小学的招生地段是什么?
回答正确
3、先烈东小学的电话号码是什么?
犹豫不决,明明有正确答案,却不敢肯定
4、天河区体育东路小学(中校区)的招生地段是什么?
回答正确
5、殡葬工人的孩子是不是属于政策性照顾名单?
回答正确,给出引用来源,点赞
总结
通过上面的测试,通义千问和Kimi都有一个题目不准确,基本上旗鼓相当,Kimi的答案略好一点。文心一言有两个题目不准确。表现垫底。