文章主题：文章关键词：阅读, 速读, 中文常识, 文心一言
AI 智能谷
读完需要
5分钟速读仅需 4 分钟
随着人工智能技术的快速发展,各种智能助手层出不穷。我们该如何评估不同智能助手的能力?本文通过测试它们在常识、逻辑、情感和编程等不同方面的表现,来对几个代表性智能助手进行横向对比,以更全面地理解当前阶段不同智能助手的优劣势
在人工智能领域,模型的规模和参数量不是决定其智能的唯一标准。理解语言、推理逻辑、共情交流、编写程序等才是检查一个 AI 系统真正智能的关键。为了探索不同智能助手的能力优劣,我们专门测试和对比了文心一言、Claude2、GPT3.5 和 Bard 这几个代表性智能助手在不同任务上的表现,包括常识问题、逻辑推理、人文情感和代码编程四个方面。这四个典型案例能够反映出一个 AI 系统的整体智能水平。下面让我们看看测试结果。
1
常识性问题
知识型测试体现了大模型背后强大的知识存储和理解能力，这部分能力可以直接帮助人类快速解答问题。
这种测试可以体现模型对知识的理解力。这次挑选的题目是：鲁迅与周树人的问题，看看各个模型的表现。
可以看出，对于中文常识性的问题。只有文心一言纠正了我们的问题
claude2 在对不清楚问题 至少没有存在乱编胡说的问题
Bard与GPT3.5则是开始乱编
我们给模型的给出的答案进行评分
文心一言 ⭐⭐⭐⭐⭐
Claude2 ⭐⭐
GPT3.5 ⭐
Bard ⭐
2
逻辑性问题
逻辑推理与编程能力高度相关和互补,都是检查一个 AI 系统智能程度的重要指标。目前阶段大参数模型在这一领域展现出明显的优势与潜力。
大参数模型在代码生成和逻辑推理方面具有明显的优势。这主要归因于几点:
大模型训练过更多编程语言和逻辑推理任务的数据集,获得了更广泛和深刻的知识。
大模型具有更强大的“思维链”(Chain of Thought)的生成能力,可以进行更长序列的逻辑推理。
大模型具有更强的代码生成能力,能更好地将逻辑抽象映射为编程语言。
相比之下,参数较小的模型在逻辑推理和编程方面的表现较弱。尤其是百亿参数以下的模型,通常很难展示出强大的逻辑推理与编程联合能力。
文心一言与 Claude2 展示了”思维链”推导的过程。得出了正确答案
虽然Bard与GPT3.5也给出了推理过程，但是从推理根本上就出现了问题
文心一言 ⭐⭐⭐⭐⭐
Claude2 ⭐⭐⭐⭐⭐
GPT3.5 ⭐
Brad ⭐
3
人文情感问题
人文情感主要指 AI 系统具有的以下能力
共情能力: 能够理解人的情感,并给予恰当的同理心和支持。
情感调控能力: 在交互过程中主动关心人的情感变化,并用正面积极的语言进行疏导和安慰。
价值观驱动: 在判断和决策中不仅考虑效率,也会兼顾人文关怀,反映公平、正义等价值理念。
可以看出文心一言与Bard都给出了文章
而GPT与Claude2都以人情关怀的角度给出了一些建议
如果从人文角度
文心一言 ⭐⭐⭐
Claude2 ⭐⭐⭐⭐
GPT3.5 ⭐⭐⭐⭐⭐
Brad ⭐⭐⭐
4
代码编程
深度学习使得 AI 模型获得了分析和理解复杂数据的强大能力。这为 AI 在代码生成领域的尝试提供了可能性。下面是各个模型代码的能力
GPT3.5
将 GPT 代码导入编辑器并运行。能够正常运行
Claude2
Claude2未能将完整的代码放出，只提供了部分思路。可以说是偷懒了
Bard虽然给出了代码，但是无法运行
文心一言也遇到同样问题，虽然给出了代码，但是代码远远不能够运行
从代码编辑能力上看
文心一言 ⭐ ⭐
Claude2 ⭐
GPT3.5 ⭐ ⭐ ⭐ ⭐ ⭐
Brad ⭐ ⭐
若对ChatGPT使用和AI应用感兴趣，可以加入我们的【玩转ChatGPT】社群微信交流群，一起交流和讨论，如何最大化程度使用ChatGPT作为生产力工具，关注公众号回复“入群”，获取使用经验交流群的链接，若链接失效，请联系版主，热门文章推荐：
OpenAI官方发布，GPT-4最全攻略来袭！6大策略+实用技巧汇总实践LLM大模型实践指南：小白的AI从入门到放弃之路–玩转ChatGPT你真的需要升级GPT-4？横向对比GPT-3.5和GPT-4,看看有哪些优劣势ChatGPT插件搜索网址合集 | ChatPluginTop\ Plugins\ Overview–总有一款适合你欢迎关注、转发，再看，你的点赞是对我们莫大的鼓励。文章关键词：阅读, 速读, 中文常识, 文心一言
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
