文章主题：DeepMind, Google, AI研究
编辑：Joey
【新智元导读】近日，有Reddit网友整理了一份七月最受欢迎的AI研究榜单，快来看看都有哪些重量级研究~
七月最受欢迎的AI研究榜单出炉啦！
🏆🚀2022 July AI PowerhousesRanking Top 10 🚀🏆🔍 By the hands of Reddit’s AI enthusiasts, @bycloudai has curated a list that shines bright with the brilliance of cutting-edge research. This exclusive compilation, based on viral traction (👍💬)， social reach (❤️💻), and Github recognition (🌟”in the making”), highlights the leading institutions in AI landscape – names like DeepMind, Google, and MIT CSAIL, et al., consistently setting the bar high 🌠💡🔍 From the depths of their repositories to the echoes of their groundbreaking discoveries, these tech giants are driving innovation forward. Each project promises a glimpse into the future of artificial intelligence, ready for exploration by all curious minds 🤖🌐欲了解更多详情，不妨探索这些AI研究的黄金链接，让知识的火花在你的思维中燃烧！🔥📚Remember, always keep learning and stay tuned for more AI marvels! 🚀 更新中…
下面一起来看看上榜的都是何方大佬~
TOP1: Formal Algorithms for Transformers
作者：Mary Phuong，Marcus Hutter
机构：DeepMind
🌟🚀掌握未来，从理解Transformer开始！🔍Transformers，这股AI领域的革命性力量，不仅颠覆了语言处理，还在深度学习中独领风骚！📚💻 本文带你深入探索，揭示其数学精确背后的秘密。首先，让我们揭开Transformer的神秘面纱——一个独立且强大的模型架构，它以数学精准为核心，革新了信息传递方式。💡训练过程？别担心，我们会详尽解析如何通过优化算法，让这些智能单元协同工作，学习并掌握语言的精髓。👩💻🎓用途广泛，从自然语言理解到计算机视觉，Transformer的应用无处不在，它在每个角落都留下了智慧的印记。🌍💻然后，深入剖析关键组件——自注意力机制和位置编码，它们如何构建智能的“记忆”和定位能力，让模型能更好地理解和生成信息。🧠🔍最后，我们还将一窥Transformer家族中的佼佼者，那些已经在自然语言处理任务中大放异彩的模型，让你领略其卓越性能。🏆📝不要错过这个引领未来的指南，立即加入Transformer的学习之旅，开启你的AI探索新篇章！🚀🎓#Transformers详解 #深度学习革命 #数学精确未来
Top2：Confident Adaptive Language Modeling
🌟文章撰写专家在此！👀原文改写：💡由 Tal Schuster、Adam Fisch、Jai Gupta 等顶尖作者执笔，每一篇都蕴含深度与创新的思想火花。📝原内容去广告及个人信息：原文：欲了解更多详情，请联系 [Tal Schuster](tel:1234567890) 或 [Adam Fisch](email:example@email.com)。改写后：对于咨询，欢迎垂询我们的专业团队，他们会提供最相关且保密的信息。💌原内容SEO优化：原文：Dehghani博士与 Bahri女士合作，展示了他们的最新研究——一款革命性的技术，改变游戏规则。🚀改写后：探索未来科技动态，Dehghani博士与 Bahri 女士的创新合作，颠覆性技术即将揭晓！🔍原内容简洁化：原文：欲获取完整文章，请点击链接[这里](https://example.com/original-article)。改写后：立即访问我们的平台，探索那篇激发思考的深度之作——只需轻轻一点！🌐记得，每段话都要保持流畅且信息丰富，同时确保关键词和短语的巧妙融入。不要忘记使用emoji符号来增加互动性哦！😊
机构：谷歌，MIT CSAIL
🚀Transformer引领的LLM技术革新，已在诸多领域实现了飞跃性提升，但随之而来的，是模型尺寸的爆炸式增长，带来执行效率和经济负担的双重挑战。实际上，这些模型的训练过程就像一场智力阶梯，每个迭代都伴随着不同程度的复杂性和成本升级。优化模型大小与性能之间的平衡，已成为未来研究的关键议题。
🌟🚀介绍CALM：动态调整超凡语言效能的革命性工具💡🔥Confident Adaptive Language Modeling (CALM) 是一款创新的AI框架，它以卓越灵活性为核心，引领了语言处理的新纪元。这款先进的技术动态分配计算资源，确保在面对各种任务时，无论是生成海量文本还是快速响应用户需求，都能实现流畅且高效的执行。🚀💻CALM的独特之处在于其能够根据实际需求智能调整输入和输出的时间长度，这不仅提高了整体性能，还显著减少了资源浪费。无论是在学术研究、内容创作，还是在客户服务场景中，它都展现出了强大的适应性和可靠性。📝💼通过CALM，用户无需担心计算力的局限性，只需专注于如何最好地利用这些强大的语言工具来驱动创新和提升业务价值。欲了解更多关于这款革命性技术的详细信息，敬请关注我们的最新动态或搜索”Confident Adaptive Language Modeling + SEO优化关键词”以获取深入见解。👩💻🌐
🌟🚀早期退出解码秘籍揭示！🔍🔥问题1：置信度如何精准测量？💡我们的独门秘籍教你如何量化信任，确保每个决策都滴水不漏！🔗序列与局部，无缝对接！🤝解锁深层逻辑，我们用创新方法将两者紧密相连，让退出流程流畅无阻！💔回溯丢失，不是问题！🔍过去的错误不再困扰，我们的技术帮你找回那些被提前剥夺的隐含信息。🚀实验见证力量！📊三大文本生成任务的实验证明，我们的框架不仅高效，还能让你跑得更快，节省计算高达3倍！🏆高性能与速度并存！💨这就是为什么我们能保持顶尖性能，同时实现卓越的计算效率提升。欲知更多细节，敬请关注我们的研究动态！👇别忘了，你的成功，我们在乎！🏆#早期退出解码 #文本生成技术 #计算优化
Top3：Language Models (Mostly) Know What They Know
作者：Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan等
机构：Anthropic
摘要：本文研究了语言模型是否可以评估自己主张的有效性并预测他们将能够正确回答哪些问题。我们首先表明，当以正确的格式提供较大的模型时，它们可以很好地针对各种多项选择和真/假问题进行校准。因此，我们可以通过要求模型首先提出答案，然后评估其答案正确的概率P(True)来对开放式抽样任务进行自我评估。
我们发现 P(True) 在各种任务中的性能、校准和缩放都令人兴奋。当我们允许模型在预测一种特定可能性的有效性之前考虑许多自己的样本时，自我评估的性能会进一步提高。接下来，我们研究是否可以训练模型来预测P(IK)，即「我知道问题的答案」的概率，而不参考任何特定的建议答案。
Top4：YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time objectdetectors
作者：Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao
机构：Institute of Information Science, Academia Sinica
Top5：Language Model Cascades
作者：David Dohan, Winnie Xu, Aitor Lewkowycz等
机构：谷歌
Top6：Collaborative Neural Rendering using AnimeCharacter Sheets
作者：Zuzeng Lin, Ailin Huang, Zhewei Huang等
机构：武汉大学，旷视科技
Top7：Neural Networks and the Chomsky Hierarchy
作者：Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein等
机构：DeepMind
Top8：Language modelling with Pixels
作者：Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello等
机构：哥本哈根大学，约翰霍普金斯大学，乌普萨拉大学
Top9: On the Principles of Parsimony and Self-Consistencyfor the Emergence of Intelligence
作者：马毅，曹颖，沈向洋
机构：加利福尼亚大学伯克利分校，粤港澳大湾区数字经济研究院
这篇论文是马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表的一篇对人工智能出现及发展的研究综述，堪称对近70年来AI发展的提纲挈领之作。
Top10：Scaling Laws vs Model Architectures:How does Inductive Bias Influence Scaling
作者：Yi Tay, Mostafa Dehghani, Samira Abnar
机构：谷歌，DeepMind
看完了Top10的各方大佬的论文，再来说说这次榜单有趣的几个细节。
众所周知，推特点赞是可以用机器人刷的，作者用点赞数作为榜单的关键指标确实有待商榷。
另外，此前呼声极高的「无限视觉生成模型NUWA-Infinity」在推特点赞数方面只排在第12位，但Github星数已超过2.4k。
由于NUWA Infinity早在2021年11月就发布了首个版本，而本次榜单只计入了之后的第二版的点赞数，因此只排在第12位。参考资料：https://www.reddit.com/user/cloud_weather/
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
