文章主题：DeepMind, Google, AI研究
编辑：Joey
【新智元导读】近日，有Reddit网友整理了一份七月最受欢迎的AI研究榜单，快来看看都有哪些重量级研究~
七月最受欢迎的AI研究榜单出炉啦！
🏆🚀2022 July AI PowerhousesRanking Top 10 🚀🏆🔍 By the hands of Reddit’s AI enthusiasts, @bycloudai has curated a list that shines bright with the brilliance of cutting-edge research. This exclusive compilation, based on viral traction (👍💬)， social reach (❤️💻), and Github recognition (🌟”in the making”), highlights the leading institutions in AI landscape – names like DeepMind, Google, and MIT CSAIL, et al., consistently setting the bar high 🌠💡🔍 From the depths of their code repositories to the echoes of their groundbreaking discoveries, these tech giants are driving innovation forward. Each project promises to reshape our understanding of artificial intelligence and leave a lasting impact on the industry 🤝💻欲了解更多详情，探索AI领域的前沿动态，不妨跟随这份权威指南, 一窥科技巨头的智慧结晶！SEO-friendly keywords: AI research, Reddit, @bycloudai, DeepMind, Google, MIT CSAIL, innovation, Github stars.
下面一起来看看上榜的都是何方大佬~
TOP1: Formal Algorithms for Transformers
作者：Mary Phuong，Marcus Hutter
机构：DeepMind
🌟🚀掌握未来，探索Transformer之路！🔍Transformers，颠覆传统认知的数学魔法，引领AI革命的新引擎！📚💻在这个独立且严谨的指南中，我们带你深度解析这股技术洪流——从核心原理到实战应用，一窥究竟！训练的秘密？优化算法，让模型跃升新高度！📈📊通过详尽步骤，揭示Transformer如何在数据海洋中精准导航，实现语言理解和生成的奇迹。用途广泛，Transformer触手可及：从自然语言处理到计算机视觉，它无处不在，重塑行业格局。💼🎨架构组件？关键要素，构建高效能智能体系！📚💡注意力机制、自回归和位置编码，这些创新设计如何构建强大而灵活的信息交换网络？模型预览？前沿之作，揭示Transformer的未来潜力！🔥🚀BERT、GPT-3……这些里程碑式的模型，展示了Transformer无限可能的未来画卷。让我们一起踏上这场知识之旅，揭开Transformer的神秘面纱，用数学语言编织未来的智能世界。🌍🌐别忘了，想要更多深入内容，欢迎随时咨询！👩🏫💻SEO优化提示：使用关键词”Transformers”, “深度解析”, “训练秘密”, “广泛应用”, “架构组件”, “模型预览”, “未来潜力”, “AI革命”, “数学魔法”等。
Top2：Confident Adaptive Language Modeling
作者：Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q Tran, Yi Tay, Donald Metzler
机构：谷歌，MIT CSAIL
摘要：基于Transformer 的大型语言模型 (LLM) 的最新进展已推动许多任务的性能显著提高。然而性能提升的同时模型的大小也在急剧增加，这可能导致推理过程复杂以及成本增加。然而在实践中，大型语言模型产生的一系列迭代是由不同程度的难度组成的。
在这项工作中，我们介绍了 Confident Adaptive Language Model-ing (CALM)，这是一个动态分配不同数量的计算机输入和生成时长的框架。
早期退出解码涉及我们在这里解决的几个问题，例如：（1）使用什么置信度度量；(2) 将序列级约束与本地token的退出决策联系起来；(3) 回溯由于先前token提前退出而丢失的隐藏表示。通过对三种不同文本生成任务的理论分析和实验，我们证明了我们的框架在减少计算方面的功效——潜在加速高达3倍，同时可保持高性能。
Top3：Language Models (Mostly) Know What They Know
作者：Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan等
机构：Anthropic
摘要：本文研究了语言模型是否可以评估自己主张的有效性并预测他们将能够正确回答哪些问题。我们首先表明，当以正确的格式提供较大的模型时，它们可以很好地针对各种多项选择和真/假问题进行校准。因此，我们可以通过要求模型首先提出答案，然后评估其答案正确的概率P(True)来对开放式抽样任务进行自我评估。
我们发现 P(True) 在各种任务中的性能、校准和缩放都令人兴奋。当我们允许模型在预测一种特定可能性的有效性之前考虑许多自己的样本时，自我评估的性能会进一步提高。接下来，我们研究是否可以训练模型来预测P(IK)，即「我知道问题的答案」的概率，而不参考任何特定的建议答案。
Top4：YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time objectdetectors
作者：Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao
机构：Institute of Information Science, Academia Sinica
Top5：Language Model Cascades
作者：David Dohan, Winnie Xu, Aitor Lewkowycz等
机构：谷歌
Top6：Collaborative Neural Rendering using AnimeCharacter Sheets
作者：Zuzeng Lin, Ailin Huang, Zhewei Huang等
机构：武汉大学，旷视科技
Top7：Neural Networks and the Chomsky Hierarchy
作者：Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein等
机构：DeepMind
Top8：Language modelling with Pixels
作者：Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello等
机构：哥本哈根大学，约翰霍普金斯大学，乌普萨拉大学
Top9: On the Principles of Parsimony and Self-Consistencyfor the Emergence of Intelligence
作者：马毅，曹颖，沈向洋
机构：加利福尼亚大学伯克利分校，粤港澳大湾区数字经济研究院
这篇论文是马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表的一篇对人工智能出现及发展的研究综述，堪称对近70年来AI发展的提纲挈领之作。
Top10：Scaling Laws vs Model Architectures:How does Inductive Bias Influence Scaling
作者：Yi Tay, Mostafa Dehghani, Samira Abnar
机构：谷歌，DeepMind
看完了Top10的各方大佬的论文，再来说说这次榜单有趣的几个细节。
众所周知，推特点赞是可以用机器人刷的，作者用点赞数作为榜单的关键指标确实有待商榷。
另外，此前呼声极高的「无限视觉生成模型NUWA-Infinity」在推特点赞数方面只排在第12位，但Github星数已超过2.4k。
由于NUWA Infinity早在2021年11月就发布了首个版本，而本次榜单只计入了之后的第二版的点赞数，因此只排在第12位。参考资料：https://www.reddit.com/user/cloud_weather/
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
