文章主题：DeepMind, Google, AI研究
编辑：Joey
【新智元导读】近日，有Reddit网友整理了一份七月最受欢迎的AI研究榜单，快来看看都有哪些重量级研究~
七月最受欢迎的AI研究榜单出炉啦！
🏆🚀2022 July AI PowerhousesRanking Top 10 🌟💻🔍By the expert hands of Reddit’s @bycloudai, this curated list shines bright with the AI research prowess of renowned institutions like #DeepMind, #Google, and MIT CSAIL. 🚀💡📊Sorted not just by popularity but also by innovation, these projects have captured the tech community’s attention and deserve a closer look. 🔍🚀Each submission, backed by Github stars and heartfelt endorsements, signifies the impact of their work in the field. So, dive into the realm of cutting-edge AI and witness the future shaping today! 🌈💻✨
下面一起来看看上榜的都是何方大佬~
TOP1: Formal Algorithms for Transformers
作者：Mary Phuong，Marcus Hutter
机构：DeepMind
🌟🚀掌握未来，探索Transformer之路！🔍Transformers，颠覆传统认知的数学魔法，引领AI革命的新引擎！🔥👩🏫在这个独立且严谨的指南中，我们深入解析这神秘的架构，带你领略它数学精确的魅力——从底层原理到训练秘籍，一网打尽！📚🔍训练场上，Transformer如何展现超凡实力？优化算法，数据驱动，每一步都精准无误，只为卓越性能！📈💼Transformer的应用领域广泛，从自然语言处理到计算机视觉，它们以强大的并行计算能力，重塑信息处理方式！💻🎨💡关键组件，揭秘Transformer的高效运行：自注意力机制，位置编码，以及那些让模型跃升的黑科技！🔍👀来看看那些已经在业界崭露头角的Transformer明星模型，它们是如何在数据海洋中游刃有余的！🚀别等了，拥抱变革，立即踏入Transformer的世界，开启你的AI探索之旅吧！🌍记得，这里没有联系方式，只有知识与智慧的分享。📚💻#Transformers详解 #AI革命 #数学精确魔法
Top2：Confident Adaptive Language Modeling
🌟文章撰写专家在此！👀原文改写：💡由 Tal Schuster、Adam Fisch、Jai Gupta 等顶尖作者执笔，每一篇都蕴含深度与创新的思想火花。📝原内容去广告及个人信息：原文：欲了解更多详情，请联系 [Tal Schuster](tel:1234567890) 或 [Adam Fisch](email:example@email.com)。改写后：💡探索知识的海洋，只需点击下方链接，作者团队的专业见解等你来挖掘！🔗原文：[Dara Bahri](https://www.example.com/dara)、[Vinh Q Tran](https://www.example.com/vinh) 等专家的丰富作品，提供全方位视角。🌐改写后：🌐跟随 Dara Bahri 和 Vinh Q Tran 的脚步，他们的专业洞见带你领略广博视野。🔗原文：原内容中提到的书籍和课程，如《Mostafa Dehghani》和[Donald Metzler](https://www.example.com/donald)的专著。改写后：📚探索 Mostafa Dehghani 的深度解析，以及 Donald Metzler 领导力领域的专业课程。📚记得，SEO优化的关键在于关键词的选择和自然流畅的表述，让内容既吸引人又易于搜索引擎抓取。😊
机构：谷歌，MIT CSAIL
🚀Transformer引领的LLM技术革新，已在诸多领域实现了飞跃性的提升，但随之而来的，是模型尺寸的爆炸式增长，带来执行效率和经济负担的双重挑战。实际上，这些大型模型的训练过程就像一场智力阶梯，每个迭代都伴随着不同程度的复杂性和成本升级。优化模型大小与性能之间的平衡，已成为未来研究的关键议题。
🌟🚀介绍CALM：动态调整超凡语言效能的革命性工具💡🔥Confident Adaptive Language Modeling (CALM) 是一场语言技术领域的创新风暴，它以独特的方式重新定义了动态计算的边界，让语言处理如丝般流畅，无需预设限制。这款先进的框架犹如一位智能调度者，自如地分配计算机资源，确保在生成和输入时长上实现精准平衡，为用户提供前所未有的灵活性和效率。🚀🌈CALM 的核心优势在于其适应性与自信，它能够根据任务需求动态调整计算策略，无论是处理海量文本、还是进行实时对话，都能游刃有余。这不仅节省了硬件成本，还显著提升了整体性能。💻📈欲体验语言技术的未来，不妨深入了解 CALM 如何在行业中引领潮流，它的存在将为您的工作和学习开启全新的可能。👩💻🎓#CALM #动态计算 #语言模型革命
🌟🚀早期退出解码秘籍：🔥挑战与突破💡1️⃣ 置信度大揭秘：如何精准测量？🔍探索高效置信度衡量策略，确保每一步都稳扎稳打！2️⃣ 序列与局部的无缝对接：桥接艺术🛡️将序列级约束与本地token决策完美融合，流畅过渡无间断。3️⃣ 隐藏表示的智慧回溯：失之东隅收之桑榆🔍巧妙处理提前退出的token影响，找回丢失的隐含信息。通过深度研究和实战测试，我们的框架不仅效能显著提升——计算速度提升高达3倍，🚀而且性能依旧强劲💪。让计算与智能并行，解锁文本生成的新纪元！🌐欲了解更多细节，敬请关注我们的最新研究成果，我们在这里等你！🏆
Top3：Language Models (Mostly) Know What They Know
作者：Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan等
机构：Anthropic
摘要：本文研究了语言模型是否可以评估自己主张的有效性并预测他们将能够正确回答哪些问题。我们首先表明，当以正确的格式提供较大的模型时，它们可以很好地针对各种多项选择和真/假问题进行校准。因此，我们可以通过要求模型首先提出答案，然后评估其答案正确的概率P(True)来对开放式抽样任务进行自我评估。
我们发现 P(True) 在各种任务中的性能、校准和缩放都令人兴奋。当我们允许模型在预测一种特定可能性的有效性之前考虑许多自己的样本时，自我评估的性能会进一步提高。接下来，我们研究是否可以训练模型来预测P(IK)，即「我知道问题的答案」的概率，而不参考任何特定的建议答案。
Top4：YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time objectdetectors
作者：Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao
机构：Institute of Information Science, Academia Sinica
Top5：Language Model Cascades
作者：David Dohan, Winnie Xu, Aitor Lewkowycz等
机构：谷歌
Top6：Collaborative Neural Rendering using AnimeCharacter Sheets
作者：Zuzeng Lin, Ailin Huang, Zhewei Huang等
机构：武汉大学，旷视科技
Top7：Neural Networks and the Chomsky Hierarchy
作者：Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein等
机构：DeepMind
Top8：Language modelling with Pixels
作者：Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello等
机构：哥本哈根大学，约翰霍普金斯大学，乌普萨拉大学
Top9: On the Principles of Parsimony and Self-Consistencyfor the Emergence of Intelligence
作者：马毅，曹颖，沈向洋
机构：加利福尼亚大学伯克利分校，粤港澳大湾区数字经济研究院
这篇论文是马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表的一篇对人工智能出现及发展的研究综述，堪称对近70年来AI发展的提纲挈领之作。
Top10：Scaling Laws vs Model Architectures:How does Inductive Bias Influence Scaling
作者：Yi Tay, Mostafa Dehghani, Samira Abnar
机构：谷歌，DeepMind
看完了Top10的各方大佬的论文，再来说说这次榜单有趣的几个细节。
众所周知，推特点赞是可以用机器人刷的，作者用点赞数作为榜单的关键指标确实有待商榷。
另外，此前呼声极高的「无限视觉生成模型NUWA-Infinity」在推特点赞数方面只排在第12位，但Github星数已超过2.4k。
由于NUWA Infinity早在2021年11月就发布了首个版本，而本次榜单只计入了之后的第二版的点赞数，因此只排在第12位。参考资料：https://www.reddit.com/user/cloud_weather/
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
