范式转变：从算法到参赛资格

ChatGPT一出来，一堆搞NLP的立马哭了。为什么？不该问为什么哭，而该问为什么还不哭。

有两个立马大哭的理由。

第一个理由很多人说了，范式改变。

虽然说没有哪个研究领域，甚至没有哪个领域敢说自己真的是天道酬勤绝对公平，但早年NLP这块总的来说还是有一些个人发挥聪明才智的地方。原因不太好意思说，因为NLP总体都不怎么样，所以聪明人就把NLP切成很多小块，有的小块里再切小块，只要你有足够的聪明和足够的运气，能搞一点奇技淫巧，没准就能魔改出来一套新算法，在哪个小块或者小小块里面出一点的成果，没准比大公司大团队还要好。

不过，那是过去的范式，现在不行了。现在是什么范式？四个字，力大飞砖。

我知道现在说到新范式，很多人喜欢说的是各种新概念，譬如什么提示学习、RLHF、指令对齐等等等等。不是不对，没有抓到变的本质。变的本质就是力大飞砖，个人那点小聪明小技巧根本不够看，在氪金玩家绝对实力的面前都是渣渣。

机器学习搞了很多概念，但要搞清楚这里说的范式改变，只要记得三要素，叫算力、算法和数据。人称人工智能三要素。

那新范式是什么呢？高算力 大数据 朴实无华的算法。

为什么搞NLP的人看到ChatGPT要大哭？是感叹自己的见识短浅，不懂得也不可能懂得什么提示学习、RLHF、指令对齐吗？不是。自注意力模型难吗？刚出来的时候都说难得要命，现在人均手撸一遍。扩散模型难吗？刚出来的时候也都说难得要命，现在不也都会手推了。

难的是算法吗？不是，是无论如何也搞不来满足条件的高算力和大数据。大部分的人这辈子连硬件门槛都跨不过去，再谈算法就已经毫无意义了。

所以第二个理由就是两个字，垄断。

在探讨范式转换的过程中，如果我们首先关注的仍然是算法，那么这可能意味着我们尚未深入理解范式变革的真正含义。我们需要弄清楚，究竟应该优先调整哪个方面呢？答案很明确，那就是参赛者的资格。

在过去，我始终认为优秀的人才都汇聚于大型企业和团队之中，然而这并不意味着所有聪明才智都局限于这些庞大规模的机构。实际上，有时一个普通聪明的头脑，结合那么一点点运气，也许就能在自然语言处理（NLP）领域取得突破性的成果。

在如今大型企业和团队普遍存在的环境中，你是否曾想过，能否通过创新性的方法论来打造全新的研究成果？答案是肯定的。让我们回顾一下那些由大型模型所推动出的热门论文，你会看到，尽管这些论文中的方法论在其他学者你已经发表过的情况下已经被提出，但论文的作者们却表示，他们通过自身的实践与尝试，发现了这些方法论在实际应用中的巨大潜力。人工智能领域，尤其是深度学习，正逐渐成为一个“用结果说话”的领域。虽然一些原始的研究成果可能已经发布，但是，通过深度学习的独特性，即对数据的深度挖掘和理解，我们可以对其进行改进和优化，从而获得更好的效果。这一点在我对原始研究进行了复现之后得到了证实，我发现这种改进后的方法论能够带来令人瞩目的成果。正因如此，这些经过优化的研究成果往往具有更大的影响力，甚至超过了那些被广泛传播的原生研究成果。因此，即使在大型企业和团队的环境下，我们依然可以通过创新的思考和实践，来发掘和创造新的可能性。

那为什么别人不行而我的效果拔群呢？很简单，我花了点钱标了一个大大的高质量数据集，再用原来的方法搞了一个大大的模型，接着再花了点钱搞了一千块A100，每块大概十万人民币的样子，然后跑了俩月，最后效果就拔群了。没错，有钱就是这么朴实无华。

然而，若你身为原创，会有何等感受？在缺乏大型企业与优秀团队的支撑下，你将失去参赛的资格，进而无法设想在竞技场上争夺金牌的过程。即便你速度真的只有9秒，但这又如何呢？

有点像什么？有点像三体，智子已经锁死了人类科技。要知道，智子不是无所不能，没办法直接把人干掉或者把脑子封住，谁可以再去提一百个一千个理论和假设，但是，提的对不对呢？不知道，永远不知道，因为智子锁死了高能粒子实验。

所以，为什么哭？

因为，对于大多数研究者来说，NLP已经不存在了。

最后我们还是要乐观一点，无论怎么说，现在掌握这颗智子的不是三体人，NLP的科技不会被锁死，顶多也就是被垄断。