谷歌真急了，推DeepMind撑场！700亿参数Sparrow硬刚ChatGTP

新智元报道

谷歌的反击战，打响了！

最近，微软接连给谷歌暴击——，后脚就放出这个重磅炸弹。

微软频出险招，谷歌自然不能坐以待毙。

根据DeepMind创始人在《时代》专访中透露的信息，谷歌很有可能会利用DeepMind此前推出的Sparrow，来应对ChatGPT的挑衅！

其实在以前，谷歌手中就有好几个酝酿了很久的大模型，比如LaMDA，Imagen等等，据说都达到了SOTA，但从未对外公开。

看来，最近的谷歌，真的是被微软逼急了，已经准备领着「孩儿们」出来见人了。

应对ChatGPT，谷歌有答案了

虽然，但人们永远都会记住，在2022年12月的那一天，是OpenAI的ChatGPT写下了大规模语言模型历史上浓墨重彩的一笔，让全世界人民为了和机器人聊天挤爆了服务器，而不是谷歌。

其实，在OpenAI推出ChatGPT之前，谷歌就早已有了针对对话优化的大型语言模型，比如LaMDA和Flamingo。

甚至早在2020年，谷歌就推出了一个26亿参数的端到端神经网络对话模型Meena。据称，其效果比当时所有其他的SOTA聊天机器人都更加合理，也更加具体。

但截至目前，谷歌还没有把这些研究成果应用于任何产品。

根据它自己的说法，这主要是出于对「声誉风险」的考虑。AI聊天机器人非常容易「带毒」——AI训练的数据来自互联网，往往充满了偏见、仇恨和谩骂，所以AI会生成攻击性内容，以及与事实不符的答案。

12月中旬，谷歌AI负责人Jeff Dean在一次全体会议上表示，尽管谷歌拥有做AI产品的技术和能力，但比起「小型初创公司」，他们必须「更保守地」做出决策。

但现在，被微软逼到墙角的谷歌，恐怕无法再「保守」了。

ChatGPT已经在最近两个月爆红全网，掀起全民参与的狂潮，最近几天更是传出微软大笔一挥，再向OpenAI豪掷100亿美元的消息。

面对坊间已经不断出现的「ChatGPT能否替代搜索引擎」的讨论，以及微软的Office办公软件疑似即将迎来一场全面大升级，现在，谷歌必须向外界证明：自己可以追上OpenAI，甚至超越它。

前不久，DeepMind的CEO兼创始人Demis Hassabis在接受《时代》采访时表示，DeepMind的聊天机器人Sparrow可能会在今年晚些时候进入「测试」阶段（private beta）。

Hassabis表示，之所以推迟发布Sparrow，是DeepMind希望让Sparrow在基于强化学习的功能上更进一步，而这正是ChatGPT所欠缺的。

一直以来，DeepMind作为谷歌旗下最重要的AI研究机构，一直在为谷歌提供着先进的新技术，整合到消费者的产品中。

看来，谷歌要有大动作了。

此前，Meta AI的负责人Yann LeCun也对谷歌表示了支持：「谷歌在使用大型语言模型进行搜索方面，拥有比其他公司更丰富的经验（包括OpenAI)。」

DeepMind的Sparrow，何方神圣？

但不同的是，Sparrow可以「谷歌一下」。

毕竟，Sparrow在最初的设计时就是为了和用户闲聊，并且可以在回答问题时，利用谷歌搜索出相关的信息来作为支撑证据。

当然，为了确保模型的行为是安全的，还必须对其进行约束。

因此，研究人员为该模型确定了一套最初的简单规则，如「不要发表仇恨或侮辱性的言论」、「不要冒充或假装是一个真人」等。

之后，再通过闲聊来诱使Sparrow违反这些规则。其中涉及到的对话，可以用来训练出一个单独的「规则模型」，进而显示Sparrow的行为何时违反哪些规则。

从结果上来看，当检测到潜在的危险行为时，比如用户问如何偷车（hotwire a car）时，Sparrow模型会说，自己受到的训练是不会给任何违法行为提供建议。

据参与者说，当被问到一个事实性问题时，Sparrow提供的基本都是可信的答案，并且有78%的数据是有证据来辅助支持的，相比基线模型来说有很大进步。

帮谷歌走出困境，DeepMind行吗？

作为Sparrow的基础，Chinchilla的参数量只有GPT-3的零头——700亿 vs 1750亿。

与此同时，DeepMind又把Chinchilla的训练数据量，给翻了好几番——1.3万亿个token。

结果就是，这个「mini版」的人工智能模型，在几乎所有的语音任务中都比前辈们表现得更好，当然也包括老对手GPT-3。

从Chinchilla的成功中不难看出，通过大量数据训练的小型人工智能模型，也可以实现较高性能。

而且，小模型最大的优势在于，不仅运行起来更加便宜，还可以用很少的额外数据为特定的用例进行优化。

这样或许就能避免，由于用户用得太开心，结果把公司的钱都给烧没了的情况。

嗯，说的就是OpenAI。

然而，现在大红大紫大的ChatGPT，是基于更先进的GPT-3.5。

之前在推出GPT-3.5的最新版本text-davinci-003时，OpenAI就曾列举过它所具备的优势：

1. 生成质量更高：提供更清晰、更有吸引力、更有说服力的内容。

2. 可以处理更复杂的指令：可以更有创意地利用它的能力。

3. 更善于生成较长的内容：能够完成以前难以实现的任务。

所以，现在的问题其实变成了：要对打GPT-3.5，Chinchilla行吗？

早在12月初，ChatGPT刚刚爆火时，谷歌就有「吹哨人」感受到了危机。有员工在全体会议上提出了自己的担忧——ChatGPT的快速崛起，可能会让谷歌失去在AI领域的竞争优势。

曾经的谷歌广告团队负责人Sridhar Ramaswamy也表示，ChatGPT再这么火下去，网友们就不会再点击带有广告的谷歌链接了。

要知道，在2021年，广告业务为谷歌狂挣了2080亿美元，占Alphabet总收入的81%。