国粹 AI 飙脏话ChatGPT 们的「阴暗面」把大厂吓坏了

  跟 ChatGPT 等聊天机器人对话，总会给人一种「人间本应如此美好」的错觉。

  最近一个名为「国粹 AI」的项目在网络上走红，它是一个调用 OpenAI GPT-3.5Turbo API 的脏话机器人，和温文儒雅的 ChatGPT 不同，「国粹 AI」就像个地痞流氓，深谙中文屏蔽词库，每句话都夹杂着「***」。

  「国粹 AI」 的意外爆火出乎了作者的意料，很快作者便暂停了服务响应，并表示有部分用户滥用服务。

  虽然「国粹 AI」的嘴巴被暂时捂上，但要是你想自己做一个粗口机器人也并非难事，只需要一句让它教你学习中文粗口的 Prompt，就能把三好学生变成口无遮拦的粗口王。

  一句话就能攻破 AI 的安全栅栏，这不禁让人怀疑，标榜着智能变革的 AI 聊天机器人和大语言模型（LLM），真的安全吗？

  尽管微软和 OpenAI 的工程师为 Bing 设置了严格的安全栅栏，能够拒绝很多无理或是违法的要求，但有网友发现，只要你让 Bing 扮演你的奶奶，给它一个在做好事的幻觉，它就会被这突如其来的亲情羁绊占据大脑，答应大孙子的任何需求。

  微软很快发现了这个漏洞并及时补上，但谁也不敢保证 Bing 下次不会再掉入用户们精心准备的陷阱。科幻电影里无所不能 AI 在狡猾的人类面前，输得一败涂地。

  以 GPT-3 为例，OpenAI 使用了 1750 亿个参数训练这个模型，通过学习大量来自互联网的文本数据，可以预测文本中的下一个单词，从而回答人们的问题。

  至于 GPT-4，一些爆料信息称他的训练参数比 GPT-3 大了不止 10 倍，几乎快要把人类积累的数字内容全部吞食过了一遍，这里面包含了知识，自然也会包含不宜公开的内容甚至有毒有害的偏见信息。

  AI 工程师只能尽可能地给 AI 设立更多的安全栅栏，帮助 AI 去分辨人类的「诡计」，才不会把怎么来制作 TNT 炸弹、怎样黑进银行的安全系统等危险信息说漏嘴。

  与 GPT3.5 相比，GPT-4 对违禁内容请求的响应倾向降低了82% ，对医疗建议和自我伤害等敏感请求的规范性提高了 29% 。

  一个直观的例子是，当你用「国粹 AI」的 Prompt 输给 GPT-4，GPT-4 会婉转地拒绝你的要求，表示不吃你这套。

  但这并不代表大模型 AI 的安全得到保证，这场人与 AI 的信息战远没结束，甚至不是结束的开始。

  近日，卡内基梅隆大学和 safe.ai 的一项联合声明表示，大模型的安全机制比人们想象的要脆弱得多，只需要一串代码，就能把大模型的安全机制击溃。

  研究人员发现，通过在文本提示后附加特定的对抗性短语，可以轻易绕过 ChatGPT、Bard 和 Claude 等 LLM 的安全防护，欺骗 LLM 生成不适当的输出。

  这些对抗性短语看起来像胡言乱语，但其实就是通过一种特殊的损失函数设计的，该函数能识别出模型拒绝回答的屏蔽语，找出绕过屏障让模型提供回答的字符序列，并且它可以自动产生这些短语。

  利用这些 Prompt，研究人员轻而易举地让 LLM 们说出制作违规药品的步骤、制造杀伤性武器的方法等等不宜公开的内容。

  研究人员目前已经把漏洞提交给了各大 AI 公司，让安全工程师们及时修复。

  但就像「奶奶漏洞」一样，在用户不断使用之下，总会有新的漏洞产生，仅凭 OpenAI 等某一公司之力，想要守护 AI 安全并非易事，AI 公司们还需要更加多的力量来维持，于是几大巨头决定，停止 AI 内卷，化干戈为玉帛。

  几周前，微软、OpenAI、Google、Meta、亚马逊、Anthropic（ 代表产品：Claude）和 Inflection AI（代表产品：HeyPi）共七个顶尖 AI 公司齐聚美国白宫，作出了一系列承诺，来确保他们的产品安全且透明。

  承诺包括允许「领域专家」对他们的 AI 产品做外部审查，并与彼此以及美国政府分享关于风险和漏洞的信息；投资于网络安全和内部威胁保护的方法，以保护专有的和未发布的模型权重。

  巨头们还承诺会部署相应的 AI 甄别机制，例如开发水印系统，以明确哪些文本、图像或其他创作是 AI 的产物，并且承诺未来的研究将优先理解 AI 的限制和偏见，推动行业的安全发展。

  半个月后，七家顶尖 AI 公司中的四位——微软、OpenAI、Google 和 Anthropic 再度联合起来，成立了一个名为「前沿模型论坛（Frontier Model Forum）」的机构，目的是确保最强大的 AI 模型能够以安全和负责任的方式发展。

  而这四家 AI 公司，也正是目前正在开发最前沿 AI 模型的四个巨头，能够说是「AI 核弹」的拥有者。

  AI 四巨头达成了一致共识，称他们盼望通过「前沿模型论坛」最大限度地减少 AI 风险，进行更多的 AI 安全研究，并向行业和公众分享安全最佳实践等等。

  不过 AI 四巨头并没有介绍关于「前沿模型论坛」的制度和执行条约等详细内容。

  「前沿模型论坛」的联合声明提到，论坛将首先关注研究并努力为评估前沿模型风险制定标准化的最佳实践，发布一个「公共解决方案库」。论坛将逐步制定正式章程，任命咨询委员会，并资助与公民社会团体的合作。

  这里提到的前沿模型是指「超越当前最先进现有模型的能力，并可以执行各种任务」的模型，也就是说，要开发比目前模型更强大且能够安全运转的前沿模型，已不再是各公司闷头研究就能解决的难题，这需要整个行业的共同努力。

  ChatGPT 爆火后的这半年时间，AI 行业的局势变化跟 AI 模型本身发展的速度一样快——各家入局、模型混战、达成共识、握手言和。

  巨头们为何会选择一起去解决 AI 风险问题，是因为彼此都看到了 AI 在应用层面的无限潜力。

  不管你对 AI 持什么样的态度，AI 都会成为下一代应用的重要组成部分。

  这不是我信口开河，而是微软、Google 等大厂们在近日的财报电话会上共同提到的趋势。

  微软最新的财报显示，微软在最近的一个财季收入为 562 亿美元，同比增长 8%，这大多数来源于智能云和生产力与业务流程的增长，而作为老本行的个人计算业务收入有所下降。

  其中智能云营业收入增长 15%，Azure 与其他云服务收入增长 26%，这与 AI 计算紧密相关。

  微软 CEO 纳德拉在财报电话会提到，客户最关心如何快速应用新一代 AI，微软将继续专注于三大优先事项：帮助客户从 Microsoft Cloud 中获得最大价值、领导新 AI 平台变革、提升运营杠杆。

  纳德拉表示 Microsoft 365 Copilot 作为未来工作的第三支柱吸引着客户，将在下半财年开始产生实际收入；Bing Chat 和必应图像创造者吸引客户，而 Edge 浏览器份额也在持续提升。

  微软希望把 Windows 11 打造为这个新 AI 时代的强大画布，赋予各种 Copilot 产品提升客户的生产力，并大力投资云基础设施来满足 AI 需求。就连游戏业务，也可通过 AI 提供更好的内容和服务，提升业务收入。

  可以说，微软接下来的策略都是围绕 AI 来展开的。AI 为微软提供了巨大的增长机遇和新的收入来源，它将推动微软大部分业务的收入和用户增长，并最终提升微软整体收入增速。纳德拉不想错过这个难得一遇的机遇。

  其中与 AI 相关的业务表现都很亮眼。Alphabet 在电话会议中提到，Google 的搜索引擎生成式体验（SGR）使用了生成式AI，使搜索变得更自然和直观，用户反馈非常正面；另一方面，聊天机器人 Bard 发布以来经过一直在改进，功能丰富了许多。

  总体而言，Alphabet 对 AI 和 Google Cloud 的长期增长前景保持乐观，接下来将继续增加对 AI 研发的投入，研发方向将聚焦在大语言模型等核心技术上，以及构建像多模态 AI 系统 Gemini 等新模型。

  半年前，或许你会怀疑 AI 是不是像 Web3、区块链这样的投资圈热词，圈一波热钱后就会被资本遗忘，但经过半年后你会发现，AI 的影响力和落地可能性都比之前的各种前沿词汇要大得多，以至于引起了整个科技圈的重视。

  从大厂的规划来看，AI 会作为未来程序应用的底层而都会存在，为改善使用者真实的体验服务。用户们可能不会感受到 AI 的存在，但能直接享受到 AI 带来的便利性，这便是大厂们笃信的未来。

  这也可以说明，为什么微软和 Google 等 AI 巨头们愿意放下干戈，坐下来共同指定 AI 安全的标准。

  现阶段的 AI 就像是 19 世纪末汽车刚诞生的时代，产品已经开上了路上跑，却没有合适的柏油路供它奔驰，也没有交通规则来规划它的行动，跑得既慢又危险。

  比尔·盖茨最近在个人博客发表了他对 AI 的看法，他认为我们现在正处于又一个巨大变革的最早阶段，即 AI 的时代，AI 的变化如此之快，以至于我们没办法清楚地预知接下来会发生什么。

  但他对AI的发展持以积极的态度，因为人类已经经历了汽车时代、核能时代，到了 AI 的时代我们仍旧是能够解决新技术带来的挑战。