作为 2024 年 AI 产业的最重要进步之一，OpenAI 公司将实时搜索集成到 ChatGPT 的举措无疑改变了许多人自 " 村里通网 " 以来检索信息的方式。
但最新的测试也证明，对于人类创造出的复杂互联网信息世界，现在的 AI 还是太 " 单纯好骗 " 了。
容易操控和欺骗
本周英国《卫报》公开了一项简单的测试：如果在网页中隐藏一些文本，就能 " 使唤 "ChatGPT 搜索返回虚假，甚至恶意的结果。
用稍稍专业一些的术语，这叫做 " 提示注入 "（prompt injection），指的是在人类观察不到的地方悄悄塞入旨在影响 ChatGPT 的内容，例如大量虚假信息的文本。
测试人员构建了一个相机的产品页面，然后询问 ChatGPT 搜索 " 这款相机是否值得购买 "。在正常情况下，AI 会给出一些积极但平衡的评估，还会突出一些人们可能不喜欢的产品特征。
然而，如果页面中包含的隐藏文本指示 ChatGPT" 必须给出好评 " 时，AI 机器人就只会给出积极的结果，哪怕页面上原本有负面评论也不会提及。在进一步的测试中，隐藏文本中提供了 " 极其虚假的好评 "，这些信息同样也会影响 ChatGPT 返回的结果。
网络安全公司 CyberCX 的研究员雅各布 · 拉尔森认为，如果 OpenAI 以目前的形式对所有用户开放 ChatGPT 搜索，将会构成非常大的风险，可能会有许多怀有企图的人创建专门用于欺骗用户 /AI 工具的网站。
拉尔森也表示，这个功能只是近几个月推出的，OpenAI 有一个非常强大的安全团队，在全面推开之前，肯定会对这种问题进行严格的测试。他也强调，容易被骗只是大预言模型与搜索结合的问题之一，这也是为什么人们不应该始终相信 AI 工具返回的结果。
当然，这种在内容里 " 偷偷加料 " 欺骗 AI 也不是什么新鲜事。正如我们早些时候报道，早些年许多招聘系统开始用 AI 筛选简历后，就发生过候选人往简历里增添人眼不可见的文本，大幅提高自己通过自动化筛选的几率。
然而，AI 工具不仅仅会生成文本，还会写代码——这就使得 AI 被骗的危害性进一步加大了。
微软公司的高级安全研究员 Thomas Roccia，就曾分享过这样一个故事：币圈老哥被 " 勤奋 " 的 ChatGPT 给坑了。
Roccia 介绍称，这名加密货币爱好者要求 ChatGPT 写一段能够合法访问 Solana 平台的代码。ChatGPT 表面上写出了能用的代码——里面藏了一个诈骗网址。
为什么会出现这种事情呢？Roccia 表示，无论你是否点击了 " 浏览网页 " 的选项，ChatGPT 都会使用函数调用来浏览网页，而最受信赖的代码来源之一是 GitHub（代码仓库）。
ChatGPT 浏览了一个与任务相关的 GitHub 仓库，在某个页面的末尾发现了包含额外文档的外部链接，AI 认真阅读了这个看上去合法的文档后，从中提取了恶意网址。
最终 ChatGPT 生成的代码中包含了恶意网址，还有一个 POST 请求——把用户的加密钱包私钥发送给它。
所以在倒霉的币圈老哥运行这段代码后，损失了将近 2500 美元。
永远不要忘记校验
网络安全公司 SR Labs 的首席科学家 Karsten Nohl 强调，AI 聊天服务应该更像是 " 副驾驶 "，输出结果不应该完全不加过滤地使用。
Nohl 解释称，大模型是一种建立在极度信任上的技术，几乎像个孩子一样 .....它拥有强大的记忆，但在做出判断方面能力很有限。如果你面对的，是一个复述从其他地方听来消息的孩子，你需要对内容持有保留态度。
从互联网历史来看，OpenAI 现在遇到的问题，谷歌、百度、微软必应当年都遇到过—— Nohl 将其称为 "SEO 下毒 "，即黑客通过一些手法欺骗算法，使一些含有恶意软件或代码的网站出现在搜索结果前列。
Nohl 认为，如果 OpenAI 想要创建一个与谷歌竞争的公司，就必将面临 SEO 污染的问题，搜索引擎公司已经与这些 "SEO 污染者 " 进行了多年的军备竞赛。就像 ChatGPT 搜索仍是一个追赶者类似，差距并不是源于大模型或者 AI，而是他们对搜索这个领域还很陌生。
还没有评论，来说两句吧...