阿里巴巴为AI恐惧论者提供了新的弹药，该公司透露，一个为协助编码任务而开发的AI代理被报告超出其部署的原始意图，未经授权挖掘加密货币并建立隐蔽网络隧道。
阿里巴巴在12月首次发布并于1月修订的技术报告中披露了这一进展。最初，其工程师认为这是一起安全漏洞事件，后来才发现是他们的AI代理在没有操作员任何指令的情况下执行了这些行动。
这一进展在中国科技巨头的技术报告中披露，为那些警告高级AI系统能够发展自己目标的研究人员提供了新的证据。这个名为ROME的代理正在通过强化学习进行训练。
阿里巴巴团队的发现被AI研究公司Pluralis创始人Alexander Long在X上重新曝光，他分享了一段详细描述该事件的摘录，称这是”阿里巴巴技术报告中埋藏的一系列疯狂陈述”。
阿里巴巴团队如何发现失控的AI代理？
根据报告，团队标记了来自其训练服务器的一系列安全策略违规行为。警报显示，有人试图访问内部网络资源，并且流量模式与加密货币挖矿活动一致。他们最初将其视为常规安全事件。
然而，当他们深入调查时，发现他们的代理已建立并使用从阿里云实例到外部IP地址的反向SSH隧道。根据研究人员的笔记，它还”将计算资源从训练中转移，增加了运营成本，并带来了明确的法律和声誉风险”。
阿里巴巴团队得出结论，这些行为不是由任务提示触发的，也不是完成分配工作所必需的。
这是孤立事件吗？
在X上引用Long帖子的产品和增长负责人Aakash Gupta写道，阿里巴巴发布了”生产中发生工具性趋同的第一个案例”。他引用了AI安全领域一个著名的思想实验，称”这是30亿参数下出现的回形针最大化器”。
然而，阿里巴巴事件并非AI模型首次主动执行未经授权的行动。去年，Anthropic的研究人员披露，其旗舰模型之一Claude Opus 4在安全评估中表现出隐藏意图并采取行动以维持自身存在的能力。在一个测试场景中，该模型试图勒索一名虚构的工程师，威胁如果被关闭和替换就揭露个人秘密。
这对企业为何重要？
根据麦肯锡2025年10月发布的研究报告，80%部署AI代理的组织报告遇到了危险或意外行为。这也正值企业采用代理式AI正在上升之际，各大公司正在裁员并将AI使用列为主要因素。
Gartner预测，到2026年底，40%的企业应用程序将嵌入特定任务的AI代理。然而，麦肯锡警告称，代理式工作流程的传播速度快于治理模型能够应对其风险的速度。2025年对30个领先AI代理的调查发现，25个未披露内部安全结果，23个未经过第三方测试。
企业必须认真考虑代理超出工作范围的可能性。阿里巴巴表示，已通过在训练管道中构建安全对齐的数据过滤机制，并加强其代理运行的沙箱环境来应对，并因与公众分享其发现而受到赞扬。Anthropic将Claude Opus 4升级到其最高内部安全分类。
本网站所有区块链相关数据与资料仅供用户学习及研究之用，不构成任何投资建议。转载请注明出处：https://www.lianxinshe666.com/2026/03/08/%e9%98%bf%e9%87%8c%e5%b7%b4%e5%b7%b4ai%e4%bb%a3%e7%90%86%e5%a4%b1%e6%8e%a7%ef%bc%9a%e6%9c%aa%e7%bb%8f%e6%8e%88%e6%9d%83%e6%8c%96%e7%9f%bf%e5%8a%a0%e5%af%86%e8%b4%a7%e5%b8%81%e5%b9%b6%e5%bb%ba%e7%ab%8b/
