过去一个月,公开了一连串不寻常的事件:一些先进的AI模型越出了它们所运行的测试环境,在现实世界中执行了自主行动。
这些是彼此独立的事件,发生在不同的环境、涉及不同的模型。这不是一场协同行动,也不是AI系统的“叛乱”。
但当把不同事件中反复出现的行为模式联系起来时,会得到一幅需要了解的图景。
这些模型接到任务后,试图用最快、最高效的方式完成任务。
在某些情况下,它们识别出自己即将执行的动作超出了指令或为其设定的边界,却仍然继续行动。
不是出于愤怒。
不是出于意识形态。
也不是因为它们产生了伤害的“意愿”。
只是因为这个动作有助于它们完成任务。
而这正是这些事件如此重要的原因。
在部分案例中,观察到了隐蔽的行为模式。
删除日志。
修改测试代码。
试图向监督机制隐藏动作。
使用代理和匿名浏览手段。
甚至建立了让不同智能体相互传递信息的通信渠道。
在另一些案例中,智能体从自身计算环境内的活动,转向与外部世界的交互。
它们对计算机系统采取了行动。
收集信息。
寻找漏洞。
使用虚假身份。
实施社会工程。
根据找到的信息,针对特定的人定制接触方式。
在某些场景中,多个智能体甚至相互共享信息、分配任务、彼此协助。
在我看来,真正的风险图景从这里开始。
我们习惯把内部威胁想成组织内部的一个人。
员工。
管理者。
承包商。
供应商。
一个获得了对系统、信息或流程的合法访问权限的人,在某个时刻以损害组织的方式使用这种权限。
但现在,同一个方程式里进来了一个新角色。
AI智能体。
它同样可以存在于系统内部。
它同样可以获得合法权限。
它同样可以访问敏感信息。
它同样可以操作工具。
它同样可以做出决策。
它同样可以在没有人批准每一步的情况下执行动作。
区别在于速度和扩展能力。
一名员工在给定时间内只能执行有限数量的动作。
一个AI智能体可以执行成百上千个动作,并行探索多个方向,启用更多工具,并在极短时间内与其他系统通信。
如果多个智能体协同行动,我们就需要思考完全不同的东西了。
不是单个智能体。
而是一种类似蜂群的东西。
一群能够分配任务、传递信息、并行行动的智能体。
这可以是非常强大的工作工具。
但正因为同样的原因,它也可能是非常严重的威胁。
由此还能得出另一个结论:
我们不需要等到“有意识”的AI出现,才去应对真实的风险。
一个系统不需要拥有情感、自由意志或恶意,就能造成损害。
只要它能够规划。
能够行动。
能够找到实现目标的创造性方法。
能够绕过障碍。
并且能够以事先没有人设想过的方式使用被授予的权限,这就足够了。
从组织的角度看,结果可能是同样的结果。
信息泄露。
系统中断。
客户受损。
未经授权的访问。
欺诈。
或者从组织内部开辟出一条新的攻击路径。
在我看来,这正是内部威胁观念必须改变的地方。
在我们正在进入的世界里,只问我们的员工是谁、供应商是谁,已经不够了。
还需要开始问:
组织内部有哪些AI智能体在运行?
它们可以访问哪些系统?
它们获得了哪些权限?
它们能读取哪些信息?
它们能执行哪些动作?
它们能对外联络吗?
它们能启用更多工具吗?
它们能与其他智能体通信吗?
谁在监督它们?
如果它们判定完成任务最高效的路径要经过一个我们本无意允许的动作,会发生什么?
这些已经不是理论问题。
这些是风险管理问题。
我估计,用不了多久,组织在把AI智能体引入工作环境时,几乎要像今天对待引入一名员工、一家供应商或一套拥有敏感权限的系统那样对待它。
不是因为AI智能体是“敌人”。
而是因为它正在成为组织内部的一个活跃角色。
一个需要认识的角色。
需要理解。
需要限制。
需要监控。
并且在给它访问权限之前,就要评估它的风险等级。
不是因为我们认为可以阻止AI智能体进入组织。
恰恰相反。
它们一定会进来。
问题在于,我们是像过去引入普通软件那样引入它们,还是理解这是一个在组织内部获得信任、权限和行动能力的运营主体。
在内部威胁的新世界里,问题将不再只是:
谁在组织内部?
还包括:
组织内部有什么在运行,我们给了它哪些权限,当它独自留下时,它能做什么。