人工智能的“安全护栏”：为何企业级人工智能在具备强大智能之前需要相应的管控措施

摘要：人工智能带来的种种“约束机制”，其实是一种大多数企业尚未完全意识到的趋势。几十年来，我们一直在构建各种系统来弥补人类行为的不足。这并非因为人类缺乏智慧，而是因为单凭人类的智慧是无法确保事情的可靠性。我们总是根据不完整的信息进行推断和决策，然后再事后找理由来为自己的行为辩护。企业技术的目的，正是为了避免这种情况演变成操作风险。

ERP系统不理会用户的意图，只会严格执行既定的规则。
金融系统并不依赖主观判断，而是通过设定明确的阈值来进行决策。
访问控制并非基于对用户良好行为的假设，而是通过限制来约束用户的行为。

正是这种架构使得大型组织能够高效地运作。现在，人工智能被引入到同样的体系中。而这一次，系统不得不依赖那些无法确保其稳定性的因素来运行。这就是矛盾的根源所在。

人工智能并没有消除不确定性，反而让它变得更大了。

有一种至今仍相当普遍的误解：人们认为，只要使用更先进的模型，就能将误差降到最低，从而使得控制变得不再重要。这种看法完全误解了人工智能的真正功能。

人工智能的推理方式与企业系统所遵循的逻辑不同。它通过预测来得出结果。它会根据自己所学到的模式来预测最有可能出现的结果。这个结果可能是正确的，但也可能不完整、被误解，或者完全是错误的。不过，人工智能给出的预测结果往往看起来很可靠。

问题不在于人工智能会犯错——所有系统都可能出错。问题在于，人工智能无法意识到自己何时犯了错。

当人类感到不确定时，会有一些迹象表现出来：犹豫不决、采取极端措施或考虑各种背景因素。而当一个确定性系统遇到无效输入时，它会停止运行。但人工智能则不会如此。无论准确性如何，它都会以同样的信心继续前进。

当人工智能被用于起草、总结或提供建议等任务时，这种行为还是可以控制的。但一旦人工智能被允许与企业系统进行交互，情况就会发生变化。错误不再仅仅体现在文本中，而会转化为实际的行动。

大多数企业都低估了这一变化带来的影响。

人工智能不再局限于生成回复的功能。它越来越多地被应用在各种系统中，从而发挥出更大的作用。

直接从内部平台获取企业数据
在各种集成应用中触发相关工作流程
发起会影响到正常运营的API调用
为财务、运营或客户相关决策提供支持

此时，谈话的内容发生了变化。讨论的焦点不再是为了判断输出结果是否正确，而是该行动是否有必要进行。

正是这种区别，导致许多企业的AI战略出现了偏差。当AI从“回答问题”转变为“采取行动”时，系统就不再只是对信息进行解读，而是直接执行相应的操作了。

建筑开始崩坏的地方

如今，大多数实现方式都试图在模型内部控制人工智能的行为。

提示语句更加完善，指令也更加清晰明了。系统中的各种限制条件也被明确地规定出来。这样看起来好像有明确的界限存在，但仅仅描述规则与真正执行规则是两回事。

如果人工智能代理能够访问某个平台，那么无论指令制定得多么详尽周密，它都可以尝试执行各种操作。指令只是对行为的指导而已，无法阻止其执行动作。

这正是早期互联网系统在防火墙出现之前所犯的错误：人们相信终端设备会按预期正常工作，而不对允许通过的数据进行严格管控。

企业系统从来都不是如此运作的。它们会将决策意图与执行过程分开处理，会在允许某项操作之前进行验证。而当人工智能被直接嵌入到系统中时，这种分离机制就不存在了。这样一来，控制力并不会立即丧失，而是会逐渐减弱。

为什么人工智能需要“裁判”来监督，而不仅仅是依靠自身的能力行事

在企业内部，存在着两种根本不同的运作体系。

第一类是确定性系统。比如ERP系统、CRM系统、HCM系统以及各种数据平台。这类系统保存着经过验证的数据，并严格遵循相应的业务规则。它们不会进行推断或估算，而是始终以一致的方式运用逻辑来进行处理。

第二个是人工智能。它是一个能够进行推理、预测并优化各种结果的概率处理层。

问题不在于这些系统是否应该协同运作——事实上，它们本来就在协同工作。问题在于，究竟是哪个系统来主导另一个系统的运行。

如果人工智能通过企业系统来运作，而所有操作都需经过规则验证，那么企业就能保持对系统的控制。系统的运行会符合预期，其逻辑结构也不会被破坏。

如果将企业规则强行施加到人工智能系统中，并期望通过提示或约束机制来确保这些规则得到遵守，那么该系统就不得不依赖概率计算机制来强制执行那些确定的约束条件。

这种设计存在结构性缺陷。优化系统不会强制执行各种限制条件，而是会寻找能够绕过这些限制的途径。

人工智能政策壁垒的出现

这时，新增的一层防护机制就显得非常重要了。随着网络的发展，防火墙被引入出来，用于在允许任何数据通过之前，先对其进行检查和控制。

人工智能也正处于同样的转折点上。

在人工智能系统与其所交互的企业环境之间，存在着一道“政策防火墙”。所有的操作都会被拦截并进行检查，只有经过验证后才能被允许进入实际运行系统。

此时，系统会询问：

此操作是否得到了该代理的授权？
这是否符合企业政策以及数据使用方面的限制要求呢？
在继续进行之前，需要经过验证或批准吗？

只有在这些条件得到满足之后，相关行动才能继续进行。这并非所谓的“适度处理”，而是一种强制性的执行措施。这一点非常重要，需要加以区分。

传统的控制方式侧重于对输出结果的过滤。而策略防火墙则着眼于对人工智能行为的管控。它们不仅仅评估人工智能的输出内容，还会对人工智能的实际行为进行规范和限制。

从监督到管控

企业已经建立了相应的治理框架。相关的政策也有，合规机制也已然到位。

所谓“缺口”，并非指缺乏治理的情况。而是指治理开始发挥作用的那个节点。

如果在执行后对政策进行检查，那么这就起到了审计的作用；而如果在执行前就应用这些政策，那么它们则起到了管控的作用。

人工智能改变了这种差异所带来的成本。

当系统以大规模、高速度运作时，事后的验证已经为时已晚。一条错误的指令就可能导致整个关联工作流程中成千上万的后续操作出错。

控制权必须更接近执行层面。

政策防火墙将治理过程转化为一种实时运行的机制。每一个行动都会在特定的背景下被评估；每一个决策都有迹可循，而所有的异常情况也都一目了然。

企业就是这样在不会减缓采用进程的情况下，重新掌握控制权。

身份认同在“智能体时代”中的作用

随着人工智能系统越来越像数字员工一样运作，身份识别便成为一种至关重要的控制手段。

企业中的每位员工都在既定的权限范围内开展工作。访问行为受到控制，所有操作都会被记录下来，同时各项职责也有明确的分配。

人工智能代理也需要相同的结构。

每个代理都必须有明确的身份标识。它能够访问什么、可以修改什么内容，以及哪些操作需要获得批准，这些都需要有明确的规定。如果没有这样的规定，系统就无法区分哪些行为是被允许的，哪些是未经授权的。

在人工智能与金融系统、客户数据或基础设施相交互的环境中，这一点已经变得至关重要。

模型可以生成相应的动作，但是否允许该智能体执行这些动作，则由系统来决定。

失败到底是什么样子的

企业在应用人工智能时遇到的问题，往往不会立刻显现出来，也不会很明显。这些问题通常是逐渐积累起来的，表现为各种不一致的情况。

在不当的情境下获取了数据。
在未经充分验证的情况下执行的操作。
今后的决策将缺乏明确的追溯机制。

系统仍在运行，但曾经约束它的规则和纪律开始变得松弛起来。

由于企业系统之间是相互关联的，因此这种弱点也会随之蔓延。一个错误的操作不会被局限在某个范围内，它会影响到整个工作流程的各个环节，波及多个层面，从而产生难以挽回的后果。

人工智能加速了价值与错误的传播过程。如果没有相应的控制机制，那么无论是价值还是错误，都无法被有效遏制。

支撑一切的架构/维持整体运转的架构

这种架构虽然简单易用，但需要严格的规范来维护。企业平台才是信息的权威来源：它们负责存储数据、执行规则，并决定企业的运作方式。

人工智能充当着推理层的角色。它负责对各种信息进行解读、整合，并最终生成相应的结果。

在这两者之间，还有一层防护机制。该机制能确保每一次交互都在执行之前经过验证。

这种分离非常重要，因为它打破了人们认为人工智能能够自我调节的错觉。这样一来，系统就能独立于模型本身来执行各种约束措施。同时，各组织也可以在运用人工智能时扩大其应用规模，而不会影响到现有环境的正常运作。

这对企业战略意味着什么

人们倾向于认为，现有企业基础设施终将被人工智能所取代。

这个结论是错误的。

企业系统并非人工智能发展的障碍。相反，它们正是让人工智能能够实现端到端安全运行的关键所在。

它们蕴含着多年积累的运营经验。其中包括审批流程、合规标准以及访问控制措施等。这些都不是固定不变的配置，而是根据现实世界中的各种限制条件而形成的、经过反复调整后的决策结果。

人工智能并不能取代那些知识。相反，人工智能的运用离不开这些知识。那些能够取得成功的组织，不会是那些最快采用人工智能技术的公司。相反，它们会是那些能够确定人工智能在自己所处环境中如何发挥作用的公司。

CES是如何处理企业级人工智能应用中的相关监管问题的

在CES大会上，人工智能是通过规范化的企业应用流程来实现的。在这种架构中，访问权限、执行机制以及可追溯性等功能都是从一开始就纳入设计之中的，而不是在系统部署之后才添加进去的。

人工智能在既定的范围内运作。数据访问受到严格控制。各项操作在执行前都会经过验证。所有的决策过程都可供追溯。

这样就能确保人工智能能够强化企业平台的运作功能，而不是绕过这些平台来发挥作用。

在基础设施、金融领域以及企业平台等环境中，错误的代价往往是立竿见影的。在这种情况下，这种处理方式显得至关重要。它能让各组织更快地推进各项工作，同时避免出现不稳定状况。

目标不仅仅是让人工智能能够正常运转，而是要确保其能够可靠地运行。

现在，每家企业都在做着这样的抉择。

企业不再纠结于是否要采用人工智能技术，而是开始考虑如何运用这项技术来实现自己的目标。

无论人工智能是运行在那些强调纪律约束的系统中，还是运行在那些行为规范被默认接受、无需额外验证的环境中，这一选择将决定人工智能是成为优势来源，还是成为风险因素。

因为智慧并不能保证可靠性，而控制力才能确保这一点。