治理导向设计 打破企业AI落地“黑箱”困境

2026-06-16 17:20:00 来源: 科技日报 点击数:

科技日报记者 付丽丽

一家跨国企业的人事部门收到员工投诉后,AI系统自动摘要材料、提示适用政策并给出初步处理建议,两小时内案件完成流转。然而三个月后案件进入法律审查,调查人员发现已无法还原AI的决策过程——整理材料时用了哪条规则?审核人看到了哪些信息?那次“确认”究竟代表了什么判断?

这个场景揭示了当前企业AI规模化落地中的普遍困境。在2026年2月于法兰克福举行的德国设计奖颁奖典礼上,亚马逊人机交互与企业系统设计专家唐义凭借工业工作流系统《库存执行移动套件》同时获得“交互体验设计”和“服务设计”两项优胜奖。他在接受采访时提出:“企业AI治理的基本单位,不应只是一次模型调用,而应是一个可以被定义、审核和接管的决策节点。”

唐义认为,许多关于企业AI的讨论聚焦于模型准确率、偏见控制和成本降低,但这些并不能直接转化为组织可以承担责任的决策。AI的一次回答不等于一个可被审计的决定,真正产生组织后果的是完整的流程链条——谁提交了信息、系统如何理解、审核人看到了什么、最终决定如何留存。这些环节如果未被清晰设计,AI进入高风险业务带来的很可能不是效率,而是新的混乱。

随着欧盟《人工智能法案》生效,监管机构对AI系统的可追溯性、可解释性和人工监督提出明确要求。唐义将应对思路概括为治理导向设计,即治理机制不应等到系统上线后再打补丁,而应在产品和工作流设计之初,就将责任边界、证据留存和人工介入机制写入系统结构本身。

这一理念已在其设计中付诸实践。在企业AI工作流设计中,唐义要求系统在每个关键节点都能回答基本问题:AI建议旁必须显示对应的政策条款;确认按钮背后要记录操作人是谁、基于哪些材料作出判断;边缘案件自动进入人工升级流程。他参与设计的企业人力资源与合规系统引入这些结构性调整后,案件处理效率和高风险流程准确率均有明显提升。

“企业AI落地的下一道门槛,不是模型性能,而是系统的可信度——AI的建议能否被追踪、被审核、在必要时被人接管。”唐义说,“治理导向设计要解决的,正是把抽象的治理要求转化为产品可以执行的结构语言,让AI从‘能给答案’变成‘能被追责’。”

(受访单位供图)

责任编辑:陈可轩
网友评论
最热评论
没有更多评论了

抱歉,您使用的浏览器版本过低或开启了浏览器兼容模式,这会影响您正常浏览本网页

您可以进行以下操作:

1.将浏览器切换回极速模式

2.点击下面图标升级或更换您的浏览器

3.暂不升级,继续浏览

继续浏览