知识源于沉淀 编译|王晔
校对|校对
解释性对人工智能的发展至关重要，但从可信度的角度理解可解释系统可能产生的负面影响也同样重要。
近日，佐治亚理工学院的研究团队发表了最新研究，该研究重点解释了人工智能系统(XAI)中一个重要但无法解释的负面效应。
地址:https://arxiv.org/pdf/2109.12480.pdf
本文作者提出了“可解释性陷阱(EPs)”的概念，指出即使设计者一开始无意操纵用户，模型的可解释性也可能带来意想不到的负面影响。它不同于带有蓄意欺骗的黑暗模式(DPs)，但又与之相关。本文通过一个案例，阐述了每股收益的概念，并证明了这种解释的负面影响是不可避免的。最后，笔者进一步从研究、设计、组织三个方面提出了具体的应对策略。
1可解释的“两面”
开发新一代可解释、可信的人工智能越来越重要，因为人工智能已经广泛应用于医疗、金融、刑事司法等高风险决策领域。为了提高人工智能的安全性，我们需要打开AI内部运行的黑匣子，为用户提供可理解的解释。
目前，对可解释AI(XAI)的研究已经取得了值得称赞的进展，但最新研究发现，这些解释的影响不一定是积极的，在下游任务中也可能产生负面影响。例如，建模者故意制造不合理的解释，让人们信任人工智能系统，从而掩盖可能存在的风险。更重要的是，虽然模型设计的初衷是好的，但这种负面影响似乎是不可避免的。
在这种情况下，如何区分有意和无意的负面解释？如何将有意的负面效果概念化？
作者介绍了“可解释陷阱(EPs)”的概念，指出人工智能解释可能会误导用户在不知情和没有防范措施的情况下做出符合第三方利益的决定。用户对人工智能的信任、对能力的高估和对某些解释的过度依赖，是不自觉地被“可解释性”操纵的主要原因。
EPs和DPs最大的区别在于“意图”的不同——DPs具有故意欺骗的性质，不考虑用户的利益。但是，EPs也可以通过故意设置“陷阱”成为黑暗模式。
EPs的概念不是纯理论推导的结果，而是在大量实际工作和经验的基础上提出的。这项工作表明，虽然没有作弊的意图，但在人工智能解释中会出现意想不到的负面影响。
本文不是对每股收益的全面讨论，而是对现有概念和实践的一个基本步骤。作者认为，提出可解释陷阱的概念是为了让人们认识到未被探索的知识盲点(人工智能解释的负面影响)，拓展XAI系统空的设计。
2多元智能“解释陷阱”
在这项研究中，作者调查了两个不同的群体——有人工智能背景和没有人工智能背景的人，以及他们如何看待不同类型的人工智能解释。以下是用户对AI一代三种解读的看法:
(1)具有正当理由的自然语言
(2)无正当理由的自然语言
(3)为代理行为提供没有上下文的数字。
在这项研究中，参与者在连续的决策环境中观看三个智能体的导航视频，并提供定性和定量的感知信息——在充满滚动的巨石和流动的熔岩的环境中，他们取回了必须为被困的探险者提供的食物。
代理通过简单地输出当前状态的数字Q值来执行“思考”过程(图1)。q代表代理人对每个动作的信任度(不包括“为什么”可信)。参与者事先没有被告知这些Q值的意义，所以他们不知道哪些值对应于哪些动作。
图1:显示了在任务环境中导航的代理。
研究发现，两类参与者都盲目信任数字，但信任的程度和原因不同。作者采用“认知灵感”的概念，试图理解其背后的原因。他们发现，
对于有人工智能背景的参与者来说，仅仅是出现的数字就能引发启发式思维。他们并不完全理解智能体决策背后的逻辑，但他们也将数学表示与逻辑算法的思维过程联系起来。有趣的是，他们还将最聪明的AI投票给了“行为最奇怪”的智能体，这表明他们不仅过于关注数字结果，还将具有“未知含义”的数字视为潜在的可操作性。这里的“可操作性”是指人们在判断或预测未来行为时，可以用这些信息做什么。
那么，代理在实际场景中的可操作性如何呢？正如前面所强调的，Q值不能表明决策背后的“原因”。除了评价现有行动的质量，这些数字没有太多可操作性。也就是说，参与者对代理人的过度信任和错位评价。
对于没有人工智能背景的参与者来说，即使无法理解复数，也会导致启发式推理。在他们看来，智能体必须是智能的，这些数字代表了智能体“神秘而不可理解”的独特语言。需要说明的是，这种推理方式不同于之前有人工智能背景的人的推理过程，他们假设未来的可操作性(尽管目前缺乏可理解性)。
我们可以看到，无标记的、不可理解的数字增加了两个群体对代理人的信任和评价。这个案例研究表明，即使没有作弊的意图，EPs也会产生意想不到的结果，误导被试过度依赖数字生成。
需要强调的是，本案例假设Q值的“初衷”是好的。如果这些数字纵，就有人利用这些隐患恶意设计黑暗图案。鉴于案例中用户对数字的启发式信任，这会误导更多人对系统产生过度信任和不正确认知。
3有哪些规避策略？
综上所述，可解释陷阱(EPs)有两个特点。第一，只存在，但不一定对下游造成伤害；第二，现有的知识无法预测一个给定的人工智能解释何时、如何以及为什么会造成意想不到的负面下游效应。
基于以上两点，笔者认为，虽然我们不太可能完全消除口译的负面效应，但我们需要意识到“陷阱”的存在，了解它们何时容易出现以及如何发挥作用，并制定相应的措施加以防范。在本文中，作者从研究、设计和组织三个相互关联的层面提出了若干策略:
在研究层面，应开展更多以人为本的情境和实证研究，以便从不同的解释中获得对不同利益相关者的详细多维度了解。这是因为当下游效应(如用户对人工智能解读的看法)显现时，陷阱就会被揭示和识别。和上面的案例一样，不同人工智能背景的用户造成了同样的陷阱(即过度相信数字)，但他们的启发模式不同。
其实基于这个案例，我们可以从用户的知识背景和理解差异两个维度进一步讨论:用户的组合特征(如学历、专业背景)如何影响EPs的易感性？不同的启发式方法如何发现不利影响？不同的用户如何适应意想不到的解释？在这些探索中，意识到陷阱可以帮助我们提高洞察力，发现人们对人工智能解释的反应是如何偏离设计者意图的。
在设计层面，一个有效的策略是在讲解过程中加强用户的反思(而不是盲目接受)。最近以人为本的XAI作品也主张通过反思将增进信任的方法概念化。兰格等人指出，如果我们不自觉地仔细思考解释，就会增加落入“陷阱”的可能性。为了吸引人们的注意力，兰格等人建议设计“硬反应”或“深思熟虑的反应”，从缝线设计的角度有助于提高注意力。Seam设计是对计算系统中“无缝”概念的补充，其概念源于普适计算。seam的理念非常符合XAI，因为:(a)人工智能系统部署在seam full spaces空；(二)这种方法可以看作是对“无缝”的黑暗模式人工智能决策的一种回应，具有“零摩擦”或理解性。
就形式和功能而言，seams策略性地揭示了不同部分之间的复杂性和连接机制，同时隐藏了分散注意力的元素。这种“策略性的显露和隐藏”的概念是seamful设计的核心，因为它连接了形式和功能，对这种连接的理解可以促进反思。因此，拙劣的解释策略性地揭示了系统的缺陷和持久性，并隐藏了那些分散注意力的信息，对它们的了解可以促进有益的反思。
在组织层面，为设计师和最终用户引入教育(培训)计划。构建生态系统非常重要，因为EPs具有社会维度的复杂性，我们需要一个超越技术层面的策略。最近的工作表明，识字的黑暗模式可以促进自我反省，减少伤害。EPs素养计划可以制定如下:(a)帮助设计者认识到EPs可能的性能；(b)让最终用户提高识别“陷阱”的能力。
总的来说，这些策略有助于我们积极预防EPs，提高对陷阱的抵御能力。虽然它并不详细和标准化，但它在解决潜在的有害问题方面迈出了重要的一步。
四
摘要
从安全性和可靠性的角度来看，XAI系统对人工智能解释的影响进行分类非常重要。通过对“可解释陷阱(EPs)”概念的讨论，本研究揭示了人工智能解释可能带来的意想不到的负面影响。本文对EPs运作和应对策略的解读和见解，有助于完善XAI系统的问责和保障机制。
基于本研究的发现，作者认为关于XAI仍然有一些值得进一步讨论的问题:
1.如何进行有效的EPs分类，以更好的识别和减少负面影响？
2.如何用不恰当的解释来说明“陷阱”在现实中的影响？
3.如何评估培训过程以减少“陷阱”可能带来的影响
最后，作者表示，从人机交互到人工无线城市，他们正在通过基本概念和应用进一步研究可解释的陷阱。相信通过了解XAI系统中陷阱的位置、模式和原因，可以显著提高人工智能系统的安全性。
