算法厌恶是什么:AI功能因一次失误被弃用及接受率设计指南

算法厌恶指即使算法比人更准确,用户目睹一次失误后便放弃使用。从Dietvorst 2015年实验到算法欣赏条件,再到用修改权限和学习标签提升AI功能接受率的设计。

什么是算法厌恶(Algorithm Aversion)?

关键不在准确率,而在看到错误后的反应。Dietvorst 等人在 2015 年的实验中报告,参与者先确认算法比人更擅长预测,但只要看到算法出一次错,就会放弃算法,回到自己或别人的判断。人出错时,信任却不会同等程度地下降。对同样的失误,算法被罚得更重。对把 AI 功能做进产品的创业公司来说,这种不对称会直接影响转化率和留存率。在许多情况下,第一次失误如何处理,比模型准确率提升 1 个百分点更影响留存。

目录

为什么推荐准确率提高了,流失反而增加

我在咨询中接触过一家韩国 B2B SaaS 公司。他们的产品给销售人员提供“先联系这条线索”的推荐功能。

换模型后,推荐准确率提高了。离线评估里,前 10 条推荐对转化预测的准确率明显提升。但部署四周后,功能使用率反而下降。销售人员不再打开推荐列表,又像以前那样自己挑线索。

翻看日志后发现规律。曾有一次排名第一的推荐明显不合适,比如是已经解约的客户,或负责区域不符的线索。之后,该销售的功能使用率急剧下降。整体准确率虽然提高了,但一个显眼错误就逆转了信任。

访谈里有一句话切中要害:“我自己判断错了,我知道为什么错;但那个东西错了,我不知道为什么错,所以觉得下次还会错。”这句话几乎涵盖了算法厌恶的运作原理。人的错误能用情境解释,算法的错误解释不了,于是升级成对能力的评价。

最终这家公司没有再继续优化模型。他们给推荐加了一行理由,允许销售人员拖拽调整推荐顺序,并对排除的线索选择原因。使用率恢复所花的时间比换模型更短。

Dietvorst 2015 年实验的结构

“算法厌恶”这个术语由 Dietvorst、Simmons 和 Massey 在 2015 年的论文中提出。实验设计简单,逻辑容易理解。

参与者拿到预测任务,比如预测 MBA 申请者入学后的成绩。参与者要在自己的预测和统计模型的预测中二选一,以获得奖励。选择前,一部分参与者看到模型表现,一部分看到自己的表现,还有一部分两者都看到。

结果很矛盾:看到模型表现的参与者反而更少选择模型,尽管他们看到模型平均比人更准确。原因在于他们也看到了模型出错的场景。一旦确认模型并不完美,“平均优势”的信息就失去了力量。

这里要区分两点。一是人们会对算法抱持不切实际的期望:允许人犯错,却不允许算法犯错。二是错误的归因:人的失误被当作暂时事件,算法的失误被解读为结构性局限。

两者叠加后,“平均更准确”的说法就失去了说服力。这也是为什么在产品介绍页放大准确率数字,也敌不过用户第一次遇到的错误。

也有更信任算法的情况

如果只看到厌恶,那就只看到一半。Logg 及其同事报告了人们比接受人类建议更愿意接受算法建议的条件,并称之为“算法欣赏”。后续研究逐渐形成共识:厌恶还是欣赏,取决于任务特征。

任务性质用户反应示例
客观、量化任务算法欣赏需求预测、价格估算、库存计算
主观、偏好任务算法厌恶笑话有趣程度、恋爱对象推荐
混合道德判断的任务强烈厌恶招聘淘汰、贷款拒绝、医疗分类
重复、低风险任务欣赏或无感拼写纠正、分类打标

第三行最敏感。在影响人们生活的决策中,无论准确率如何,人们对算法单独决策的抵触都很强烈。在这个领域,让人看到“由人最终决定”的结构,是接受的前提条件。

产品规划可用的标准由此而来。先判断我们的功能落在表里哪一行。如果预计会出现厌恶,就从一开始在设计中加入人的介入点;如果预计会出现欣赏,即使提高自动化比例,阻力也会较小。

给予少量修改权限会提高接受度

在减少算法厌恶的方法里,修改权限是被反复验证的一条。Dietvorst 团队的后续研究发现,只要允许参与者对算法输出稍作调整,使用算法的意愿就会显著上升;即使调整幅度被限制得很小,效果依然出现。

有趣的是,即使调整让结果变差,接受度仍然上升。人工介入往往会降低准确率,但用户仍会继续使用算法。这说明控制感是接受的条件。

这一发现可以直接转化为产品设计。如果把结果做成“接受或拒绝”二选一,往往会遭到拒绝;如果能“稍作修改再用”,使用就会持续。具体形式包括:

  • 允许拖拽调整推荐顺序
  • 提供几档滑块调节权重
  • 让用户自行管理排除列表
  • 以可编辑状态展示自动生成的初稿

最后一项对生成式功能尤其重要。把成品直接抛给用户,它就成了被评价对象;以可编辑初稿呈现,就成了协作对象。输出物相同,用户态度却不同。

告知会学习会带来不同

近年来的研究报告显示,仅提供算法正在学习的信息就能提高接受度。带有“该功能会利用使用数据持续改进”这类标识时,使用意愿会上升。

学习标签改变了错误归因。如前所述,算法的失误会被解读为结构性局限。加入“正在学习”的信息后,同样的失误会被重新解释为“还在学习中”,变成暂时性的。这相当于把原本只给人类失误的宽容,也用到了算法上。

不过有一个条件:必须让人看到实际改进。如果只宣称改进,用户却感受不到变化,信任反而会大幅下降。因此采用学习标签时,最好同时设置展示反馈采纳结果的机制。典型做法是给出信号,表明用户修改的内容已经反映在下一次推荐中。

关于 AI 素养调节反应的研究也越来越多。对 AI 运作方式有一定了解的用户,看到错误后往往不会彻底拒绝。如果是 B2B 产品,在引导过程中说明模型根据什么做出判断,本身就是提高接受率的工作。

应用于产品的四种设计

第 1 步 - 设计第一次错误

不要放任错误随时可能发生,而是预先确定可能出错的地方。对低置信度的推荐标注“信心较低”并降低排名。错误出现时,把用户可以采取的操作放在同一屏内。

第 2 步 - 附上一行理由

一行就够,不必附带完整说明。只要有“最近 30 天内访问价格页面 3 次”这类依据,错误就有了上下文,不再被解读为结构性缺陷。

第 3 步 - 建立修改路径

在“接受”和“放弃”之间加入“修改后使用”。即使修改幅度很小也有效果,不必做过于复杂的设置界面。

第 4 步 - 让改进可见

不要只写“会学习”,而要标出用户修改已被采纳的位置。也可以发送每周摘要,例如“上周已采纳 12 条修改”。

需要避免的反向陷阱:自动化偏见

如果只专注于减少厌恶,就会出现相反的问题。自动化偏见指用户过度信任算法输出而省略验证。两种偏见可能同时出现在同一产品中:有的用户因为一次错误就弃用功能,有的用户则直接批准错误结果。

设计标准是风险大小。可逆决策中可以推动自动化,难以逆转的决策中则应保留确认步骤。批量发送、支付、签约、删除等恢复成本较高的操作,即便算法置信度很高,也应加入人工确认。

创业公司常会在这条平衡上失足。早期为提高接受率而强化自动化和解释;指标好转后,为提效又削减确认步骤;一旦发生事故,信任全面崩塌。算法厌恶正是在这个节点上表现得最强烈。

FAQ

进一步提高模型准确率并不能解决算法厌恶吗? 并不能完全解决。Dietvorst 实验的核心正在于此:即使参与者看到算法比人更准确,一旦看到算法出错便会减少使用。准确率是必要条件,而如何处理错误和控制感决定接受度。在同样成本下,投入解释和修改路径往往见效更快。
给用户修改权限不会降低结果质量吗? 可能会。研究也报告过人为干预会降低准确率的情况。但接受率上升让功能真正被使用的效果更大。比起没人用的准确功能,稍微出错但被使用的功能最终创造价值。限制修改范围也能减少质量损失。
商业使用中公开“AI做出判断”更有利吗? 取决于任务性质。在量化预测或重复性工作中,公开算法身份反而更获信任。在影响人们生活的决策或偏好领域,对算法单独判断的抵触较大。若是后者,同时说明有人工审查的结构更稳妥,还需另行确认《AI基本法》等标识义务。
如何衡量节省时间的效果? 应与功能准确率分开看待。要衡量的指标包括推荐接受率、修改后使用率、任务完成时间以及功能回访率。只看接受率可能会把用户直接批准并跳过的自动化偏见误当成绩效。修改次数保持在适度水平才是健康信号。
与原有方式相比,最大的不同是什么? 决策责任归属变得可见。人独立判断时,判断依据不会被记录。在算法与人共同决策的结构中,推荐和修改都会留下日志。这些日志既是模型改进资料,也是组织内的责任记录。接受率设计因此成为与数据资产设计类似的工作。

推荐阅读