让AI更像人：怎样的“确定”才算“确定”？将人为错误纳入机器学习

剑桥研究人员正致力于将最具人性的特征之一——不确定性——纳入机器学习系统。

来自剑桥大学、艾伦·图灵研究所（Alan Turing Institute）、普林斯顿大学和谷歌“深度思维”（Google DeepMind）的研究人员一直试图弥合人类行为和机器学习之间的差距，以便在人类和机器协同工作的人工智能应用中更充分地考虑不确定性。这有助于降低风险，提高相关应用程序的可信度和可靠性，尤其是在医疗诊断等需要高安全性的场景中。

该团队采用了一个著名的图像分类数据集，以便人们在标记特定图像时提供反馈并指出自身不确定性水平。研究人员发现，使用不确定标签进行训练可以提高这些系统处理不确定反馈的性能，尽管人类参与也可能降低这些混合系统的整体性能。

该研究结果将发布于2023年人工智能、伦理和社会会议（AIES 2023），该会议由国际先进人工智能协会（AAAI）和美国计算机协会（ACM）联合举办，今年在蒙特利尔召开。

“人机协同”机器学习系统是一种能够提供人类反馈的人工智能系统，被认为有希望在自动化模型无法独立决策的情况下降低风险。但如果人类也充满不确定性呢？

我们习惯在权衡各种可能性之后做出决定，却鲜少对此认真思考。大多数时候即使我们做出错误的决定也无伤大雅，比如说将陌生人误认成朋友并向其挥手。然而在某些应用中，不确定性带来了真正的安全风险。

柯林斯说：“许多人类-人工智能系统预设人类始终坚持自己的决定，但事实并非如此，是人都会犯错。”“我们想弄清楚当人们表达不确定性时会发生什么，这在诸如医疗人工智能系统临床应用等注重安全的场景中尤为重要。”

“我们需要升级工具来重新校准这些模型，让使用者能够即时表达其不确定性。”该研究的共同作者马修·巴克（Matthew Barker）说道，他刚在剑桥大学冈维尔与凯斯学院取得工程硕士学位。“在对不确定性表达充分自信的情况下，机器可以被训练，但人类通常无法提供这种自信，机器学习模型也难以应对这种不确定性。”

这项研究还引入了三个机器学习基准数据集，分别用于数字分类、胸部X射线分类和鸟类图像分类。

研究人员对前两个数据集进行了不确定性模拟，但对于鸟类数据集，他们让人类参与者表明对所看图像的确定程度：例如，鸟是红色还是橙色。这些由人类参与者提供的注释“软标签”让研究人员能够修改并确定最终结果。然而他们发现，当机器被人类取代时，性能会迅速下降。

“我们从数十年的行为研究中得出，人类几乎不会100%确定，但将这一点纳入机器学习是一个挑战，”巴克说。“我们试图在这两个领域之间架起一座桥梁，这样机器学习就可以开始处理人类的不确定性，因为人类是系统的一部分。”

研究人员表示，他们的研究结果已经确定了几项将人类纳入机器学习模型过程中的开放性挑战。他们正在发布数据集以进一步研究，并将不确定性纳入机器学习系统。

“正如我们的一些同事所说的，不确定性是透明性的一种形式，这非常重要，”柯林斯说。“我们需要弄清楚什么时候可以信任一个模型，什么时候可以信任一个人，以及其中的原因。在某些应用中，我们关注的是概率而不是可能性。例如，特别是随着聊天机器人的兴起，我们需要更好地融入可能性语言的模型，这可能会带来更自然、更安全的体验。”

“在某些方面，这项工作中显现的问题比它解决的要多，”巴克说。“但即使人类可能在不确定性方面被错误校准，我们也可以通过考虑人类行为来提高这些人机协同系统的可信度和可靠性。”

这项研究得到了剑桥信托基金、马歇尔委员会、利华休姆信托基金、剑桥盖茨信托基金和英国工程和自然科学研究委员会（EPSRC）的部分支持，EPSRC隶属于英国国家科研与创新署（UKRI）。