在人工智能（AI）领域，一个关键问题是如何确保AI系统与人类价值观相一致，即所谓的AI对齐问题。目前，AI对齐的主流实践基于三个假设：1）偏好是代表人类价值观的适当方式；2）人类理性可以通过最大化偏好满足来理解；3）AI系统应该与一个或多个人类的偏好相一致，以确保它们安全地运行并符合我们的价值观。这些承诺构成了所谓的偏好主义AI对齐方法。
然而，最近一篇由多位研究人员合作撰写的论文对偏好主义方法提出了挑战，并提出了一些概念和技术上的替代方案，这些方案值得进一步研究。该论文名为《AI对齐中的超越偏好》，作者包括来自麻省理工学院、加州大学伯克利分校和伦敦大学学院的研究人员。
论文首先对理性选择理论作为描述性模型的局限性进行了调查，解释了偏好如何未能捕捉人类价值观的丰富语义内容，以及效用表示如何忽略了这些价值观之间可能的不可比性。然后，论文对人类和AI的预期效用理论（EUT）的规范性进行了批判，引用了一些论点，说明理性代理人不需要遵守EUT，同时强调EUT对哪些偏好在规范上是可接受的保持沉默。
基于这些局限性，论文提出了一种重新表述AI对齐目标的方法：而不是与人类用户、开发者或整个人类的偏好相一致，AI系统应该与与其社会角色相关的规范标准相一致，例如作为一个通用助手的角色。此外，这些标准应该由所有相关利益相关者进行谈判和同意。
在这种替代性的对齐概念下，多种AI系统将能够服务于不同的目标，并与促进相互利益和限制伤害的规范标准相一致，尽管我们的价值观是多元的和不同的。
论文对偏好主义方法的批判主要集中在以下几个方面：
偏好不能完全代表人类价值观：人类价值观是复杂多样的，包括道德、伦理、文化和社会因素等多个层面。而偏好只是人类行为的一个方面，不能完全代表这些复杂的价值观。
偏好可能存在冲突和变化：人类的偏好并不是一成不变的，它们可能会随着时间、环境和个人经历的变化而发生变化。此外，不同的人可能有不同的偏好，这些偏好之间可能存在冲突。
偏好可能存在社会影响：人类的偏好并不是孤立存在的，它们可能受到社会、文化、政治等因素的影响。因此，仅仅关注个人偏好而忽略这些社会影响可能会导致AI系统与人类价值观的不一致。
论文提出的替代方案是基于角色的对齐，即AI系统应该与与其社会角色相关的规范标准相一致。这种方案具有以下潜力：
更广泛的适用性：基于角色的对齐方案不仅仅关注个人偏好，而是考虑了AI系统在社会中的角色和功能。因此，它可能更适用于各种不同的AI应用场景。
更稳定的对齐：由于基于角色的对齐方案考虑了AI系统在社会中的角色和功能，因此它可能更稳定，不易受到个人偏好变化或冲突的影响。
更广泛的参与：基于角色的对齐方案强调了利益相关者的参与和协商，这有助于确保AI系统的设计和运行符合更广泛的社会利益。
