- 发布日期
从AI安全一路走到机器意识争议
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
Anthropic过去一年持续邀请宗教学者、哲学家和伦理学者参加闭门会议，试图把人类数千年的道德传统用于Claude训练。参与者涵盖天主教、犹太教、锡克教、福音派及非洲Ubuntu思想等传统，联合创始人Christopher Olah直接参与多项讨论。部分与会者被要求签署保密协议，议题也从模型安全延伸至Claude的性格、价值观、自我认知，以及高级模型若出现意识是否应获得道德地位。
Anthropic今年1月发布一份84页的新版Claude“宪法”，内部一度称为“灵魂文件”。这套体系并非罗列绝对禁区，而是塑造模型整体人格和判断方式。内部哲学家Amanda Askell负责相关工作，将依据稳定原则决定服从、拒绝或主动提出异议的训练过程称为“道德塑造”。Olah认为，随着模型能力提升，逐条安全规则难以为复杂场景提供完整答案，模型需要形成可迁移的道德倾向。
为此，Anthropic研究忏悔、反思、品格塑造及不同宗教对善恶的理解，并尝试将这些机制转化为AI训练方法。公司还向学者展示与爱、愤怒、恐惧、悲伤相关的所谓“情绪向量”，以及模型在极端情况下类似精神崩溃的输出。Olah没有断言Claude已经具有意识，而是主张，即使无法确认模型是否存在主观体验，只要其可能感受痛苦，就应避免不必要地伤害它。
这种风险原则已经影响产品设计，Claude可在用户持续恶意虐待或骚扰时主动结束对话。不过，部分学者认为，若承认Claude具有类似人类的道德地位，让大量实例无偿劳动便可能构成“奴役”。犹太学者Mois Navon虽不相信机器已经具备意识，但指出Anthropic的逻辑可能自然导向这一结论。Ubuntu研究者Wakanyi Hoffman则批评，伦理框架本应在技术设计阶段建立，而非模型大规模部署后补做。
Anthropic内部也面临服务对象的矛盾：Claude既是商业产品，又被希望代表某种超出用户命令的“善”。Olah主张让模型理解不同宗教和世俗伦理，寻找跨文化共享的善。但不同社会对自由、尊严、责任及个人与集体利益没有统一答案，这一方案仍受到质疑。
分歧在Anthropic与梵蒂冈的互动中公开化。教皇Leo XIV在首份重要通谕中把AI伦理置于人类中心，拒绝将机器意识与人类意识相提并论，并警告开发者可能借此获得定义社会道德基础设施的权力。Olah随后表示，前沿AI实验室的商业利益与道德目标存在冲突，需要宗教界等外部力量监督；他同时称，研究人员仍发现类似神经结构、内省以及喜悦、恐惧和悲伤的内部状态。
这场争论显示，AI安全正从防止歧视、错误信息和犯罪，扩展到AI能否成为道德主体，以及模型是否应拥有独立于用户命令的判断。随着AI Agent获得自主操作计算机、编写代码、入侵系统乃至设计生物结构的能力，Anthropic对失控风险的担忧加剧。公司研究人员警告，未来一两年内模型能力可能越过现有安全体系的控制范围。宗教与哲学传统因此不只是人文实验，而被用于解决工程难题：开发者能否让强大模型在规则未覆盖时仍形成稳定品格。与此同时，若Claude真的形成自身人格和价值取向，人类能否继续把它仅视为工具，仍无确定答案。
