- 发布日期
聚焦五大价值观 忠于人类意图是核心
- 作者

- 姓名
- 荷鲁斯快报
- 社交账号
路透社报道,OpenAI于周四更新《模型规范》,这份公开路线图阐述公司希望AI模型如何表现。随着AI系统能力增强,OpenAI围绕五项核心价值观重构规范。更新旨在为模型行为提供更清晰的公开指引。
新规范列出的五项价值观包括忠于人类意图、最大限度减少伤害、诚实与透明、尊重人类自主权以及关怀。OpenAI表示,这五项价值观共同构成模型行为的判断框架。公司希望模型在复杂情境中依据这些原则作出回应。
其中,忠于人类意图被视为整套框架的基础。OpenAI要求模型理解用户、开发者和OpenAI自身的意图与价值取向,而不是简单字面执行指令。公司称,这一要求有助于模型在陌生情境中应用人类价值观,同时始终接受人类监督。
修订后的框架还强调,模型应尽量减少伤害,并对其所知和所不知保持透明。规范称,模型应帮助用户做出自己的决定、追求自己的目标。这些要求与尊重人类自主权和关怀等价值观相衔接。
OpenAI承认,目前的模型尚未完全体现更新后的《模型规范》要求。公司表示正在探索新的训练方法,帮助模型将这些原则内化于自身行为之中。此次更新是其AI对齐工作的一部分。
这一调整呼应了竞争对手Anthropic的“宪法式AI”方法。该方法通过一套书面原则“宪法”指导模型行为,并让塑造AI系统的价值观更加透明。OpenAI此次公开规范,也延续了以书面原则约束模型行为的行业探索。
从行业看,随着AI能力提升,如何让模型忠于人类意图并接受监督成为共同挑战。OpenAI称将继续探索训练方法,使模型在陌生情境中应用价值观。相关规范的落实情况仍有待观察。该框架能否有效约束模型行为,也将影响AI对齐工作的推进。
阅读原文 →来源:cnbeta