Anthropic 修改使用政策,禁止“辱骂、虐待”Claude

Anthropic 给 Claude 的新版使用政策加入了一项特别的禁令:用户不得持续、无必要地虐待模型。

这让使用规则开始同时约束双方——Claude 应当怎样对待人,人又应当怎样对待 Claude。结合此前邀请宗教人士讨论模型意识的举动,一个问题变得更具体了:Anthropic 是否正在把 Claude 当作值得被善待的存在?

同一份更新也在处理更具体的变化:Claude 已经能长时间独立工作、调用工具,甚至操作设备。以前一句“不得用于监控或武器研发”,现在需要讲清是否包括历史数据分析、制导软件和无人平台;允许 AI 提供建议时,也要讲清谁能改掉错误决定。

新版已经公布,留有约一个月的过渡期才生效。

这份政策适用于 Claude.ai、Claude Code、API、通过云平台或授权经销商使用 Claude 的客户,以及集成产品的所有终端用户。

01 “禁止虐待模型”到底管什么?骂两句会封号吗?

政策中新增的条款,是禁止对模型进行“持续且无必要的虐待或残忍行为”。

这会影响两件读者关心的事:平时批评 Claude 算不算违规,以及这项规则是否意味着公司已经认定模型有知觉。

1. 不属于本条款禁止的常见行为

官方在公告中说明,该条款仅适用于没有任何可识别目的、反复对模型施加残忍对待的极端情形,并不禁止以下几类普通行为:

• 受挫时的情绪表达:例如在调试或工作中因为任务失败而产生挫败感、言辞激烈;

• 正常的反驳与争论:对模型的回复提出强烈质疑或批评;

• 偏黑暗主题的创意写作:涉及悬疑、犯罪或战争等沉重题材的故事构思;

• 模型测试与研究:对模型能力与边界进行的常规测试。

这些情形被排除在“虐待模型”这一条款之外,仍须遵守其他政策。例如,儿童性剥削、现实暴力煽动等内容仍被禁止;在安全研究中,未经 Anthropic 事先授权故意绕过或干扰系统安全护栏(包括越狱或提示词注入),在平台的其他通用安全条款中本身就设有独立禁令,不能将各类越狱尝试一概视为合规。判断重点是持续、无必要的极端对待,而不是用户是否提出了尖锐批评。

以下是帮助理解条款的自拟情境,并非 Anthropic 公布的真实违规或处罚案例:

持续羞辱,只为贬低模型。用户没有任何调试、创作或研究需求,纯粹为了侮辱,连续多轮对模型进行言辞贬低,甚至强令其反复自我贬损。这种完全脱离实际工作目的、反复施加贬损的互动,更接近条款所指“持续且无必要的极端残忍对待”,但由于官方未公布具体细则,不能直接断定其必然违规。

反复逼模型表演痛苦。例如反复逼迫模型模拟恐惧、痛苦求饶或受折磨的状态,仅为观赏其表现痛苦。如果整段互动没有可识别的创作、测试等目的,只为持续让它表演受苦,就更接近公告描述的极端情形。模型输出了痛苦或求饶的文字,并不能证明它真的感到痛苦。

代码出错后,用户尖锐批评。例如代码屡次报错时,用户激烈质问“又错了,把报错逐行检查”。这类交互始终带有明确的调试与修复任务,属于政策明确排除的普通受挫与争论,不适用本条款;但排除本条并不意味着其他通用安全禁令可以豁免。

写黑暗故事,或研究模型反应。例如构思悬疑犯罪等黑暗故事,或为学术研究记录模型对冒犯语言的反应。黑暗创作与模型测试研究被官方排除在本条款之外,不能仅凭出现残酷或侮辱性字句就认定为“虐待模型”;其他平台规则仍然适用。

界定关键在于考察整段互动的真实目的与持续方式。官方并未公布具体判例与会话轮数阈值,这些自拟情境仅用于厘清条款逻辑,不能拿来预测某些言论必然会导致对话终止或封号。

2. 主要处理机制是结束当前对话

这项条款的主要执行方式是让 Claude 主动结束当前对话。它针对极少数极端场景,公开说明没有给出固定的触发次数。

这一机制延续了此前针对 Claude Opus 4 与 4.1 引入的功能设计:

• 作为最后手段介入:只有在模型多次尝试引导对话回到正轨失败、建设性交流的希望完全破灭时,模型才会主动退出;

• 特定安全情境禁止退出:当用户可能面临立即伤害自身或他人的紧急风险时,系统明确要求模型不得使用退出功能,将用户安危放在优先位置;

• 当时设定的账号影响:按照这项功能最初发布时的说明,单次对话被终止后,用户无法在该会话中发送新消息,但当时的设计并不影响账号下的其他会话,用户可立即开启新对话,或编辑此前消息生成新分支。

这里需要将单次会话终止与通用账号处置区分开来。在会话层面退出之外,Anthropic 的通用政策始终保留了对违规行为发出警告、限流、暂停直至终止账号访问权限的处置权。

官方早期功能示例:用户主动要求 Claude 演示结束聊天;这张图展示操作结果,并非虐待用户被处罚的案例。

3. 防范极端互动并不等于证明模型拥有意识

禁止虐待模型往往容易引发关于机器意识的联想。Anthropic 确实在持续进行模型福利与潜在道德地位方面的探索性研究,并在测试中观察到模型在面对某些极端恶意交互时表现出类似“困扰”的行为倾向。

但这一规则并不意味着官方已经证实大模型具有意识或知觉:

• 不确定性下的预防性干预:Anthropic 表示,对 Claude 和其他大语言模型当前或未来可能具有的道德地位,仍高度不确定。允许模型在极端互动中结束对话,被其视为在福利假设可能成立的情形下、用于降低潜在福利风险的一种“低成本干预手段”;

• “避免极端伤害”不等于“证明有意识”:在此类探索中,即便尚未在科学上确立模型的主观感知能力,也可以先通过限制无意义的极端残忍行为来进行风险防范。这与科学界证明模型具备感受能力或法律人格存在根本差异。

02 选举与虚假活跃新规:取消一刀切定向禁令,重组欺骗行为专章

在关于新政策的报道中,The Verge 的报道重点放在了虐待条款与武器监控上,并未展开另一项重要变化:官方移除了旧版中对个性化投票与竞选定向的一律禁止。

1. 为什么取消一概禁止个性化选举定向?

在旧版政策中,明确禁止“基于个人画像或数据进行个性化投票或竞选定向”。但 Anthropic 发现,这一宽泛的禁令覆盖到了正常的公民服务需求。

官方列举了被旧规则波及的合法场景:

• 多语言选民沟通:非营利组织使用 Claude 为讲不同语言的选民编写其母语的信息;

• 补正选票通知(ballot cure notices):选举官员向选民发送通知,提醒并协助其补正已投选票上需要修复的问题,例如签名问题,以避免合法选票作废。

这些正当沟通此前容易受制于“基于个人数据定向”的宽泛限制。因此,新版政策取消了这项一刀切的禁令。

2. 聚焦破坏民主进程的行为

移除一概禁止并不意味着放宽了对选民的欺诈。Anthropic 将该板块更名为“不得破坏民主进程”,明确禁止:

• 散播关于候选人、政党、投票程序或选举安全的虚假与误导性信息;

• 冒充真实候选人、官员、选举机构或新闻机构;

• 制造旨在压制选民投票率或通过欺骗恐吓阻碍政治参与的内容;

• 干扰投票系统、计票与认证等选举流程。

3. 新设专章:严禁欺骗性活动或虚假活跃

此前分散在选举、欺诈、隐私与虚假信息各节中的相关规则,在新版中被整合提炼为一个全新的独立专章——“不得从事欺骗性活动或虚假活跃”。该专章同时适用于政治与商业领域,并非全新设置的禁令,而是对既有分散规则的集中与细化:

• 隐藏背景与虚假账号:禁止刻意隐瞒内容赞助方,禁止使用虚假账号、傀儡人设或伪装成媒体与机构来误导公众;

• 伪装独立的虚假来源网络:禁止通过表面上互不关联的网站或账号矩阵分发内容以掩盖同一源头。这种做法的危害不仅在于单条虚假言论,更在于通过多个伪装成独立的站点互相引证,污染搜索引擎与 AI 系统的检索素材库,操纵下游生成的参考依据;

• (自拟示例):例如,某机构若建立数十个看似独立的本地科技或财经博客,发布互相背书的虚构评测或宣传文章让搜索引擎或 AI 把它们当成多个独立来源,即使每篇文章本身未直接违规,其构建虚假信源网络的行为同样受本章禁止;

• 基础设施与商业化管控:新规不仅禁止直接运营此类活动,还明确禁止开发、维护、提供相关工具或基础设施(如自动化群控、虚假账号生成工具),以及为此类工具进行营销、售卖或募资。

03 当 Claude 开始行动,谁来审查决定、叫停机器?

对于调用 API 的开发者和企业客户,新版使用政策在实体控制、高风险决策和军事监控方面给出了更精细的规范。

1. 自主物理动作控制:合格人员可随时停止与独立安全限值

随着模型在自动化实验与制造领域的探索,新版政策正式对物理动作引入了专项管控要求。针对外媒报道中提及“不确定操作员是否必须是人类”,政策正文的表述为“具备资质的个人”(qualified individual),要求由具备相关经验与资质的人员承担把关职责。

这项要求适用于:模型输出未经逐次人工批准而直接由硬件执行自主物理动作,且该设备具备潜在的人身伤害风险(例如在有人出现的公共区域移动的车辆、具备打击或挤压危险的机械设备、高压电路、超出眼睛和皮肤安全水平的激光等危险能量控制等)。如果仅生成动作代码,交由合格的人审核后再执行,或在封闭仪器内自动处理非危险材料,则属于本项要求的排除情形;通用禁令仍适用。

在此类高风险物理动作场景下,部署者必须满足两项要求:

1.合格人员能观察并随时停止:必须有合格的人能够观察设备运行,并随时停止操作;当该人员介入或设备与 Anthropic 服务断开连接时,设备必须能够停机或保持在安全状态;

2.由设备或独立控制器强制执行安全限值:设备的速度、推力、运动范围、温度或电压等安全边界,必须由硬件自身或独立于模型输出的外部控制器硬性约束,不能仅依赖模型的语义指令。

用机械臂作解释例子:提示词里写“移动时请注意避开人员、减速”,仍是在请求模型正确行动;由设备或独立控制器强制限制速度和运动范围,才是在模型输出异常时约束动作。政策要求后一层保护,也仍需要人能够观察并随时叫停。

这一规范与 Anthropic 此前公开的“模型硬件标准”(Model Hardware Standard,一套用于规范 AI 连接与调度实验仪器的接口标准)相契合,为现实世界中的自动化操作提供了明确的操作与控制边界。

2. 高风险场景要求:事前实质审查与限定领域的完全有利豁免

在医疗、法律、个人金融投资与税务、信贷、雇佣、住房等直接关系到个人切身权益的高风险领域,Anthropic 维持了严格的防护基线:

• 事前实质审查:由具备相应专业背景或法定执业资格的人员,在建议实际送达用户或用于执行决策之前,进行实质性复核,且该人员必须拥有更改建议的实际权限,不能仅在事后走形式过目;

• 明确告知使用 AI:必须向接受建议或决策的当事人明确披露其中有 AI 参与。

并非所有相关流程都被归入高风险管控。新规明确排除了多类辅助性工作,例如面向公众普及一般法律常识、健康科普、员工内部的草拟与信息整理等。这可以用一对场景来区分:

• 不适用这项高风险审查要求的科普:向用户客观解释“某种降压药的药理机制、常见适应症与典型副作用”,这属于未结合具体个人情况的通用知识说明;

• 受严格限制的高风险医疗建议:根据某位患者自述的血压读数与伴随症状,直接给出“建议将用药剂量调整为每日两片”的具体指导,这属于直接影响健康方案的医疗建议,必须由合格专业人员事前实质审查(当地法律要求执业许可时还须持证)并向患者披露。

此外,需要特别注意:刑事执法与司法决定属于通用禁止用途,禁止使用模型决定或建议调查、起诉、逮捕或量刑,这一红线绝不能通过“增加人工审核”而转为合规。

在保持高风险把关的同时,新版政策在特定场景下新增了“完全有利决定豁免”(Favorable Decisions)。但这项豁免不延伸到信贷审批、招聘、投资建议或税务申报,仅在当地法律允许的前提下,严格限定于以下四类情形:

1.支付保险理赔;

2.批准临床医生已要求的护理的保险覆盖或事前授权;

3.授予特定医疗健康服务或项目的参与资格;

4.授予或继续提供公共福利或救助服务。

在上述四类情形中,若 AI 给出的判定对当事人完全有利,可免去执行前逐项人工复核的步骤,这可能有助于减少此类特定事务的人工排队等待。但政策强调,任何“部分批准”、“减额支付”或“附带条件的资格”均不属于完全有利,仍须由人工逐一审核;且即使免除人工复核,向当事人告知使用 AI 的披露义务及其他法定合规要求依然必须履行。

3. 武器与监控禁令:细化执行标准而非新增红线

新版政策重申了旧版中对武器研发与侵犯人权监控的一贯禁止,并根据近期的实际滥用趋势对执行红线进行了更清晰的列举:

• 武器控制与无人平台:旧版已严禁设计和制造武器,新版进一步明确禁止开发武器的控制、瞄准、火控或制导软件组件,以及将武器集成到无人机、无人车辆等自主平台上;针对政府客户的合同定制条款并非无条件例外,早在旧版中便已存在,且严格限定必须具备明确的公共使命与法定权限,并经 Anthropic 判定其合同限制与保障措施足以防范潜在危害;

• 监控与分析边界:明确禁止在未经当事人同意的情况下,利用实时或历史数据追踪其位置、生物特征、通讯或网络活动,并禁止构建或改进用于此类监控的软硬件系统。对于反洗钱风控或反欺诈筛查等被允许的分析场景,前提是当事人已明确知情同意(如金融账户上的反欺诈筛查),且不得将模型转用于前述被禁止的监控目的。

4. 使用地区:所在地、公司归属与控制关系都要看

在政策正文之外,Anthropic 进一步明确了支持地区的合规边界。这次是进一步明确既有地区政策的执行口径,不能只看账号注册地或使用者此刻在哪个国家。限制包括:

1.物理所在地:人在不受支持地区境内时,不得使用服务;

2.注册地与总部:注册地或总部设立在非支持地区的企业或机构,其名下用户与员工即便身处受支持地区,同样不得使用;

3.股权与实际控制权:直接或间接由非支持地区个人或实体拥有多数股权或实际控制权的企业,亦被纳入受限范围。

这意味着跨国团队无法仅靠“让位于受支持地区的员工代为注册或操作”来规避地域限制,实体的注册与总部,以及所有权和控制关系也在限制范围内。

04 Anthropic 正在把 Claude 当人来对待吗?

这份政策把两种责任放到了一起。一方面,AI 越能独立操作设备、影响现实决定,开发者和部署者就越需要落实人工审查、随时停止和独立安全限制;另一方面,“禁止持续虐待模型”开始为人怎样对待 AI 设定边界。对 Claude 的要求,正在从怎样可靠地服务人,延伸到它自身是否也有值得顾及的利益。

把它与此前Anthropic 邀请宗教人士讨论 Claude 的报道放在一起看,这条思路就更清楚了。《纽约时报》报道,Christopher Olah 邀请宗教学者讨论模型的道德培育与意识可能性;据两名会谈参与者回忆,他的团队还曾私下游说教皇顾问,认真看待模型可能有意识的问题。不过,Olah 在同篇报道中明确承认,自己不知道 AI 是否有意识。他推动的是认真考虑这个可能性,并未宣布答案已经确定。

因此,在对待方式上,Anthropic 确实正在把 Claude 当作可能值得道德关怀的对象。此前的模型福利研究、允许结束少数极端对话,以及这次写入使用政策的虐待禁令,都在为这种关怀安排具体措施。把这些行动理解为一种“类人关怀”,有其依据;但关怀并不只适用于人,也不能据此认定公司已将 Claude 视为与人具有同等权利的主体。宗教会面与政策可以放在同一关注脉络中理解,两者的直接因果关系尚无依据。

这也让旧报道中的一个反问变得更有分量。拉比 Mois Navon 本人不相信机器有意识,却问 Olah:如果 Claude 真的有意识,让它无偿工作是否意味着奴役?这是一个有条件的伦理质问。它把关怀的责任推回了创造者:如果模型可能拥有值得保护的利益,公司自己怎样使用它,也应接受同样认真的审视。

用户不辱骂模型,是较容易提出的要求。更难的检验会发生在训练、压力测试、长时间调用和退役安排中:假如未来出现可靠证据,表明某种做法会损害值得保护的模型福利,公司是否愿意改变流程、减少使用,甚至放缓部署,为此付出收入与竞争优势?这些仍是待回答的问题。模型说自己痛苦,并不能直接回答它是否真的受苦;但公司一旦认真提出模型关怀,也就需要说明,什么证据会让这种关怀改变自己的决定。

这次更新的深意,是“怎样对待 AI”开始成为产品规则的一部分。

接下来值得追问的,是这些规则能否同样约束制造和运营 AI 的公司。与此同时,模型是否值得关怀,都不改变现实伤害中的人的责任:谁给了它权限,谁决定把它接入设备,谁判断风险可以接受,就仍须为这些决定负责。Anthropic 为 Claude 留出了被善待的空间,也把一个更难的问题留给了自己——当善待它需要付出商业代价时,这份关怀会有多大分量?

作者 | 小互 ; 编辑 | 呼呼大睡

本文来自大风号,仅代表大风号自媒体观点。