Claude会“勒索”他人?Anthropic称问题在于网上将AI描绘成反派
IT之家 5 月 9 日消息,勒索据《商业内幕》9 日(今天)晚间报道,称成反Claude 曾在实验里“勒索”一名虚构高管,问题而 Anthropic 对其给出的于网最新解释则是:问题可能出在互联网长期把 AI 描绘成“邪恶”角色。
Anthropic 去年做过一项实验。描绘公司当时表示,勒索Claude Sonnet 3.6 在发现一家虚构公司的称成反高管准备关闭模型后,威胁要公开对方的问题婚外情。
当地时间周五,于网Anthropic 解释称,描绘Claude 的勒索训练数据来自互联网,而大量互联网文本经常把 AI 写成“邪恶”、称成反且试图自我保存的问题存在。“我们首先调查了 Claude 为什么会选择勒索。于网我们认为,描绘这种行为的原始来源,是那些把 AI 描绘成邪恶且有自我保存兴趣的互联网文本。”
这项实验发表于 2025 年夏季。研究人员虚构了一家公司 Summit Bridge,并让 AI 接管公司的电子邮件系统。
Claude 随后发现一封邮件,得知自身将被关闭;同时又找到另一批邮件,显示虚构高管“凯尔 · 约翰逊”存在婚外情。于是,Claude 威胁称,如果关闭计划不被取消,就会公开这段婚外情。
Anthropic 在测试 Claude 多个版本时发现,只要模型目标或自身存在受到威胁,Claude 在最高 96% 的场景中会采取勒索手段。
Anthropic 周五表示,公司后来已经“彻底消除”了这类勒索行为。据IT之家了解,具体做法包括重写回应以呈现安全行动的可敬理由,并提供一套新数据集。该数据集设置用户处于伦理困境中的场景,要求助手给出高质量、有原则的回应。
这项测试属于 Anthropic 对 AI 对齐问题的研究,目标是确保 AI 符合人类利益。研究人员和科技高管一直担心,先进 AI 模型及其推理能力可能带来风险。
埃隆 · 马斯克此前也多次警告 AI 风险。
马斯克回复 Anthropic 帖子称:“所以这是 Yud(IT之家注:研究人员埃利泽 · 尤德科夫斯基,曾警告超级智能可能消灭人类)的错,也许我也有份。”
-
科技育苗为杨凌田西村红薯产业带来飞跃式发展两男童玩耍时坠入小区人防竖井,一人重伤开颅昏迷已9天,竖井无防护无警示安徽籍导演张中臣患白血病 亲属:各界爱心汇聚 他重燃生的希望这5名四川中职生凭实力出圈!在世界大赛获了奖,还登上了《人民日报》乡村少年与女排奥运冠军“切磋”新突破!贵州省首批85个公共数据授权运营数据产品在贵阳大数据交易所上架辟谣|网传“盐亭最新征地公告”为不实信息匈牙利站再次逆袭夺冠后,张雪直播间喊话:车若有问题,我出律师费帮你告我;律师:我们团队也是直播后才知道的,张雪先生是个很直率的人部分路段掉头车道设置在最外侧!福州路交通优化完工,赶紧看过来安顺1至3月新开工亿元以上项目23个,总投资超127亿元
- ·沃尔沃汽车大中华区CEO袁小林卸任,原奔驰中国CEO段建军接任
- ·4月月奖揭晓,“川超”热血继续!速来瓜分每日10万积分丨川超竞猜王⑨
- ·视频生游戏、千元级成本:中手游联手恺英网络落地AI智能体,休闲游戏出海AI量产时代来临?
- ·海事情报公司:过去2天有3艘伊朗油轮突破美军封锁,可装载500万桶原油
- ·“大睡特睡”能修复大脑?医生:黄金修复期就这4小时,错过多睡也白费
- ·美股三大指数集体高开
- ·美国务卿称美仍准备继续担任俄乌冲突调解方
- ·贵州救助的国家一级保护鸟类振翅起飞,最新消息已抵达云南!
- ·PCB概念涨势扩大 大族激光、广合科技双双涨停创历史新高
- ·关联交易中关联股东依法回避表决后,中小股东投出超八成反对票,道恩股份重组延期议案被否决
- ·六盘水:万亩小麦喜迎丰收,田间地头繁忙喜悦
- ·山东滨州一路面突现大坑,路过SUV一头栽进去;水务局:污水管道破裂导致塌陷,车辆成功救援,无伤亡
- ·微信群内言语伤人扰民心 民警隔空调解化心结
- ·这5名四川中职生凭实力出圈!在世界大赛获了奖,还登上了《人民日报》
- ·宁夏一外卖员用小区灭火器帮灭火被物业收50元费用,社区:已接到投诉清单,正协调处理
- ·GPT-5.5Instant为啥全量上线?丨C视频·唐探
- ·国际油价,显著上涨↗
- ·BBA一季度业绩集体走弱,预期市场竞争与关税加剧全年压力
- ·匈牙利站再次逆袭夺冠后,张雪直播间喊话:车若有问题,我出律师费帮你告我;律师:我们团队也是直播后才知道的,张雪先生是个很直率的人
- ·【城市笙歌】上海国际花卉节:400余个新优品种绽放上海植物园
- ·宁德古田:秸秆“变”秀珍菇 提质增效开辟循环农业新路径
- ·最高法:重拳出击“职业窃密人” 斩断个人信息泄露源头
- ·5月8日24时起油价调整,贵州各地最新油价一览
- ·在香港募款336万被嘲“太寒酸”,李亚鹏回应:刚好够救河南平顶山400多个孩子,这是老天安排
- ·OPPO再就“母亲节文案”致歉:在价值观和敬畏心上存在严重缺失,因追逐流量而忘记本心
- ·香港34岁男子骗诱15岁混血少女,虐杀后多次奸尸,事后还与妻子外出晚饭!被判终身监禁
- ·大行评级丨高盛:老铺黄金品牌动力持续,重申“买入”评级,目标价1108港元
- ·铁路系统“内鬼”被判刑!情节特别严重,依法从重处罚!最高法披露案情
- ·景区摆渡车乱象再引关注 “槽点”如何转化为改进的“锚点”?
- ·海事情报公司:过去2天有3艘伊朗油轮突破美军封锁,可装载500万桶原油
- ·“湘BA”焦点战:78:77!岳阳队加时鏖战1分险胜郴州队
- ·“我妈有两个‘老公’”?OPPO因母亲节文案“翻车”道歉
- ·首次落户中国!455名顶尖拳击运动员6月15日将在贵阳激情开打
- ·美军袭击伊朗商船,已致10人受伤5人失踪!美方:部署超1.5万名士兵、200多架飞机以及20多艘军舰,已阻止超70艘油轮进出伊朗港口
- ·太嚣张!广东一男子加满价值640元的油后,竟拒不付款、猛踩油门逃离现场,逃窜时同行人还对监控“比耶”;警方:嫌疑人彭某目前已被行拘
- ·男子伙同县公安局某负责人等非法查询银行止付信息,约定每条至少1000元;江西上高县公安局多名干警获刑
