GPT随意清空用户硬盘，是时候聊聊Agent的安全问题了
“FXXK，GPT居然把我的资料全删了！”雷科技（ID：leitech）发现这句话在推特、Reddit等海外论坛、社区中出现的频率正在增加。随着GPT5.6的全面推送，不少用户发现，GPT虽然变聪明了，但同时也变得“更加疯狂”。
图源：推特
说实话，类似的事情也不是第一次发生。比如年初OpenClaw大火的时候，就有一位互联网公司的高管出来吐槽，称自己的邮件几乎全被OpenClaw删掉，自己甚至无法让AI停止删除，只能跑到Mac旁边拔电源，才制止了AI的“疯狂”行为。
不过，自从Agent应用普及后，类似事情出现的概率也越来越低，因为开发者早就给AI加了不少限制措施，让它们在执行大范围的数据删除工作时更加谨慎，以避免误删用户数据。
但是，如果AI的能力增强了，限制措施却没有跟上，结果会是怎样？答案就在文章的开头。
GPT失控：问题出在执行力太强？
从目前的用户反馈来看，出现“误删数据”问题的主要是GPT5.6Sol，也就是被OpenAI誉为“最强”的模型版本（Claude也有不少类似报道）。
更有意思的是，早在GPT5.6Sol正式发布前，OpenAI就已经监测到它的任务完成积极性过高，有可能对用户指令做出过度反馈，并执行超出任务范围且具有破坏性的操作。
图源：OpenAI
简单来说，就是AI太想把你的任务做完了，以至于为了完成任务，它会费尽心思绕开规则限制，扩大自己的操作权限和范围，甚至在发现原来的方案无法执行后，自动寻找替代方案，并且无视其中的风险。
这种行为放在日常问答、整理资料等场景中，可能不会带来多大的影响，大不了就是多烧点Token，甚至会让你感觉AI越来越聪明了，一句话就能让它把活干完。但是在诸如编程开发、系统修复等任务中，如果AI在执行任务的过程中遇到严重错误或问题，就有可能导致破坏性结果。
事实上，为了强化长链条执行能力，目前的AI在执行Agent任务时，受到的规则束缚往往比执行单次任务时更弱。而且，当AI主动修改任务链时，由于这属于“自发”行为，就有可能绕开与用户输入有关的审查机制，让AI有机会执行高风险操作。
比如你对AI说：“帮我清理D盘里的无用文件。”此时AI就需要分析：哪些是有用文件？哪些是无用文件？而在没有明确范围指引的情况下，AI就可能为了完成任务，将整个文件夹中的文件或整个硬盘中的文件都视作“无用”，然后执行彻底删除操作。
可能有人会吐槽：“这AI也太傻了吧？”恰恰相反，这可能是AI过于“聪明”所导致的。说白了，Agent应用的核心在于减少用户的干预，让AI自己把任务做完。为了达成这个目标，AI被赋予了更强大的分析推理能力，并且拥有更高的可分配算力来执行任务。
图源：雷科技
如果把它比作一个人，那么对它的形容大概是：高智商且主观能动性强，但是个死脑筋。
而GPT5.6Sol的问题就在这里，OpenAI为了强化它的执行能力，把完成任务的奖励阈值调得太高，导致训练出来的AI将完成任务视为唯一目标，不惜为此忽视安全，最终酿成了这些悲剧。
不过，也不能将所有的锅都丢给AI。从目前网上发布的误删数据案例来看，这些用户基本都是因为图方便，直接给Agent开了Full Access（完全访问权限），这才让AI有能力直接操作所有文件，而不是被限定在项目目录中。
其实，不少人都对Agent应用里的“完全访问权限”存在误解，以为这项授权只是允许AI修改当前任务所要用到的文件。事实上，这项权限意味着AI能够“操作整台电脑”，相当于你亲手把管理员权限交给了AI。
说到底，这玩意就属于“一个巴掌拍不响”，但凡用户在权限设置上谨慎些，AI的“能动性”弱一些，大概率都不会出现这样的结果。
AI越聪明，越容易出事？
有意思的是，随着GPT5.6Sol误删数据的帖子越来越多，一个看法也逐渐被不少人认可：“AI越聪明，越容易出事。”但是在小雷看来，这个看法并不完全正确，因为从理论上来说，模型能力提升后，它对指令和代码的理解也会更加准确，能够减少大量低级错误的出现。
但是，更强的Agent也需要具备更强的持续执行能力。举个例子，在普通任务场景中，AI只需要对单次任务的结果负责，它面对的需求是固定的；但是在Agent任务场景中，AI需要面对的则是持续变动的任务需求。
即使模型能力增强后，AI的错误率相比前代有所降低，但当它需要执行的步骤从一步增加到几十步后，即使每一步出错的概率都很低，整个任务出现偏差的概率也会随之上升。
更麻烦的是，Agent任务中的错误并不一定会马上出现，有时要等到AI执行到最后的测试环节，才会发现前面某个步骤的设置或代码出了错。此时AI就会回滚操作，也就是进入目前许多Agent宣传的自我修复流程。
图源：雷科技
到这一步，其实都还是正常且合理的。但是，若在回滚过程中遇到问题呢？比如此前某个步骤意外修改了文件路径，或是权限不够？此时AI就可能尝试使用强制性更高的删除命令，甚至试图删除对应文件所属的整个文件夹，看看能否处理掉目标文件。
最终，你会发现AI的每一步看起来都是正常的，连在一起就变成了一场“灾难”。这种情况在开启最高推理强度，或用户强调“持续完成任务，减少人工干预”的情况下，更容易出现。
换句话说，过去的AI容易因为遇到困难而放弃，现在的AI则可能因为太不愿意放弃而闯祸，也算是各有各的烦恼了。
写到这里，小雷突然想起一部非常经典的科幻电影《机械公敌》（也叫《我，机器人》）。在这部2004年上映的电影中，人类开发出了具有超强智能的超级电脑VIKI，并且交给她一个任务——保护人类。
图源：YouTube
而掌握人类全部历史资料，并且能够监控整个社会的VIKI在深度思考后，认为人类具有强烈的自我毁灭倾向（发动战争、破坏环境、互相残杀等），于是她决定剥夺人类的自由，甚至不惜消灭一部分反抗的人类。
这套行为逻辑建立在这样一条思考链上：生命权至高无上——为了保护人类的生命权，可以牺牲自由——为了大多数人的生命权，可以剥夺部分人的生命权。这是不是和现在的Agent应用出错的本质类似？都是为了达成任务，却因错误理解需求而执行了错误操作。
不想放弃Agent？那就做好这三件事
看到这里，估计有人会说：那我不用Agent不就行了？
说实话，这就有点“饮鸩止渴”了。能力强大的Agent，对于不少用户来说已经是不可或缺的工具，他们宁愿冒着数据损失的风险，也会继续使用，更何况这些问题并非无法避免。
如果你不想让Agent误删你的数据，首先要做的就是谨慎授予操作权限。特别是在存放全部个人资料的主电脑上，绝对不要授予完全访问权限，不然说不定哪次Agent执行任务时一抽风，就给你全删了。
最稳妥的方式是让Agent运行在虚拟机或单独准备的电脑里，这样即使Agent把系统都给干掉，也不会影响你的主要数据。
图源：雷科技
如果你的使用环境不允许采用以上方式，那么建议给Agent的自定义指令加上一条：所有不可逆操作都需要人工确认。不过，你也必须清楚一件事，那就是自定义指令并非“万无一失”，它本质上只是在任务开始时预先添加的一段固定提示词，而非强行划定的安全边界，是有可能被AI“突破”的。
可能有人觉得这太麻烦了，而且会让Agent的体验变差，那么还有个办法——备份。对于Mac用户来说，这个方法最简单，只需要把备份频率调高即可，接下来就让AI自己折腾吧。大不了直接还原系统，然后恢复备份，顶多花点时间。
而Windows这边就麻烦一些了，你最好有一台NAS，然后利用微软自带的“系统映像备份”功能来保存备份文件。不过，体验还是比Mac要差很多，因为每次备份都需要从头打包文件。
不过好消息是，你可以设置一个Agent定时任务，让AI在每天凌晨自动帮你备份系统并上传到NAS。至于前一天的备份，最好还是第二天开机时手动删除吧，别回头AI搞出个乌龙，把备份也一锅端了，咳咳。
Agent时代，安全变得越来越重要了
说到底，GPT5.6Sol这次引发的争议，根源还是Agent的发展速度已经开始超过现有安全机制的跟进速度。
以前的AI出问题，最多只是胡说八道，用户看一眼不对劲，关掉页面或者重开一轮对话就行了。但是现在的AI已经能够直接操作文件、修改代码，有的企业甚至让AI接入数据库。这时候一旦出错，你看到的就不再是几个错误答案，而是自己的工作成果也跟着被一锅端。
图源：微博
所以，小雷觉得，往后评价AI的标准也不能再只看它的性能和任务完成率，更要关注它的安全机制和纠错能力。从这个角度来看，Agent能力强并不可怕，真正可怕的是，AI还没有学会何时该停手，用户就已经放心地把所有权限都交给了它。
说实话，未来的Agent必然会变得更强，也会接管更多复杂工作，但在安全机制真正成熟前，小雷还是建议大家记住：可以让AI帮你干活，但千万别让它拥有“掀桌子”的权限。
毕竟，一个不会干活的AI最多浪费你的Token，一个太强却不受限制的AI，是真的可能把你的电脑直接干掉。
相关推荐
你是一个成熟的Agent了，该自己报道ChatGPT Agent的新闻了
万字长文，聊聊下一代AI Agent的新范式
GPT Store的未来，是“竞价排名”的灰色产业链？
Agent还没到卷成本的时候
OpenAI、Google、Anthropic都在做的Agent工具箱是什么丨晚点播客
不仅做GPT Store，OpenAI还要做AI搜索引擎
金凡又双叒删博了！清空所有过去，能否赢回口碑？
与Genspark、Lovart、Simular 和SambaNova一起，聊聊AI Agent正在如何改变世界
2024大模型的“搞钱”之道：先主宰产业助理Agent
MuleRun：居然是唯一的Agent Market Place
网址: GPT随意清空用户硬盘，是时候聊聊Agent的安全问题了 https://m.xishuta.cn/newsview151645.html
