凤凰网科技讯 11月10日,OpenAI近日宣布,已在内部研究基础设施中部署名为“Control Room”的中央控制系统。当模型任务引发安全或网络安全风险时,该系统可在收到停止指令后最长35秒内阻断模型继续输出。
据OpenAI介绍,Control Room可统一追踪强化学习训练、模型评估、智能体采样及数据处理等研究任务,并与模型行为监控系统联动。监控模型会检查被训练模型的推理和操作过程,一旦发现潜在问题,可根据风险程度发出警报或直接暂停任务。
在具体执行过程中,监控系统会将需要停止的任务ID发送至Control Room。相关任务下一次申请模型推理时,推理引擎将核验其运行权限;如果任务已被标记为终止,系统便会拒绝请求,防止模型继续生成内容。
OpenAI表示,目前从Control Room收到停止指令到任务完全无法继续运行,最长需要35秒。这一时间差来自推理授权环节的缓存层,公司正在将响应时间进一步压缩,目标是实现即时停止。
该系统还采用“故障关闭”机制。如果Control Room发生故障、被关闭或遭到篡改,所有相关推理请求将默认被拒绝,直至服务恢复。该机制现已覆盖OpenAI全部前沿模型研究任务,并正在向其他研究任务扩展。OpenAI称,对外模型服务采用更集中的技术架构,目前已有相应的部署下线和应急处置能力。(作者/宋淑美)
本文源自:凤凰网科技
发布于:北京
相关推荐
OpenAI总裁回归,“结束人生最长假期”
OpenAI自研芯片来了,秘密研发18月,AI参与设计,明年部署,目标又是10GW
OpenAI反击Anthropic:聚焦企业AI落地,模型Spud等
OpenAI开卷小模型,价格战杀手锏来了
Meta新AI大模型开发计划首次披露!其功能或赶上OpenAI最先进模型
OpenAI发布新功能,允许企业基于自家数据定制最强AI模型
摆脱OpenAI依赖,微软组建王牌AI团队专攻“小模型”,为大模型降本增效
部署像ChatGPT这样的大语言模型,到底要花多少钱?
OpenAI没有放弃的机器人梦想
OpenAI、Anthropic同日降价推新模型
网址: OpenAI部署AI“控制室”:最长35秒阻断模型输出 https://m.xishuta.cn/newsview154932.html