OpenAI官宣AI大模型「安全认证团队」：将模型危险级别分为4个等级，董事会对于新模型发布拥有裁决权

2025-05-04 17:20:23 | 来源: AICG工具箱

当地时间12月18日，OpenAI官方连发多条推文，隆重宣布了自己的「（大模型）准备框架」(Preparedness Framework)。

在经历了各种大大小小的风波之后，OpenAI终于把人工智能的安全问题摆到了台面上。

这套框架的目的，就是监控和管理越来越强的大模型，防止哪天我们一不留神进入了「黑客帝国」。

我们正在通过准备框架系统化自己的安全思维，这是一份动态文件(目前处于测试阶段)，详细说明了我们正在采用的技术和运营投资，以指导前沿模型开发的安全性。

准备团队将推动技术工作，突破尖端模型的极限，不断跟踪模型风险。

新的安全基线和治理流程，跨职能的安全咨询小组。

规定模型能够被部署或者开发的条件，增加与模型风险相称的安全保护。

众所周知，之前奥特曼被董事会炒掉的一个导火索，就是大模型的安全问题。

在必要的时候，公司发展中的这个隐患必须得到解决。

从技术和治理的角度来说，面对当前的人工智能，人类确实要尽早考虑未来发展中的风险。

OpenAI的核心人物Ilya很早就开始提醒人们，要充分重视人工智能的安全问题。

除了演说，还带头组建了OpenAI的超级对齐团队(Superalignment)，并做出了超前的研究。

比如下面这篇工作，研究了弱模型监督能否引出强模型的全部功能，毕竟相对于强AI，我们人类可能已经是「弱模型」了。

Ilya目前并没有对OpenAI的这个框架作出回应，而是“超级对齐”团队的另一位负责人发表了动态：

我很高兴今天OpenAI采用了其新的准备框架！

该框架阐明了我们衡量和预测风险的策略，以及我们承诺在安全缓解措施落后时停止部署和开发。

热门榜单

热门资讯