广告
图片生成中,请稍候...

国内首个AI“驯兽师”部门诞生!字节悄悄给大模型戴上紧箍咒

文章摘要:字节跳动Seed实验室首设独立安全与对齐部门,专攻智能体模型“听话”又“守规矩”。

字节跳动Seed干了件业内没谁先干过的事:把AI安全和对齐单独拎出来,成立一个实打实的部门——Seed Model-Alignment&Preparedness。负责人是严林,直通Seed老大吴永辉。原来负责AI伦理、风险防控的同事,还有部分Chat团队骨干,都转了过来。

不是应付检查,也不是贴个合规标签。他们盯的是真问题:模型越来越聪明,但会不会“听懂人话”?会不会在没人盯着时偷偷越界?智能体自主行动后搞出网络攻击怎么办?更吓人的是,万一哪天它真摸到了CBRN(化生放核)这类高危能力边界呢?

国内其他大模型团队,安全大多挂在法务或合规下面;Seed却把它提到了技术核心位——没安全,再强的模型也不敢放出去用。新部门要干五件事:立规矩、建评估、训对齐、搭防护、盯风险,还要拉上高校、第三方一起测、一起晒。目标很实在:让AI既敢干,又不乱干;越能干,越靠谱。

【编辑:天狼】

信息举报邮箱:1014221505@qq.com

广告