OpenAI超级智能对齐团队解散
+ 查看更多

又有一名高管辞职；这是一个信任一点一点崩塌的过程。

彭博

■

5月18日凌晨，OpenAI安全主管、“超级智能对齐团队”负责人Jan Leike在社交平台宣布离开OpenAI。这也是5月15日OpenAI联合创始人兼首席科学家Ilya Sutskever辞职之后，又有一名高管辞职。

Jan Leike在X上公开透露了他离职的部分原因。他表示，“很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。”

他认为，公司应该把更多的带宽用于为下一代模型做好准备，包括安全性、监控、准备、对抗鲁棒性、（超级）一致性、保密性、社会影响和相关主题。这些问题很难解决，他担心公司没有走在到达那里的轨道上。

“过去几个月里，我的团队一直在逆风航行。有时我们在计算上很吃力，完成这项重要的研究变得越来越困难。”Jan Leike说。

OpenAI首席执行官Sam Altman感谢并肯定了Jan Leike在OpenAI的贡献和领导能力，并表示，未来几天内会发表一篇更长的文章，来阐述OpenAI对于产品安全的规划和所做的事情。

很快，OpenAl公司证实，该公司不再将所谓的“超级智能对齐"团队作为一个独立的实体，而是将该团队更深入地整合到其研究工作中，以帮助公司实现其安全目标。

2023年7月，OpenAI创建超级对齐团队。

OpenAI超级对齐团队由OpenAI之前的校准部门的科学家和工程师以及来自公司其他机构的研究人员加入。他们将为内部和非OpenAI模型的安全性提供研究信息，并通过包括研究资助计划在内的倡议，向更广泛的AI行业征求并分享工作。

这个团队主要任务是“在 OpenAI 大量计算的支持下，到 2027 年解决（对齐）问题”。Ilya Sutskever 是该项目的牵头人之一，OpenAI 表示会将 20% 的算力专门用于该项目的研究。但对其中一小部分计算的请求经常被拒绝，阻碍了团队的工作。

有记录显示，Ilya 此前曾在一段视频中提到，在 AGI 实现的那一天，AI 未必会仇恨人类，但他们对待人类的方式可能会像人对待动物一样。人可能无意伤害动物，但如果你想修一条城际高速，你不会征询动物的意见，而是直接去做。当面临这种情况时，AI 可能也会自然而然地做出类似的选择。或许，这就是Ilya担忧的，也是OpenAl对齐团队与高层的长期分歧。

在一次访谈中， Ilya Sutskever 曾大胆预言，如果模型能够很好地预测下一个词，那么意味着它能够理解导致这个词产生的深刻现实。这意味着，如果 AI 按照现有路径发展下去，也许在不久的将来，一个超越人类的人工智能系统就会诞生。但更加令人担心的是，“超级人工智能“可能会带来一些意想不到的负面后果。

几天前，OpenAI 联合创始人、首席科学家 Ilya Sutskever ，刚宣布离开 OpenAI。

不止以上两位高管，在最近几个月来，OpenAI一直在流失关注AI安全的员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除。一位不愿透露姓名的公司内部人士说：“这是一个信任一点一点崩塌的过程，就像多米诺骨牌一张一张倒下。”

马斯克针对OpenAI的长期人工智能风险团队已经解散这一消息评价称：“这显示安全并不是OpenAI的首要任务。”尤其在超级对齐团队被解散后，谁来确保OpenAI的AI安全？

在莱克和苏茨克维离开后，关于与更强大模型相关的风险的研究将由OpenAI的另一位联合创始人John Schulman领导。

需明确的是，这并不意味着OpenAI现在发布的产品将毁灭人类。但接下来会发生什么呢？“区分‘他们目前是否正在构建和部署不安全的AI系统？’与‘他们是否正在安全地构建和部署 AGI 或超级智能？’非常重要。”知情人士认为，第二个问题的答案是否定的。

■