机器之心报道
机器之心编辑部
昨天凌晨，OpenAI 连续 12 天发布会终于落下了帷幕，并甩出了最强大的推理模型 o3 系列！
当然，用户现在想要体验 o3 或者 o3-mini，需要申请并等待数周。从目前 OpenAI 官方给出的一些纸面数据来看，o3 的能力远超以往任何推理模型，并在 ARC-AGI 基准上达到了优良水平，成为首个突破该基准的 AI 模型。其中，o3 系列模型最低可达到 75.7%，最高可达到 87.5%。
o3 系列模型如此强大的能力，激起了大家对 AGI 的热烈谈论，很多人都兴奋地宣布：这就是 AGI、AGI 已经实现、AGI 比你想象的更加接近。
图源：X@MatthewBerman
图源：X@treky_x
图源：X@WesRothMoney
图源：X@FinanceLancelot
面对关于 o3 愈演愈烈、愈加失控的炒作，知名博主、AI 研究者「elvis」认为，o3 系列不是 AGI、不是奇点，人们甚至无法访问这些模型。连 OpenAI 都明确表示还有很多需要改进的地方。虽然进展的确令人兴奋，但网络上误导信息太多，基准测试结果也并没有多大意义。
图源：X@omarsar0
有人表示，每次发布新的 OpenAI 模型（这次是 o3），都会有人宣称「AGI 来了」、「不再需要程序员了」等言论。虽然 o3 看起来令人印象深刻，但它远没有在现实世界中得到检验。AGI 仍然遥遥无期。
图源：X@drjohnflackett
还有人说到，为什么我们要在一个还无法体验的展示版 AI 模型上宣布「AGI」呢？虽然 o3 系列模型看起来很棒，但并不是一个正式发布版本，也无法验证。
图源：X@mcguinnessfortx
持有这种观点的人不在少数，有人觉得，o3 系列在编码和数学领域的确很强，但 AGI 是要胜任人类能做的所有事情。我们要的是全能型人才，而非专业人才。另外，一次基准测试表现很好不能说明全部的情况，并不意味着能够迎接其他不可预测的挑战。最后，真正的 AGI 应该是适应性很强的，即使资源紧张也能运行。但 o3 的运行成本高得离谱，这显然不是 AGI 的意义所在。
图源：X@marthinusstryd1
显然 o3 离跟 AGI 画上等号还有很长的路要走，但无疑是一次巨大的进步。尤其是推理速度提升、成本降低且兼顾性能的 o3-mini，它更加经济高效， 并使用全新的安全评估方法审议式对齐（deliberative alignment）
这是一种直接教模型安全规范的新范式，训练模型在回答之前明确回忆规范并准确执行推理。OpenAI 使用这种方法来对齐包括 o3-mini 在内的 o 系列模型 ，实现对 OpenAI 安全政策的高度精确遵守，并且这个过程无需人工编写的思路或答案。
下图 1 为包括 o3-mini 在内的 o 系列模型与 GPT-4o 在关键政策领域的比较结果，比如不允许的内容、遵守响应风格指南、越狱和过度拒绝等。
接下来，机器之心对该范式相关论文的作者进行了完整的盘点。
论文地址：https://assets.ctfassets.net/kftzwdyauwt9/4pNYAZteAQXWtloDdANQ7L/978a6fd0a2ee268b2cb59637bd074cca/OpenAI_Deliberative-Alignment-Reasoning-Enables-Safer_Language-Models_122024.pdf
o3-mini 对齐范式作者盘点
Melody Y. Guan
Melody Y. Guan 本硕均就读于哈佛大学，目前是斯坦福大学计算机科学系的博士研究生。
在加入斯坦福大学之前，Melody Y. Guan 曾在谷歌担任研究员。她与 OpenAI 的关系主要体现在她的研究工作上，她与 OpenAI 的研究人员合作发表了多篇论文。
Melody Y. Guan 的研究兴趣主要集中在强化学习和神经架构搜索等领域。她与 Google Brain 团队合作，提出了著名的神经架构搜索方法 ENAS（Efficient Neural Architecture Search via Parameter Sharing）。此外，她还发表了多篇关于机器学习和人工智能的学术论文。
Manas Joglekar
Manas Joglekar 本科毕业于印度理工学院孟买分校，后于斯坦福大学读博士。
博士期间，他曾先后在微软、谷歌和 Facebook 进行实习，2016 年正式进入谷歌担任高级软件工程师，2019 年他担任 Snorkel AI 创始工程师，负责领导机器学习基础工作，2023 年 10 月加入 OpenAI。
Manas Joglekar 发表过多篇论文，主要研究方向包括计算机科学和机器学习。
Eric Wallace
Eric Wallace 是 OpenAI 的研究员，致力于使下一代大型语言模型（LLMs）更加安全、可靠和注重隐私。
他本科毕业于马里兰大学帕克分校计算机科学系，目前还在加州大学伯克利分校攻读博士学位，研究方向是增强机器学习的安全性、隐私性和鲁棒性。
在加入 OpenAI 之前，Eric Wallace 曾在 DeepMind 和 Meta 实习。
他在 OpenAI 的工作主要集中在提升大模型的安全性和隐私性，曾参与了 GPT-4o mini、o1、o1-mini 等安全和能力方面的研究。
Saachi Jain
Saachi Jain 是 OpenAI 的研究人员，她本硕毕业于斯坦福大学，目前在麻省理工学院（MIT）攻读博士学位。
她的研究主要集中在构建更鲁棒和可靠的机器学习模型，特别是理解模型如何进行泛化。
在加入 OpenAI 之前，Saachi Jain 曾在特斯拉担任计算机视觉科学家，参与自动驾驶技术的视觉模型设计和训练。她还在 Facebook 和 Google 等公司进行过实习。
在 OpenAI，她曾是 o1 项目的安全技术负责人之一，该项目旨在提高模型的推理能力和安全性。
Boaz Barak 是哈佛大学计算机科学教授。他是一位理论计算机科学家，研究领域包括计算复杂性、算法、密码学、量子计算以及机器学习的基础。Boaz Barak 曾参与了 OpenAI o1 项目的安全研究工作。
Alec Heylar
他本科毕业于弗吉尼亚理工学院暨州立大学，曾在微软度过 5 年职业生涯，2024 年 5 月进入 OpenAI 担任研究员。
Alec Heyla 的专业技能涵盖了人工智能、大语言模型等多个领域。
Rachel Dias
Rachel Dias 本科毕业于美国芝加哥大学的政治学专业，曾在 Meta 担任产品策略与运营，后来加入 TikTok 担任政策实施经理。
2024 年 1 月进入 OpenAI, 是 OpenAI o1 模型的「准备评估」团队成员之一。
Andrea Vallone
她在加州大学圣巴巴拉分校获得了英语（B.A. English）和心理学（B.A. Psychology）的双学士学位。
后来加入 Facebook 担任产品和政策传播经理、产品政策经理。2022 年 8 月加入 OpenAI 从事模型安全工作。
Hongyu Ren 在去年 7 月加入，现在是 OpenAI 的一名研究科学家，他还是 GPT-4o 、GPT-4o mini 的核心贡献者，并致力于 GPT-Next 的研究。Hongyu Ren 本科毕业于北京大学、博士毕业于斯坦福大学。此前，他在苹果、谷歌、英伟达、微软等工作过。
AI 圈的人大概都很熟悉 Jason Wei，他本科毕业就加入谷歌（2020 到 2023 年在 Google Brain 担任研究科学家），以一作身份写出了「思维链」（CoT）的开山之作。2023 年 2 月加入 OpenAI，担任 AI 研究人员。2024 年，他参与了 OpenAI o1 模型的研发。他的工作推广了 CoT 提示、指令调整和智能涌现等领域。
Hyung Won Chung
Hyung Won Chung 现在是 OpenAI 的一名研究科学家。研究重点是大型语言模型。在那之前，他在谷歌大脑工作，并在 MIT 攻读博士学位。他也是 OpenAI o1 的核心贡献者之一。
他曾参与过一些重要项目的研究工作，比如 5400 亿参数的大型语言模型 PaLM 和 1760 亿参数的开放式多语言语言模型 BLOOM。机器之心也曾介绍过他为一作的论文《Scaling Instruction-Finetuned Language Models》。
OpenAI科学家最新大语言模型演讲火了，洞见LLM成功的关键
Sam Toyer 本科毕业于澳大利亚国立大学，博士生就读于加州大学伯克利分校。研究领域包括计算机视觉、规划、模仿学习和奖励学习。近期，我的研究重点是如何使大规模语言模型更加安全和鲁棒，这些特性对于在高风险场景中的应用至关重要。以下是他的工作经历：
Johannes Heidecke
Johannes Heidecke 是巴塞罗那的一名人工智能硕士研究生，目前专注于探索强化学习和生成模型。
他对机器学习和人工智能的研究充满热情，并参与了许多 OpenAI 的相关工作。
他相信人工智能对人类未来具有巨大的潜力，但要让先进的人工智能系统与我们的价值观和目标保持一致，还需要大量有针对性的工作和研究。
为此，他正在探索将机器学习应用于价值学习问题的方法：通过观察人类行为，推断他们的动机是什么。
Alex Beutel
Alex Beutel 在卡内基梅隆大学获得计算机科学博士学位，此前在杜克大学主修计算机科学和物理学。
他目前是 OpenAI 安全研究团队的技术负责人。他曾在 Google Research 担任高级员工研究科学家、技术负责人和经理，联合领导了一个负责机器学习责任研究的团队（Responsible ML team），并推动了涵盖推荐系统、公平性、鲁棒性、强化学习以及数据库机器学习的研究工作。
Amelia Glaese
Amelia Glaese 本科就读于慕尼黑工业大学，攻读航天工程。在慕尼黑工业大学与佐治亚理工学院分别攻读了机械工程以及计算机科学与工程硕士。曾任谷歌软件工程师，后来加入 DeepMind 团队，工作了四年多。在此期间，她参与了 Gemini 相关论文的发布。今年 3 月，Amelia Glaese 正式加入 OpenAI。
